CN113315961A - 用于透明a柱图像块映射的方法及装置 - Google Patents
用于透明a柱图像块映射的方法及装置 Download PDFInfo
- Publication number
- CN113315961A CN113315961A CN202110579958.0A CN202110579958A CN113315961A CN 113315961 A CN113315961 A CN 113315961A CN 202110579958 A CN202110579958 A CN 202110579958A CN 113315961 A CN113315961 A CN 113315961A
- Authority
- CN
- China
- Prior art keywords
- image block
- coordinate system
- image
- camera
- vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013507 mapping Methods 0.000 title claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims abstract description 42
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 4
- 238000000638 solvent extraction Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 4
- 239000011800 void material Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
- B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
Abstract
本发明公开了用于透明A柱图像块映射的方法及装置。该方法包括获取车外场景的深度图与彩色图；对深度图降采样后进行视角转换；对A柱屏幕进行分块，并计算各图像块顶点在A柱屏幕上的像素坐标；将降采样的深度图分成同样规格的图像块，并计算各顶点在A柱屏幕上的深度值；根据各顶点在A柱屏幕上的深度值和像素坐标、驾驶员视点坐标以及A柱屏幕的物理参数计算驾驶员视角坐标系下的各顶点坐标，并转换至车外摄像头坐标系下的各顶点坐标；将车外摄像头坐标系下的各顶点坐标投影至彩色图上，得到车外摄像头坐标系下各顶点在彩色图上的像素坐标；根据各顶点在彩色图上的像素坐标以及各顶点在A柱屏幕上的像素坐标，对彩色图上的各图像块做仿射变换。
Description
技术领域
本发明涉及透明A柱，尤其涉及用于透明A柱图像块映射的方法。
背景技术
随着科技的进步与出行工具的多样化发展，行车安全已经得到汽车行业的高度重视，在行驶过程中，尤其是拐弯时，汽车A柱会遮挡驾驶员的视野，并由此引发事故。因此透明A柱的概念被提出，透明A柱消除了A柱对驾驶员视野的遮挡，有效地提高了行车安全。
一般的透明A柱实现方法是通过在车外后视镜处加装一颗摄像头，在车内A柱上加装一块屏幕，将车外摄像头采集到的实景画面显示在A柱的屏幕上，让驾驶员获得完整的车外信息。为了提升用户体验，让A柱达到透明的效果，A柱屏幕上的画面需要在驾驶员视角下与实景融合，通过3D相机实时获取实景深度图与彩色图，通过图像视角转换技术以及系统标定，得到驾驶员视角下以A柱屏幕为成像面的实景深度图，同时，将彩色图上的颜色信息同时转换获得驾驶员视角下以A柱屏幕为成像面的实景彩色图，将彩色图显示在A柱屏幕上以达到透明A柱与实景融合的效果。
以上为透明A柱实现的现有技术方案。现有方案中有几个明显的不足：
首先，存在图像混叠与空洞现象。在视角转换时由于车外摄像头与驾驶员视角存在视角差，因此视角转换后实景中前景与背景的遮挡区域发生变化，使得前景与背景过度区域有一定程度的混叠和空洞，这两种图像缺陷会严重降低驾驶员的实际使用体验。
其次，图像分辨率低。由于视角转换是根据深度图进行逐像素转换，所以现有技术要求彩色图与深度图具有相同的分辨率，深度与彩色信息一一对应，对深度信息的准确度有一定要求，并且对噪声敏感，受硬件限制，一般的3D相机无法以高帧率高分辨率输出深度图，因此使用低分辨率的深度图实现透明A柱显示画面分辨率较低，图像画面模糊。
再次，计算效率低。现有技术通过逐像素进行视角转换，需遍历深度图，计算量较大，对车载控制器的算力要求较高，因为较低的计算效率会使得A柱画面显示帧率低，有卡顿感。
发明内容
为了克服现有技术中的缺陷，本发明提供了用于透明A柱图像块映射的方法及装置。
本发明的用于透明A柱图像块映射的方法包括以下步骤：
通过车外摄像头获取车外场景的深度图与彩色图；
对所述深度图降采样后进行视角转换；
对A柱屏幕进行分块，即将A柱屏幕均分为n*m块区域，得到(n+1)*(m+1)个图像块顶点，并计算各图像块顶点在A柱屏幕上的像素坐标；
将所述降采样后的深度图分成同样规格的图像块，并计算各图像块顶点在A柱屏幕上的深度值；
根据所述图像块顶点在A柱屏幕上的深度值和像素坐标、驾驶员视点坐标以及A柱屏幕的物理尺寸参数计算驾驶员视角坐标系下的各图像块顶点坐标；
将所述驾驶员视角坐标系下的各图像块顶点坐标转换至车外摄像头坐标系下；
根据车外摄像头坐标系下的图像块顶点坐标，将图像块顶点投影至车外摄像头的彩色图上，得到车外摄像头坐标系下顶点在彩色图上的像素坐标；
根据顶点在彩色图上的像素坐标以及顶点在A柱屏幕上的像素坐标，对彩色图上的各图像块做仿射变换，映射至所述A柱屏幕上，实现在驾驶员视角下与实景融合。
在一个实施例中，图像块顶点在A柱屏幕上的深度值由所述图像块顶点的邻域像素的深度平均值获得。
在一个实施例中，所述将所述驾驶员视角坐标系下的图像块顶点坐标转换至车外摄像头坐标系下的步骤包括：
根据公式2-1将所述驾驶员视角坐标系下的图像块顶点坐标转换至车外摄像头坐标系下，
其中，Xcamera表示车外摄像头坐标系下的顶点三维坐标，Xeyeview表示驾驶员视角坐标系下的顶点三维坐标，R表示驾驶员视角坐标系至车外摄像头坐标系的旋转矩阵，t表示驾驶员视角坐标系至车外摄像头坐标系的平移向量。
在一个实施例中，所述根据车外摄像头坐标系下的图像块顶点坐标，将图像块顶点投影至车外摄像头的彩色图上，得到车外摄像头坐标系下顶点在彩色图上的像素坐标的步骤包括：
根据方程2-2得到车外摄像头坐标系下顶点在彩色图上的像素坐标：
其中，u，v为车外摄像头坐标系下顶点在彩色图上的像素坐标值，xcamera为车外摄像头坐标系下的顶点坐标X轴分量，ycamera为车外摄像头坐标系下的顶点坐标Y轴分量，zcamera为车外摄像头坐标系下的顶点坐标Z轴分量，fx为车外摄像头X方向焦距，fy为车外摄像头Y方向焦距，u0，v0为车外摄像头光轴与图像交点的像素坐标。
在一个实施例中，所述映射至所述A柱屏幕上生成的图像直接从彩色图裁剪，不会产生图像前后景混叠和空洞区域。
在一个实施例中，所述n*m块为2*2。
在一个实施例中，所述n*m块为3*3块。
在一个实施例中，所述车外摄像头所获取的深度图分辨率为1280*720，降采样后深度图分辨率为640*360。
本发明还提供了一种透明A柱图像块映射装置。该装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行如前述用于透明A柱图像块映射的方法。
本发明的用于透明A柱图像块映射的方法具有以下技术效果：
首先，通过对彩色图做图像块映射，生成的图像直接从彩色图裁剪不会产生图像前后景混叠和空洞区域。相比传统的通过图像修复技术去除混叠填补空洞，图像修复会增加计算量并且修复效果相较原图效果较差。
其次，本发明可实现低分辨率深度图与高分辨率彩色图组合的方式实现较好的透明A柱效果。具体而言，本发明的方法对深度图分辨率要求较低且彩色图分辨率无需与深度图保持一致，且图像块顶点的深度是统计值(即顶点邻域像素的深度平均值)，对深度图上的噪声不敏感，有一定的抗噪能力，降低了对3D传感器深度输出要求，高分辨率的彩色图保证了A柱显示画面的清晰度。
再次，仅需计算图像块顶点相关深度无需逐像素遍历深度图，减少了计算量，降低了对车载控制器的算力需求，保证A柱显示画面能够保持较高帧率。
附图说明
本发明的以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图标记代表相同或类似的元素。
图1示出根据本发明一实施例的用于透明A柱图像块映射的方法流程图；
图2为车外摄像头获取的车外场景彩色图；
图3为车外摄像头获取的车外场景深度图；
图4为车外场景深度图转换至驾驶员视角，并将分辨率从1280*720降低至640*360后的深度图；
图5为根据本发明一实施例的图像块映射示意图。
具体实施方式
以下在具体实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。
现有技术中的透明A柱方案有几个明显的不足：
图像混叠与空洞：在视角转换时由于车外摄像头与驾驶员视角存在视角差，因此视角转换后实景中前景与背景的遮挡区域发生变化，使得前景与背景过度区域有一定程度的混叠和空洞，这两种图像缺陷会严重降低驾驶员的实际使用体验。
图像分辨率低：由于视角转换是根据深度图进行逐像素转换，所以现有方案要求彩色图与深度图具有相同的分辨率，深度与彩色信息一一对应，对深度信息的准确度有一定要求，并且对噪声敏感，受硬件限制，一般的3D相机无法以高帧率高分辨率输出深度图，因此使用低分辨率的深度图实现透明A柱显示画面分辨率较低，图像画面模糊。
计算效率低：现有方案通过逐像素进行视角转换，需遍历深度图，计算量较大，对车载控制器的算力要求较高，较低的计算效率，使得A柱画面显示帧率低，有卡顿感。
为了克服现有技术中的缺陷，本发明使用块状映射方案，代替现有方案中逐像素进行视角转换。
图1示出根据本发明一实施例的用于透明A柱图像块映射的方法流程图。
步骤101：获取车外场景的深度图与彩色图。其中，图2为车外摄像头获取的车外场景彩色图(此处为符合专利法要求，以黑白图代替显示)；图3为车外摄像头获取的车外场景深度图。
在一实施例中，可以通过车外摄像头来获取车外场景的深度图和彩色图。
步骤102：对所述深度图降采样后进行视角转换。即，将车外摄像头视角下的深度图降低分辨率后转换至驾驶员视角。例如，车外摄像头所获取的深度图分辨率为1280*720，降采样后深度图分辨率为640*360，对该降采样后的低分辨率图像进行视角转换，最终得到驾驶员视角下分辨率为640*360车外场景深度图。图4为车外场景深度图转换至驾驶员视角，并将分辨率从1280*720降低至640*360后的深度图。
步骤103：对A柱显示屏进行分块，即将A柱屏幕均分为n*m块区域，得到(n+1)*(m+1)个图像块顶点，并计算各图像块顶点在A柱屏幕上的像素坐标。在优选实施例中，可将A柱显示屏分成2*2或者3*3块。
步骤104：将所述降采样后的深度图分成同样规格(即n*m块)的图像块，并计算各图像块顶点在A柱屏幕上的深度值。在一个优选实施例中，该各图像块顶点的深度值通过计算各图像块顶点的领域像素的深度平均值获得。本发明采用各图像块顶点的领域像素的深度平均值来作为各图像块顶点的深度值，这样的做法好处是，某个像素点的深度值可能由于噪声原因存在不可获得的情况，在这种情况下，本发明通过计算该像素点的领域像素的深度平均值来代替该像素点的深度值则可提高抗噪性。
步骤105：根据A柱屏幕上各顶点的深度值、在A柱屏幕上各顶点的像素坐标、驾驶员视点坐标(通过专业设备及技术获取，本发明中为已知条件)以及屏幕的物理尺寸(通过屏幕产品参数获取，本发明中为已知条件)参数计算驾驶员视角坐标下的各图像块顶点坐标值(三维)。
步骤106：通过坐标系转换，将驾驶员视角坐标系下的各图像块顶点坐标值转换至车外摄像头坐标系下。在一个实施例中，通过计算公式2-1来进行坐标系转换，其中，Xcamera表示车外摄像头坐标系下的各图像块顶点三维坐标，Xeyeview表示驾驶员视角坐标系下的各图像块顶点三维坐标，R表示驾驶员视角坐标系至车外摄像头坐标系的旋转矩阵，t表示驾驶员视角坐标系至车外摄像头坐标系的平移向量。
其中，
步骤107：根据车外摄像头坐标系下的各图像块顶点三维坐标(深度图的各顶点三维坐标)，将各顶点根据公式2-2投影至车外摄像头的彩色图上，得到车外摄像头坐标系下各图像块顶点在彩色图上的像素坐标。其中u，v为求解得到的像素坐标值，xcamera为车外摄像头坐标系下的各图像块顶点坐标X轴分量，ycamera为车外摄像头坐标系下的各图像块顶点坐标Y轴分量，zcamera为车外摄像头坐标系下的各图像块顶点坐标Z轴分量，fx为车外摄像头X方向焦距，fy为车外摄像头Y方向焦距，u0，v0为车外摄像头光轴与彩色图像交点的像素坐标。
步骤108：根据各图像块顶点在彩色图的像素坐标以及各图像块顶点在A柱屏幕上的像素坐标，对彩色图上的各图像块做仿射变换，映射至A柱屏幕上，即可获得显示在A柱屏幕上的完整图像，并且可以在驾驶员视角下与实景融合。
图5为根据本发明一实施例的图像块映射示意图。该示意图中展示了一个图像块的各图像块顶点在A柱屏幕，三维空间，车外摄像头的彩色图的位置及其对应关系，以及将摄像头彩色图的图像块映射至A柱屏幕显示画面的过程。
本发明还公开了一种透明A柱图像块映射装置，该装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行前述用于透明A柱图像块映射的方法。
本发明的用于透明A柱图像块映射的方法具有以下技术效果：
首先，通过对彩色图做图像块映射，生成的图像直接从彩色图裁剪不会产生图像前后景混叠和空洞区域。相比传统的通过图像修复技术去除混叠填补空洞，图像修复会增加计算量并且修复效果相较原图效果较差。
其次，本发明可实现低分辨率深度图与高分辨率彩色图组合的方式实现较好的透明A柱效果。具体而言，本发明的方法对深度图分辨率要求较低且彩色图分辨率无需与深度图保持一致，且图像块顶点的深度是统计值(即顶点邻域像素的深度平均值)，对深度图上的噪声不敏感，有一定的抗噪能力，降低了对3D传感器深度输出要求，高分辨率的彩色图保证了A柱显示画面的清晰度。
再次，仅需计算图像块顶点相关深度无需逐像素遍历深度图，减少了计算量，降低了对车载控制器的算力需求，保证A柱显示画面能够保持较高帧率。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质、或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
这里采用的术语和表述方式只是用于描述，本发明并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的，权利要求应视为覆盖所有这些等效物。
同样，需要指出的是，虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。
Claims (9)
1.一种用于透明A柱图像块映射的方法，其特征在于，所述方法包括：
通过车外摄像头获取车外场景的深度图与彩色图；
对所述深度图降采样后进行视角转换；
对A柱屏幕进行分块，即将A柱屏幕均分为n*m块区域，得到(n+1)*(m+1)个图像块顶点，并计算各图像块顶点在A柱屏幕上的像素坐标；
将所述降采样后的深度图分成同样规格的图像块，并计算各图像块顶点在A柱屏幕上的深度值；
根据所述各图像块顶点在A柱屏幕上的深度值和像素坐标、驾驶员视点坐标以及A柱屏幕的物理尺寸参数计算驾驶员视角坐标系下的各图像块顶点坐标；
将所述驾驶员视角坐标系下的各图像块顶点坐标转换至车外摄像头坐标系下的各图像块顶点坐标；
根据所述车外摄像头坐标系下的各图像块顶点坐标，将所述各图像块顶点投影至车外摄像头的彩色图上，得到车外摄像头坐标系下各图像块顶点在所述彩色图上的像素坐标；
根据各图像块顶点在所述彩色图上的像素坐标以及各图像块顶点在A柱屏幕上的像素坐标，对所述彩色图上的各图像块做仿射变换，映射至所述A柱屏幕上，实现在驾驶员视角下与实景融合。
2.如权利要求1所述的用于透明A柱图像块映射的方法，其特征在于，所述各图像块顶点在A柱屏幕上的深度值通过以下方式计算：
计算各图像块顶点的邻域像素的深度平均值。
3.如权利要求1所述的用于透明A柱图像块映射的方法，其特征在于，所述将所述驾驶员视角坐标系下的各图像块顶点坐标转换至车外摄像头坐标系下的步骤包括：
根据公式2-1将所述驾驶员视角坐标系下的各图像块顶点坐标转换至车外摄像头坐标系下，
其中，Xcamera表示车外摄像头坐标系下的各图像块顶点三维坐标，Xeyeview表示驾驶员视角坐标系下的各图像块顶点三维坐标，R表示驾驶员视角坐标系至车外摄像头坐标系的旋转矩阵，t表示驾驶员视角坐标系至车外摄像头坐标系的平移向量。
4.如权利要求1所述的用于透明A柱图像块映射的方法，其特征在于，所述根据车外摄像头坐标系下的各图像块顶点坐标，将各图像块顶点投影至车外摄像头的彩色图上，得到车外摄像头坐标系下各图像块顶点在彩色图上的像素坐标的步骤包括：
根据方程2-2得到车外摄像头坐标系下顶点在彩色图上的像素坐标：
其中，u，v为车外摄像头坐标系下各图像块顶点在彩色图上的像素坐标值，xcamera为车外摄像头坐标系下的各图像块顶点坐标X轴分量，ycamera为车外摄像头坐标系下的各图像块顶点坐标Y轴分量，zcamera为车外摄像头坐标系下的各图像块顶点坐标Z轴分量，fx为车外摄像头X方向焦距，fy为车外摄像头Y方向焦距，u0，v0为车外摄像头光轴与彩色图像交点的像素坐标。
5.如权利要求1所述的用于透明A柱图像块映射的方法，其特征在于，所述映射至所述A柱屏幕上生成的图像直接从彩色图裁剪，不会产生图像前后景混叠和空洞区域。
6.如权利要求1所述的用于透明A柱图像块映射的方法，其特征在于，所述n*m块为2*2。
7.如权利要求1所述的用于透明A柱图像块映射的方法，其特征在于，所述n*m块为3*3块。
8.如权利要求1所述的用于透明A柱图像块映射的方法，其特征在于，所述车外摄像头所获取的深度图分辨率为1280*720，降采样后深度图分辨率为640*360。
9.一种透明A柱图像块映射装置，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行如权利要求1至7任一项所述用于透明A柱图像块映射的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110579958.0A CN113315961B (zh) | 2021-05-26 | 2021-05-26 | 用于透明a柱图像块映射的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110579958.0A CN113315961B (zh) | 2021-05-26 | 2021-05-26 | 用于透明a柱图像块映射的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113315961A true CN113315961A (zh) | 2021-08-27 |
| CN113315961B CN113315961B (zh) | 2023-04-25 |
Family
ID=77375177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110579958.0A Active CN113315961B (zh) | 2021-05-26 | 2021-05-26 | 用于透明a柱图像块映射的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113315961B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744353A (zh) * | 2021-09-15 | 2021-12-03 | 合众新能源汽车有限公司 | 盲区图像生成方法、设备和计算机可读介质 |
| CN115742958A (zh) * | 2022-10-27 | 2023-03-07 | 中国第一汽车股份有限公司 | 一种a柱视野盲区视角实时补偿显示系统、方法及终端 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106915303A (zh) * | 2017-01-22 | 2017-07-04 | 西安科技大学 | 基于深度数据和鱼眼图像的汽车a柱盲区透视方法 |
| US20170318267A1 (en) * | 2016-05-02 | 2017-11-02 | Hyundai Motor Company | Method and apparatus for controlling operation of side and rear monitoring camera system |
| US20180165527A1 (en) * | 2016-12-12 | 2018-06-14 | Plk Technologies Co., Ltd. | Side safety assistant device and method for large vehicle |
| CN108290522A (zh) * | 2015-12-02 | 2018-07-17 | 康蒂-特米克微电子有限公司 | 用于车辆的驾驶员辅助系统的控制装置和方法 |
| JP2020068499A (ja) * | 2018-10-26 | 2020-04-30 | 現代自動車株式会社Ｈｙｕｎｄａｉ Ｍｏｔｏｒ Ｃｏｍｐａｎｙ | 車両周囲画像表示システム及び車両周囲画像表示方法 |
| CN111277796A (zh) * | 2020-01-21 | 2020-06-12 | 深圳市德赛微电子技术有限公司 | 图像处理方法、车载视觉辅助系统及存储设备 |
| CN112084937A (zh) * | 2020-09-08 | 2020-12-15 | 清华大学 | 一种动态车辆检测方法 |
-
2021
- 2021-05-26 CN CN202110579958.0A patent/CN113315961B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108290522A (zh) * | 2015-12-02 | 2018-07-17 | 康蒂-特米克微电子有限公司 | 用于车辆的驾驶员辅助系统的控制装置和方法 |
| US20170318267A1 (en) * | 2016-05-02 | 2017-11-02 | Hyundai Motor Company | Method and apparatus for controlling operation of side and rear monitoring camera system |
| US20180165527A1 (en) * | 2016-12-12 | 2018-06-14 | Plk Technologies Co., Ltd. | Side safety assistant device and method for large vehicle |
| CN106915303A (zh) * | 2017-01-22 | 2017-07-04 | 西安科技大学 | 基于深度数据和鱼眼图像的汽车a柱盲区透视方法 |
| JP2020068499A (ja) * | 2018-10-26 | 2020-04-30 | 現代自動車株式会社Ｈｙｕｎｄａｉ Ｍｏｔｏｒ Ｃｏｍｐａｎｙ | 車両周囲画像表示システム及び車両周囲画像表示方法 |
| CN111277796A (zh) * | 2020-01-21 | 2020-06-12 | 深圳市德赛微电子技术有限公司 | 图像处理方法、车载视觉辅助系统及存储设备 |
| CN112084937A (zh) * | 2020-09-08 | 2020-12-15 | 清华大学 | 一种动态车辆检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744353A (zh) * | 2021-09-15 | 2021-12-03 | 合众新能源汽车有限公司 | 盲区图像生成方法、设备和计算机可读介质 |
| CN115742958A (zh) * | 2022-10-27 | 2023-03-07 | 中国第一汽车股份有限公司 | 一种a柱视野盲区视角实时补偿显示系统、方法及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113315961B (zh) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109961522B (zh) | 图像投射方法、装置、设备和存储介质 | |
| CN109493407B (zh) | 实现激光点云稠密化的方法、装置及计算机设备 | |
| JP6149676B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| CN106651938A (zh) | 一种融合高分辨率彩色图像的深度图增强方法 | |
| US20130141547A1 (en) | Image processing apparatus and computer-readable recording medium | |
| JP3391405B2 (ja) | カメラ映像内の物体同定方法 | |
| CN113315961A (zh) | 用于透明a柱图像块映射的方法及装置 | |
| CN111145362B (zh) | 一种机载综合视景系统虚实融合显示方法及系统 | |
| CN112102489B (zh) | 导航界面显示方法、装置、计算设备和存储介质 | |
| CN101122464A (zh) | 一种gps导航系统中道路显示方法、装置及设备 | |
| US20170032688A1 (en) | Traveling-state display device and traveling-state display method | |
| CN112215747A (zh) | 无车底盲区的车载全景图的生成方法、装置及存储介质 | |
| CN102458923B (zh) | 用于扩展可视区域的方法和设备 | |
| CN113128434A (zh) | 一种对单目rgb图像进行3d目标检测的方法 | |
| CN113330480A (zh) | 模块化图像修复方法 | |
| WO2015056826A1 (ko) | 카메라의 영상 처리 장치 및 방법 | |
| CN116027951A (zh) | 车辆采集数据的可视化方法、装置以及存储介质 | |
| CN112738496A (zh) | 图像处理方法、设备、系统和计算机可读介质 | |
| CN113421217A (zh) | 可行驶区域检测方法和装置 | |
| KR101351911B1 (ko) | 카메라의 영상 처리 장치 및 방법 | |
| JP2003009141A (ja) | 車両周辺画像処理装置及び記録媒体 | |
| CN112215033B (zh) | 车辆全景环视图像的生成方法、装置、系统及存储介质 | |
| JP2009077022A (ja) | 運転支援システム及び車両 | |
| CN112862976B (zh) | 一种数据处理方法、装置及电子设备 | |
| CN113850881A (zh) | 图像生成方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant after: United New Energy Automobile Co.,Ltd. Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant before: Hozon New Energy Automobile Co., Ltd. Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant after: Hozon New Energy Automobile Co., Ltd. Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant before: Hozon New Energy Automobile Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method and device for mapping transparent A-pillar image blocks Granted publication date: 20230425 Pledgee: Tongxiang Science and Technology Entrepreneurship Service Center Co.,Ltd. Pledgor: United New Energy Automobile Co.,Ltd. Registration number: Y2024330000709 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |