CN112896045A - 一种车辆a柱盲区透视方法、系统及车辆 - Google Patents
一种车辆a柱盲区透视方法、系统及车辆 Download PDFInfo
- Publication number
- CN112896045A CN112896045A CN202110108643.8A CN202110108643A CN112896045A CN 112896045 A CN112896045 A CN 112896045A CN 202110108643 A CN202110108643 A CN 202110108643A CN 112896045 A CN112896045 A CN 112896045A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- pillar
- picture
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 88
- 238000013507 mapping Methods 0.000 claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 230000000694 effects Effects 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 210000004709 eyebrow Anatomy 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000002594 fluoroscopy Methods 0.000 claims description 3
- 230000026676 system process Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 13
- 230000004927 fusion Effects 0.000 abstract description 7
- 238000012937 correction Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种车辆A柱盲区透视方法，获取车辆A柱成像区域的实景视频流信息，按采样频率提取第一处理画面；从第一处理画面中确定若干个障碍物图像，计算障碍物与车辆的距离和障碍物的大小，输出三维重建画面，进行画面延迟补偿计算，获取驾驶者眉心定位信息，对画面进行A柱盲区影像的动态映射，图像效果增强处理，得到A柱显示画面；将A柱显示画面传输至A柱屏幕；提供一种车辆A柱盲区透视系统，包括图像采集模块、处理模块和显示模块；提供一种应用此车辆A柱盲区透视方法的车辆。本发明提高了在显示屏中远近不同的障碍物与实景画面的融合度，改善了画面延迟现象，并根据驾驶员的视角动态映射相应的A柱显示画面，方法简单，使用体验佳。
Description
技术领域
本发明属于车辆驾驶图像显示技术领域，尤其涉及一种车辆A柱盲区透视方法、系统及车辆。
背景技术
汽车驾驶过程中，存在几大盲区，其中包括A柱盲区，其位于驾驶员正前方的两侧，尤其在转弯的时候容易导致驾驶员对车辆周边环境危险因素无法识别和判断。
为了解决这一问题，业界对于汽车A柱透视已有一些解决方案，主流技术方案是通过置于车外的摄像头获取外部的影像，再将A柱盲区的影像剪切拼接到覆盖于A柱的屏幕上。但是这种技术方案通常不具备影像景深识别能力，影像的显示只有平面信息，难以跟随驾驶员的视线角度自然的适配盲区物体大小、显示角度，难以与实景自然的重叠，车外场景与车内盲区区域显示屏的结合度差，自然融合度低；且当车速较快时，从摄像头采集到图像处理，到最终的A柱显示，整个过程下来，A柱显示画面具有较明显的时延现象，即景象已经从驾驶员视野中过去才在A柱屏幕中显示，影响驾驶者的正常判断；且当不同体型的驾驶者驾驶时，其与A柱之间的视角关系也不一样，目前技术无法根据驾驶者的视角来进行透视变形矫正。
发明内容
本发明的目的在于克服上述现有技术存在的不足，提供一种车辆A柱盲区透视方法、系统及车辆，解决了现有技术中对车辆外部远近不同的障碍物在测距算法上不尽完善的问题，克服了显示画面与实景画面不融合的缺陷，改善了在不同车速下时延现象明显的问题，解决了无法根据驾驶者视角动态变换画面的问题。
为了实现上述目的，第一方面，本发明提供一种车辆A柱盲区透视方法，包括：
获取车辆A柱成像区域的实景视频流信息，按采样频率提取第一处理画面；
从所述第一处理画面中确定若干个障碍物图像，计算障碍物与车辆的距离和障碍物的大小，输出三维重建画面，进行画面延迟补偿计算，获取驾驶者眉心定位信息，对画面进行A柱盲区影像的动态映射，图像效果增强处理，得到A柱显示画面；
将A柱显示画面传输至A柱屏幕。
进一步地，在所述第一处理画面中建立第一处理画面坐标系，确定若干个障碍物图像，每个所述障碍物图像包括定位信息，所述定位信息用于标注所述障碍物在所述A柱成像区域内的位置；
确定所述障碍物图像与所述车辆在第一处理画面坐标系中基准线的图像距离信息；
根据所述图像距离信息确定所述车辆与障碍物的实际距离信息。
进一步地，所述定位信息包括所述障碍物图像在所述第一处理画面坐标系中的像素位置信息，所述像素位置信息包括所述障碍物图像的左下角坐标(x1，y1)、障碍物图像的宽度w和高度h，通过所述x1、y1、w和h确定所述障碍物图像的矩形边界框。
进一步地，定义图像距离系数R，所述图像距离系数R被配置为用于所述图像距离信息与实际距离信息之间的换算，所述图像距离系数R为通过测量实验确定的车外障碍物到车辆实际距离与第一处理画面中坐标距离之间的常规换算系数。
进一步地，根据所述障碍物图像的矩形边界框确定所述障碍物近端距离信息a，所述实际距离信息包括车辆在车身前进方向上与障碍物的垂直绝对距离A，所述垂直绝对距离A＝a*R。
进一步地，所述采样频率为每秒3帧的采样频率。
进一步地，当所述若干个障碍物图像的矩形边界框之间存在重叠区域时，选取所述障碍物近端距离信息a最小的矩形边界框作为换算对象。
进一步地，按拼接频率对实景视频流信息进行画面提取，得到第二处理画面；
将提取出来的第二处理画面进行拼接合成，得到全景画面；
根据固定时延参数和车辆实时速度信息，从全景画面中截取无延时画面。
进一步地，综合摄像头采集实景视频流信息、信号的数模转换、传输和显示的耗时，确定所述固定时延参数。
进一步地，计算障碍物与车辆的距离后，利用Warp Transformation图像处理算法，根据各障碍物与车辆的实际距离信息，对画面进行进行修正和拼接；
根据驾驶者眉心定位信息，计算驾驶者观看A柱屏幕的角度及位置，利用warpPerspective方法对画面进行变换，调整影像透视变形及映射范围，对画面进行A柱盲区影像的动态映射。
进一步地，根据车辆A柱成像区域信息和车辆与障碍物的实际距离信息，结合驾驶者眉心定位信息对实景视频流信息进行三维重建和视角变换，并将A柱显示画面传输至A柱屏幕。
进一步地，获取车辆内部图像信息，所述内部图像信息包括驾驶者眉心定位信息和A柱形状信息；通过所述车辆内部图像信息确定所述第一处理画面中的盲区图像区域信息，将修正后的盲区图像区域信息送至A柱屏幕。
第二方面，本发明提供一种应用于上述车辆A柱盲区透视方法的系统，包括图像采集模块、处理模块和显示模块，所述图像采集模块与所述处理模块信号连接，所述处理模块与所述显示模块信号连接；
所述图像采集模块用于获取车辆A柱成像区域的实景视频流信息，并按采样频率提取第一处理画面；
所述处理模块用于从所述第一处理画面中确定若干个障碍物图像，计算障碍物与车辆的距离和障碍物的大小，输出三维重建画面，进行画面延迟补偿计算，获取驾驶者眉心定位信息，对画面进行A柱盲区影像的动态映射，图像效果增强处理，得到A柱显示画面；
显示模块用于显示所述A柱显示画面。
进一步地，所述处理模块包括测距单元、时延补偿单元和动态映射单元，所述图像采集模块与所述测距单元信号连接，所述测距单元与所述时延补偿单元信号连接，所述时延补偿单元与所述动态映射单元信号连接，所述动态映射单元与所述显示模块信号连接；
所述测距单元用于确定所述车辆与障碍物的实际距离信息；
所述时延补偿单元用于从全景画面中截取无延时画面；
所述动态映射单元用于根据驾驶者眉心定位信息，对画面进行A柱盲区影像的动态映射。
进一步地，还包括接口模块，所述接口模块用于接收驾驶者眉心定位信息和汽车CAN数据，所述汽车CAN数据包括车辆实时速度信息。
第三方面，本发明还提供一种应用上述车辆A柱盲区透视方法的车辆，包括左摄像头、右摄像头、左A柱显示屏、右A柱显示屏和控制系统，所述左摄像头设于车辆左A柱外侧，所述左摄像头用于获取车辆左A柱成像区域的实景视频流信息，所述右摄像头设于车辆右A柱外侧，所述右摄像头用于获取车辆右A柱成像区域的实景视频流信息，所述左摄像头和右摄像头分别与所述控制系统连接，所述控制系统将所述左摄像头和右摄像头采集到的视频信息处理后分别传输至左A柱显示屏和右A柱显示屏，所述左A柱显示屏设于车辆左A柱内侧，所述左A柱显示屏用于显示左A柱盲区显示画面，所述右A柱显示屏设于车辆右A柱内侧，所述右A柱显示屏用于显示右A柱盲区显示画面。
进一步地，所述左A柱显示屏和右A柱显示屏均为柔性屏幕。
本发明的有益效果：
1、本发明针对摄像头所拍摄的实景视频流信息，提取第一处理画面并针对此第一处理画面确定各个障碍物图像，对每个障碍物图像均加以距离修正，使每个障碍物与车辆之间的实际距离信息更贴近实际，提高显示画面与实景画面之间的融合度。
2、本发明将实景视频流信息通过截取拼接合成为全景画面，在此全景画面种根据固定时延参数和车辆实时速度信息综合截取出无延时画面，有效降低画面延迟现象，特别是在车速较快时，通过画面延迟补偿的方式，解决画面延迟问题。
3、本发明结合车辆内部的驾驶者眉心定位信息和A柱形状信息，以适应不同身高体型的驾驶员所能看到的A柱盲区的差别，对影像进行动态透视变换修正，提供良好的视觉体验，与现实环境更自然的融合，真正实现A柱透明的效果。
4、本发明实现方法简单，硬件成本低，精度高。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是实施例1中提供的一种车辆A柱盲区透视方法的总流程框架示意图。
图2是实施例1中提供的一种车辆A柱盲区透视方法中计算障碍物与车辆距离的流程框架示意图。
图3是实施例1中提供的一种车辆A柱盲区透视方法中在进行画面延迟补偿处理时的流程框架示意图。
图4是实施例2中提供的一种车辆A柱盲区透视系统的框架示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
实施例1：
参照图1，为了解决现有技术中，第一，针对不同的景深，即不同车外障碍物与车辆之间距离不同的情况，如按同一修正标准的话，不同障碍物最终显示画面与车外实景不融合；第二，实际情况下，A柱显示画面从摄像头采集到图像处理再到最终的A柱显示，会有较明显的时延现象，尤其在车速较快的时候，画面时延严重，影响驾驶者的正常判断；第三，无法适应不同体型的驾驶者驾驶时，其与A柱之间的视角关系，无法适配出更自然的盲区图像显示效果，动态变换效果差，且A柱屏幕是倾斜角度安装，也需要进行透视变形矫正。因此本实施例1提供一种车辆A柱盲区透视方法，包括：
获取车辆A柱成像区域的实景视频流信息，按采样频率提取第一处理画面；
从所述第一处理画面中确定若干个障碍物图像，计算障碍物与车辆的距离和障碍物的大小，输出三维重建画面，进行画面延迟补偿计算，获取驾驶者眉心定位信息，对画面进行A柱盲区影像的动态映射，图像效果增强处理，得到A柱显示画面；
将A柱显示画面传输至A柱屏幕。
基于单目摄像头，即可采集到车外车辆A柱成像区域的实景视频流信息，在通过算法计算出障碍物与车辆的距离和障碍物的大小后，进行三维修正重建，针对三维重建画面，基于车速数据和处理系统固有延迟特性进行画面延迟补偿计算，并基于眉心定位坐标信息，对画面进行A柱盲区影像的动态映射，对动态映射的A柱显示画面进行图像效果增强处理，之后将A柱显示画面传输至A柱屏幕。既对每个障碍物图像均加以距离修正，使每个障碍物与车辆之间的实际距离信息更贴近实际，提高显示画面与实景画面之间的融合度，也有效降低画面延迟现象，特别是在车速较快时，通过画面延迟补偿的方式，解决画面延迟问题，还适应了不同身高体型的驾驶员所能看到的A柱盲区的差别，对影像进行动态透视变换修正，A柱显示画面与实景无缝融合，跟随驾驶者视角动态变换，提供良好的视觉体验。
参照图2，在计算障碍物与车辆距离的过程中，在所述第一处理画面中建立第一处理画面坐标系，确定若干个障碍物图像，每个所述障碍物图像包括定位信息，所述定位信息用于标注所述障碍物在所述A柱成像区域内的位置；
确定所述障碍物图像与所述车辆在第一处理画面坐标系中基准线的图像距离信息；
根据所述图像距离信息确定所述车辆与障碍物的实际距离信息。
需要说明的是，每一个摄像头均对车外A柱盲区及其前后一定区域进行实景拍摄，并形成对应的实景视频流信息，在此实景视频流信息种通过使用每秒3帧的采样频率进行提取，从实景视频流信息中提取出第一处理画面；然后在每个第一处理画面中，建立对应的第一处理画面坐标系，在此第一处理画面坐标系中确定若干个障碍物图像，每个障碍物图像所代表的障碍物可能与车辆的距离相距不一，有远有近，甚至有重叠，需要对每个障碍物图像进行定位，其中在第一处理画面坐标系中，设有一条代表车辆最边界外沿的基准线，确定障碍物图像与此基准线的图像距离信息，并将此图像距离信息转化成实际距离信息。
在本实施中，根据所述实际距离信息修正实景视频流信息，将修正后的实景视频流信息传输至A柱屏幕，实现第一处理画面中每个障碍物的距离修正，使每个障碍物与车辆之间的实际距离信息更贴近实际，提高显示画面与实景画面之间的融合度。
作为一种优选方式，所述定位信息包括所述障碍物图像在所述第一处理画面坐标系中的像素位置信息，所述像素位置信息包括所述障碍物图像的左下角坐标(x1，y1)、障碍物图像的宽度w和高度h，通过所述x1、y1、w和h确定所述障碍物图像的矩形边界框；每个障碍物在第一处理画面里均被转化成一个矩形边界框，每个矩形边界框均通过一个数组来表示(x1，y1，w，h)，更具体地，此矩形边界框的左下角坐标为(x1，y1)，右下角坐标为(x1+w，y1)，左上角坐标为(x1，y1+h)，右上角坐标为(x1+w，y1+h)；其中，障碍物图像的宽度w和高度h均是指在第一处理画面中的像素点大小，非实际大小。
在本实施例中，预先定义图像距离系数R，所述图像距离系数R被配置为用于所述图像距离信息与实际距离信息之间的换算，所述图像距离系数R为通过测量实验确定的车外障碍物到车辆实际距离与第一处理画面中坐标距离之间的常规换算系数；预先通过测量实验，在车辆外的设定距离处放置一参考物品，并测量此参考物品与车辆前沿的实际距离信息，再通过摄像头拍摄后，在第一处理画面中算出此参考物品的图像距离信息，利用此参考物品的实际距离信息和图像距离信息反推图像距离系数R，确定好对车辆而言，不同方向不同距离的参考物品的图像距离系数R。
在确定好此图像距离系数R的取值范围后，实际操作中，根据所述障碍物图像的矩形边界框确定所述障碍物近端距离信息a，所述实际距离信息包括车辆在车身前进方向上与障碍物的垂直绝对距离A，所述垂直绝对距离A＝a*R，其中障碍物近端距离信息a可以为矩形边界框的底线y1坐标，即此垂直绝对距离A＝y1*R。
当然，作为另一种实施方式，也可以为根据不同车型确定其车尾最突出部位相对于其车身高度所处的比例关系b，进而在矩形边界框中按此比例关系b换算出对应的纵坐标y1+b*h，即此时垂直绝对距离A＝(y1+b*h)*R。
在本实施例中，当所述若干个障碍物图像的矩形边界框之间存在重叠区域时，选取所述障碍物近端距离信息a最小的矩形边界框作为换算对象。即如果车前方具有多个障碍物，而由于每个障碍物都是移动变化的，会存在障碍物图像之间重叠的情况，此时出于安全和方便考虑，在一定设定范围内，针对此设定范围内的障碍物图像，统一按障碍物近端距离信息a最小的矩形边界框所代表的数据信息进行修正。
参照图3，车外摄像头拍摄到影像与车内显示器显示影像必然会有一定的时间延迟，尤其当车速快时，影像延时将导致显示图像与实景不一致。比如车速为60km/h，延时为100ms，影像显示到屏幕上时对应的物体已经移动了约1.7m。因此在本实施例中，更具体地，在进行画面延迟补偿处理时，按拼接频率对实景视频流信息进行画面提取，动态地将摄像头采集到的视频流提取出若干帧实景画面，得到第二处理画面；将提取出来的第二处理画面进行拼接合成，得到全景画面，此全景画面包括一段路程的全景画面，是一幅连续的全景画面，由于此全景画面包括有未来将要出现在A柱显示屏的画面，因此根据固定时延参数和车辆实时速度信息，从全景画面中截取无延时画面，其中此无延时画面实为未来图像，利用未来图像合成实现的影像画面与实景画面的同步显示，从而解决画面延迟问题。
作为一种实施方式，固定时延参数是综合摄像头采集实景视频流信息、信号的数模转换、传输和显示的耗时之后得出的参数，一般此为固定参数，整个处理过程固定需要一定的时间，再结合车辆实时速度信息，如果车速快，时延长，如果车速慢，时延短。
为了适应不同身高体型的驾驶员与A柱之间视角关系的不同，在本实施例中，计算障碍物与车辆的距离后，利用Warp Transformation图像处理算法，根据各障碍物与车辆的实际距离信息，对画面进行进行修正和拼接；
根据驾驶者眉心定位信息，计算驾驶者观看A柱屏幕的角度及位置，利用warpPerspective方法对画面进行变换，调整影像透视变形及映射范围，对画面进行A柱盲区影像的动态映射。
根据车辆A柱成像区域信息和车辆与障碍物的实际距离信息，结合驾驶者眉心定位信息对实景视频流信息进行三维重建和视角变换，并将A柱显示画面传输至A柱屏幕。
根据驾驶者眉心定位信息，确定不同驾驶者视角下看到的A柱盲区区域信息，从车辆A柱成像区域信息中选取对应的画面，对此画面进行动态透视变换修正后，显示至A柱屏幕，适应性强，融合度高。
作为一种实施方式，获取车辆内部图像信息，所述内部图像信息包括驾驶者眉心定位信息和A柱形状信息；通过所述车辆内部图像信息确定所述第一处理画面中的盲区图像区域信息，将修正后的盲区图像区域信息送至A柱屏幕。
由于A柱屏幕是斜角度安装在A柱上的，考虑到A柱形状的不同和视角的不同，自动相适应地在第一处理画面中确定盲区图像区域信息。为了更好地将采集到的实景画面投放至显示画面上，先获取车辆内部图像信息，所述内部图像信息包括驾驶员位置信息和A柱形状信息，其中驾驶员位置信息包括驾驶员头部眼睛的位置信息，A柱形状信息包括A柱各结构边界的位置信息；通过所述车辆内部图像信息确定所述第一处理画面中的盲区图像区域信息，将修正后的盲区图像区域信息送至A柱屏幕。
需要说明的是，建立一个车内三维坐标系，以驾驶员头部眼睛的位置信息为基准点，以A柱各结构边界的位置信息为中间点，通过两个点确定一条直线，此多条直线组成一个直线集合，利用此直线集合在第一处理画面上的投影，分离出第一处理画面中的盲区图像区域信息，以适应不同身高体型的驾驶员，其眼睛位置不一样，以眼睛作为出发点，以A柱作为视觉范围内的障碍物，直线集合所分离出来的盲区图像区域信息，正是被A柱挡住的地方，精准扼要地将此盲区图像区域信息抽离出来，并在A柱屏幕上显示出来，真正实现A柱透明的效果。
实施例2：
参照图4，本实施例2提供一种应用于实施例1中车辆A柱盲区透视方法的系统，包括图像采集模块、处理模块和显示模块，所述图像采集模块与所述处理模块信号连接，所述处理模块与所述显示模块信号连接；
所述图像采集模块用于获取车辆A柱成像区域的实景视频流信息，此实景视频流信息包括驾驶者被A柱遮挡住的区域，并按采样频率提取第一处理画面；
所述处理模块用于从所述第一处理画面中确定若干个障碍物图像，计算障碍物与车辆的距离和障碍物的大小，输出三维重建画面，进行画面延迟补偿计算，获取驾驶者眉心定位信息，对画面进行A柱盲区影像的动态映射，图像效果增强处理，得到A柱显示画面；在此处理模块中分别完成了图像的测距、时延补偿和动态映射的处理过程；
显示模块用于显示所述A柱显示画面。
作为一种实施方式所述处理模块包括测距单元、时延补偿单元和动态映射单元，所述图像采集模块与所述测距单元信号连接，所述测距单元与所述时延补偿单元信号连接，所述时延补偿单元与所述动态映射单元信号连接，所述动态映射单元与所述显示模块信号连接；
所述测距单元用于在所述第一处理画面中建立第一处理画面坐标系，确定若干个障碍物图像，每个所述障碍物图像包括定位信息，所述定位信息用于标注所述障碍物在所述A柱成像区域内的位置；确定所述障碍物图像与所述车辆在第一处理画面坐标系中基准线的图像距离信息；根据所述图像距离信息确定所述车辆与障碍物的实际距离信息；
所述时延补偿单元用于按拼接频率对实景视频流信息进行画面提取，得到第二处理画面；将提取出来的第二处理画面进行拼接合成，得到全景画面；根据固定时延参数和车辆实时速度信息，从全景画面中截取无延时画面；
所述动态映射单元用于利用Warp Transformation图像处理算法，根据各障碍物与车辆的实际距离信息，对画面进行进行修正和拼接；根据驾驶者眉心定位信息，计算驾驶者观看A柱屏幕的角度及位置，利用warpPerspective方法对画面进行变换，调整影像透视变形及映射范围，对画面进行A柱盲区影像的动态映射。
在本实施例中，车辆A柱盲区透视系统还包括接口模块，所述接口模块用于接收驾驶者眉心定位信息和汽车CAN数据，所述汽车CAN数据包括车辆实时速度信息，还包括其他运行数据，接口模块接收汽车CAN数据后，与处理模块信号连接，将数据用于运算处理。
作为一种实施方式，还包括车内建模模块，车内建模模块用于获取车辆内部图像信息，所述内部图像信息包括驾驶员位置信息和A柱形状信息，通过所述车辆内部图像信息确定所述第一处理画面中的盲区图像区域信息。
实施例3：
本实施例3提供一种应用实施例1中车辆A柱盲区透视方法的车辆，包括左摄像头、右摄像头、左A柱显示屏、右A柱显示屏和控制系统；
所述左摄像头设于车辆左A柱外侧，所述左摄像头用于获取车辆左A柱成像区域的实景视频流信息，所述右摄像头设于车辆右A柱外侧，所述右摄像头用于获取车辆右A柱成像区域的实景视频流信息；
所述左摄像头和右摄像头分别与所述控制系统连接，所述控制系统将所述左摄像头和右摄像头采集到的视频信息处理后分别传输至左A柱显示屏和右A柱显示屏，控制系统的处理过程和步骤参考实施例1中的说明，在此不再展开描述，更具体地，控制系统设置在车辆的中控台架上，接收A柱成像区域的实景视频流信息、汽车CAN数据、驾驶员眉心定位信息等，进行一系列的物体距离确定、图像剪切、矫正等计算后，再将处理后的画面分别传输至左A柱显示屏和右A柱显示屏；
所述左A柱显示屏设于车辆左A柱内侧，所述左A柱显示屏用于显示左A柱盲区显示画面，所述右A柱显示屏设于车辆右A柱内侧，所述右A柱显示屏用于显示右A柱盲区显示画面。
其中，所述左A柱显示屏和右A柱显示屏均为柔性屏幕。
实施例4：
本实施例4提供一种电子设备，包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的实施例1中车辆A柱盲区透视方法。
实施例5：
本实施例5提供一种计算机可读存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现上述实施例1中方法的步骤。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
相对于现有技术，本发明针对摄像头所拍摄的实景视频流信息，提取第一处理画面并针对此第一处理画面确定各个障碍物图像，对每个障碍物图像均加以距离修正，使每个障碍物与车辆之间的实际距离信息更贴近实际，提高显示画面与实景画面之间的融合度。
本发明将实景视频流信息通过截取拼接合成为全景画面，在此全景画面种根据固定时延参数和车辆实时速度信息综合截取出无延时画面，有效降低画面延迟现象，特别是在车速较快时，通过画面延迟补偿的方式，解决画面延迟问题。
本发明结合车辆内部的驾驶者眉心定位信息和A柱形状信息，以适应不同身高体型的驾驶员所能看到的A柱盲区的差别，对影像进行动态透视变换修正，提供良好的视觉体验，与现实环境更自然的融合，真正实现A柱透明的效果。
本发明实现方法简单，硬件成本低，精度高。
最后需要强调的是，本发明不限于上述实施方式，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (17)
1.一种车辆A柱盲区透视方法，其特征在于，包括：
获取车辆A柱成像区域的实景视频流信息，按采样频率提取第一处理画面；
从所述第一处理画面中确定若干个障碍物图像，计算障碍物与车辆的距离和障碍物的大小，输出三维重建画面，进行画面延迟补偿计算，获取驾驶者眉心定位信息，对画面进行A柱盲区影像的动态映射，图像效果增强处理，得到A柱显示画面；
将A柱显示画面传输至A柱屏幕。
2.如权利要求1所述的一种车辆A柱盲区透视方法，其特征在于，在所述第一处理画面中建立第一处理画面坐标系，确定若干个障碍物图像，每个所述障碍物图像包括定位信息，所述定位信息用于标注所述障碍物在所述A柱成像区域内的位置；
确定所述障碍物图像与所述车辆在第一处理画面坐标系中基准线的图像距离信息；
根据所述图像距离信息确定所述车辆与障碍物的实际距离信息。
3.如权利要求2所述的一种车辆A柱盲区透视方法，其特征在于，所述定位信息包括所述障碍物图像在所述第一处理画面坐标系中的像素位置信息，所述像素位置信息包括所述障碍物图像的左下角坐标(x1，y1)、障碍物图像的宽度w和高度h，通过所述x1、y1、w和h确定所述障碍物图像的矩形边界框。
4.如权利要求3所述的一种车辆A柱盲区透视方法，其特征在于，定义图像距离系数R，所述图像距离系数R被配置为用于所述图像距离信息与实际距离信息之间的换算，所述图像距离系数R为通过测量实验确定的车外障碍物到车辆实际距离与第一处理画面中坐标距离之间的常规换算系数。
5.如权利要求4所述的一种车辆A柱盲区透视方法，其特征在于，根据所述障碍物图像的矩形边界框确定所述障碍物近端距离信息a，所述实际距离信息包括车辆在车身前进方向上与障碍物的垂直绝对距离A，所述垂直绝对距离A＝a*R。
6.如权利要求5所述的一种车辆A柱盲区透视方法，其特征在于，所述采样频率为每秒3帧的采样频率。
7.如权利要求6所述的一种车辆A柱盲区透视方法，其特征在于，当所述若干个障碍物图像的矩形边界框之间存在重叠区域时，选取所述障碍物近端距离信息a最小的矩形边界框作为换算对象。
8.如权利要求1至7任一项所述的一种车辆A柱盲区透视方法，其特征在于，
按拼接频率对实景视频流信息进行画面提取，得到第二处理画面；
将提取出来的第二处理画面进行拼接合成，得到全景画面；
根据固定时延参数和车辆实时速度信息，从全景画面中截取无延时画面。
9.如权利要求8所述的一种车辆A柱盲区透视方法，其特征在于，综合摄像头采集实景视频流信息、信号的数模转换、传输和显示的耗时，确定所述固定时延参数。
10.如权利要求9所述的一种车辆A柱盲区透视方法，其特征在于，计算障碍物与车辆的距离后，利用Warp Transformation图像处理算法，根据各障碍物与车辆的实际距离信息，对画面进行进行修正和拼接；
根据驾驶者眉心定位信息，计算驾驶者观看A柱屏幕的角度及位置，利用warpPerspective方法对画面进行变换，调整影像透视变形及映射范围，对画面进行A柱盲区影像的动态映射。
11.如权利要求10所述的一种车辆A柱盲区透视方法，其特征在于，根据车辆A柱成像区域信息和车辆与障碍物的实际距离信息，结合驾驶者眉心定位信息对实景视频流信息进行三维重建和视角变换，并将A柱显示画面传输至A柱屏幕。
12.如权利要求11所述的一种车辆A柱盲区透视方法，其特征在于，获取车辆内部图像信息，所述内部图像信息包括驾驶者眉心定位信息和A柱形状信息；通过所述车辆内部图像信息确定所述第一处理画面中的盲区图像区域信息，将修正后的盲区图像区域信息送至A柱屏幕。
13.一种应用于如权利要求1至12任一项所述的车辆A柱盲区透视方法的系统，其特征在于，包括图像采集模块、处理模块和显示模块，所述图像采集模块与所述处理模块信号连接，所述处理模块与所述显示模块信号连接；
所述图像采集模块用于获取车辆A柱成像区域的实景视频流信息，并按采样频率提取第一处理画面；
所述处理模块用于从所述第一处理画面中确定若干个障碍物图像，计算障碍物与车辆的距离和障碍物的大小，输出三维重建画面，进行画面延迟补偿计算，获取驾驶者眉心定位信息，对画面进行A柱盲区影像的动态映射，图像效果增强处理，得到A柱显示画面；
显示模块用于显示所述A柱显示画面。
14.如权利要求13所述的一种车辆A柱盲区透视系统，其特征在于，所述处理模块包括测距单元、时延补偿单元和动态映射单元，所述图像采集模块与所述测距单元信号连接，所述测距单元与所述时延补偿单元信号连接，所述时延补偿单元与所述动态映射单元信号连接，所述动态映射单元与所述显示模块信号连接；
所述测距单元用于确定所述车辆与障碍物的实际距离信息；
所述时延补偿单元用于从全景画面中截取无延时画面；
所述动态映射单元用于根据驾驶者眉心定位信息，对画面进行A柱盲区影像的动态映射。
15.如权利要求14所述的一种车辆A柱盲区透视系统，其特征在于，还包括接口模块，所述接口模块用于接收驾驶者眉心定位信息和汽车CAN数据，所述汽车CAN数据包括车辆实时速度信息。
16.一种应用如权利要求1至12任一项所述的车辆A柱盲区透视方法的车辆，其特征在于，包括左摄像头、右摄像头、左A柱显示屏、右A柱显示屏和控制系统，所述左摄像头设于车辆左A柱外侧，所述左摄像头用于获取车辆左A柱成像区域的实景视频流信息，所述右摄像头设于车辆右A柱外侧，所述右摄像头用于获取车辆右A柱成像区域的实景视频流信息，所述左摄像头和右摄像头分别与所述控制系统连接，所述控制系统将所述左摄像头和右摄像头采集到的视频信息处理后分别传输至左A柱显示屏和右A柱显示屏，所述左A柱显示屏设于车辆左A柱内侧，所述左A柱显示屏用于显示左A柱盲区显示画面，所述右A柱显示屏设于车辆右A柱内侧，所述右A柱显示屏用于显示右A柱盲区显示画面。
17.如权利要求16所述的一种车辆，其特征在于，所述左A柱显示屏和右A柱显示屏均为柔性屏幕。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110108643.8A CN112896045A (zh) | 2021-01-26 | 2021-01-26 | 一种车辆a柱盲区透视方法、系统及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110108643.8A CN112896045A (zh) | 2021-01-26 | 2021-01-26 | 一种车辆a柱盲区透视方法、系统及车辆 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112896045A true CN112896045A (zh) | 2021-06-04 |
Family
ID=76120520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110108643.8A Pending CN112896045A (zh) | 2021-01-26 | 2021-01-26 | 一种车辆a柱盲区透视方法、系统及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112896045A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113829997A (zh) * | 2021-11-16 | 2021-12-24 | 合众新能源汽车有限公司 | 车外影像的显示方法及装置、曲面屏及车辆 |
| DE102021118730A1 (de) | 2021-07-20 | 2023-01-26 | Bayerische Motoren Werke Aktiengesellschaft | Monitorsystem für ein Fahrzeug |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008250453A (ja) * | 2007-03-29 | 2008-10-16 | Aisin Aw Co Ltd | 運転支援装置および運転支援方法 |
| CN108596058A (zh) * | 2018-04-11 | 2018-09-28 | 西安电子科技大学 | 基于计算机视觉的行车障碍物测距方法 |
| CN109489620A (zh) * | 2019-01-12 | 2019-03-19 | 内蒙古农业大学 | 一种单目视觉测距方法 |
| CN111179300A (zh) * | 2019-12-16 | 2020-05-19 | 新奇点企业管理集团有限公司 | 障碍物检测的方法、装置、系统、设备以及存储介质 |
| CN111277796A (zh) * | 2020-01-21 | 2020-06-12 | 深圳市德赛微电子技术有限公司 | 图像处理方法、车载视觉辅助系统及存储设备 |
| CN111731187A (zh) * | 2020-06-19 | 2020-10-02 | 杭州视为科技有限公司 | 一种汽车a柱盲区图像显示系统及方法 |
| CN111739101A (zh) * | 2020-05-12 | 2020-10-02 | 太原科技大学 | 一种消除车辆a柱盲区的装置和方法 |
| CN112183241A (zh) * | 2020-09-11 | 2021-01-05 | 北京罗克维尔斯科技有限公司 | 基于单目图像的目标检测方法和装置 |
-
2021
- 2021-01-26 CN CN202110108643.8A patent/CN112896045A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008250453A (ja) * | 2007-03-29 | 2008-10-16 | Aisin Aw Co Ltd | 運転支援装置および運転支援方法 |
| CN108596058A (zh) * | 2018-04-11 | 2018-09-28 | 西安电子科技大学 | 基于计算机视觉的行车障碍物测距方法 |
| CN109489620A (zh) * | 2019-01-12 | 2019-03-19 | 内蒙古农业大学 | 一种单目视觉测距方法 |
| CN111179300A (zh) * | 2019-12-16 | 2020-05-19 | 新奇点企业管理集团有限公司 | 障碍物检测的方法、装置、系统、设备以及存储介质 |
| CN111277796A (zh) * | 2020-01-21 | 2020-06-12 | 深圳市德赛微电子技术有限公司 | 图像处理方法、车载视觉辅助系统及存储设备 |
| CN111739101A (zh) * | 2020-05-12 | 2020-10-02 | 太原科技大学 | 一种消除车辆a柱盲区的装置和方法 |
| CN111731187A (zh) * | 2020-06-19 | 2020-10-02 | 杭州视为科技有限公司 | 一种汽车a柱盲区图像显示系统及方法 |
| CN112183241A (zh) * | 2020-09-11 | 2021-01-05 | 北京罗克维尔斯科技有限公司 | 基于单目图像的目标检测方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102021118730A1 (de) | 2021-07-20 | 2023-01-26 | Bayerische Motoren Werke Aktiengesellschaft | Monitorsystem für ein Fahrzeug |
| CN113829997A (zh) * | 2021-11-16 | 2021-12-24 | 合众新能源汽车有限公司 | 车外影像的显示方法及装置、曲面屏及车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108263283B (zh) | 多编组变角度车辆全景环视系统标定及拼接方法 | |
| US10282915B1 (en) | Superimposition device of virtual guiding indication and reality image and the superimposition method thereof | |
| JP3286306B2 (ja) | 画像生成装置、画像生成方法 | |
| CN111800589B (zh) | 图像处理方法、装置和系统，以及机器人 | |
| JP2007124609A (ja) | 車両周囲映像提供装置 | |
| US20180184077A1 (en) | Image processing apparatus, method, and storage medium | |
| CN112896045A (zh) | 一种车辆a柱盲区透视方法、系统及车辆 | |
| CN112419385A (zh) | 一种3d深度信息估计方法、装置及计算机设备 | |
| US11275248B2 (en) | Head mounted display apparatus, virtual reality display system and driving method thereof | |
| KR102438078B1 (ko) | 어라운드뷰 제공 장치 및 방법 | |
| US11140364B2 (en) | Sensor fusion based perceptually enhanced surround view | |
| US10410372B1 (en) | Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration | |
| KR101705558B1 (ko) | Avm 시스템의 공차 보정 장치 및 방법 | |
| CN111145362A (zh) | 一种机载综合视景系统虚实融合显示方法及系统 | |
| US11227366B2 (en) | Heads up display (HUD) content control system and methodologies | |
| WO2021258251A1 (zh) | 用于可移动平台的测绘方法、可移动平台和存储介质 | |
| US10992916B2 (en) | Depth data adjustment based on non-visual pose data | |
| CN113496503A (zh) | 点云数据的生成及实时显示方法、装置、设备及介质 | |
| JP4857159B2 (ja) | 車両運転支援装置 | |
| KR101841750B1 (ko) | 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법 | |
| CN115493614B (zh) | 航迹线的显示方法、装置、存储介质及电子设备 | |
| JP2018077713A (ja) | 区画線検出システム | |
| US10339702B2 (en) | Method for improving occluded edge quality in augmented reality based on depth camera | |
| US11983838B2 (en) | Circuit apparatus, display system, and image processing method | |
| JP2009077022A (ja) | 運転支援システム及び車両 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |