CN113516590B - 一种基于电子外后镜的图像合成方法及存储介质 - Google Patents

Abstract

本发明涉及图像处理技术领域，提供一种基于电子外后镜的图像合成方法及存储介质，本发明实施例通过在车身上安装嵌入式的侧摄像头(前侧摄像头、后侧摄像头)，使得车身两侧无突出结构，从而有效降低风阻，提高车辆提速上限；从前侧摄像头、后侧摄像头中获取第一图像、第二图像，并经过融合重叠区域、裁剪拼接图像后得到目标图像，不仅可提高成像清晰度还可向用户提供等同于外摄像头的视野图像。即本发明不仅满足了用户视觉范围要求，同时不再需要将摄像头伸出车身，从而大大提高车辆对于路段的兼容性(例如兼容较为狭窄的路段)。

Description

一种基于电子外后镜的图像合成方法及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于电子外后镜的图像合成方法及存储介质。

背景技术

汽车后视镜反映汽车后方、侧方和下方的情况，使驾驶者可以间接看清楚这些位置的情况，它起着“第二只眼睛”的作用，扩大了驾驶者的视野范围。一般轿车都具备3个后视镜，车主每天驾车看它们几乎不下百个来回，但有一些与之相关的问题却常被人们忽略，比如后视镜如何调整才能达到最佳程度、如何处理后视镜的盲点问题以及后视镜反射率对各种光线情况下的影响等。这些问题催生出使用更为便利的电子外后视镜。

现有的电子外后视镜通过摄像和显示屏来实现视野获取，由摄像头取代物理镜，但依旧存在一个伸出车身的外摄像头。外摄像头的伸出部分将影响车辆的风阻，且在狭窄处通行时容易磕碰，即容易受到外界刮碰。

因此，现有技术有待进一步改进。

发明内容

本发明提供一种基于电子外后镜的图像合成方法及存储介质，解决了现有的电子外后视镜依赖于外摄像头进行车外图像获取，但外摄像头的伸出将影响风阻从而限制车辆的提速，同时在狭窄路段通行时还存在刮碰的隐患的技术问题。

为解决以上技术问题，本发明提供一种基于电子外后镜的图像合成方法，包括步骤：

S1、分别从前侧摄像头、后侧摄像头中获取第一图像、第二图像；

S2、根据预设算法确定所述第一图像与所述第二图像的重叠区域；

S3、对所述重叠区域进行融合拼接，得到拼接图像；

S4、根据外后视镜视线标准裁剪所述拼接图像，得到目标图像并显示。

本基础方案通过在车身上安装嵌入式的侧摄像头(前侧摄像头、后侧摄像头)，使得车身两侧无突出结构，从而有效降低风阻，提高车辆提速上限；从前侧摄像头、后侧摄像头中获取第一图像、第二图像，并经过融合重叠区域、裁剪拼接图像后得到目标图像，不仅可提高成像清晰度还可向用户提供等同于外摄像头的视野图像。即本方案不仅满足了用户视觉范围要求，同时不再需要将摄像头伸出车身，从而大大提高车辆对于路段的兼容性(例如兼容较为狭窄的路段)。

在进一步的实施方案中，在所述步骤S1之前还包括步骤：S0、根据安装要求，将所述前侧摄像头、所述后侧摄像头安装在预设的安装位；

其中，所述安装要求为：所述前侧摄像头的垂直视角控制在天空占比1/3，且其全视角可覆盖到本车后轮；所述后侧摄像头的垂直视角控制在天空占比1/3，且其全视角可覆盖到本车前轮。

本方案设置嵌入式的前侧摄像头、后侧摄像头，通过视野交叉实现向外伸出摄像头才能够达到的对侧方位图像全覆盖，从而可提高车身的流线性，并降低其与外物碰撞的几率。

在进一步的实施方案中，所述步骤S2包括：

S21、依次对所述第一图像、所述第二图像进行二值化处理和中值滤波处理，得到第一处理图像、第二处理图像；

S22、根据预设步长分别从所述第一处理图像、所述第二处理图像中等间距地选定N列目标像素，计算每一列目标像素中的目标像素点个数并分别存储为第一数组、第二数组；

S23、比对所述第一数组、所述第二数组，根据预设算法确定相似度最高的像素区域作为重叠区域。

本方案在获取到第一图像、第二图像后，为配合重叠图像的确定，提前进行图像处理(二值化处理和中值滤波处理)得到第一处理图像、第二处理图像；随后，根据预设步长从分别从所述第一处理图像、所述第二处理图像中等间距地选定N列目标像素，并计算得到第一数组、第二数组，通过对比第一数组、第二数组即可快速确定重叠区域，设计预设步长作为采样依据，可有效降低图像对比难度并减少计算量，从而提高图像合成效率。

在进一步的实施方案中，所述步骤S23包括：

S231、根据预设区域宽度，分别从所述第一数组、所述第二数组中获取多个递进的第一规划数组和第二规划数组；

S232、计算任一所述第二规划数组与任意所述第一规划数组的方差，从中选取数值最小的所述第二规划数组作为目标数组；

S233、获取所述目标数组的首个元素作为目标元素；

S234、根据所述目标元素对应的像素列作为重叠区域的一侧重叠边界确定重叠区域。

本方案自主设计了根据预设区域宽度对第一数组、第二数组进行逐段截取的比对方案，从而细致到重叠区域范围内每一像素点的识别判断，通过计算第二规划数组与第一规划数组之间的方差，以将两个数组对应的区域的差异性数据化，从而可更精准的定位重叠区域。

在进一步的实施方案中，在所述步骤S234中，所述重叠区域的表示格式为{(起始坐标)，重叠区域宽度，重叠区域高度}，则：

在所述第一图像中，所述重叠区域为{(0,0)，w2-j*K，h1)}；

在所述第二图像中，所述重叠区域为{(j*K,0)，w2-j*K，h2)}；

其中，h1表示所述第一图像的像素高度，h2表示第二图像的像素高度，w2表示第二图像的像素宽度，j表示所述目标元素在第二图像所对应的第j列像素，K表示预设步长。

在进一步的实施方案中，所述步骤S3具体为，根据融合公式计算所述重叠区域中每一像素点的目标像素值，根据目标像素值拼合所述重叠区域得到拼接图像；所述融合公式如下：

其中，P为像素点的所述目标像素值，P1为所述像素点在所述第一图像中的像素值，P2为所述像素点在所述第二图像中的像素值，θ为所述重叠区域顶角的角度，α为过像素点、所述重叠区域顶点的直线与所述重叠边界的夹角。

在进一步的实施方案中，所述步骤S4包括：

S41、根据物理外后视镜的法规要求的视线范围，对所述拼接图像进行标定，得到标定区域；

S42、以本车原后视镜的安装位置为起点，裁剪所述标定区域中的拼接图像，得到目标图像并在显示屏显示。

本方案以法规要求物理外后视镜的视线范围作为电子外后镜的标准，对拼接图像进行标定划分出对应于后视镜视野的角度的标定区域，可满足汽车后视镜的行业标准与特性，给予用户安全的使用体验。

在进一步的实施方案中，所述第一图像与所述第二图像的图像分辨率相同。

本方案采用相同分辨率的前侧摄像头、后侧摄像头，获取分辨率相同的第一图像与第二图像进行图像识别、拼接，可降低图像处理难度，提高图像合成效率。

本发明还提供一种存储介质，其上存储有计算机程序，所述计算机程序用于实现上述一种基于电子外后镜的图像合成方法。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)或者随机存取器(Random Access Memory，RAM)等。

附图说明

图1是本发明实施例1提供的一种基于电子外后镜的图像合成方法的工作流程图；

图2是本发明实施例1提供的前侧摄像头视野要求示意图；

图3是本发明实施例1提供的前侧摄像头的安装示意图；

图4是本发明实施例1提供的后侧摄像头视野要求示意图；

图5是本发明实施例1提供的后侧摄像头的安装示意图；

图6是本发明实施例1提供的重叠区域的确定及拼接图像的标定示意图；

图7是本发明实施例1提供的拼接图像的裁剪示意图。

其中：Q1-前侧摄像头、Q2-后侧摄像头、S-重叠区域、T-拼接图像。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

实施例1

本发明实施例提供的一种基于电子外后镜的图像合成方法，如图1所示，在本实施例中，包括步骤S0～S4：

S0、根据安装要求，将前侧摄像头Q1、后侧摄像头Q2安装在预设的安装位；即每一车辆配备两组“前侧摄像头Q1+后侧摄像头Q2”分设在车辆两侧，例如前、后车门的把手处。

其中，参见图2～图5，安装要求为：前侧摄像头Q1的垂直视角控制在天空占比1/3，且其全视角可覆盖到本车后轮；后侧摄像头Q2的垂直视角控制在天空占比1/3，且其全视角可覆盖到本车前轮。

在本实施例中，根据以上安装要求计算得到：

当前侧摄像头Q1安装在前车门的把手处(距地面1米、与后车轮中心的水平距离为1.2米)，前侧摄像头Q1的垂直视角为46.1°，再根据16：9的显示要求，摄像头的水平总视角为82°。

当前侧摄像头Q1安装在前车门的把手处(距地面1.1米、与前车轮中心的水平距离为2.4米)，后侧摄像头Q2的垂直视角为30.9°，根据16：9的显示要求，摄像头的水平总视角为55°。

本实施例设置嵌入式的前侧摄像头Q1、后侧摄像头Q2，通过视野交叉实现向外伸出摄像头才能够达到的对侧方位图像全覆盖，从而可提高车身的流线性，并降低其与外物碰撞的几率。

S1、分别从前侧摄像头Q1、后侧摄像头Q2中获取第一图像、第二图像；

在本实施例中，前侧摄像头Q1、后侧摄像头Q2获取到的第一图像与第二图像的图像分辨率相同。

本实施例采用相同分辨率的前侧摄像头Q1、后侧摄像头Q2，获取分辨率相同的第一图像与第二图像进行图像识别、拼接，可降低图像处理难度，提高图像合成效率。

S2、根据预设算法确定第一图像与第二图像的重叠区域S，参见图6，包括：

S21、依次对第一图像、第二图像进行二值化处理和中值滤波处理，得到第一处理图像、第二处理图像；

S22、根据预设步长分别从第一处理图像、第二处理图像中等间距地选定N列目标像素，计算每一列目标像素中的目标像素点个数并分别存储为第一数组E、第二数组F；

例如：如果第一处理图像的像素宽度w1是1080列，像素高度h1是720行，则预设步长K＝[w1/N]＝[1080/20]＝54，根据54优选预设步长为50，即表示每隔50列取一列像素，分别是第0列、第49列、第99列……第999列，共取20列像素。

在本实施例中，目标像素点为像素亮度值为0的像素点，则第一数组E中每列中目标像素点的像素点个数为ei(i＝0,1,2…N-1)，第二数组F中每列中目标像素点的像素点个数为fj(j＝0,1,2…N-1)。

S23、比对第一数组E、第二数组F，根据预设算法确定相似度最高的像素区域作为重叠区域S，包括：

S231、根据预设区域宽度，分别从第一数组E、第二数组F中获取多个递进的第一规划数组E(p)(p＝0,1,2…n-1)和第二规划数组F(p)(p＝0,1,2…n-1)；

在本实施例中，预设区域宽度可根据实际的图像比进行设置，优选的数量n＝[N/2]，其中[]表示取整，当N为20时，则n＝10。

因此可得：

E(0)＝{e0,e1…e9}，E(1)＝{e1,e2…e10}，E(2)＝{e2,e3…e11}，……E(10)＝{e10,e1…e19}；

F(0)＝{f0,f1…f9}，F(1)＝{f1,f2…f10}，F(2)＝{f2,f3…f11}，……F(10)＝{f10,f1…f19}。

S232、计算任一第二规划数组F(p)与任意第一规划数组E(p)的方差，从中选取方差数值最小的第二规划数组F(j)作为目标数组；

S233、获取目标数组的首个元素fj作为目标元素fj；

S234、根据目标元素fj对应的像素列作为重叠区域S的一侧重叠边界确定重叠区域S。

具体的，重叠区域S的表示格式为{(起始坐标)，重叠区域S宽度，重叠区域S高度}，则：

在第一图像中，重叠区域S为{(0,0)，w2-j*K，h1)}；

在第二图像中，重叠区域S为{(j*K,0)，w2-j*K，h2)}；

其中，h1表示第一图像的像素高度，h2表示第二图像的像素高度，w2表示第二图像的像素宽度，j表示目标元素在第二图像所对应的第j列像素，K表示预设步长。

最终确定的重叠区域S如图6中三角形MAB所示，其中A点、B点分别为前侧摄像头Q1、后侧摄像头Q2的安装位在图像中的位置，M为前侧摄像头Q1、后侧摄像头Q2的视野交叉点。

本实施例自主设计了根据预设区域宽度对第一数组E、第二数组F进行逐段截取的比对方案，从而细致到重叠区域S范围内每一像素点的识别判断，通过计算第二规划数组F(k)与第一规划数组E(k)之间的方差，以将两个数组对应的区域的差异性数据化，从而可更精准的定位重叠区域S。

本实施例在获取到第一图像、第二图像后，为配合重叠图像的确定，提前进行图像处理(二值化处理和中值滤波处理)得到第一处理图像、第二处理图像；随后，根据预设步长从分别从第一处理图像、第二处理图像中等间距地选定N列目标像素，并计算得到第一数组E、第二数组F，通过对比第一数组E、第二数组F即可快速确定重叠区域S，设计预设步长作为采样依据，可有效降低图像对比难度并减少计算量，从而提高图像合成效率。

S3、对重叠区域S进行融合拼接，得到拼接图像T，具体为，根据融合公式计算重叠区域S中每一像素点的目标像素值，根据目标像素值拼合重叠区域S得到拼接图像T；融合公式如下：

其中，P为像素点的目标像素值，P1为像素点在第一图像中的像素值，P2为像素点在第二图像中的像素值，θ为重叠区域S顶角(即线段MA与线段MB的夹角)的角度，α为过像素点、重叠区域S顶点的直线与重叠边界的夹角(即像素点P与M的连线MP与融合边界MA的夹角)。

S4、根据外后视镜视线标准裁剪拼接图像T，得到目标图像并显示，参见图6、图7，包括：

S41、根据物理外后视镜的法规要求的视线范围，对拼接图像T进行标定，得到标定区域；

在本实施例中的外后视镜的标定中，选择在地面上以车身边缘为边界且平行于车身径向、无限长(实际为有限长)、宽度为0.75m/4m的两道划线作为标定依据。因此，在拼接图像T中的标定为，标定出与原后视镜的安装位置C相距4m(在世界坐标中的实际距离)且向外侧延伸长度为0.75m的线L1、与原后视镜的安装位置C相距20m且向外侧延伸长度为4m的线L2及其所占像素。

S42、以本车原后视镜的安装位置C为起点，裁剪标定区域中的拼接图像T，得到目标图像并在显示屏显示。

具体的，以过安装位置C且平行车身轴向的直线为起始线，以L1、L2的连线为外边界，裁剪标定区域中的拼接图像T，得到目标图像并输出到显示屏中进行显示。

本实施例以法规要求物理外后视镜的视线范围作为电子外后镜的标准，对拼接图像T进行标定划分出对应于后视镜视野的角度的标定区域，可满足汽车后视镜的行业标准与特性，给予用户安全的使用体验。

本发明实施例通过在车身上安装嵌入式的侧摄像头(前侧摄像头Q1、后侧摄像头Q2)，使得车身两侧无突出结构，从而有效降低风阻，提高车辆提速上限；从前侧摄像头Q1、后侧摄像头Q2中获取第一图像、第二图像，并经过融合重叠区域S、裁剪拼接图像T后得到目标图像，不仅可提高成像清晰度还可向用户提供等同于外摄像头的视野图像。即本实施例不仅满足了用户视觉范围要求，同时不再需要将摄像头伸出车身，从而大大提高车辆对于路段的兼容性(例如兼容较为狭窄的路段)。

实施例2

本发明实施例还提供一种存储介质，其上存储有计算机程序，计算机程序用于实现上述实施例1提供的一种基于电子外后镜的图像合成方法。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)或者随机存取器(Random Access Memory，RAM)等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于电子外后镜的图像合成方法，其特征在于，包括步骤：

S1、分别从前侧摄像头、后侧摄像头中获取第一图像、第二图像；

S2、根据预设算法确定所述第一图像与所述第二图像的重叠区域；

S3、对所述重叠区域进行融合拼接，得到拼接图像；

S4、根据外后视镜视线标准裁剪所述拼接图像，得到目标图像并显示；

所述步骤S2包括：

S21、依次对所述第一图像、所述第二图像进行二值化处理和中值滤波处理，得到第一处理图像、第二处理图像；

S22、根据预设步长分别从所述第一处理图像、所述第二处理图像中等间距地选定N列目标像素，计算每一列目标像素中的目标像素点个数并分别存储为第一数组、第二数组；

S23、比对所述第一数组、所述第二数组，根据预设算法确定相似度最高的像素区域作为重叠区域；

所述步骤S23包括：

S231、根据预设区域宽度，分别从所述第一数组、所述第二数组中获取多个递进的第一规划数组和第二规划数组；

S232、计算任一所述第二规划数组与任意所述第一规划数组的方差，从中选取数值最小的所述第二规划数组作为目标数组；

S233、获取所述目标数组的首个元素作为目标元素；

S234、根据所述目标元素对应的像素列作为重叠区域的一侧重叠边界确定重叠区域。

2.如权利要求1所述的一种基于电子外后镜的图像合成方法，其特征在于，在所述步骤S1之前还包括步骤：S0、根据安装要求，将所述前侧摄像头、所述后侧摄像头安装在预设的安装位；

其中，所述安装要求为：所述前侧摄像头的垂直视角控制在天空占比1/3，且其全视角可覆盖到本车后轮；所述后侧摄像头的垂直视角控制在天空占比1/3，且其全视角可覆盖到本车前轮。

3.如权利要求1所述的一种基于电子外后镜的图像合成方法，其特征在于，在所述步骤S234中，所述重叠区域的表示格式为{(起始坐标)，重叠区域宽度，重叠区域高度}，则：

在所述第一图像中，所述重叠区域为{(0,0)，w2-j*K，h1)}；

在所述第二图像中，所述重叠区域为{(j*K,0)，w2-j*K，h2)}；

其中，h1表示所述第一图像的像素高度，h2表示第二图像的像素高度，w2表示第二图像的像素宽度，j表示所述目标元素在第二图像所对应的第j列像素，K表示预设步长。

4.如权利要求3所述的一种基于电子外后镜的图像合成方法，其特征在于，所述步骤S3具体为，根据融合公式计算所述重叠区域中每一像素点的目标像素值，根据目标像素值拼合所述重叠区域得到拼接图像；所述融合公式如下：

其中，P为像素点的所述目标像素值，P1为所述像素点在所述第一图像中的像素值，P2为所述像素点在所述第二图像中的像素值，θ为所述重叠区域顶角的角度，α为过像素点、所述重叠区域顶点的直线与所述重叠边界的夹角。

5.如权利要求1所述的一种基于电子外后镜的图像合成方法，其特征在于，所述步骤S4包括：

S41、根据物理外后视镜的法规要求的视线范围，对所述拼接图像进行标定，得到标定区域；

S42、以本车原后视镜的安装位置为起点，裁剪所述标定区域中的拼接图像，得到目标图像并在显示屏显示。

6.如权利要求1～5任一项所述的一种基于电子外后镜的图像合成方法，其特征在于：所述第一图像与所述第二图像的图像分辨率相同。

7.一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序用于实现权利要求1-6所述的一种基于电子外后镜的图像合成方法。