CN103366339B - 车载多广角摄像头图像合成处理装置及方法 - Google Patents

Abstract

本发明提供一种车载多广角摄像头图像合成处理装置及其方法，该处理装置包括：影像获取单元，获取四路影像；影像编排单元，用于将四路影像进行缩放及顺序设定；图像变形处理单元，用于对四路影像中的每一路影像进行图像变形处理，获得四路变形图像；图像分层单元，用于将四路变形图像分配至不同的显示图层以形成四个图像显示层；图像剪切及拼接单元，用于将四个图像显示层进行叠加，通过计算对叠加后的图像进行裁剪及拼接，获得车载全景监控视频图像并将其予以显示。相对于现有技术，本发明获得的车载全景监控视频图像中没有各个摄像头所摄的图像间领域范围的境界线，也没有广角鱼眼摄像头所摄图像的圆弧状特征，提高了成像效果及用户体验。

Description

车载多广角摄像头图像合成处理装置及方法

技术领域

本发明涉及图像处理技术，特别是涉及一种车载多广角摄像头图像合成处理装置及方法。

背景技术

汽车已成为现代社会一种主要的交通运输工具，人们对行车的安全性与舒适性提出了更高的要求。汽车后视镜的发明最初设想就是方便查看汽车两侧及后面的状况，防止在倒车过程中与外界发生碰撞，提高自身的行车及第三者在车外的安全，延长汽车的使用寿命。但事实上，只凭后视镜所提供的驾驶视野及信息，难以满足驾驶者对于行车安全的需求，尤其在倒车的时候，车辆的后方存在很大的盲区。

倒车雷达是目前汽车采用较多的一种辅助驾驶方法，由安装于车辆后保险杠上的传感器来探测车辆尾部物体，并通过不同节奏的音频来提醒驾驶者车辆后面的状况，其原理是依靠回音探测距离并通过不同频率的声音进行提示。但，单凭声音提示没有视觉来得直观，对声音的判断也会存在误差。

在汽车尾部安装单一摄像头的视频倒车系统让倒车时车后的状况更加直观可视，当挂倒车挡时，该系统会自动接通位于车尾的摄像头，将车后状况清晰地显示在驾驶员前的液晶显示屏上。视频倒车系统比起倒车雷达更加直观、实用。汽车尾部单一摄像头的视频倒车系统对汽车周围的其它区域存在盲区，如车身侧面、前保险杠以及转弯时的死角等，需要进一步发展其视频处理系统。

近年来，360度全景式监控影像系统(Around View Monitor)技术的研究和开发得到了迅速的发展，全景式监控影像系统集成了多项技术，通过安装在车辆车身四周（前端、两侧和尾部）的四个大广角高分辨率摄像头，合成车身及其周边的鸟瞰图。旨在使驾驶者更全面的了解车身周边环境，避免目视的死角，杜绝了视觉盲区，提高驾驶的安全性及稳定性。

目前市场上360度全景式监控影像系统，在图像合成上存在着计算量大、视频质量差、图像拼接效果不佳等问题。

发明内容

本发明的目的在于提供一种车载多广角摄像头图像合成处理装置及方法，用于解决现有技术中图像合成后的全景图像中存在的图像缺陷。

为解决上述问题及其他问题，本发明提供一种车载多广角摄像头图像合成处理装置，包括：影像获取单元，用于获取相对于车身的四个方位上对应的四路影像；影像编排单元，用于将所述影像获取单元获取的四路影像进行缩放及顺序设定，使得四路影像根据设定的顺序同时输出四路影像的视频流；图像变形处理单元，用于对四路影像中的每一路影像进行图像变形处理，从而获得四路变形图像；图像分层单元，用于将所述图像变形处理单元变形处理后的四路变形图像分配至不同的显示图层以形成四个图像显示层；图像剪切及拼接单元，用于将图像分层单元分层的四个图像显示层进行叠加，并通过计算对叠加后的图像进行裁剪及拼接，以获得车载全景监控视频图像并将其显示于一显示单元上。

可选地，所述影像编排单元将所述影像获取单元获取的四路影像进行缩放及顺序设定包括：分别将四路影像进行缩放，使得缩放后的任一路影像占据所述显示单元的四分之一大小；分别为四路影像设定顺序，使得四路影像中的每一帧图像根据设定的顺序组合以作为一输出影像的一帧输出图像。

可选地，分别将四路影像进行缩放，使得缩放后的任一路影像占据所述显示单元的四分之一大小，包括：分别将四路影像的图像像素长宽比调整为与所述显示单元的屏幕参数相适配；分别将所述适配后的四路影像进行缩放至原先显示尺寸的四分之一大小。

可选地，所述图像变形处理单元对四路影像中的每一路影像进行图像变形处理，获得四路变形图像，包括：将每一路影像进行鱼眼畸变校正，并对校正后的图像视角用虚拟视角技术进行调整；将调整视角后的图像进行形变矫正，获得变形图像。

可选地，将调整视角后的图像进行形变矫正，获得变形图像，包括：针对任一路影像，将该路影像中的每一帧图像分割为多个矩形网格图像；对每一帧图像中分割的多个矩形网格图像依序进行坐标变换，从而将每一帧图像按照画面形变需求由矩形变形为不规则多边形。

可选地，所述图像变形处理单元对每一帧图像中分割的多个矩形网格图像依序进行坐标变换中，针对每一个矩形网格图像的坐标变换包括：针对每一个矩形网格图像，将所述矩形网格图像分割为两个初始三角形；依序对两个所述原始三角形进行坐标变换，使得两个所述原始三角形在目标区域内分别变形为对应的两个变形三角形，从而完成一个矩形网格图像的坐标变换。

可选地，针对每一个矩形网格图像的坐标变换包括如下任一种方式：方式一：将所述矩形图形网格中的其中一个初始三角形中的某一个顶点作为始发顶点，从所述始发顶点出发，逆时针顺序标记所述初始三角形的三个顶点的初始坐标，然后，再由所述始发顶点出发，逆时针顺序标记另一个初始三角形的三个顶点的初始坐标；将第一个初始三角形在目标区域内重新指定变形后的第一个变形三角形的三个顶点的目的坐标，将第二个初始三角形在目标区域内重新指定变形后的第二个变形三角形的三个顶点的目的坐标；方式二：将所述矩形图形网格中的其中一个初始三角形中的某一个顶点作为始发顶点，从所述始发顶点出发，逆时针顺序标记所述初始三角形的三个顶点的初始坐标，将第一个初始三角形在目标区域内重新指定变形后的第一个变形三角形的三个顶点的目的坐标；由所述始发顶点出发，逆时针顺序标记另一个初始三角形的三个顶点的初始坐标，将第二个初始三角形在目标区域内重新指定变形后的第二个变形三角形的三个顶点的目的坐标。

本发明在另一方面还提供一种车载多广角摄像头图像合成处理方法，包括：获取相对于车身的四个方位上对应的四路影像；将获取的四路影像进行缩放及顺序设定，使得四路影像根据设定的顺序同时输出四路影像的视频流；对四路影像中的每一路影像进行图像变形处理，从而获得四路变形图像；将变形处理后的四路变形图像分配至不同的显示图层以形成四个图像显示层；将分层的四个图像显示层进行叠加，并通过计算对叠加后的图像进行裁剪及拼接，以获得车载全景监控视频图像并将其予以显示。

可选地，将获取的四路影像进行缩放及顺序设定包括：分别将四路影像进行缩放，使得缩放后的任一路影像占据所述显示单元的四分之一大小；分别为四路影像设定顺序，使得四路影像中的每一帧图像根据设定的顺序组合以作为一输出影像的一帧输出图像。

可选地，分别将四路影像进行缩放，使得缩放后的任一路影像占据所述显示单元的四分之一大小，包括：分别将四路影像的图像像素长宽比调整为与所述显示单元的屏幕参数相适配；分别将所述适配后的四路影像进行缩放至原先显示尺寸的四分之一大小。

可选地，所述图像变形处理单元对四路影像中的每一路影像进行图像变形处理，获得四路变形图像，包括：将每一路影像进行鱼眼畸变校正，并对校正后的图像视角用虚拟视角技术进行调整；将调整视角后的图像进行形变矫正，获得变形图像。

可选地，将调整视角后的图像进行形变矫正，获得变形图像，包括：针对任一路影像，将该路影像中的每一帧图像分割为多个矩形网格图像；对每一帧图像中分割的多个矩形网格图像依序进行坐标变换，从而将每一帧图像按照画面形变需求由矩形变形为不规则多边形。

可选地，所述对每一帧图像中分割的多个矩形网格图像依序进行坐标变换中，针对每一个矩形网格图像的左边变换包括：针对每一个矩形网格图像，将所述矩形网格图像分割为两个初始三角形；依序对两个所述原始三角形进行坐标变换，使得两个所述原始三角形在目标区域内分别变形为对应的两个变形三角形，从而完成一个矩形网格图像的坐标变换。

可选地，依序将两个所述原始三角形在目标区域内分别变形为对应的两个变形三角形包括如下任一种方式：方式一：将所述矩形图形网格中的其中一个初始三角形中的某一个顶点作为始发顶点，从所述始发顶点出发，逆时针顺序标记所述初始三角形的三个顶点的初始坐标，然后，再由所述始发顶点出发，逆时针顺序标记另一个初始三角形的三个顶点的初始坐标；将第一个初始三角形在目标区域内重新指定变形后的第一个变形三角形的三个顶点的目的坐标，将第二个初始三角形在目标区域内重新指定变形后的第二个变形三角形的三个顶点的目的坐标；方式二：将所述矩形图形网格中的其中一个初始三角形中的某一个顶点作为始发顶点，从所述始发顶点出发，逆时针顺序标记所述初始三角形的三个顶点的初始坐标，将第一个初始三角形在目标区域内重新指定变形后的第一个变形三角形的三个顶点的目的坐标；由所述始发顶点出发，逆时针顺序标记另一个初始三角形的三个顶点的初始坐标，将第二个初始三角形在目标区域内重新指定变形后的第二个变形三角形的三个顶点的目的坐标。

如上所述，本发明的一种车载多广角摄像头图像合成处理装置及方法，是将车载广角摄像头摄取的影像进行图像变形处理后获得在目标区域中对应的变形图像，将这些变形图像进行叠层获得叠加图像，并通过计算对叠加后的图像进行裁剪及拼接，以获得车载全景监控视频图像，相对于现有技术，获得的车载全景监控视频图像中没有各个摄像头所摄的图像间领域范围的境界线，也没有广角鱼眼摄像头所摄图像的圆弧状特征，切实提高了成像效果及用户体验。

附图说明

图1为本发明的车载多广角摄像头图像合成处理装置在一个实施方式中的功能模块示意图。

图2为本发明的车载多广角摄像头图像合成处理方法在一个实施方式中的流程示意图。

图3为在车载多广角摄像头图像合成处理方法中视频影像的变换示意图。

图4为图3中视频图像变换在一个实施例中的示意图。

图5为将分层的四个图像显示层进行叠加后的图像。

图6为图5中的叠加后的图像进行裁剪及拼接后获得车载全景监控视频图像与汽车相结合的效果示意图。

具体实施方式

本发明的发明人发现：目前市场上360度全景式监控影像系统，在图像合成上存在着计算量大、视频质量差、图像拼接效果不佳（例如图像合成中有前后左右摄像头所得图像领域的境界线或广角鱼眼摄像头所摄图像的圆弧状特征）等问题。因此，本发明的发明人对现有技术进行了改进，提出了一种新型的车载多广角摄像头图像合成处理装置及方法，获得的车载全景监控视频图像中没有各个摄像头所摄的图像间领域范围的境界线，也没有广角鱼眼摄像头所摄图像的圆弧状特征，切实提高了成像效果及用户体验。

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

图1显示了本发明的车载多广角摄像头图像合成处理装置在一个实施方式中的功能模块示意图。在实际应用中，本发明的车载多广角摄像头图像合成处理装置是配置在机动车（例如私家车或公共汽车）上，以获得的车载全景监控视频图像，使驾驶者更全面的了解车身周边环境，提高驾驶的安全性及稳定性。如图1所示，在本方明的车载多广角摄像头图像合成处理装置中，包括：影像获取单元11、影像编排单元13、图像变形处理单元15、图像分层单元17、以及图像剪切及拼接单元19。

影像获取单元11用于获取配置在车身上配置的四个广角摄像头对应摄取的四路影像。在实际应用中，所述四个广角摄像头分别配置在车身的前端、车身的左右两侧、车身的后端。在一个具体实例中，所述四个广角摄像头可分别配置在车前、车后的车牌处以及车身两侧的两个倒车镜内，但并不以此为限，在其他实施例中，仍可作其他的变化，例如，广角摄像头还可配置在建筑物内部或外部的相关位置处，在此不再赘述。在本实施例中，广角摄像头摄取的影像为矩形图像，所述四个广角摄像头将各自摄取的四路影像一并上传至影像获取单元11。

影像编排单元13用于将影像获取单元11获取的四路影像进行缩放及顺序设定，使得四路影像根据设定的顺序同时输出四路影像的视频流。

在本实施例中，影像编排单元13将影像获取单元11获取的四路影像进行缩放及顺序设定具体包括：1）、分别将四路影像进行缩放，使得缩放后的任一路影像占据所述显示单元的四分之一大小。在实际应用中，首先，分别将四路影像的图像像素长宽比调整为与所述显示单元的屏幕参数相适配，即，可将矩形图像像素的长宽比调整（通过拉伸或缩短）到系统中与所述显示单元中矩形像素横长比；接着，分别将所述适配后的四路影像进行缩放至原先显示尺寸的四分之一大小，即，将任一路影像中的宽度和高度分别缩小至原先的二分之一。例如：广角摄像头摄取的图像的宽高比640：520，所述显示单元（例如显示器）所处理的屏幕参数中图像宽高比720：540，则先将广角镜摄取图像的宽高比从640：520拉伸至720：540，之后，再对拉伸后的图像进行缩放，缩放为原先尺寸的四分之一大小。2）、为四路影像设定顺序，使得四路影像中的每一帧图像根据设定的顺序组合以作为一输出影像的一帧输出图像。在实际应用中，可以预先为每一个广角摄像头所摄取的影像设定相应的顺序，例如：将车身前端的广角摄像头所摄取的影像设定第一路影像，逆时针地将车身左侧、车身后端、车身右侧的广角摄像头所摄取的三路影像分别设定第二、第三及第四路影像，当然，也可以采用其他顺序规则进行设定。

图像变形处理单元15用于对四路影像中的每一路影像进行图像变形处理，获得四路变形图像。在本实施例中，以一路影像的处理为例，所述图像变形处理包括：将每一路影像进行鱼眼畸变校正，并对校正后的图像视角用虚拟视角技术进行调整；将调整视角后的图像进行形变矫正，获得变形图像。针对上述处理，鱼眼畸变校正处理包括：使用鱼眼变换函数将AxB像素矩阵1中的各点位置进行重新定位，并将新坐标位置存入新的像素矩阵2中待用。另外，还使用到鸟瞰俯视效果变换图像处理，就是斜视的图像经过计算，图像处理成为有鸟瞰效果的俯视图像，这种技术也称为视点变换。将调整视角后的图像进行形变矫正，获得变形图像，包括：针对任一路影像，将该路影像中的每一帧图像分割为多个矩形网格图像；对每一帧图像中分割的多个矩形网格图像依序进行坐标变换，从而将每一帧图像按照画面形变需求由矩形变形为不规则多边形。针对任一路影像，将该路影像中的每一帧图像分割为多个矩形网格图像；对每一帧图像中分割的多个矩形网格图像依序进行坐标变换，从而将每一帧图像按照画面形变需求由矩形变形为不规则多边形。针对每一个矩形网格图像的坐标变换包括：针对每一个矩形网格图像，将所述矩形网格图像分割为两个初始三角形；依序对两个所述原始三角形进行坐标变换，使得两个所述原始三角形在目标区域内分别变形为对应的两个变形三角形，从而完成一个矩形网格图像的坐标变换。

图像分层单元17用于将图像变形处理单元15变形处理后的四路变形图像分配至不同的显示图层以形成四个图像显示层。

图像剪切及拼接单元19用于将图像分层单元17分层的四个图像显示层进行叠加，并通过计算对叠加后的图像进行裁剪及拼接，以获得车载全景监控视频图像。在本实施例中，对叠加后的图像进行裁剪是根据图像成像效果、显示屏幕的显示比例及分辨率而进行的，对叠加后的图像进行拼接时的考虑因素包括：重叠区域互相叠加时应优选畸变小的一方覆盖畸变较大的一方。

图2显示了本发明的车载多广角摄像头图像合成处理方法在一个实施方式中的流程示意图。图3显示了在车载多广角摄像头图像合成处理方法中视频影像的变换示意图。结合图2和图3，所述车载多广角摄像头图像合成处理方法包括：

步骤S201，获取配置在车身上的四个广角摄像头对应摄取的四路影像。在本实施例中，四个广角摄像头分别配置车身的前端、车身的左右两侧、车身的后端，为便于后续图像处理，可按一定的顺序依次对各个广角摄像头进行设定，例如：将车身前端的广角摄像头设定为第一摄像头，将车身左侧的广角摄像头设为第二摄像头，将车身后端的广角摄像头设为第三摄像头，将车身右侧的广角摄像头设为第四摄像头，这样，相应地，就可将得到的四路影像分别设为第一路影像、第二路影像、第三路影像、以及第四路影像。当然，各个广角摄像头及其影像也可以采用其他顺序规则进行设定。

步骤S203，将获取的四路影像进行缩放及顺序设定，使得四路影像根据设定的顺序同时输出四路影像的视频流。在本实施例中，将获取的四路影像进行缩放及顺序设定具体包括：1）、分别将四路影像进行缩放，使得缩放后的任一路影像占据所述显示单元的四分之一大小。在实际应用中，首先，分别将四路影像的图像像素长宽比调整为与所述显示单元的屏幕参数相适配，即，可将矩形图像像素的长宽比调整（通过拉伸或缩短）到系统中与所述显示单元中矩形像素横长比；接着，分别将所述适配后的四路影像进行缩放至原先显示尺寸的四分之一大小，即，将任一路影像中的宽度和高度分别缩小至原先的二分之一。例如：广角摄像头摄取的图像的宽高比640：520，所述显示单元（例如显示器）所处理的屏幕参数中图像宽高比720：540，则先将广角镜摄取图像的宽高比从640：520拉伸至720：540，之后，再对拉伸后的图像进行缩放，缩放为原先尺寸的四分之一大小。2）、为四路影像设定顺序，使得四路影像中的每一帧图像根据设定的顺序组合以作为一输出影像的一帧输出图像。

步骤S205，对四路影像中的每一路影像进行图像变形处理，获得四路变形图像。

在本实施例中，现以一路影像的处理为例对上述图像变形处理进行详细说明。

在本实施例中，以一路影像的处理为例，所述图像变形处理包括：将每一路影像进行鱼眼畸变校正，并对校正后的图像视角用虚拟视角技术进行调整；将调整视角后的图像进行形变矫正，获得变形图像。针对上述处理，鱼眼畸变校正处理包括：使用鱼眼变换函数将AxB像素矩阵1中的各点位置进行重新定位，并将新坐标位置存入新的像素矩阵2中待用。另外，还使用到鸟瞰俯视效果变换图像处理，就是斜视的图像经过计算，图像处理成为有鸟瞰效果的俯视图像，这种技术也称为视点变换。将调整视角后的图像进行形变矫正，获得变形图像，包括：首先，针对任一路影像，将该路影像中的每一帧图像分割为多个矩形网格图像；之后，对每一帧图像中分割的多个矩形网格图像依序进行坐标变换，从而将每一帧图像按照画面形变需求由矩形变形为不规则多边形。针对任一路影像，将该路影像中的每一帧图像分割为多个矩形网格图像；对每一帧图像中分割的多个矩形网格图像依序进行坐标变换，从而将每一帧图像按照画面形变需求由矩形变形为不规则多边形。

特别地，针对每一个矩形网格图像的坐标变换包括：针对每一个矩形网格图像，将所述矩形网格图像分割为两个初始三角形；依序对两个所述原始三角形进行坐标变换，使得两个所述原始三角形在目标区域内分别变形为对应的两个变形三角形，从而完成一个矩形网格图像的坐标变换。现以图4所示的一帧图像的部分区域为例，该帧图像的部分区域被划分为3个矩形网格，对于上述3个矩形网格图像进行的坐标变换具体包括：首先，将上述3个矩形网格图像中的任一个矩形网格图像以对角线的方式划分为两个三角形网格图像，这样，这3个矩形网格图像就被划分为6个三角形网格图像。当然，在实际应用中，上述三角形网格图像的划分仍可采用其他的划分方式，例如以其他的对角线方式以得到对应的包含有不同顶点的各个三角形网格图像。接着，依序对上述各个三角形网格图形进行变形处理，使得在目标区域内重新指定变形后的各个三角形网格图形的三个顶点的目的坐标。具体来讲：第一部分：将第一个矩形网格图像T0T1T3T2中的一个三角形网格图形中的某一个顶点T0作为始发顶点，从所述始发顶点T0出发，逆时针顺序标记所述初始三角形的三个顶点T0T1T3的初始坐标，再由所述始发顶点T0出发，逆时针顺序标记另一个初始三角形的三个顶点T0T3T2的初始坐标；将第二个矩形网格图像T2T3T5T4中的一个三角形网格图形中的某一个顶点T2作为始发顶点，从所述始发顶点T2出发，逆时针顺序标记所述初始三角形的三个顶点T2T3T5的初始坐标，再由所述始发顶点T2出发，逆时针顺序标记另一个初始三角形的三个顶点T2T5T4的初始坐标；将第三个矩形网格图像T4T5T7T6中的一个三角形网格图形中的某一个顶点T4作为始发顶点，从所述始发顶点T4出发，逆时针顺序标记所述初始三角形的三个顶点T4T5T7的初始坐标，再由所述始发顶点T4出发，逆时针顺序标记另一个初始三角形的三个顶点T4T7T6的初始坐标。第二部分：根据同样的顺序，对上述各个三角形网格图形进行变形处理，从而在目标区域内重新指定变形后的各个三角形网格图形的三个顶点的目的坐标，即，三角形网格图形△T0T1T3经变形后在目标区域中为△T0’T1’T3’、△T0’T3’T2’、△T2’T3’T5’、△T2’T5’T4’、△T4’T5’T7’、△T4’T7’T6’，从而获得变形的矩形图像网格。

通过步骤S205，可将原为矩形的图像变形处理为不规则多边形的变形图像。

步骤S207，将变形处理后的四路变形图像分配至不同的显示图层以形成四个图像显示层。在本实施例中，根据顺序设定，将每一个广角摄像头摄取的每一路影像设定为某一显示图层。例如将第一摄像头、第二摄像头、第三摄像头、以及第四摄像头对应的第一路影像、第二路影像、第三路影像、以及第四路影像分别分配至第一显示图层、第二显示图层、第三显示图层、以及第四显示图层。当然，各个广角摄像头及其影像也可以采用其他顺序规则进行设定及分配。

步骤S209，将分层的四个图像显示层进行叠加（如图5所示），并通过计算对叠加后的图像进行裁剪及拼接，以获得车载全景监控视频图像（如图6所示，显示了叠加后的图像进行裁剪及拼接后获得车载全景监控视频图像与汽车相结合的效果示意图）。在本实施例中，对叠加后的图像进行裁剪是根据图像成像效果、显示屏幕的显示比例及分辨率而进行的，对叠加后的图像进行拼接时的考虑因素包括：重叠区域互相叠加时应优选畸变小的一方覆盖畸变较大的一方。

综上所述，本发明的一种车载多广角摄像头图像合成处理装置及方法，是将车载广角摄像头摄取的影像进行图像变形处理后获得在目标区域中对应的变形图像，将这些变形图像进行叠层获得叠加图像，并通过计算对叠加后的图像进行裁剪及拼接，以获得车载全景监控视频图像，相对于现有技术，获得的车载全景监控视频图像中没有各个摄像头所摄的图像间领域范围的境界线，也没有广角鱼眼摄像头所摄图像的圆弧状特征，切实提高了成像效果及用户体验。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种车载多广角摄像头图像合成处理装置，其特征在于，包括：

影像获取单元，用于获取相对于车身的四个方位上对应的四路影像；

影像编排单元，用于将所述影像获取单元获取的四路影像进行缩放及顺序设定，使得四路影像根据设定的顺序同时输出四路影像的视频流；

图像变形处理单元，用于对四路影像中的每一路影像进行图像变形处理，从而获得四路变形图像；

图像分层单元，用于将所述图像变形处理单元变形处理后的四路变形图像分配至不同的显示图层以形成四个图像显示层；

图像剪切及拼接单元，用于将图像分层单元分层的四个图像显示层进行叠加，并通过计算对叠加后的图像进行裁剪及拼接，以获得车载全景监控视频图像并将其显示于一显示单元上；

其中，在叠加过程中，叠加区域互相叠加时，令两者中畸较变小的区域覆盖畸变较大的区域。

2.根据权利要求1所述的车载多广角摄像头图像合成处理装置，其特征在于，所述影像编排单元将所述影像获取单元获取的四路影像进行缩放及顺序设定包括：

分别将四路影像进行缩放，使得缩放后的任一路影像占据所述显示单元的四分之一大小；

分别为四路影像设定顺序，使得四路影像中的每一帧图像根据设定的顺序组合以作为一输出影像的一帧输出图像。

3.根据权利要求2所述的车载多广角摄像头图像合成处理装置，其特征在于，分别将四路影像进行缩放，使得缩放后的任一路影像占据所述显示单元的四分之一大小，包括：

分别将四路影像的图像像素长宽比调整为与所述显示单元的屏幕参数相适配；

分别将所述适配后的四路影像进行缩放至原先显示尺寸的四分之一大小。

4.根据权利要求1所述的车载多广角摄像头图像合成处理装置，其特征在于，所述图像变形处理单元对四路影像中的每一路影像进行图像变形处理，获得四路变形图像，包括：

将每一路影像进行鱼眼畸变校正，并对校正后的图像视角用虚拟视角技术进行调整；

将调整视角后的图像进行形变矫正，获得变形图像。

5.根据权利要求4所述的车载多广角摄像头图像合成处理装置，其特征在于，将调整视角后的图像进行形变矫正，获得变形图像，包括：

针对任一路影像，将该路影像中的每一帧图像分割为多个矩形网格图像；

对每一帧图像中分割的多个矩形网格图像依序进行坐标变换，从而将每一帧图像按照画面形变需求由矩形变形为不规则多边形。

6.根据权利要求5所述的车载多广角摄像头图像合成处理装置，其特征在于，所述图像变形处理单元对每一帧图像中分割的多个矩形网格图像依序进行坐标变换中，针对每一个矩形网格图像的坐标变换包括：

针对每一个矩形网格图像，将所述矩形网格图像分割为两个初始三角形；

依序对两个所述初始三角形进行坐标变换，使得两个所述初始三角形在目标区域内分别变形为对应的两个变形三角形，从而完成一个矩形网格图像的坐标变换。

7.根据权利要求6所述的车载多广角摄像头图像合成处理装置，其特征在于，针对每一个矩形网格图像的坐标变换包括如下任一种方式：

方式一：将所述矩形图形网格中的其中一个初始三角形中的某一个顶点作为始发顶点，从所述始发顶点出发，逆时针顺序标记所述初始三角形的三个顶点的初始坐标，然后，再由所述始发顶点出发，逆时针顺序标记另一个初始三角形的三个顶点的初始坐标；将第一个初始三角形在目标区域内重新指定变形后的第一个变形三角形的三个顶点的目的坐标，将第二个初始三角形在目标区域内重新指定变形后的第二个变形三角形的三个顶点的目的坐标；

方式二：将所述矩形图形网格中的其中一个初始三角形中的某一个顶点作为始发顶点，从所述始发顶点出发，逆时针顺序标记所述初始三角形的三个顶点的初始坐标，将第一个初始三角形在目标区域内重新指定变形后的第一个变形三角形的三个顶点的目的坐标；由所述始发顶点出发，逆时针顺序标记另一个初始三角形的三个顶点的初始坐标，将第二个初始三角形在目标区域内重新指定变形后的第二个变形三角形的三个顶点的目的坐标。

8.一种车载多广角摄像头图像合成处理方法，其特征在于，包括：

获取相对于车身的四个方位上对应的四路影像；

将获取的四路影像进行缩放及顺序设定，使得四路影像根据设定的顺序同时输出四路影像的视频流；

对四路影像中的每一路影像进行图像变形处理，从而获得四路变形图像；

将变形处理后的四路变形图像分配至不同的显示图层以形成四个图像显示层；

将分层的四个图像显示层进行叠加，并通过计算对叠加后的图像进行裁剪及拼接，以获得车载全景监控视频图像并将其予以显示；

其中，在叠加过程中，叠加区域互相叠加时，令两者中畸较变小的区域覆盖畸变较大的区域。

9.根据权利要求8所述的车载多广角摄像头图像合成处理方法，其特征在于，将获取的四路影像进行缩放及顺序设定包括：

分别将四路影像进行缩放，使得缩放后的任一路影像占据所述显示单元的四分之一大小；

分别为四路影像设定顺序，使得四路影像中的每一帧图像根据设定的顺序组合以作为一输出影像的一帧输出图像。

10.根据权利要求9所述的车载多广角摄像头图像合成处理方法，其特征在于，分别将四路影像进行缩放，使得缩放后的任一路影像占据所述显示单元的四分之一大小，包括：

分别将四路影像的图像像素长宽比调整为与所述显示单元的屏幕参数相适配；

分别将所述适配后的四路影像进行缩放至原先显示尺寸的四分之一大小。

11.根据权利要求8所述的车载多广角摄像头图像合成处理方法，其特征在于，所述图像变形处理单元对四路影像中的每一路影像进行图像变形处理，获得四路变形图像，包括：

将每一路影像进行鱼眼畸变校正，并对校正后的图像视角用虚拟视角技术进行调整；

将调整视角后的图像进行形变矫正，获得变形图像。

12.根据权利要求11所述的车载多广角摄像头图像合成处理方法，其特征在于，将调整视角后的图像进行形变矫正，获得变形图像，包括：

针对任一路影像，将该路影像中的每一帧图像分割为多个矩形网格图像；

对每一帧图像中分割的多个矩形网格图像依序进行坐标变换，从而将每一帧图像按照画面形变需求由矩形变形为不规则多边形。

13.根据权利要求12所述的车载多广角摄像头图像合成处理方法，其特征在于，所述对每一帧图像中分割的多个矩形网格图像依序进行坐标变换中，针对每一个矩形网格图像的左边变换包括：

针对每一个矩形网格图像，将所述矩形网格图像分割为两个初始三角形；

依序对两个所述初始三角形进行坐标变换，使得两个所述初始三角形在目标区域内分别变形为对应的两个变形三角形，从而完成一个矩形网格图像的坐标变换。

14.根据权利要求13所述的车载多广角摄像头图像合成处理方法，其特征在于，依序将两个所述初始三角形在目标区域内分别变形为对应的两个变形三角形包括如下任一种方式：

方式一：将所述矩形图形网格中的其中一个初始三角形中的某一个顶点作为始发顶点，从所述始发顶点出发，逆时针顺序标记所述初始三角形的三个顶点的初始坐标，然后，再由所述始发顶点出发，逆时针顺序标记另一个初始三角形的三个顶点的初始坐标；将第一个初始三角形在目标区域内重新指定变形后的第一个变形三角形的三个顶点的目的坐标，将第二个初始三角形在目标区域内重新指定变形后的第二个变形三角形的三个顶点的目的坐标；

方式二：将所述矩形图形网格中的其中一个初始三角形中的某一个顶点作为始发顶点，从所述始发顶点出发，逆时针顺序标记所述初始三角形的三个顶点的初始坐标，将第一个初始三角形在目标区域内重新指定变形后的第一个变形三角形的三个顶点的目的坐标；由所述始发顶点出发，逆时针顺序标记另一个初始三角形的三个顶点的初始坐标，将第二个初始三角形在目标区域内重新指定变形后的第二个变形三角形的三个顶点的目的坐标。