CN107146255A - 全景图像误差校正方法及装置 - Google Patents

Abstract

本发明全景图像误差校正方法及装置，应用于车头、车尾以及左右两侧分别设有图像采集装置的车辆；根据物理标定点与图像点之间的坐标映射关系解算出各个图像采集装置在标定场地的物理坐标系下的空间位置；利用车头及车尾的前、后位置的图像采集装置的安装参数、以及所解算的前、后位置的图像采集装置在标定场地的空间位置来解算车身在标定场地上的摆放位置与姿态信息；利用所解算的车身在标定场地上的摆放位置与姿态信息来对其物理标定点的坐标进行更新；利用更新后的物理标定点坐标与图像坐标重新进行标定解算，以供将各个图像采集装置所采集图像拼接为全景图像；提高标定过程中工作效率与质量。

Description

全景图像误差校正方法及装置

技术领域

本发明涉及全景图像生成技术领域，特别是涉及全景图像误差校正方法及装置。

背景技术

随着图像和解算机视觉技术的快速发展，越来越多的技术被应用到汽车电子领域，传统的基于图像的倒车影像系统只在车尾安装摄像头，只能覆盖车尾周围有限的区域，而车辆周围和车头的盲区无疑增加了安全驾驶的隐患，在狭隘拥堵的市区和停车场容易出现碰撞和刮蹭事件。为扩大驾驶员视野，就必须能感知360°全方位的环境，这就需要多个视觉传感器的相互协同配合作用然后通过视频合成处理，形成全车周围的一整套的视频图像，就是有这类需求，全景视觉泊车辅助系统应运而生。

但是，由于全景泊车标定过程中需要将车辆精确停到标定场地固定位置来进行标定工作，若车辆停靠位置角度跟系统设计位置有较大误差，则误差会表现在全景拼接画面上，车辆跟周围场景之间的位置及角度方向会有较大误差。

然而，为了将画面上的误差降低到最小，对标定工作中的停车过程要求较高，增大了实际操作中的难度，复杂度和时间。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供车辆全景图像处理方法及装置，用于解决现有技术中全景图像拼接错位的问题。

为实现上述目的及其他相关目的，本发明提供一种全景图像误差校正方法，应用于车头、车尾以及左右两侧分别设有图像采集装置的车辆；所述方法包括：根据物理标定点与图像点之间的坐标映射关系解算出各个图像采集装置在标定场地的物理坐标系下的空间位置；利用车头及车尾的前、后位置的图像采集装置的安装参数、以及所解算的前、后位置的图像采集装置在标定场地的空间位置来解算车身在标定场地上的摆放位置与姿态信息；利用所解算的车身在标定场地上的摆放位置与姿态信息来对其物理标定点的坐标进行更新；利用更新后的物理标定点坐标与图像坐标重新进行标定解算，以供将各个图像采集装置所采集图像拼接为全景图像。

于本发明的一实施例中，所述图像采集装置为鱼眼摄像头。

于本发明的一实施例中，所述标定场地包括：泊车标定区域。

于本发明的一实施例中，所述全景图像包括：鸟瞰图。

为实现上述目的及其他相关目的，本发明提供一种全景图像误差校正装置，应用于车头、车尾以及左右两侧分别设有图像采集装置的车辆；所述装置包括：坐标映射模块，用于根据物理标定点与图像点之间的坐标映射关系解算出各个图像采集装置在标定场地的物理坐标系下的空间位置；车身姿态获取模块，用于利用车头及车尾的前、后位置的图像采集装置的安装参数、以及所解算的前、后位置的图像采集装置在标定场地的空间位置来解算车身在标定场地上的摆放位置与姿态信息；标定更新模块，用于利用所解算的车身在标定场地上的摆放位置与姿态信息来对其物理标定点的坐标进行更新；全景图像生成模块，用于利用更新后的物理标定点坐标与图像坐标重新进行标定解算，以供将各个图像采集装置所采集图像拼接为全景图像。

于本发明的一实施例中，所述图像采集装置为鱼眼摄像头。

于本发明的一实施例中，所述标定场地包括：泊车标定区域。

于本发明的一实施例中，所述全景图像包括：鸟瞰图。

如上所述，本发明提供全景图像误差校正方法及装置，应用于车头、车尾以及左右两侧分别设有图像采集装置的车辆；根据物理标定点与图像点之间的坐标映射关系解算出各个图像采集装置在标定场地的物理坐标系下的空间位置；利用车头及车尾的前、后位置的图像采集装置的安装参数、以及所解算的前、后位置的图像采集装置在标定场地的空间位置来解算车身在标定场地上的摆放位置与姿态信息；利用所解算的车身在标定场地上的摆放位置与姿态信息来对其物理标定点的坐标进行更新；利用更新后的物理标定点坐标与图像坐标重新进行标定解算，以供将各个图像采集装置所采集图像拼接为全景图像；消除了对车辆停靠位置的精确要求，在提高标定位置精度的同时也降低了标定操作过程中停车的难度，提高标定过程中工作效率与质量。

附图说明

图1显示为本发明于一实施例中全景图像误差校正方法的流程示意图。

图2显示为本发明于一实施例中标定场地的平面示意图。

图3显示为本发明于一实施例中全景图像误差校正装置的模块示意图。

元件标号说明

301 坐标映射模块

302 车身姿态获取模块

303 标定更新模块

304 全景图像生成模块

S101～S104 方法步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本发明提供一种全景图像误差校正方法的实施例，应用于车头、车尾以及左右两侧分别设有图像采集装置的车辆；所述方法包括：

步骤S101：根据物理标定点与图像点之间的坐标映射关系解算出各个图像采集装置在标定场地的物理坐标系下的空间位置。

于本发明的一实施例中，所述图像采集装置可以是鱼眼摄像头，其具有大于180度的广角拍摄视角。

于本发明的一实施例中，所述场地可包含泊车标定区域；如图2所示，展示一种标定场地，中部空地为泊车标定区域，周边布设多块黑白棋盘格(图2的实施例中是显示8块，在其他实施例中也可是仅有车身四个角处的4块)，此种标定方式源于张正友的“张氏标定法”，采用四个顶点的棋盘格作为标定物，利用4个顶点作为参考点即可算出图像平面到标定平面的单应性矩阵，从而解得摄像头的内、外部参数，完成标定，标定就是根据已知的标定点的图像坐标与世界坐标解得两者间的映射关系，在得到该映射关系后，即可根据物理标定点的图像坐标求得其在物理坐标系下的空间位置。

步骤S102：利用车头及车尾的前、后位置的图像采集装置的安装参数、以及所解算的前、后位置的图像采集装置在标定场地的空间位置来解算车身在标定场地上的摆放位置与姿态信息。

于本发明的一实施例中，由于图像采集装置在车身的安装位置是固定的，例如，前、后的图像采集装置一般可设于车身前、后部的中央位置等，则其安装参数是可以确定的(位置、高度等)，进而通过前、后图像采集装置所在的两点作为参考点，根据该两点的坐标信息的即可对应计算获得车身在标定场地内精确的位置和姿态信息，例如，车身相对泊车标定区域偏出5度，或者车头相对泊车标定区域超出0.3米等，即使车身相对标定场地的预定泊车标定区域置有所偏移，也可以根据获得的位置和姿态信息加以修正。

步骤S103：利用所解算的车身在标定场地上的摆放位置与姿态信息来对其物理标定点的坐标进行更新。

即通过所获得的位置与姿态信息来修正物理标定点的坐标，补偿误差。

步骤S104：利用更新后的物理标定点坐标与图像坐标重新进行标定解算，以供将各个图像采集装置所采集图像拼接为全景图像。

于本发明的一实施例中，所述全景图像包括鸟瞰图。

如图3所示，对应于所述方法实施例，本发明提供一种全景图像误差校正装置的实施例，应用于车头、车尾以及左右两侧分别设有图像采集装置的车辆；所述装置包括：坐标映射模块301、车身姿态获取模块302、标定更新模块303及全景图像生成模块304。

所述坐标映射模块301，用于根据物理标定点与图像点之间的坐标映射关系解算出各个图像采集装置在标定场地的物理坐标系下的空间位置。

于本发明的一实施例中，所述图像采集装置可以是鱼眼摄像头，其具有大于180度的广角拍摄视角。

于本发明的一实施例中，所述场地可包含泊车标定区域；如图2所示，展示一种实施例中的标定场地，中部空地为泊车标定区域，周边布设多块黑白棋盘格(图2的实施例中是显示8块，在其他实施例中也可是仅有车身四个角处的4块)，此种标定方式源于张正友的“张氏标定法”，采用四个顶点的棋盘格作为标定物，利用4个顶点作为参考点即可算出图像平面到标定平面的单应性矩阵，从而解得摄像头的内、外部参数，完成标定，标定就是根据已知的标定点的图像坐标与世界坐标解得两者间的映射关系，在得到该映射关系后，即可根据物理标定点的图像坐标求得其在物理坐标系下的空间位置。

需说明的是，标定方法还有很多种，并非以张正友标定法为限。

所述车身姿态获取模块302，用于利用车头及车尾的前、后位置的图像采集装置的安装参数、以及所解算的前、后位置的图像采集装置在标定场地的空间位置来解算车身在标定场地上的摆放位置与姿态信息。

于本发明的一实施例中，由于图像采集装置在车身的安装位置是固定的，例如，前、后的图像采集装置一般可设于车身前、后部的中央位置等，则其安装参数是可以确定的(位置、高度等)，进而通过前、后图像采集装置所在的两点作为参考点，根据该两点的坐标信息的即可对应计算获得车身在标定平面内精确的位置和姿态信息，如此，即使车身相对标定场地的预定泊车标定区域置有所偏移，也可以根据获得的位置和姿态信息加以修正。

所述标定更新模块303，用于利用所解算的车身在标定场地上的摆放位置与姿态信息来对其物理标定点的坐标进行更新，即通过所获得的位置与姿态信息来修正物理标定点的坐标，补偿误差。

所述全景图像生成模块304，用于利用更新后的物理标定点坐标与图像坐标重新进行标定解算，以供将各个图像采集装置所采集图像拼接为全景图像。于本发明的一实施例中，所述全景图像包括鸟瞰图。

综上所述，本发明提供全景图像误差校正方法及装置，应用于车头、车尾以及左右两侧分别设有图像采集装置的车辆；根据物理标定点与图像点之间的坐标映射关系解算出各个图像采集装置在标定场地的物理坐标系下的空间位置；利用车头及车尾的前、后位置的图像采集装置的安装参数、以及所解算的前、后位置的图像采集装置在标定场地的空间位置来解算车身在标定场地上的摆放位置与姿态信息；利用所解算的车身在标定场地上的摆放位置与姿态信息来对其物理标定点的坐标进行更新；利用更新后的物理标定点坐标与图像坐标重新进行标定解算，以供将各个图像采集装置所采集图像拼接为全景图像；消除了对车辆停靠位置的精确要求，在提高标定位置精度的同时也降低了标定操作过程中停车的难度，提高标定过程中工作效率与质量。

综上所述，本发明的完整的车辆全景图像处理方法及装置，通过设于一车辆上朝向不同方向的多路图像采集装置分别采集图像；识别并收集各路图像中出现的车道线的图像位置数据；利用相邻图像采集装置所采集的关于同一条车道线的图像位置数据来解算各条车道线的空间物理位置；对所述空间物理位置的数据进行处理以估计出车身沉降数据；利用所述车身沉降数据对图像采集装置的标定数据进行补偿处理；利用补偿后的所述标定数据拼接各路图像以生成全景拼接画面；利用路面车道线信息来对标定数据进行处理分析监测，以避免拼接错位，使得任何时刻全景画面都处于较好的拼接效果。

本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种全景图像误差校正方法，其特征在于，应用于车头、车尾以及左右两侧分别设有图像采集装置的车辆；所述方法包括：

根据物理标定点与图像点之间的坐标映射关系解算出各个图像采集装置在标定场地的物理坐标系下的空间位置；

利用车头及车尾的前、后位置的图像采集装置的安装参数、以及所解算的前、后位置的图像采集装置在标定场地的空间位置来解算车身在标定场地上的摆放位置与姿态信息；

利用所解算的车身在标定场地上的摆放位置与姿态信息来对其物理标定点的坐标进行更新；

利用更新后的物理标定点坐标与图像坐标重新进行标定解算，以供将各个图像采集装置所采集图像拼接为全景图像。

2.根据权利要求1所述的全景图像误差校正方法，其特征在于，所述图像采集装置为鱼眼摄像头。

3.根据权利要求1所述的全景图像误差校正方法，其特征在于，所述标定场地包括：泊车标定区域。

4.根据权利要求1所述的全景图像误差校正方法，其特征在于，所述全景图像包括：鸟瞰图。

5.一种全景图像误差校正装置，其特征在于，应用于车头、车尾以及左右两侧分别设有图像采集装置的车辆；所述装置包括：

坐标映射模块，用于根据物理标定点与图像点之间的坐标映射关系解算出各个图像采集装置在标定场地的物理坐标系下的空间位置；

车身姿态获取模块，用于利用车头及车尾的前、后位置的图像采集装置的安装参数、以及所解算的前、后位置的图像采集装置在标定场地的空间位置来解算车身在标定场地上的摆放位置与姿态信息；

标定更新模块，用于利用所解算的车身在标定场地上的摆放位置与姿态信息来对其物理标定点的坐标进行更新；

全景图像生成模块，用于利用更新后的物理标定点坐标与图像坐标重新进行标定解算，以供将各个图像采集装置所采集图像拼接为全景图像。

6.根据权利要求5所述的全景图像误差校正装置，其特征在于，所述图像采集装置为鱼眼摄像头。

7.根据权利要求5所述的全景图像误差校正装置，其特征在于，所述标定场地包括：泊车标定区域。

8.根据权利要求5所述的全景图像误差校正装置，其特征在于，所述全景图像包括：鸟瞰图。