CN108629732B - 车辆环视全景图像生成方法、装置和车辆 - Google Patents

Abstract

本发明公开了一种车辆环视全景图像生成方法、装置和车辆，所述车辆环视全景图像生成方法包括：分别获取车辆上的多个车载拍摄装置采集到的所述车辆周围多个预设方向上的图像；根据预先建立的畸变图像映射表，将所述多个预设方向上的图像分别映射到预设的理论球面上，得到所述理论球面上的多个球面图像；对所述多个球面图像进行图像融合，生成所述车辆的球面全景图像。本发明的实施例，能够有效解决将图像映射到平面上时的物体拉伸问题，从而能够更好地还原车辆周围的路口，方便驾驶员观察，且能够增加俯视界面的可视视野，使驾驶员可以看到更多的路况，提高安全性。

Description

车辆环视全景图像生成方法、装置和车辆

技术领域

本发明涉及车辆技术领域，特别涉及一种车辆环视全景图像生成方法、装置和车辆。

背景技术

平面全景影像利用畸变矫正和透视变换两个计算过程，对安装在车周围的摄像头获得的图像进行矫正和视角变换，将生成的车辆周围各个方向上的俯视图像进行拼接，得到全景俯视图像。虽然这种方法在平面路面上显示没有影响，但当路面上有立体的物体时，物体会被拉伸的很严重，严重影响驾驶员观察路况。且越到图像的边缘，拉伸的越严重，这也在很大程度上限制了俯视图的可视范围。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种车辆环视全景图像生成方法，能够减少物体拉伸，更好地还原车辆周围的视野。

为达上述目的，根据本发明第一方面实施例提出了一种车辆环视全景图像生成方法，包括以下步骤：

分别获取车辆上的多个车载拍摄装置采集到的所述车辆周围多个预设方向上的图像；

根据预先建立的畸变图像映射表，将所述多个预设方向上的图像分别映射到预设的理论球面上，得到所述理论球面上的多个球面图像；

对所述多个球面图像进行图像融合，生成所述车辆的球面全景图像。

根据本发明实施例的车辆环视全景图像生成方法，通过根据畸变图像映射表将车辆多个不同方向上的拍摄装置采集到的图像分别映射到预设的理论球面上，得到理论球面上的多个球面图像，并对得到的多个球面图像进行图像融合，生成车辆的球面全景图像，能够按照球面的方式，将畸变图像矫正到一个球面上，能够有效解决将图像映射到平面上时的物体拉伸问题，从而能够更好地还原车辆周围的路口，方便驾驶员观察，且能够增加俯视界面的可视视野，使驾驶员可以看到更多的路况，提高安全性。

本发明第二方面实施例提供了一种车辆环视全景图像生成装置，包括：

获取模块，用于分别获取车辆上的多个车载拍摄装置采集到的所述车辆周围多个预设方向上的图像；

映射模块，用于根据预先建立的畸变图像映射表，将所述多个预设方向上的图像分别映射到预设的理论球面上，得到所述理论球面上的多个球面图像；

生成模块，用于对所述多个球面图像进行图像融合，生成所述车辆的球面全景图像。

本发明实施例的车辆环视全景图像生成装置，通过根据畸变图像映射表将车辆多个不同方向上的拍摄装置采集到的图像分别映射到预设的理论球面上，得到理论球面上的多个球面图像，并对得到的多个球面图像进行图像融合，生成车辆的球面全景图像，能够按照球面的方式，将畸变图像矫正到一个球面上，能够有效解决将图像映射到平面上时的物体拉伸问题，从而能够更好地还原车辆周围的路口，方便驾驶员观察，且能够增加俯视界面的可视视野，使驾驶员可以看到更多的路况，提高安全性。

本发明第三方面实施例提供了一种车辆，包括本发明第二方面实施例的车辆环视全景图像生成装置。

本发明实施例的车辆，通过根据畸变图像映射表将车辆多个不同方向上的拍摄装置采集到的图像分别映射到预设的理论球面上，得到理论球面上的多个球面图像，并对得到的多个球面图像进行图像融合，生成车辆的球面全景图像，能够按照球面的方式，将畸变图像矫正到一个球面上，能够有效解决将图像映射到平面上时的物体拉伸问题，从而能够更好地还原车辆周围的路口，方便驾驶员观察，且能够增加俯视界面的可视视野，使驾驶员可以看到更多的路况，提高安全性。

附图说明

图1是相关技术中鱼眼摄像头光线折射示意图；

图2是根据本发明一个实施例的车辆环视全景图像生成方法的流程图；

图3是根据本发明另一个实施例的车辆环视全景图像生成方法的流程图；

图4是根据本发明一个实施例的参照点的设置位置示意图；

图5是根据本发明一个实施例的矫正球面的示意图；

图6是根据本发明一个实施例的理论球面上参照点的位置示意图；

图7是根据本发明一个实施例的球面旋转过程的示意图；

图8是根据本发明一个实施例的理论球面与矫正球面的坐标系的关系示意图；

图9是根据本发明一个实施例的车辆环视全景图像生成装置的结构示意图；

图10是根据本发明另一个实施例的车辆环视全景图像生成装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

目前，平面全景影像中主要是利用鱼眼摄像头进行图像采集，从而保证超广角的特性。然而，如图1所示，由于鱼眼摄像头对光线具有很强的折射率，且越到镜头边缘，折射率越大，畸变也就越大。

本发明的发明人发现，由于鱼眼镜头的畸变很大，拍摄的是一个围绕中心内缩的畸变图像，且越到图像边缘，畸变越明显。按照平面的方式将畸变图像映射到俯视图像上，会造成俯视图可视范围小，物体拉伸严重的问题。

为解决上述问题，本发明利用鱼眼镜头的成像特点，在对畸变图像做矫正时，将畸变图像矫正到一个球面上。在地面上放置标记点(参照点)，通过旋转球面的方式，将矫正球面上的标记点(参照点)旋转到理论位置，以相同的方式将四个方向上的畸变图像旋转到同一球面上，对重合部分进行图像拼接，最后得到俯视的球面全景的图像。从而，能够在摄像头矫正时，按照球面的方式，将畸变图像矫正到一个球面上，并通过旋转球面的方式来变换视角，能够有效解决将图像映射到平面上时的物体拉伸问题，从而能够更好地还原车辆周围的路口，方便驾驶员观察，且能够增加俯视界面的可视视野，使驾驶员可以看到更多的路况，提高安全性。

下面参考附图描述根据本发明实施例的车辆环视全景图像生成方法、装置和车辆。

图2为根据本发明一个实施例的车辆环视全景图像生成方法的流程图。

如图2所示，根据本发明实施例的车辆环视全景图像生成方法，包括以下步骤。

S101，分别获取车辆上的多个车载拍摄装置采集到的所述车辆周围多个预设方向上的图像。

在本发明的一个实施例中，车载拍摄装置可以包括鱼眼摄像头。

在本发明的实施例中，多个车载拍摄装置可分别设置为用于采集多个预设方向的图像。其中，多个预设方向可根据实际需要设设定。举例来说，多个预设方向可分别为车辆的车头方向，车尾方向，以及左右两侧方向。

S102，根据预先建立的畸变图像映射表，将所述多个预设方向上的图像分别映射到预设的理论球面上，得到所述理论球面上的多个球面图像。

在本发明的一个实施例中，畸变图像映射表可以是畸变图像上的图像点与理论球面上的点之间的映射关系表。举例来说，可以是坐标映射表，或者角度映射表等，或者二者的综合等。

其中，畸变图像映射表可以是预先建立并存储的，从而，在拍摄到各个方向的畸变图像后，可调用并根据该畸变图像映射表将每个畸变图像映射为一幅理论球面上的对应视角的球面图像。

举例来说，对于车头方向，车尾方向，以及左右两侧方向，这4个预设方向来说，可分别映射到理论球面的4个方向上，得到4个视角的球面图像。

S103，对所述多个球面图像进行图像融合，生成所述车辆的球面全景图像。

在本发明的一个实施例中，可将所述多个球面图像的重合部分做图像融合处理，以完成图像的拼接，得到所述车辆的球面全景图像。

在本发明的一个实施例中，上述畸变图像映射表可通过图4所示的步骤建立。如图3所示，建立畸变图像映射表包括以下步骤。

S301，在所述车辆的多个预设方向上分别设置预设数量的参照点。

在本发明的一个实施例中，预设数量可为2，预设数量的参照点可包括第一参照点和第二参照点。

举例来说，仍以上述车头方向，车尾方向，以及左右两侧方向4个预设方向为例，如图4所示，可在车的前后左右四个方向上分别设置两个参照点。

S302，通过所述多个车载拍摄装置进行图像采集，分别得到所述多个预设方向上的畸变图像，每个畸变图像中包含对应的预设数量的参照点。

S303，根据预设的第一映射关系分别确定每个预设方向上的预设数量的参照点在相应的预设的矫正球面的映射坐标，其中，所述矫正球面与所述理论球面的球半径相同。

其中，第一映射关系可根据车载拍摄装置的镜头确定。举例来说，对于鱼眼镜头，该镜头有一个入射角和实际相高的关系表(第一坐标)。举例而言，如图5所示，入射角是入射光线相对于中线的夹角，矫正球面上每一个点相对于中线的夹角都可以从这个关系表中找到。由此，可以利用实际像高(畸变图像中的相高)与入射角的关系表，将矫正球面上的每个点映射到畸变图像上。这种矫正球面到畸变图像的映射方向记为反向矫正。相反的，畸变图像上的点也可以利用这个关系表映射到矫正球面上，记为正向矫正。

其中，矫正球面的球半径与理论球面的球半径相同，为便于后续说明，在本发明的实施例中可用r表示。

对于上述4个方向来说，可获取每个车载拍摄装置拍摄的畸变图像(可用D表示)上的两个参照点的坐标，分别记为点A和B。假设，其中一个方向上的点A和B的齐次坐标分别为A(xa,ya,0)和B(xb,yb,0)，则可根据以下实际像高h的计算公式(1)，将点A和B的齐次坐标分别代入公式，以分别计算出点A和B对应的相高ha和hb。

进而，可根据上述入射角和实际相高的关系表中的正向矫正，查找相高ha和hb分别对应的入射角，记为αa和αb，进而可根据以下公式(2)计算点A映射到矫正球面(可用S1表示)上的点S1A的坐标(S1Ax,S1Ay,S1Az)。

同理可计算出点B映射到矫正球面上的点S1B的坐标(S1Bx,S1By,S1Bz)，其中S1Az和S1Bz分别表示点S1A和点S1B距离球面底部的高度。

由此，计算球面S1上每个点相对于镜头的入射角α，

根据上述反向矫正过程，每个入射角都对应在畸变图像上的某个点，进而可得到从矫正球面到畸变图像上所有的点的第一映射关系，可记为Map_S1D。

然后，可通过步骤S304-S308来分别确定每个预设方向对应的矫正球面与所述理论球面对应的第二映射关系。

S304，对于每个预设方向，按照第一规则旋转所述矫正球面，得到第一参照球面，以使所述预设方向上的第一参照点在所述第一参照球面的映射坐标为预设坐标，并根据所述第一规则确定从所述第一参照球面到所述矫正球面的第三映射关系。

在本发明的实施例中，预设坐标可根据需要进行设定。举例来说，如果需要生成俯视全景图像，则预设坐标可为第一参照球面上顶点坐标，即在第一参照球面对应的参考坐标系中具有最大的z轴坐标的点。如果需要生成侧视图(如上述预设方向对应的左侧或者右侧视图)，则预设坐标可为第一参照球面中左侧顶点坐标或右侧顶点坐标。由此，可满足用户对与不同视角的全景图像的需求，增加了俯视、侧视等不同界面的可视视野，使驾驶员可以看到更多的路况，提高了安全性。

在本发明的一个实施例中，第一规则可包括第一平行旋转角度和第一垂直旋转角度。具体而言，按照第一规则旋转所述矫正球面可包括：按照第一平行旋转角度平行旋转所述矫正平面；然后按照第一垂直角度垂直旋转所述矫正平面。

以所述预设坐标为第一参照球面上顶点坐标为例，如果旋转矫正球面S1，以将点S1A旋转到球面的上顶点，则该旋转分为两步a和b。

a、保持S1Az值不变，平行旋转矫正球面S1转，将S1A旋转到y轴上，则此时S1Ax＝0，

第一平行旋转角度

对应地，点S1B平行旋转相同的角度θh，根据直角三角形的边长与夹角的关系，可计算得到点S1B旋转后的坐标。

b、然后，保持S1Ax不变，垂直旋转矫正球面S1转，将点S1A旋转到矫正球面的顶部。旋转后得到第一参照球面，记为S2。点S1A经两次旋转后对应第一参照球面S2上的点为S2A(S2Ax,S2Ay,S2Az)，则此时S2Ax＝0，S2Ay＝0，S2Az＝r。其中，第一垂直旋转角度

对应地，点S1B垂直旋转相同的角度，可根据直角三角形的边长与夹角的关系，可计算得到点S1B旋转后的坐标，记为点S2B(S2Bx,S2By,S2Bz)。

上述过程为将矫正球面上的点映射到第一参照球面上的点的过程中，在后续实际生成全景图像的过程中，需要使用第一参照球面到矫正球面的映射关系，此映射为上述矫正球面到第一参照球面映射的反过程，即先将第一参照球面反向垂直旋转θv，再反向平行旋转θh。从而，可根据上述第一平行旋转角度和第一垂直旋转角度确定从所述第一参照球面到所述矫正球面的第三映射关系，可记为Map_S2S1。

S305，分别确定每个预设方向上的每个参照点在所述理论球面上的理论坐标。

在本发明的一个实施例中，可根据车辆的尺寸大小，计算每个预设方向上的每个参照点在所述理论球面(可用S3表示)上的理论坐标。举例来说，对于上述4个方向上的8个标记点在半径为r的理论球面S3上的位置可如图6所示。举例来说，每个预设方向上的两个标记点的理论坐标可记为S3A(S3Ax,S3Ay,S3Az)、S3B(S3Bx,S3By,S3Bz)。

S306，对于每个预设方向，按照第二规则旋转所述理论球面，得到第二参照球面，以使所述预设方向上的第一参照点在所述第二参照球面的映射坐标为预设坐标，并根据所述第二规则确定从所述理论球面到所述第二参照球面的第四映射关系。

在本发明的实施例中，预设坐标可根据需要进行设定。举例来说，如果需要生成俯视全景图像，则预设坐标可为第二参照球面上顶点坐标，即在第二参照球面对应的参考坐标系中具有最大的z轴坐标的点。如果需要生成侧视图(如上述预设方向对应的左侧或者右侧视图)，则预设坐标可为第二参照球面中左侧顶点坐标或右侧顶点坐标。

在本发明的一个实施例中，第二规则可包括第二平行旋转角度和第二垂直旋转角度。具体而言，按照第二规则旋转所述矫正球面可包括：按照第二平行旋转角度平行旋转所述理论平面；然后按照第二垂直角度垂直旋转所述理论平面。

以所述预设坐标为第二参照球面上顶点坐标为例，如果旋转理论球面S3，以将点S1A旋转到理论球面的上顶点，则该旋转分为两步a’和b’，具体可参照步骤S304中的a和b。随着S3A的旋转(平行旋转或垂直旋转)，理论球面上的所有的其他预设方向上的其他的参照点也要对应旋转相同的角度。记录理论球面上所有的参照点经a’和b’两步旋转后，在旋转后的第二参照球面(可用S4表示)上的坐标映射表，记为表Map_S3S4。设点S1A旋转后的标记点S4A、S4B坐标可分别记为S4A(S4Ax,S4Ay,S4Az)、S4B(S4Bx,S4By,S4Bz)。

S307，对于每个预设方向，按照第三规则旋转所述第二参照球面，以使所述预设方向上的第二参照点在所述第二参照球面和所述第一参照球面中的坐标一致，并根据所述第三规则确定从所述第二参照球面到所述第一参照球面的第五映射关系。

经过步骤S305和S307的球面旋转，点S2A和S4A分别在第一参照球面和第二参照球面的顶部，S4B和S2B在同一个平行于XY坐标系的圆上。在本发明的一个实施例中，可平行旋转球面S4，将点S4B围绕点S4A所在轴线，旋转到点S2B的位置。其中，S4B和S2B所在圆的半径rb可通过以下公式(3)计算得到：

S4B和S2B的直线距离L可通过以下公式(4)计算得到：

旋转的角度θ可通过以下公式(5)计算得到：

对应地，第二参照球面S4上所有的点均平行旋转相同的角度θ，利用直角三角形边长与夹角的关系，可记录球面S4到S2所有的点的映射表为Map_S4S2。

S308，根据所述第三映射关系，所述第四映射关系和所述第五映射关系确定所述第二映射关系。

具体而言，可直接将第一映射关系、第三映射关系，所述第四映射关系和所述第五映射关系组合为畸变图像映射表。即根据Map_S3S4、Map_S4S2、Map_S2S1，Map_S1D，可以得到理论球面S3到畸变图像D的畸变图像映射表Map_S3D。

或者，也可以根据所述第三映射关系，所述第四映射关系和所述第五映射关系确定所述第二映射关系，然后，根据所述第一映射关系和所述第二映射关系确定所述畸变图像映射表。

在本发明的一个实施例中，上述球面旋转的过程可参照图7所示。

通过上述过程建立的畸变图像映射表，其中，包含了畸变图像到球面图像的映射关系，还通过旋转球面的方式来变换视角，因此包含了视角转换关系，由此后续可通过该畸变图像映射表直接将车载摄像头采集到的各个方向的畸变图像映射为理论球面上的响应视角的球面图像，进而通过图像融合为全景图像，能够有效解决将图像映射到平面上时的物体拉伸问题。

本发明实施例的车辆环视全景图像生成方法，通过根据畸变图像映射表将车辆多个不同方向上的拍摄装置采集到的图像分别映射到预设的理论球面上，得到理论球面上的多个球面图像，并对得到的多个球面图像进行图像融合，生成车辆的球面全景图像，能够按照球面的方式，将畸变图像矫正到一个球面上，能够有效解决将图像映射到平面上时的物体拉伸问题，从而能够更好地还原车辆周围的路口，方便驾驶员观察，且能够增加俯视界面的可视视野，使驾驶员可以看到更多的路况，提高安全性。

需要说明的是，本发明实施例中的畸变图像、矫正球面和理论球面上的点的坐标可基于如图8所示的坐标系。其中，畸变图像位于xyz坐标系中的xy平面。其中理论球面与矫正球面之间的上下展示仅是为了便于区分显示，并不表示二者的空间位置关系。

为了实现上述实施例，本发明还提出一种车辆环视全景图像生成装置。

图9为根据本发明一个实施例的车辆环视全景图像生成装置的结构示意图。

如图9所示，根据本发明实施例的车辆环视全景图像生成装置，包括：获取模块10、映射模块20和生成模块30。

具体地，获取模块10用于分别获取车辆上的多个车载拍摄装置采集到的所述车辆周围多个预设方向上的图像。

在本发明的一个实施例中，车载拍摄装置可以包括鱼眼摄像头。

在本发明的实施例中，多个车载拍摄装置可分别设置为用于采集多个预设方向的图像。其中，多个预设方向可根据实际需要设设定。举例来说，多个预设方向可分别为车辆的车头方向，车尾方向，以及左右两侧方向。

映射模块20用于根据预先建立的畸变图像映射表，将所述多个预设方向上的图像分别映射到预设的理论球面上，得到所述理论球面上的多个球面图像。

在本发明的一个实施例中，畸变图像映射表可以是畸变图像上的图像点与理论球面上的点之间的映射关系表。举例来说，可以是坐标映射表，或者角度映射表等，或者二者的综合等。

其中，畸变图像映射表可以是预先建立并存储的，从而，在拍摄到各个方向的畸变图像后，可调用并根据该畸变图像映射表将每个畸变图像映射为一幅理论球面上的对应视角的球面图像。

举例来说，对于车头方向，车尾方向，以及左右两侧方向，这4个预设方向来说，可分别映射到理论球面的4个方向上，得到4个视角的球面图像。

生成模块30用于对所述多个球面图像进行图像融合，生成所述车辆的球面全景图像。

在本发明的一个实施例中，生成模块30可将所述多个球面图像的重合部分做图像融合处理，以完成图像的拼接，得到所述车辆的球面全景图像。

在本发明的另一个实施例中，如图10所示，车辆环视全景图像生成装置还可包括建立模块40。

建立模块40用于建立所述畸变图像映射表。

具体而言，建立模块40可用于：在所述车辆的多个预设方向上分别设置预设数量的参照点；通过所述多个车载拍摄装置进行图像采集，分别得到所述多个预设方向上的畸变图像，每个畸变图像中包含对应的预设数量的参照点；根据预设的第一映射关系分别确定每个预设方向上的预设数量的参照点在相应的预设的矫正球面的映射坐标，其中，所述矫正球面与所述理论球面的球半径相同；分别确定每个预设方向对应的矫正球面与所述理论球面对应的第二映射关系；根据所述第一映射关系和所述第二映射关系确定所述畸变图像映射表。

在本发明的一个实施例中，预设数量可为2，预设数量的参照点可包括第一参照点和第二参照点。

举例来说，仍以上述车头方向，车尾方向，以及左右两侧方向4个预设方向为例，如图4所示，可在车的前后左右四个方向上分别设置两个参照点。

其中，第一映射关系可根据车载拍摄装置的镜头确定。举例来说，对于鱼眼镜头，该镜头有一个入射角和实际相高的关系表(第一坐标)。举例而言，如图5所示，入射角是入射光线相对于中线的夹角，矫正球面上每一个点相对于中线的夹角都可以从这个关系表中找到。由此，可以利用实际像高(畸变图像中的相高)与入射角的关系表，将矫正球面上的每个点映射到畸变图像上。这种矫正球面到畸变图像的映射方向记为反向矫正。相反的，畸变图像上的点也可以利用这个关系表映射到矫正球面上，记为正向矫正。

其中，矫正球面的球半径与理论球面的球半径相同，为便于后续说明，在本发明的实施例中可用r表示。

对于上述4个方向来说，可获取每个车载拍摄装置拍摄的畸变图像(可用D表示)上的两个参照点的坐标，分别记为点A和B。假设，其中一个方向上的点A和B的齐次坐标分别为A(xa,ya,0)和B(xb,yb,0)，则可根据以下实际像高h的计算公式(1)，将点A和B的齐次坐标分别代入公式，以分别计算出点A和B对应的相高ha和hb。

进而，可根据上述入射角和实际相高的关系表中的正向矫正，查找相高ha和hb分别对应的入射角，记为αa和αb，进而可根据以下公式(2)计算点A映射到矫正球面(可用S1表示)上的点S1A的坐标(S1Ax,S1Ay,S1Az)。

同理可计算出点B映射到矫正球面上的点S1B的坐标(S1Bx,S1By,S1Bz)，其中S1Az和S1Bz分别表示点S1A和点S1B距离球面底部的高度。

由此，计算球面S1上每个点相对于镜头的入射角α，

根据上述反向矫正过程，每个入射角都对应在畸变图像上的某个点，进而可得到从矫正球面到畸变图像上所有的点的第一映射关系，可记为Map_S1D。

进一步地，建立模块40还可用于分别确定每个预设方向对应的矫正球面与所述理论球面对应的第二映射关系。具体而言，可用于：对于每个预设方向，按照第一规则旋转所述矫正球面，得到第一参照球面，以使所述预设方向上的第一参照点在所述第一参照球面的映射坐标为预设坐标，并根据所述第一规则确定从所述第一参照球面到所述矫正球面的第三映射关系；分别确定每个预设方向上的每个参照点在所述理论球面上的理论坐标；对于每个预设方向，按照第二规则旋转所述理论球面，得到第二参照球面，以使所述预设方向上的第一参照点在所述第二参照球面的映射坐标为预设坐标，并根据所述第二规则确定从所述理论球面到所述第二参照球面的第四映射关系；对于每个预设方向，按照第三规则旋转所述第二参照球面，以使所述预设方向上的第二参照点在所述第二参照球面和所述第一参照球面中的坐标一致，并根据所述第三规则确定从所述第二参照球面到所述第一参照球面的第五映射关系；根据所述第三映射关系，所述第四映射关系和所述第五映射关系确定所述第二映射关系。

在本发明的实施例中，预设坐标可根据需要进行设定。举例来说，如果需要生成俯视全景图像，则预设坐标可为第一参照球面上顶点坐标，即在第一参照球面对应的参考坐标系中具有最大的z轴坐标的点。如果需要生成侧视图(如上述预设方向对应的左侧或者右侧视图)，则预设坐标可为第一参照球面中左侧顶点坐标或右侧顶点坐标。由此，可满足用户对与不同视角的全景图像的需求，增加了俯视、侧视等不同界面的可视视野，使驾驶员可以看到更多的路况，提高了安全性。

在本发明的一个实施例中，第一规则可包括第一平行旋转角度和第一垂直旋转角度。具体而言，按照第一规则旋转所述矫正球面可包括：按照第一平行旋转角度平行旋转所述矫正平面；然后按照第一垂直角度垂直旋转所述矫正平面。

以所述预设坐标为第一参照球面上顶点坐标为例，如果旋转矫正球面S1，以将点S1A旋转到球面的上顶点，则该旋转分为两步a和b。

a、保持S1Az值不变，平行旋转矫正球面S1转，将S1A旋转到y轴上，则此时S1Ax＝0，

第一平行旋转角度

对应地，点S1B平行旋转相同的角度θh，根据直角三角形的边长与夹角的关系，可计算得到点S1B旋转后的坐标。

b、然后，保持S1Ax不变，垂直旋转矫正球面S1转，将点S1A旋转到矫正球面的顶部。旋转后得到第一参照球面，记为S2。点S1A经两次旋转后对应第一参照球面S2上的点为S2A(S2Ax,S2Ay,S2Az)，则此时S2Ax＝0，S2Ay＝0，S2Az＝r。其中，第一垂直旋转角度

对应地，点S1B垂直旋转相同的角度，可根据直角三角形的边长与夹角的关系，可计算得到点S1B旋转后的坐标，记为点S2B(S2Bx,S2By,S2Bz)。

上述过程为将矫正球面上的点映射到第一参照球面上的点的过程中，在后续实际生成全景图像的过程中，需要使用第一参照球面到矫正球面的映射关系，此映射为上述矫正球面到第一参照球面映射的反过程，即先将第一参照球面反向垂直旋转θv，再反向平行旋转θh。从而，可根据上述第一平行旋转角度和第一垂直旋转角度确定从所述第一参照球面到所述矫正球面的第三映射关系，可记为Map_S2S1。

在本发明的一个实施例中，可根据车辆的尺寸大小，计算每个预设方向上的每个参照点在所述理论球面(可用S3表示)上的理论坐标。举例来说，对于上述4个方向上的8个标记点在半径为r的理论球面S3上的位置可如图6所示。举例来说，每个预设方向上的两个标记点的理论坐标可记为S3A(S3Ax,S3Ay,S3Az)、S3B(S3Bx,S3By,S3Bz)。

在本发明的实施例中，预设坐标可根据需要进行设定。举例来说，如果需要生成俯视全景图像，则预设坐标可为第二参照球面上顶点坐标，即在第二参照球面对应的参考坐标系中具有最大的z轴坐标的点。如果需要生成侧视图(如上述预设方向对应的左侧或者右侧视图)，则预设坐标可为第二参照球面中左侧顶点坐标或右侧顶点坐标。

在本发明的一个实施例中，第二规则可包括第二平行旋转角度和第二垂直旋转角度。具体而言，按照第二规则旋转所述矫正球面可包括：按照第二平行旋转角度平行旋转所述理论平面；然后按照第二垂直角度垂直旋转所述理论平面。

以所述预设坐标为第二参照球面上顶点坐标为例，如果旋转理论球面S3，以将点S1A旋转到理论球面的上顶点，则该旋转分为两步a’和b’，具体可参照步骤S304中的a和b。随着S3A的旋转(平行旋转或垂直旋转)，理论球面上的所有的其他预设方向上的其他的参照点也要对应旋转相同的角度。记录理论球面上所有的参照点经a’和b’两步旋转后，在旋转后的第二参照球面(可用S4表示)上的坐标映射表，记为表Map_S3S4。设点S1A旋转后的标记点S4A、S4B坐标可分别记为S4A(S4Ax,S4Ay,S4Az)、S4B(S4Bx,S4By,S4Bz)。

经过上述旋转，点S2A和S4A分别在第一参照球面和第二参照球面的顶部，S4B和S2B在同一个平行于XY坐标系的圆上。在本发明的一个实施例中，可平行旋转球面S4，将点S4B围绕点S4A所在轴线，旋转到点S2B的位置。其中，S4B和S2B所在圆的半径rb可通过以下公式(3)计算得到：

S4B和S2B的直线距离L可通过以下公式(4)计算得到：

旋转的角度θ可通过以下公式(5)计算得到：

对应地，第二参照球面S4上所有的点均平行旋转相同的角度θ，利用直角三角形边长与夹角的关系，可记录球面S4到S2所有的点的映射表为Map_S4S2。

具体而言，可直接将第一映射关系、第三映射关系，所述第四映射关系和所述第五映射关系组合为畸变图像映射表。即根据Map_S3S4、Map_S4S2、Map_S2S1，Map_S1D，可以得到理论球面S3到畸变图像D的畸变图像映射表Map_S3D。

或者，也可以根据所述第三映射关系，所述第四映射关系和所述第五映射关系确定所述第二映射关系，然后，根据所述第一映射关系和所述第二映射关系确定所述畸变图像映射表。

在本发明的一个实施例中，上述球面旋转的过程可参照图7所示。

通过上述过程建立的畸变图像映射表，其中，包含了畸变图像到球面图像的映射关系，还通过旋转球面的方式来变换视角，因此包含了视角转换关系，由此后续可通过该畸变图像映射表直接将车载摄像头采集到的各个方向的畸变图像映射为理论球面上的响应视角的球面图像，进而通过图像融合为全景图像，能够有效解决将图像映射到平面上时的物体拉伸问题。

本发明实施例的车辆环视全景图像生成装置，通过根据畸变图像映射表将车辆多个不同方向上的拍摄装置采集到的图像分别映射到预设的理论球面上，得到理论球面上的多个球面图像，并对得到的多个球面图像进行图像融合，生成车辆的球面全景图像，能够按照球面的方式，将畸变图像矫正到一个球面上，能够有效解决将图像映射到平面上时的物体拉伸问题，从而能够更好地还原车辆周围的路口，方便驾驶员观察，且能够增加俯视界面的可视视野，使驾驶员可以看到更多的路况，提高安全性。

为了实现上述实施例，本发明还提出一种车辆，包括本发明任一实施例的车辆环视全景图像生成装置。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种车辆环视全景图像生成方法，其特征在于，包括以下步骤：

分别获取车辆上的多个车载拍摄装置采集到的所述车辆周围多个预设方向上的图像；

根据预先建立的畸变图像映射表，将所述多个预设方向上的图像分别映射到预设的理论球面上，得到所述理论球面上的多个球面图像；

对所述多个球面图像进行图像融合，生成所述车辆的球面全景图像；

所述畸变图像映射表通过以下步骤建立：

在所述车辆的多个预设方向上分别设置预设数量的参照点；

通过所述多个车载拍摄装置进行图像采集，分别得到所述多个预设方向上的畸变图像，每个畸变图像中包含对应的预设数量的参照点；

根据预设的第一映射关系分别确定每个预设方向上的预设数量的参照点在相应的预设的矫正球面的映射坐标，其中，所述矫正球面与所述理论球面的球半径相同；

分别确定每个预设方向对应的矫正球面与所述理论球面对应的第二映射关系；

根据所述第一映射关系和所述第二映射关系确定所述畸变图像映射表；

所述分别确定每个预设方向对应的矫正球面与所述理论球面对应的第二映射关系，包括：

对于每个预设方向，按照第一规则旋转所述矫正球面，得到第一参照球面，以使所述预设方向上的第一参照点在所述第一参照球面的映射坐标为预设坐标，并根据所述第一规则确定从所述第一参照球面到所述矫正球面的第三映射关系；

分别确定每个预设方向上的每个参照点在所述理论球面上的理论坐标；

对于每个预设方向，按照第二规则旋转所述理论球面，得到第二参照球面，以使所述预设方向上的第一参照点在所述第二参照球面的映射坐标为预设坐标，并根据所述第二规则确定从所述理论球面到所述第二参照球面的第四映射关系；

对于每个预设方向，按照第三规则旋转所述第二参照球面，以使所述预设方向上的第二参照点在所述第二参照球面和所述第一参照球面中的坐标一致，并根据所述第三规则确定从所述第二参照球面到所述第一参照球面的第五映射关系；

根据所述第三映射关系，所述第四映射关系和所述第五映射关系确定所述第二映射关系。

2.如权利要求1所述的方法，其特征在于，所述预设坐标为球面的顶点坐标，

所述第一规则包括：第一平行旋转角度和第一垂直旋转角度；

所述第一规则包括：第二平行旋转角度和第二垂直旋转角度；

所述第三规则包括：第三平行旋转角度和第三垂直旋转角度。

3.如权利要求1-2任一项所述的方法，其特征在于，所述对所述多个球面图像进行图像融合，生成所述车辆的球面全景图像，包括：

将所述多个球面图像的重合部分进行拼接，得到所述车辆的球面全景图像。

4.如权利要求1所述的方法，其特征在于，所述车载拍摄装置包括鱼眼摄像头。

5.一种车辆环视全景图像生成装置，其特征在于，包括：

获取模块，用于分别获取车辆上的多个车载拍摄装置采集到的所述车辆周围多个预设方向上的图像；

映射模块，用于根据预先建立的畸变图像映射表，将所述多个预设方向上的图像分别映射到预设的理论球面上，得到所述理论球面上的多个球面图像；

生成模块，用于对所述多个球面图像进行图像融合，生成所述车辆的球面全景图像；

还包括：

建立模块，用于建立所述畸变图像映射表；

所述建立模块具体用于：

在所述车辆的多个预设方向上分别设置预设数量的参照点；

通过所述多个车载拍摄装置进行图像采集，分别得到所述多个预设方向上的畸变图像，每个畸变图像中包含对应的预设数量的参照点；

根据预设的第一映射关系分别确定每个预设方向上的预设数量的参照点在相应的预设的矫正球面的映射坐标，其中，所述矫正球面与所述理论球面的球半径相同；

分别确定每个预设方向对应的矫正球面与所述理论球面对应的第二映射关系；

根据所述第一映射关系和所述第二映射关系确定所述畸变图像映射表；

所述建立模块用于：

对于每个预设方向，按照第一规则旋转所述矫正球面，得到第一参照球面，以使所述预设方向上的第一参照点在所述第一参照球面的映射坐标为预设坐标，并根据所述第一规则确定从所述第一参照球面到所述矫正球面的第三映射关系；

分别确定每个预设方向上的每个参照点在所述理论球面上的理论坐标；

对于每个预设方向，按照第二规则旋转所述理论球面，得到第二参照球面，以使所述预设方向上的第一参照点在所述第二参照球面的映射坐标为预设坐标，并根据所述第二规则确定从所述理论球面到所述第二参照球面的第四映射关系；

对于每个预设方向，按照第三规则旋转所述第二参照球面，以使所述预设方向上的第二参照点在所述第二参照球面和所述第一参照球面中的坐标一致，并根据所述第三规则确定从所述第二参照球面到所述第一参照球面的第五映射关系；

根据所述第三映射关系，所述第四映射关系和所述第五映射关系确定所述第二映射关系。

6.如权利要求5所述的装置，其特征在于，所述预设坐标为球面的顶点坐标，

所述第一规则包括：第一平行旋转角度和第一垂直旋转角度；

所述第一规则包括：第二平行旋转角度和第二垂直旋转角度；

所述第三规则包括：第三平行旋转角度和第三垂直旋转角度。

7.如权利要求5或6所述的装置，其特征在于，所述生成模块用于：

将所述多个球面图像的重合部分进行拼接，得到所述车辆的球面全景图像。

8.如权利要求5所述的装置，其特征在于，所述车载拍摄装置包括鱼眼摄像头。

9.一种车辆，包括如权利要求5-8任一项所述的车辆环视全景图像生成装置。

Images