CN113592704A - 一种图像生成方法、装置及系统 - Google Patents
一种图像生成方法、装置及系统 Download PDFInfo
- Publication number
- CN113592704A CN113592704A CN202010366183.4A CN202010366183A CN113592704A CN 113592704 A CN113592704 A CN 113592704A CN 202010366183 A CN202010366183 A CN 202010366183A CN 113592704 A CN113592704 A CN 113592704A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- pixel position
- mapping relation
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013507 mapping Methods 0.000 claims abstract description 163
- 230000000007 visual effect Effects 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000001737 promoting effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 13
- 230000002452 interceptive effect Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像生成方法、装置及系统，该方法包括：建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系；建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系；获取目标原始图像，基于所述第一映射关系将所述目标原始图像转换为目标展开图像，基于所述第二映射关系将所述目标展开图像转换为目标投影图像。通过本申请的技术方案，目标投影图像的视觉效果较好，在视野基本不变的情况下，减少畸变，提高用户的观看体验，有助于提升用户驾驶体验。
Description
技术领域
本申请涉及车载辅助技术领域，尤其是一种图像生成方法、装置及系统。
背景技术
随着图像技术的不断发展，车载环视系统也得到了大量应用，车载环视系统是辅助安全系统之一，基于多个摄像头采集的多个图像，车载环视系统可以为驾驶员提供车辆周围情况，为驾驶员的操作提供视觉辅助。例如，车载环视系统包括安装在车辆上的多个摄像头，如前视摄像头和环视摄像头等。在车辆行驶过程中，这些摄像头可以实时采集图像。如前视摄像头用于采集车辆前方的图像，环视摄像头用于采集车辆周围的图像。基于多个摄像头采集的多个图像，车载环视系统可以将多个图像拼接成全景图像，即360度的环视图像。
除了显示全景图像，车载环视系统还可以显示特定位置的局部图像，使得车载环视系统不仅有全景图像的环视感，又能清晰展现特定位置的局部图像。
在相关技术中，车载环视系统在得到特定位置的局部图像后，是直接显示特定位置的局部图像，该局部图像的视觉效果较差，影响用户的观看体验。
发明内容
有鉴于此，本申请提供一种图像生成方法，所述方法包括：
建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系；
建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系；
获取目标原始图像，基于所述第一映射关系将所述目标原始图像转换为目标展开图像，基于所述第二映射关系将所述目标展开图像转换为目标投影图像。
本申请提供一种图像生成装置，所述装置包括：
建立模块，用于建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系；建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系；生成模块，用于获取目标原始图像，基于所述第一映射关系将所述目标原始图像转换为目标展开图像，基于所述第二映射关系将所述目标展开图像转换为目标投影图像。
本申请提供一种车载环视系统，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现如下步骤：
建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系；
建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系；
获取目标原始图像，基于所述第一映射关系将所述目标原始图像转换为目标展开图像，基于所述第二映射关系将所述目标展开图像转换为目标投影图像。
由以上技术方案可见，本申请实施例中，在得到特定位置的局部图像(目标原始图像)后，基于虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系，投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系，生成与目标原始图像对应的目标投影图像，并显示目标投影图像，而不是直接显示特定位置的局部图像，目标投影图像的视觉效果较好，在视野基本不变的情况下，减少畸变，提高用户的观看体验，有助于提升用户驾驶体验。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的应用场景示意图；
图2是本申请一种实施方式中的图像生成方法的流程图；
图3A是本申请一种实施方式中的建立第一映射关系的示意图；
图3B是本申请一种实施方式中的世界坐标系与相机坐标系的示意图；
图3C是本申请一种实施方式中的鱼眼图与展开图的变换关系示意图；
图4A是本申请一种实施方式中的建立第二映射关系的示意图；
图4B是本申请一种实施方式中的投影变换的示意图；
图4C是本申请一种实施方式中的原图与投影图的示意图；
图4D是本申请一种实施方式中的投影映射关系的示意图；
图5A是本申请一种实施方式中的手动模式的示意图；
图5B是本申请一种实施方式中的自动模式的示意图；
图5C是本申请一种实施方式中的交互控制的流程示意图；
图6是本申请一种实施方式中的车载环视系统的示意图；
图7是本申请一种实施方式中的图像生成装置的结构图；
图8是本申请一种实施方式中的车载环视系统的结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参见图1所示，车载环视系统包括安装在车辆上的多个摄像头(即车载摄像头)，如前视摄像头和环视摄像头。在车辆行驶过程中，这些摄像头实时采集图像，例如，前视摄像头用于采集车辆前方的图像，环视摄像头用于采集车辆周围的图像。基于多个摄像头采集的多个图像，车载环视系统能够生成并显示全景视图，从而为驾驶员提供车辆周围情况，为驾驶员的操作提供视觉辅助。
除了显示全景图像，车载环视系统还可以显示特定位置的局部图像，使得车载环视系统不仅有全景图像的环视感，又能清晰展现特定位置的局部图像。
在相关技术中，车载环视系统在得到特定位置的局部图像后，直接显示局部图像。由于摄像头通常为鱼眼摄像头，局部图像为鱼眼图像，因此，直接显示鱼眼图像时，鱼眼图像的畸变较大，视觉效果较差，影响用户体验。
针对上述发现，本申请实施例中，在得到特定位置的局部图像(如鱼眼图像)后，采用鱼眼展开和投影映射等方法，将局部图像转换为投影图像，并显示投影图像，而不是直接显示局部图像，投影图像的视觉效果较好，在视野基本不变的情况下，减少畸变，提高用户体验，有助于提升用户驾驶体验。
以下结合具体实施例，对本申请实施例的图像生成方法进行说明。
参见图2所示，为图像生成方法的流程示意图，该方法可以包括：
步骤201，建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系，为了区分方便，本实施例中，将虚拟视角展开图像的像素位置与原始图像的像素位置之间的映射关系称为第一映射关系。示例性的，可以基于虚拟相机姿态、实际相机姿态和实际鱼眼镜头所在平面的半径等参数，建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系。
为了建立第一映射关系，在一种可能的实施方式中，可以采用图3A所示的流程，当然，这里这是一个示例，还可以采用其它方式建立第一映射关系。
步骤2011，建立虚拟视角展开图像的像素位置与实际视角展开图像的像素位置的第三映射关系，为了区分方便，本实施例中，将虚拟视角展开图像的像素位置与实际视角展开图像的像素位置之间的映射关系称为第三映射关系。
示例性的，可以先获取虚拟相机姿态和实际相机姿态，然后，可以根据该虚拟相机姿态和该实际相机姿态确定欧拉矩阵，并根据该欧拉矩阵建立虚拟视角展开图像的像素位置与实际视角展开图像的像素位置的第三映射关系。
步骤2012，建立实际视角展开图像的像素位置与原始图像的像素位置的第四映射关系，为了区分方便，本实施例中，可以将实际视角展开图像的像素位置与原始图像的像素位置之间的映射关系称为第四映射关系。
示例性的，可以先获取实际鱼眼镜头所在平面的半径，然后，根据该半径建立实际视角展开图像的像素位置与原始图像的像素位置的第四映射关系。
综上所述，通过建立实际视角展开图像的像素位置与原始图像的像素位置的第四映射关系，可以将原始图像转换成实际视角展开图像。通过建立虚拟视角展开图像的像素位置与实际视角展开图像的像素位置的第三映射关系，可以将实际视角展开图像转换成虚拟视角展开图像，即得到虚拟视角展开图像。
示例性的，原始图像是通过摄像头采集的原始图像，当摄像头为鱼眼摄像头时，则通过摄像头采集的原始图像是鱼眼图像。实际视角展开图像是实际视角下的展开图像，而实际视角可以是摄像头实际安装位置的视角。虚拟视角展开图像是虚拟视角下的展开图像，而虚拟视角可以是目标位置的视角。
示例性的，当原始图像是鱼眼图像时，基于步骤2011和步骤2012，用于对鱼眼图像进行展开，得到虚拟视角展开图像，而虚拟视角展开图像可以减少鱼眼图像的畸变情况。在对鱼眼图像进行展开时，可以采用经度展开、维度展开、经纬展开、180°展开、PTZ(PanTiltZoom，平移倾斜缩放)展开等方式，对此不做限制。作为一个例子，后续以采用PTZ展开方式对鱼眼图像进行展开为例，当采用其它方式对鱼眼图像进行展开时，实现过程类似，后续不再赘述。
针对步骤2011，可以先获取虚拟相机姿态和实际相机姿态(即鱼眼摄像头的实际姿态)，例如，虚拟相机姿态可以为(pitch1，yaw1，roll1)，实际相机姿态可以为(pitch0，yaw0，roll0)，实际相机姿态(pitch0，yaw0，roll0)可以为相机在世界坐标系下的姿态。示例性的，pitch表示俯仰角，yaw表示偏航角，roll表示滚转角。基于虚拟相机姿态和实际相机姿态，PTZ展开图欧拉角满足公式(1)：
在公式(1)中，(Δpitch，Δyaw，Δroll)为虚拟相机在实际相机坐标系下的姿态，(Δpitch，Δyaw，Δroll)为欧拉角。然后，可以利用欧拉角(Δpitch，Δyaw，Δroll)确定欧拉矩阵H，对此确定方式不做限制，可以采用传统方式实现。综上所述，可以基于虚拟相机姿态和实际相机姿态，确定欧拉矩阵H。
进一步的，可以根据欧拉矩阵H建立虚拟视角展开图像的像素位置与实际视角展开图像的像素位置的第三映射关系，从而实现虚拟视角展开图像到实际视角展开图像的变换，参见公式(2)所示，为第三映射关系的一个示例。当然，在实际应用中，还可以采用其它方式确定第三映射关系，对此不做限制。
在公式(2)中，(x，y)为虚拟视角展开图像的像素位置，(X，Y)为实际视角展开图像的像素位置，H为欧拉矩阵。针对虚拟视角展开图像的任一像素位置(x，y)，通过公式(2)可以确定与其对应的实际视角展开图像的像素位置(X，Y)。
针对步骤2012，参见图3B所示，为世界坐标系与相机坐标系的示意图，实际相机姿态(pitch0，yaw0，roll0)为相机在世界坐标系下的姿态，世界坐标系绕Zw轴旋转roll0，绕Yw轴旋转yaw0，绕Xw旋转pitch0，最终转到相机坐标系(Xc，Yc，Zc)。参见图3C所示，地面圆O为鱼眼图(原始图像)平面，O为实际鱼眼镜头的球心，r为实际鱼眼镜头所在平面的半径，Plane为实际视角展开图像平面。对于Plane平面上任意点P与球心O的连线，该连线与球O的交点为Q，交点Q在鱼眼图平面的投影为P′。由此可以看出，实际视角展开图像的像素位置与鱼眼图的像素位置的映射关系，是P与P′的对应关系。
示例性的，利用
相似，OP′∥PO1，可以计算P′的坐标，以下对P′的坐标的计算过程进行说明。由于
相似，OP′∥PO1，因此，可以得到公式(3)所示的等式。假设球O的半径为r(即实际鱼眼镜头所在平面的半径)，那么，OQ的长度可以为r，参见公式(4)所示，此外，OP的长度可以参见公式(5)所示。基于上述公式(3)-(5)，可以采用公式(6)计算P′的坐标。
OQ＝r (4)
在公式(6)中，(x′，y′)为原始图像的像素位置，(X，Y)为实际视角展开图像的像素位置，r为实际鱼眼镜头所在平面的半径。针对实际视角展开图像的任一像素位置(X，Y)，通过公式(6)可以确定与其对应的原始图像的像素位置(x′，y′)。
综上所述，可以先获取实际鱼眼镜头所在平面的半径r，然后，基于半径r，确定实际视角展开图像的像素位置与原始图像的像素位置的第四映射关系。
步骤2013，基于第三映射关系和第四映射关系，建立第一映射关系。
步骤2011中，得到虚拟视角展开图像的像素位置与实际视角展开图像的像素位置的第三映射关系，步骤2012中，得到实际视角展开图像的像素位置与原始图像的像素位置的第四映射关系。基于第三映射关系和第四映射关系，可以建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系。
例如，针对虚拟视角展开图像的任一像素位置(x，y)，通过公式(2)可以确定与其对应的实际视角展开图像的像素位置(X，Y)。针对实际视角展开图像的任一像素位置(X，Y)，通过公式(6)可以确定与其对应的原始图像的像素位置(x′，y′)。综上所述，结合公式(2)和公式(6)，针对虚拟视角展开图像的任一像素位置(x，y)，可以确定与其对应的原始图像的像素位置(x′，y′)，而像素位置(x，y)和像素位置(x′，y′)的对应关系，就可以是上述第一映射关系。
参见表1所示，为第一映射关系的示例，可以将原始图像中像素位置(x1′，y1′)的像素值，作为虚拟视角展开图像中像素位置(x1，y1)的像素值，以此类推。
表1
步骤202，建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系，为了区分方便，本申请实施例中，可以将投影图像的像素位置与虚拟视角展开图像的像素位置之间的映射关系称为第二映射关系。
示例性的，可以基于投影图像的横向分辨率和纵向分辨率等参数，建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系。
为了建立第二映射关系，在一种可能的实施方式中，可以采用图4A所示的流程，当然，这里这是一个示例，还可以采用其它方式建立第二映射关系。
步骤2021，确定投影图像的初始像素位置(即投影图像的任一像素位置，为区分方便，将其称为初始像素位置)在第一空间坐标系下对应的第一坐标。
示例性的，可以根据投影图像的横向分辨率确定初始像素位置对应的第一坐标，投影图像的横向分辨率与虚拟视角展开图像的横向分辨率相同或不同。
示例性的，针对第一空间坐标系的建立，可以采用如下方式：第一空间坐标系的原点为投影图像所在平面与虚拟视角展开图像所在平面的交线上顶点；第一空间坐标系的底面为投影图像所在平面；第一空间坐标系的法向量为z轴。
步骤2022，确定第一坐标在第二空间坐标系下对应的第二坐标。
示例性的，可以根据第二空间坐标系与第一空间坐标系之间的角度，确定第一坐标对应的第二坐标，该角度是第二空间坐标系与第一空间坐标系之间的角度，比如说，第二空间坐标系绕Y轴旋转该角度后得到第一空间坐标系。
示例性的，针对第二空间坐标系的建立，可以采用如下方式：第二空间坐标系的原点为投影图像所在平面与虚拟视角展开图像所在平面的交线上顶点；第二空间坐标系的底面为虚拟视角展开图像所在平面；第二空间坐标系的法向量为z轴。综上所述，第二空间坐标系的原点与第一空间坐标系的原点相同。
步骤2023，确定第二坐标在虚拟视角展开图像中对应的目标像素位置(即虚拟视角展开图像的像素位置，为区分方便，将其称为目标像素位置)。
示例性的，可以先确定第二坐标在虚拟视角展开图像中对应的映射位置，然后，可以确定该映射位置在虚拟视角展开图像中对应的目标像素位置。
例如，可以根据投影图像的横向分辨率和纵向分辨率，确定第二坐标在虚拟视角展开图像中对应的映射位置。以及，可以根据投影图像的横向分辨率，确定该映射位置在虚拟视角展开图像中对应的目标像素位置。
示例性的，投影图像的横向分辨率与虚拟视角展开图像的横向分辨率相同或不同，投影图像的纵向分辨率与虚拟视角展开图像的纵向分辨率相同或不同。
步骤2024，建立初始像素位置与目标像素位置的第二映射关系。
综上所述，基于第一空间坐标系和第二空间坐标系，可以确定初始像素位置对应的目标像素位置，比如说，针对投影图像中的每个初始像素位置，可以确定该初始像素位置在虚拟视角展开图像中对应的目标像素位置，从而得到投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系。
以下结合具体应用场景，对步骤2021-步骤2024的过程进行说明。
示例性的，可以利用投影中心，得到投影图像的每个像素位置在虚拟视角展开图像中对应的像素位置，从而得到投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系。在后续过程中，可以涉及投影中心、投影图像、投影点和映射点。投影中心是指：对于中心投影法，发出投射线的起始点与投射线交汇的位置。投影图像是指：从投影中心发出射线，将虚拟视角展开图像投影到投影平面上得到的图像。投影点是指：投影图像上的点，即投影图像的像素位置。映射点是指：投影图像上的投影点映射到虚拟视角展开图像上的点。
参见图4B所示，O为投影中心，平面AA1C1C为虚拟视角展开图像所在平面，平面BB1C1C为投影图像所在平面，AA1C1C和BB1C1C的长相同，AA1C1C和BB1C1C的宽也相同，即，虚拟视角展开图像的分辨率与投影图像的分辨率相同。也就是说，虚拟视角展开图像的横向分辨率与投影图像的横向分辨率可以相同，虚拟视角展开图像的纵向分辨率与投影图像的纵向分辨率可以相同。
示例性的，投影图像上的每个像素位置可以为投影点，连接投影点与投影中心的直线与虚拟视角展开图像的交点，即为投影点在虚拟视角展开图像上对应的映射点，基于投影点和映射点的关系，可以得到上述第二映射关系。
示例性的，AA1C1C通过投影中心O在投影平面上投影为AbAb1C1C，基于此，四边形AbAb1C1C显示四边形AA1C1C对应的图像内容，四边形BB1Ab1Ab可以显示图像以外的内容，显然，在分辨率相同的情况下，投影图像可以获得比虚拟视角展开图像更大的视野，从而通过对虚拟视角展开图像进行投影变换，得到更大视野的投影图像，该投影图像也就是需要显示的特殊视图。
以下结合一个例子，阐述投影图像的生成过程，当然，这里只是一个示例，还可以采用其它方式生成投影图像，对此不做限制。参见图4C所示，为水平线代表原图(即虚拟视角展开图像)，左右两侧向内弯折代表投影图像，投影图像的中间部分与原图一致，左右两侧是通过投影映射获得。以下介绍左侧部分投影映射，右侧部分投影映射与左侧原理一致，后续过程不再重复赘述。
参见图4D所示，四边形AA1O1O为虚拟视角展开图像，面OO1C1C垂直于面AA1O1O，四边形BB1O1O为投影图像，面OO1E1E垂直于面BB1O1O，面BB1O1O与面AA1O1O的夹角为a，投影中心D在直线CC1中心。
示例性的，以O点为坐标原点，OB为x1轴，OO1为y1轴，OE为z1轴，建立空间坐标系O-x1y1z1，该空间坐标系O-x1y1z1即第一空间坐标系。
示例性的，以O点为坐标原点，OA为x轴，OO1为y轴，OC为z轴，建立空间坐标系O-xyz，该空间坐标系O-xyz即第二空间坐标系。
坐标系O-xyz绕y轴逆时针旋转夹角a后，变换到坐标系O-x1y1z1。
综上所述，可以预先建立第一空间坐标系O-x1y1z1和第二空间坐标系O-xyz，第一空间坐标系O-x1y1z1的原点为投影图像所在平面与虚拟视角展开图像所在平面的交线上顶点O，底面为投影图像所在平面，法向量为z轴。第二空间坐标系O-xyz的原点与第一空间坐标系O-x1y1z1的原点相同，底面为虚拟视角展开图像所在平面，法向量为z轴。参见图4D所示，第二空间坐标系O-xyz与第一空间坐标系O-x1y1z1之间的角度为夹角a，夹角a越大，则第二空间坐标系O-xyz与第一空间坐标系O-x1y1z1之间就越倾斜，夹角a可以根据经验配置，可以是0-45度之间的任意夹角，也可以根据图像视觉效果设置默认值。显然，第二空间坐标O-xyz绕Y轴逆时针旋转夹角a后，变换到第一空间坐标系O-x1y1z1。
示例性的，假设投影图像和虚拟视角展开图像的分辨率均为w*h，即投影图像和虚拟视角展开图像的横向分辨率均为w，投影图像和虚拟视角展开图像的纵向分辨率均为h，第二空间坐标系O-xyz和第一空间坐标系O-x1y1z1均以像素为单位，那么，OA、OB、OO1、CC1的长度可以满足公式(7)所示，在此基础上，投影中心D在直线CC1中心，故投影中心D的坐标可以为(0，h/2，w)。
在上述应用场景下，针对步骤2021，针对投影图像的任一初始像素位置(i，j)，初始像素位置(i，j)在第一空间坐标系下对应的第一坐标为(m，n，l)，且初始像素位置(i，j)与第一坐标(m，n，l)之间的关系，可以参见公式(8)所示。
在公式(8)中，w为投影图像的横向分辨率，(i，j)为初始像素位置，(m，n，l)为第一坐标，因此，可以根据横向分辨率w确定初始像素位置对应的第一坐标。
针对步骤2022，针对初始像素位置(i，j)对应的第一坐标(m，n，l)，第一坐标(m，n，l)在第二空间坐标系下对应的第二坐标可以为(x0,y0,z0)，且第一坐标(m，n，l)与第二坐标(x0,y0,z0)之间的关系，可以参见公式(9)所示。
在公式(9)中，a为第二空间坐标系O-xyz与第一空间坐标系O-x1y1z1之间的角度，(m，n，l)为第一坐标，(x0,y0,z0)为第二坐标，因此，可以根据第二空间坐标系与第一空间坐标系之间的角度a，确定第一坐标对应的第二坐标。
综上所述，针对投影图像的任一初始像素位置(i，j)，通过公式(8)可以确定与其对应的第一空间坐标系下的第一坐标(m，n，l)。针对第一空间坐标系下的第一坐标(m，n，l)，通过公式(9)可以确定与其对应的第二空间坐标系下的第二坐标(x0,y0,z0)。结合公式(8)和公式(9)，针对投影图像的任一初始像素位置(i，j)，可以确定与其对应的第二空间坐标系下的第二坐标(x0,y0,z0)。
针对步骤2023，针对初始像素位置(i，j)对应的第二坐标(x0,y0,z0)，可以利用投影中心获得第二坐标(x0,y0,z0)在虚拟视角展开图像中对应的映射位置，然后，确定该映射位置在虚拟视角展开图像中对应的目标像素位置。
示例性的，在第二空间坐标系下，关于第二坐标(x0,y0,z0)与投影中心D(0，h/2，w)连线的直线方程，该直线方程可以参见公式(10)所示。在公式(10)中，(x0,y0,z0)为第二空间坐标系下的第二坐标，(0，h/2，w)为投影中心D的坐标，w为投影图像的横向分辨率，h为投影图像的纵向分辨率。
由于虚拟视角展开图像所在平面为xoy平面，因此，虚拟视角展开图像上的点在第二空间坐标系下满足z＝0。假设第二坐标(x0,y0,z0)在虚拟视角展开图像上的映射点为(x1，y1，0)，则对公式(10)进行变换后，可以得到第二坐标(x0,y0,z0)与映射点(x1，y1，0)之间的关系，参见公式(11)所示。
在公式(11)中，(x1，y1，0)为虚拟视角展开图像上的映射点坐标，(x0,y0,z0)为第二坐标，z＝0，w为投影图像的横向分辨率，h为投影图像的纵向分辨率。综上所述，可以根据投影图像的横向分辨率w和纵向分辨率h，确定第二坐标(x0,y0,z0)在虚拟视角展开图像中对应的映射位置(x1，y1，0)。
在得到虚拟视角展开图像中的映射位置(x1，y1，0)后，还可以确定该映射位置在虚拟视角展开图像中对应的目标像素位置。例如，假设映射位置(x1，y1，0)在虚拟视角展开图像中对应的目标像素位置为(p，q)，则映射位置(x1，y1，0)与目标像素位置(p，q)之间的关系，参见公式(12)所示。
在公式(12)中，(p，q)为虚拟视角展开图像上的目标像素位置，(x1，y1)为虚拟视角展开图像上的映射位置，w为投影图像的横向分辨率，因此，可以根据投影图像的横向分辨率w，确定映射位置对应的目标像素位置。
综上所述，针对投影图像的初始像素位置(i，j)对应的第二坐标(x0,y0,z0)，通过公式(11)可以确定与其对应的虚拟视角展开图像上的映射位置(x1，y1，0)。针对虚拟视角展开图像上的映射位置(x1，y1，0)，通过公式(12)可以确定与其对应的虚拟视角展开图像上的目标像素位置(p，q)。结合公式(11)和公式(12)，针对第二坐标(x0,y0,z0)可以确定与其对应的目标像素位置(p，q)。
针对步骤2024，结合公式(8)-公式(12)，针对投影图像的初始像素位置(i，j)，可以确定与其对应的目标像素位置(p，q)，从而得到投影图像的初始像素位置(i，j)与虚拟视角展开图像的目标像素位置(p，q)之间的映射关系，实现投影图像上初始像素位置(i，j)与虚拟视角展开图像上目标像素位置(p，q)之间的投影映射，即得到初始像素位置与目标像素位置的第二映射关系。
例如，针对投影图像的任一像素位置(i，j)，通过公式(8)和公式(9)，确定与其对应的第二空间坐标系下的第二坐标(x0,y0,z0)。针对第二空间坐标系下的第二坐标(x0,y0,z0)，通过公式(11)和公式(12)，确定与其对应的虚拟视角展开图像的目标像素位置(p，q)。综上所述，针对投影图像的任一像素位置(i，j)，可以确定与其对应的虚拟视角展开图像的目标像素位置(p，q)，而像素位置(i，j)和像素位置(p，q)的对应关系，就可以是上述第二映射关系。
如表2所示，为第二映射关系的示例，可以将虚拟视角展开图像中像素位置(p1，q1)的像素值，作为投影图像中像素位置(i1，j1)的像素值，以此类推。
表2
| 像素位置(i，j) | 像素位置(p，q) |
| 像素位置(i1，j1) | 像素位置(p1，q1) |
| 像素位置(i2，j2) | 像素位置(p2，q2) |
| 像素位置(i3，j3) | 像素位置(p3，q3) |
| … | … |
步骤203，获取目标原始图像，基于第一映射关系将目标原始图像转换为目标展开图像，基于第二映射关系将目标展开图像转换为目标投影图像。
示例性的，在车辆行驶过程中，可以通过车辆上部署的摄像头(如鱼眼摄像头)采集特定位置的局部图像(如鱼眼图像)，为了区分方便，将采集的局部图像称为目标原始图像。由于第一映射关系表示虚拟视角展开图像的像素位置与原始图像的像素位置的映射关系，因此，基于第一映射关系将目标原始图像转换为目标展开图像(如鱼眼展开图像，实际上，目标展开图像是虚拟视角的展开图像)。由于第二映射关系表示投影图像的像素位置与虚拟视角展开图像的像素位置的的映射关系，因此，基于第二映射关系将目标展开图像转换为目标投影图像(如广角图像)。为区分方便，将与目标原始图像对应的投影图像称为目标投影图像。在得到目标投影图像后，可以显示目标投影图像。
在一种可能的实施方式中，基于第一映射关系将目标原始图像转换为目标展开图像，基于第二映射关系将目标展开图像转换为目标投影图像，可以包括但不限于：基于第一映射关系和第二映射关系，建立投影图像的像素位置与原始图像的像素位置之间的映射关系。基于投影图像的像素位置与原始图像的像素位置之间的映射关系，生成与该目标原始图像对应的目标投影图像。
例如，针对投影图像的任一像素位置(i，j)，可以通过表2可以确定与其对应的虚拟视角展开图像的像素位置(p，q)。针对虚拟视角展开图像的像素位置(p，q)，即表1中的像素位置(x，y)，可以通过表1可以确定与其对应的原始图像的像素位置(x′，y′)。综上所述，结合表1和表2，针对投影图像的任一像素位置(i，j)，可以确定与其对应的原始图像的像素位置(x′，y′)，而像素位置(i，j)和像素位置(x′，y′)的对应关系，就可以是投影图像的像素位置与原始图像的像素位置之间的映射关系。进一步的，基于上述映射关系，可以将原始图像中像素位置(x′，y′)的像素值，作为投影图像中像素位置(i，j)的像素值。
参见表3所示，为上述映射关系的示例，可以将原始图像中像素位置(x1′，y1′)的像素值，作为投影图像中像素位置(i1，j1)的像素值，以此类推。
表3
在得到目标原始图像后，基于表3所示的映射关系，可以生成与目标原始图像对应的投影图像。例如，将目标原始图像中像素位置(x1′，y1′)的像素值，作为目标投影图像中像素位置(i1，j1)的像素值，将目标原始图像中像素位置(x2′，y2′)的像素值，作为目标投影图像中像素位置(i2，j2)的像素值，以此类推。
由以上技术方案可见，本申请实施例中，在得到特定位置的局部图像(目标原始图像)后，基于虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系，投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系，生成与目标原始图像对应的目标投影图像，并显示目标投影图像，而不是直接显示特定位置的局部图像，目标投影图像的视觉效果较好，在视野基本不变的情况下，减少畸变，提高用户的观看体验，有助于提升用户驾驶体验。
在一种可能的实施方式中，可以获取车辆左侧方向的目标原始图像(即通过部署在车辆左侧摄像头采集的图像)，基于该目标原始图像生成车辆左侧方向的目标投影图像。获取车辆前侧方向的目标原始图像(即通过部署在车辆前侧摄像头采集的图像)，基于该目标原始图像生成车辆前侧方向的目标投影图像。获取车辆右侧方向的目标原始图像(即通过部署在车辆右侧摄像头采集的图像)，基于该目标原始图像生成车辆右侧方向的目标投影图像。获取车辆后侧方向的目标原始图像(即通过部署在车辆后侧摄像头采集的图像)，基于该目标原始图像生成车辆后侧方向的目标投影图像。综上所述，可得到多个方向的目标投影图像，为了获知显示哪个方向的目标投影图像，可以采用如下方式：
方式1、接收用户输入的交互指令，该交互指令可以包括指定方向，该指定方向为车辆左侧方向、车辆前侧方向、车辆右侧方向、车辆后侧方向等。例如，若交互指令包括的是车辆左侧方向，则显示车辆左侧方向的目标投影图像。
例如，参见图5A所示，向用户显示交互界面1，交互界面1包括手动模式按钮和自动模式按钮。若用户点击手动模式按钮，则在接收到用户点击手动模式按钮的操作命令后，向用户显示交互界面2，交互界面2包括车辆左侧方向、车辆前侧方向、车辆右侧方向、车辆后侧方向。若用户点击车辆左侧方向，则可以接收到用户输入的交互指令，该交互指令包括的指定方向为车辆左侧方向。
基于此，可以显示车辆左侧方向的目标投影图像，即在车辆行驶过程中，实时显示左侧摄像头下的目标投影图像，直到用户关闭图像显示界面。
方式2、根据方向盘转角和方向盘转向确定目标方向，该目标方向可以为车辆左侧方向、车辆前侧方向、车辆右侧方向、车辆后侧方向等，并显示目标方向的目标投影图像。例如，若根据方向盘转角和方向盘转向确定目标方向为车辆左侧方向，则可以显示车辆左侧方向的目标投影图像。
例如，参见图5B所示，向用户显示交互界面1，交互界面1包括手动模式按钮和自动模式按钮。若用户点击自动模式按钮，则根据方向盘转角和方向盘转向确定目标方向。若确定目标方向为车辆左侧方向，则可以显示车辆左侧方向的目标投影图像，即在车辆行驶过程中，显示左摄像头下的目标投影图像。
示例性的，若方向盘转向为左方向，且方向盘转角小于或者等于预设角度阈值，则确定目标方向为车辆前侧方向或者车辆后侧方向；例如，若车辆为向前行驶，则确定目标方向为车辆前侧方向，若车辆为向后行驶，则确定目标方向为车辆后侧方向。若方向盘转向为左方向，且方向盘转角大于预设角度阈值，则确定目标方向为车辆左侧方向。
示例性的，若方向盘转向为右方向，且方向盘转角小于或者等于预设角度阈值，则确定目标方向为车辆前侧方向或者车辆后侧方向；例如，若车辆为向前行驶，则确定目标方向为车辆前侧方向，若车辆为向后行驶，则确定目标方向为车辆后侧方向。若方向盘转向为右方向，且方向盘转角大于预设角度阈值，则确定目标方向为车辆右侧方向。
在一种可能的实施方式中，还可以根据车辆行驶速度确定是否显示目标投影图像，若是，则显示目标投影图像，若否，则禁止显示目标投影图像。例如，若车辆行驶速度大于预设速度阈值，则不需要显示目标投影图像。若车辆行驶速度小于或者等于预设速度阈值，则需要显示目标投影图像。
综上所述，可以获取车辆的方向盘转角，方向盘转向及车辆行驶速度；若车辆行驶速度不大于预设速度阈值，则根据方向盘转角和方向盘转向确定目标方向，并显示目标方向的目标投影图像。若车辆行驶速度大于预设速度阈值，则禁止显示目标投影图像。
在上述实施例中，预设角度阈值可以根据经验进行配置，对此不做限制，如15度、20度等，后续以15度为例进行说明。预设速度阈值可以根据经验进行配置，对此不做限制，如15km/h、20km/h等，后续以15km/h为例进行说明。
参见图5C所示，为目标投影图像的显示过程的示意图，该过程可以包括：
步骤501，获取方向盘转角、方向盘转向和车辆行驶速度。
步骤502，判断车辆行驶速度是否大于预设速度阈值，如15km/h。
如果是，则执行步骤503；如果否，则执行步骤504。
步骤503，禁止显示目标投影图像，比如说，当车辆行驶速度大于15km/h时，关闭目标投影图像显示，不再向用户显示目标投影图像。
步骤504，判断方向盘转角是否大于预设角度阈值，如15度。
如果是，则执行步骤505；如果否，则执行步骤506。
步骤505，若方向盘转向为左方向，则显示车辆左侧方向的目标投影图像。若方向盘转向为右方向，则显示车辆右侧方向的目标投影图像。
步骤506，若车辆行驶方向为向前行驶，则显示车辆前侧的目标投影图像。若车辆行驶方向为向后行驶，则显示车辆后侧的目标投影图像。
综上所述，当车速高于15km/h时，关闭目标投影图像显示。当车辆前向行驶车速低于15km/h，且方向盘左右转角在15度以内，则显示车辆前侧的目标投影图像。当车辆后向行驶车速低于15km/h，且方向盘左右转角在15度以内，则显示车辆后侧的目标投影图像。当车辆行驶车速(如前向行驶车速或者后向行驶车速)低于15km/h，且方向盘向左转角大于15度，则显示车辆左侧的目标投影图像。当车辆行驶车速(如前向行驶车速或者后向行驶车速)低于15km/h，且方向盘向右转角大于15度，则显示车辆右侧的目标投影图像。
综上所述，本实施例中，显示方式包括手动交互和根据车辆行驶状态自动切换等两种模式，能够利用车身行驶状态触发特定位置的图像显示，在车辆行驶过程中，自动根据用户需求显示所需视角的图像，有助于提升用户驾驶体验。
在一种可能的实施方式中，参见图6所示，为车载环视系统的示意图，车载环视系统包括视频采集单元、数据传输单元、数据处理单元和视频显示单元。
视频采集单元通过摄像头(如车载鱼眼摄像头)获得周围环境影像，即目标原始图像。然后，数据传输单元将该目标原始图像传输到数据处理单元。
数据处理单元基于第一映射关系及第二映射关系，生成与目标原始图像对应的目标投影图像。数据处理单元还基于步骤201-步骤202，获取第一映射关系及第二映射关系，对此第一映射关系及第二映射关系的获取不做限制。
最后，视频显示单元通过手动模式或者自动模式，显示目标投影图像。例如，视频显示单元可以基于步骤501-步骤506，显示目标投影图像。
基于与上述方法同样的申请构思，本申请实施例中还提出一种图像生成装置，如图7所示，为所述图像生成装置的结构图，所述装置包括：
建立模块71，用于建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系；建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系；生成模块72，获取目标原始图像，基于所述第一映射关系将所述目标原始图像转换为目标展开图像，基于所述第二映射关系将所述目标展开图像转换为目标投影图像。
所述建立模块71建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系时具体用于：根据虚拟相机姿态和实际相机姿态确定欧拉矩阵，根据所述欧拉矩阵建立虚拟视角展开图像的像素位置与实际视角展开图像的像素位置的第三映射关系；建立实际视角展开图像的像素位置与原始图像的像素位置的第四映射关系；基于所述第三映射关系和所述第四映射关系，建立所述第一映射关系。
示例性的，所述建立模块71建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系时具体用于：确定投影图像的初始像素位置在第一空间坐标系下对应的第一坐标；确定所述第一坐标在第二空间坐标系下对应的第二坐标；确定所述第二坐标在虚拟视角展开图像中对应的目标像素位置；建立所述初始像素位置与所述目标像素位置的第二映射关系；
其中，所述第一空间坐标系的原点为投影图像所在平面与虚拟视角展开图像所在平面的交线上顶点；所述第一空间坐标系的底面为投影图像所在平面；所述第一空间坐标系的法向量为z轴；所述第二空间坐标系的原点为投影图像所在平面与虚拟视角展开图像所在平面的交线上顶点；所述第二空间坐标系的底面为虚拟视角展开图像所在平面；所述第二空间坐标系的法向量为z轴。
所述建立模块71确定投影图像的初始像素位置在第一空间坐标系下对应的第一坐标时具体用于：根据投影图像的横向分辨率确定初始像素位置对应的第一坐标；投影图像的横向分辨率与虚拟视角展开图像的横向分辨率相同或不同。
所述建立模块71确定所述第一坐标在第二空间坐标系下对应的第二坐标时具体用于：根据第二空间坐标系与第一空间坐标系之间的角度，确定第一坐标对应的第二坐标；第二空间坐标系绕Y轴旋转所述角度后得到第一空间坐标系。
所述建立模块71确定所述第二坐标在虚拟视角展开图像中对应的目标像素位置时具体用于：根据投影图像的横向分辨率和纵向分辨率，确定所述第二坐标在虚拟视角展开图像中对应的映射位置，并根据所述投影图像的横向分辨率，确定所述映射位置在虚拟视角展开图像中对应的目标像素位置；
其中，投影图像的横向分辨率与虚拟视角展开图像的横向分辨率相同或不同，投影图像的纵向分辨率与虚拟视角展开图像的纵向分辨率相同或不同。
所述目标投影图像包括多个方向的目标投影图像，所述装置还包括(在图中未示出)：显示模块，用于获取车辆的方向盘转角，方向盘转向及车辆行驶速度；若所述车辆行驶速度大于预设速度阈值，则禁止显示目标投影图像；若所述车辆行驶速度不大于预设速度阈值，则根据所述方向盘转角和所述方向盘转向确定目标方向，并显示所述目标方向的目标投影图像。
所述显示模块根据方向盘转角和方向盘转向确定目标方向时具体用于：
若所述方向盘转向为左方向，所述方向盘转角小于或者等于预设角度阈值，则确定所述目标方向为车辆前侧方向或者车辆后侧方向；
若所述方向盘转向为左方向，所述方向盘转角大于所述预设角度阈值，则确定所述目标方向为车辆左侧方向；
若所述方向盘转向为右方向，所述方向盘转角小于或者等于预设角度阈值，则确定所述目标方向为车辆前侧方向或者车辆后侧方向；
若所述方向盘转向为右方向，所述方向盘转角大于所述预设角度阈值，则确定所述目标方向为车辆右侧方向。
基于与上述方法同样的申请构思，本申请实施例中还提出一种车载环视系统，本申请实施例提供的车载环视系统，从硬件层面而言，车载环视系统的硬件架构示意图可以参见图8所示。车载环视系统可以包括：处理器81和机器可读存储介质82，所述机器可读存储介质82存储有能够被所述处理器81执行的机器可执行指令；所述处理器81用于执行机器可执行指令，以实现本申请上述示例公开的方法。例如，处理器81用于执行机器可执行指令，以实现如下步骤：
建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系；
建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系；
获取目标原始图像，基于所述第一映射关系将所述目标原始图像转换为目标展开图像，基于所述第二映射关系将所述目标展开图像转换为目标投影图像。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，其中，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的方法。
例如，所述计算机指令被处理器执行时，能够实现如下步骤：
建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系；
建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系；
获取目标原始图像，基于所述第一映射关系将所述目标原始图像转换为目标展开图像，基于所述第二映射关系将所述目标展开图像转换为目标投影图像。
示例性的，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种图像生成方法，其特征在于，所述方法包括：
建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系；
建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系；
获取目标原始图像，基于所述第一映射关系将所述目标原始图像转换为目标展开图像，基于所述第二映射关系将所述目标展开图像转换为目标投影图像。
2.根据权利要求1所述的方法，其特征在于，所述建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系，包括：
根据虚拟相机姿态和实际相机姿态确定欧拉矩阵，根据所述欧拉矩阵建立虚拟视角展开图像的像素位置与实际视角展开图像的像素位置的第三映射关系；
建立实际视角展开图像的像素位置与原始图像的像素位置的第四映射关系；
基于所述第三映射关系和所述第四映射关系，建立所述第一映射关系。
3.根据权利要求1所述的方法，其特征在于，所述建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系，包括：
确定投影图像的初始像素位置在第一空间坐标系下对应的第一坐标；
确定所述第一坐标在第二空间坐标系下对应的第二坐标；
确定所述第二坐标在虚拟视角展开图像中对应的目标像素位置；
建立所述初始像素位置与所述目标像素位置的第二映射关系；
其中，所述第一空间坐标系的原点为投影图像所在平面与虚拟视角展开图像所在平面的交线上顶点；所述第一空间坐标系的底面为投影图像所在平面；所述第一空间坐标系的法向量为z轴；所述第二空间坐标系的原点为投影图像所在平面与虚拟视角展开图像所在平面的交线上顶点；所述第二空间坐标系的底面为虚拟视角展开图像所在平面；所述第二空间坐标系的法向量为z轴。
4.根据权利要求3所述的方法，其特征在于，所述确定投影图像的初始像素位置在第一空间坐标系下对应的第一坐标，包括：
根据投影图像的横向分辨率确定所述初始像素位置对应的第一坐标；其中，投影图像的横向分辨率与虚拟视角展开图像的横向分辨率相同或不同。
5.根据权利要求3所述的方法，其特征在于，
所述确定所述第一坐标在第二空间坐标系下对应的第二坐标，包括：
根据第二空间坐标系与第一空间坐标系之间的角度，确定第一坐标对应的第二坐标；其中，第二空间坐标系绕Y轴旋转所述角度后得到第一空间坐标系。
6.根据权利要求3所述的方法，其特征在于，
所述确定所述第二坐标在虚拟视角展开图像中对应的目标像素位置，包括：
根据投影图像的横向分辨率和纵向分辨率，确定所述第二坐标在虚拟视角展开图像中对应的映射位置，并根据所述投影图像的横向分辨率，确定所述映射位置在虚拟视角展开图像中对应的目标像素位置；
其中，投影图像的横向分辨率与虚拟视角展开图像的横向分辨率相同或不同，投影图像的纵向分辨率与虚拟视角展开图像的纵向分辨率相同或不同。
7.根据权利要求1所述的方法，其特征在于，
所述目标投影图像包括多个方向的目标投影图像，所述基于所述第二映射关系将所述目标展开图像转换为目标投影图像之后，所述方法还包括：
获取车辆的方向盘转角，方向盘转向及车辆行驶速度；
若所述车辆行驶速度大于预设速度阈值，则禁止显示目标投影图像；
若所述车辆行驶速度不大于预设速度阈值，则根据所述方向盘转角和所述方向盘转向确定目标方向，并显示所述目标方向的目标投影图像。
8.根据权利要求7所述的方法，其特征在于，
所述根据所述方向盘转角和所述方向盘转向确定目标方向，包括：
若所述方向盘转向为左方向，所述方向盘转角小于或者等于预设角度阈值，则确定所述目标方向为车辆前侧方向或者车辆后侧方向；
若所述方向盘转向为左方向，所述方向盘转角大于所述预设角度阈值，则确定所述目标方向为车辆左侧方向；
若所述方向盘转向为右方向，所述方向盘转角小于或者等于预设角度阈值，则确定所述目标方向为车辆前侧方向或者车辆后侧方向；
若所述方向盘转向为右方向，所述方向盘转角大于所述预设角度阈值，则确定所述目标方向为车辆右侧方向。
9.一种图像生成装置，其特征在于，所述装置包括：
建立模块，用于建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系；建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系；
生成模块，用于获取目标原始图像，基于所述第一映射关系将所述目标原始图像转换为目标展开图像，基于所述第二映射关系将所述目标展开图像转换为目标投影图像。
10.一种车载环视系统，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现如下步骤：
建立虚拟视角展开图像的像素位置与原始图像的像素位置的第一映射关系；
建立投影图像的像素位置与虚拟视角展开图像的像素位置的第二映射关系；
获取目标原始图像，基于所述第一映射关系将所述目标原始图像转换为目标展开图像，基于所述第二映射关系将所述目标展开图像转换为目标投影图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010366183.4A CN113592704A (zh) | 2020-04-30 | 2020-04-30 | 一种图像生成方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010366183.4A CN113592704A (zh) | 2020-04-30 | 2020-04-30 | 一种图像生成方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113592704A true CN113592704A (zh) | 2021-11-02 |
Family
ID=78237496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010366183.4A Pending CN113592704A (zh) | 2020-04-30 | 2020-04-30 | 一种图像生成方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113592704A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090160940A1 (en) * | 2007-12-20 | 2009-06-25 | Alpine Electronics, Inc. | Image display method and image display apparatus |
| JP2011066860A (ja) * | 2009-09-18 | 2011-03-31 | Loarant Corp | パノラマ画像生成方法及びパノラマ画像生成プログラム |
| US20110091131A1 (en) * | 2009-10-19 | 2011-04-21 | Ut-Battelle, Llc | System and method for stabilization of fisheye video imagery |
| CN103204104A (zh) * | 2013-04-07 | 2013-07-17 | 布法罗机器人科技（苏州）有限公司 | 一种车辆全视角驾驶监控系统及方法 |
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| US20140104424A1 (en) * | 2012-10-11 | 2014-04-17 | GM Global Technology Operations LLC | Imaging surface modeling for camera modeling and virtual view synthesis |
| CN103854335A (zh) * | 2012-12-05 | 2014-06-11 | 厦门雅迅网络股份有限公司 | 一种行车记录仪全景视频生成方法 |
| CN105323447A (zh) * | 2015-11-23 | 2016-02-10 | 上海汽车集团股份有限公司 | 多鱼眼图像处理方法、装置及车辆 |
| CN106408511A (zh) * | 2016-09-22 | 2017-02-15 | 苏州大学 | 鱼眼图像的俯视变换、俯视图像获取及映射表构建方法 |
-
2020
- 2020-04-30 CN CN202010366183.4A patent/CN113592704A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090160940A1 (en) * | 2007-12-20 | 2009-06-25 | Alpine Electronics, Inc. | Image display method and image display apparatus |
| JP2011066860A (ja) * | 2009-09-18 | 2011-03-31 | Loarant Corp | パノラマ画像生成方法及びパノラマ画像生成プログラム |
| US20110091131A1 (en) * | 2009-10-19 | 2011-04-21 | Ut-Battelle, Llc | System and method for stabilization of fisheye video imagery |
| US20140104424A1 (en) * | 2012-10-11 | 2014-04-17 | GM Global Technology Operations LLC | Imaging surface modeling for camera modeling and virtual view synthesis |
| CN103854335A (zh) * | 2012-12-05 | 2014-06-11 | 厦门雅迅网络股份有限公司 | 一种行车记录仪全景视频生成方法 |
| CN103204104A (zh) * | 2013-04-07 | 2013-07-17 | 布法罗机器人科技（苏州）有限公司 | 一种车辆全视角驾驶监控系统及方法 |
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| CN105323447A (zh) * | 2015-11-23 | 2016-02-10 | 上海汽车集团股份有限公司 | 多鱼眼图像处理方法、装置及车辆 |
| CN106408511A (zh) * | 2016-09-22 | 2017-02-15 | 苏州大学 | 鱼眼图像的俯视变换、俯视图像获取及映射表构建方法 |
Non-Patent Citations (6)
| Title |
|---|
| CIAR´AN HUGHES等: "Review of Geometric Distortion Compensation in Fish-Eye Cameras", IET IRISH SIGNALS AND SYSTEMS CONFERENCE (ISSC 2008), 19 June 2008 (2008-06-19) * |
| MANUEL LÓPEZ等: "Deep Single Image Camera Calibration with Radial Distortion", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), vol. 2018, 20 June 2019 (2019-06-20), pages 156 - 165 * |
| 武非凡;梁浩翔;宋焕生;贾金明;刘莅辰;: "基于相机标定的跨相机场景拼接方法", 计算机系统应用, no. 01 * |
| 陆晓燕: "基于全景拼接的泊车辅助系统研究", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, vol. 2019, no. 01, pages 035 - 502 * |
| 陈宁;洪丰;白冰;: "基于边缘特征和霍夫变换的斑马线识别方法", 浙江科技学院学报, no. 06, pages 478 - 479 * |
| 魏占营等: "车载激光测量数据智能后处理技术", vol. 2018, 北京交通大学出版社, pages: 156 - 165 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107660337B (zh) | 用于从鱼眼摄像机产生组合视图的系统及方法 | |
| US8817079B2 (en) | Image processing apparatus and computer-readable recording medium | |
| EP3321889A1 (en) | Device and method for generating and displaying 3d map | |
| JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
| US9030524B2 (en) | Image generating apparatus, synthesis table generating apparatus, and computer readable storage medium | |
| JP6737288B2 (ja) | 周囲監視装置、画像処理方法、及び画像処理プログラム | |
| WO2015194501A1 (ja) | 映像合成システムとそのための映像合成装置及び映像合成方法 | |
| JP5412979B2 (ja) | 周辺表示装置 | |
| JP2009151524A (ja) | 画像表示方法および画像表示装置 | |
| CN111800589B (zh) | 图像处理方法、装置和系统，以及机器人 | |
| JP5716389B2 (ja) | 車両用表示装置 | |
| JP2015074436A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| JP2008056080A (ja) | 車両周辺画像表示装置及び表示方法 | |
| JP2008048345A (ja) | 画像処理装置並びに視界支援装置及び方法 | |
| KR20130016335A (ko) | 처리대상화상 생성장치, 처리대상화상 생성방법, 및 조작지원 시스템 | |
| CN111161398B (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| EP3098777B1 (en) | Drawing apparatus, drawing method, and drawing program | |
| US20230359198A1 (en) | Unmanned aerial vehicle, control method thereof, and storage medium | |
| JP2013137698A (ja) | 俯瞰画像提示装置 | |
| CN113592704A (zh) | 一种图像生成方法、装置及系统 | |
| CN113674138B (zh) | 图像处理方法、装置及系统 | |
| CN113706370B (zh) | 一种图像生成方法、装置及系统 | |
| JP6007773B2 (ja) | 画像データ変換装置並びにナビゲーションシステムおよびカメラ装置並びに車両 | |
| CN112967173B (zh) | 一种图像生成方法、装置及系统 | |
| JP2016167792A (ja) | 多方向画像出力装置および多方向画像出力プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |