CN111815752A - 图像处理方法、装置和电子设备 - Google Patents
图像处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111815752A CN111815752A CN202010687945.0A CN202010687945A CN111815752A CN 111815752 A CN111815752 A CN 111815752A CN 202010687945 A CN202010687945 A CN 202010687945A CN 111815752 A CN111815752 A CN 111815752A
- Authority
- CN
- China
- Prior art keywords
- dimensional panoramic
- image
- top view
- target
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 238000009877 rendering Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 240000004050 Pentaglottis sempervirens Species 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供一种图像处理方法、装置和电子设备，其方法包括：通过获取N个相机分别拍摄获得的图像，然后根据二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的映射关系，获得与N个相机拍摄得到的图像对应的目标二维全景图，最后对目标二维全景图进行渲染，获得立体全景图。由于映射关系为二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的对应关系，而根据二维全景图可以随意的设置和切换观看立体全景图的视点，因此，用户根据需求通过获得的目标二维全景图可以获取任一视角的立体全景图，为用户观测车辆周边的环境信息提供更好的支持。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置和电子设备。
背景技术
驾驶员在驾驶汽车时存在视野盲区，导致在行车过程中会因为视野缺失而酿成交通事故，因此，车载视觉系统在汽车安全领域应用越来越广。车载视觉系统获取安装在车辆四周上的多个鱼眼相机采集到的车辆周边图像，然后对采集的图像进行合成处理，得到车辆360度3D图像，从而消除驾驶员的视野盲区，使驾驶员能够清晰的掌握车辆周围环境信息，以避免因视野缺失造成交通事故。
目前，形成360度3D图像的方法是建立平底碗状模型，然后将鱼眼相机获得的图像进行透视后，直接映射到碗状模型上，从而获得车辆360 度3D图像。
然而，用户在观看通过上述方法获得的车辆360度3D图像时，是以固定的视角观看车辆周边环境信息，而不能随意的切换视角。
发明内容
本申请实施例提供一种图像处理方法、装置和电子设备，以根据用户需求获取任一视角的立体全景图。
第一方面，本申请实施例提供一种图像处理方法，包括：
获取N个相机分别拍摄获得的图像；
根据二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的映射关系，获得与所述N个相机拍摄得到的图像对应的目标二维全景图，所述二维全景图为根据平底球状模型通过二维全景俯视图获得的；
对所述目标二维全景图进行渲染，获得立体全景图。
在一些实施例中，所述方法还包括：
获取所述N个相机分别拍摄获得的初始图像；
根据所述N个相机拍摄获得的初始图像，获取二维全景俯视图，所述二维全景俯视图中点的坐标与所述N个相机分别拍摄获得的初始图像中点的坐标对应；
根据平底球状模型，通过所述二维全景俯视图获得二维全景图，其中，所述平底球状模型的球心垂直映射到所述二维全景俯视图的中心；
根据所述二维全景图和N个相机拍摄获得的初始图像，获得所述映射关系。
在一些实施例中，所述根据平底球状模型，通过所述二维全景俯视图获得二维全景图，包括：
根据所述平底球状模型对所述二维全景俯视图上的点进行压缩投影，获得压缩后的二维全景俯视图；
将所述压缩后的二维全景俯视图上的点按照所述平底球状模型进行经纬度展开，获得二维全景图。
在一些实施例中，所述根据所述平底球状模型对所述二维全景俯视图上的点进行压缩投影，获得压缩后的二维全景俯视图，包括：
以所述平底球状模型空间中的任一点为逆球极投影点，将所述二维全景俯视图上的点投影到所述平底球状模型的球形弧面上，获得投影后的曲面全景图；
将所述曲面全景图上的点投影到同一平面，获得所述压缩后的二维全景俯视图。
在一些实施例中，所述将所述压缩后的二维全景俯视图上的点按照所述平底球状模型进行经纬度展开，获得二维全景图，包括：
将所述压缩后的二维全景俯视图按照逆球极投影时对应的被投影的点的区域根据所述平底球状模型进行经纬度展开，获得二维全景图。
在一些实施例中，所述N个相机拍摄获得的初始图像中每张初始图像中均包含标定板的图像，所述标定板上设置有至少两个标定点，所述至少有两个标定点位于所述标定板的对角线上。
在一些实施例中，所述根据所述N个相机拍摄获得的初始图像，获取二维全景俯视图，包括：
对N张所述初始图像中的每张初始图像进行矫正并截取目标区域，获得目标图像；
对所述目标图像进行透视变换；
根据每张目标图像中标定板上的标定点，对透视变换后的N张目标图像进行图像拼接，获得所述二维全景俯视图。
在一些实施例中，对所述目标二维全景图进行渲染，获得立体全景图，包括：
基于目标观测点在所述目标二维全景图中的位置，对所述目标二维全景图进行渲染，获得立体全景图，其中，所述目标观测点为预设观测点或者用户设置的观测点，所述目标观测点位于所述立体全景图中的任一位置。
在一些实施例中，所述方法还包括：
基于显示的立体全景图，检测到用户的观测点选择操作；
根据所述用户的观测点选择操作，确定所述用户设置的观测点。
第二方面，本申请实施例提供一种图像处理装置，包括：
获取模块，用于获取N个相机分别拍摄获得的图像；
处理模块，用于根据二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的映射关系，获得与所述N个相机拍摄得到的图像对应的目标二维全景图，所述二维全景图为根据平底球状模型通过二维全景俯视图获得的；还用于对所述目标二维全景图进行渲染，获得立体全景图。
在一些实施例中，所述获取模块，还用于：
获取所述N个相机分别拍摄获得的初始图像；
所述处理模块，还用于：
根据所述N个相机拍摄获得的初始图像，获取二维全景俯视图，所述二维全景俯视图中点的坐标与所述N个相机分别拍摄获得的初始图像中点的坐标对应；
根据平底球状模型，通过所述二维全景俯视图获得二维全景图，其中，所述平底球状模型的球心垂直映射到所述二维全景俯视图的中心；
根据所述二维全景图和N个相机拍摄获得的初始图像，获得所述映射关系。
在一些实施例中，所述处理模块根据平底球状模型，通过所述二维全景俯视图获得二维全景图，具体用于：
根据所述平底球状模型对所述二维全景俯视图上的点进行压缩投影，获得压缩后的二维全景俯视图；
将所述压缩后的二维全景俯视图上的点按照所述平底球状模型进行经纬度展开，获得二维全景图。
在一些实施例中，所述处理模块根据所述平底球状模型对所述二维全景俯视图上的点进行压缩投影，获得压缩后的二维全景俯视图，具体用于：
以所述平底球状模型空间中的任一点为逆球极投影点，将所述二维全景俯视图上的点投影到所述平底球状模型的球形弧面上，获得投影后的曲面全景图；
将所述曲面全景图上的点投影到同一平面，获得所述压缩后的二维全景俯视图。
在一些实施例中，所述处理模块将所述压缩后的二维全景俯视图上的点按照所述平底球状模型进行经纬度展开，获得二维全景图，具体用于：
将所述压缩后的二维全景俯视图按照逆球极投影时对应的被投影的点的区域根据所述平底球状模型进行经纬度展开，获得二维全景图。
在一些实施例中，所述N个相机拍摄获得的初始图像中每张初始图像中均包含标定板的图像，所述标定板上设置有至少两个标定点，所述至少有两个标定点位于所述标定板的对角线上。
在一些实施例中，所述处理模块根据所述N个相机拍摄获得的初始图像，获取二维全景俯视图，具体用于：
对N张所述初始图像中的每张初始图像进行矫正并截取目标区域，获得目标图像；
对所述目标图像进行透视变换；
根据每张目标图像中标定板上的标定点，对透视变换后的N张目标图像进行图像拼接，获得所述二维全景俯视图。
在一些实施例中，所述处理模块对所述目标二维全景图进行渲染，获得立体全景图，具体用于：
基于目标观测点在所述目标二维全景图中的位置，对所述目标二维全景图进行渲染，获得立体全景图，其中，所述目标观测点为预设观测点或者用户设置的观测点，所述目标观测点位于所述立体全景图中的任一位置。
在一些实施例中，所述获取模块，还用于：
基于显示的立体全景图，检测到用户的观测点选择操作；
根据所述用户的观测点选择操作，确定所述用户设置的观测点。
第三方面，本申请实施例提供一种电子设备，该电子设备包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，以执行本申请实施例第一方面任一项所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令被处理器执行时实现发明实施例第一方面任一项所述的方法。
第五方面，本申请实施例提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备实施本申请发明实施例第一方面任一项所述的方法。
本申请实施例提供一种图像处理方法、装置和电子设备，通过获取N个相机分别拍摄获得的图像，然后根据二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的映射关系，获得与N个相机拍摄得到的图像对应的目标二维全景图，二维全景图为根据平底球状模型通过二维全景俯视图获得的，最后对目标二维全景图进行渲染，获得立体全景图。由于映射关系为二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的对应关系，而根据二维全景图可以随意的设置和切换观看立体全景图的视点，因此，用户可以根据需求通过获得的目标二维全景图获取任一视角的立体全景图，为用户观测车辆周边的环境信息提供更好的支持。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的图像处理方法的流程图；
图2为本申请一实施例提供的平底球型模型与二维全景俯视图的位置关系图；
图3为本申请图2所示结构图的俯视图；
图4为本申请一实施例提供的平面-弧面投影示意图
图5为本申请一实施例提供的弧面-平面投影示意图；
图6为一实施例提供的标定板的示意图；
图7为本申请一实施例提供的标定板的示意图；
图8为本申请一实施例提供的进行标定时标定板和车辆之间的位置关系示意图；
图9为本申请一实施例提供的图像处理装置的结构示意图；
图10为本申请一实施例提供的电子设备的结构示意图；
图11为本申请一实施例提供的用于图像处理的装置20的框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
通过车辆360度3D图像可以消除驾驶员的视野盲区，帮助驾驶员掌握车辆周边的环境信息，从而减少因视野盲区问题造成的交通事故。现有技术中，获得360度3D图像的方法为建立平底碗状模型，然后将鱼眼相机获得的图像进行透视后，直接映射到碗状模型上，以获得车辆360度3D图像，然而，通过这种方法获得的360度3D图像只能以固定的视角观看车辆周边环境信息，而不能随意的切换视角。
因此，为解决上述问题，本申请提出：通过设置在车辆上的相机拍摄车辆周围的图像，将这些图像根据预先标定的映射关系获得车辆周边的长宽比为2:1的二维全景图，在该2:1的二维全景图上，可以选择任一视角，经过 3D渲染技术，获得以所选择的视角呈现的车辆360度3D图像，即立体全景图。由于立体全景图是2:1的二维全景图经过3D渲染获得的，而通过2:1的二维全景图可以呈现任一视角的车辆360度3D图像，因此，用户通过本申请的方案可以任一切换视角观察车辆周围的环境信息。
本申请实施例所提供的图像处理方法的执行主体可以为包含有核心处理芯片的双鱼眼设备，也可以为具有视频处理合成功能的电子设备，实现本申请实施例所提供的图像处理方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路中的至少一种。图1为本申请一实施例提供的图像处理方法的流程图，如图1所示，图像处理方法可以包括如下步骤：
S101、获取N个相机分别拍摄获得的图像。
本实施例中，车辆在行驶或停泊过程中，设置在车辆周身上的相机周期性的拍摄车辆周围的环境，或者用户通过设置在操控台的控制装置控制相机实时拍摄，获取拍摄获得的图像。
其中，本申请不限制设置在车辆上的相机的数量，只要设置在车辆周身上的相机拍摄获得的图像经拼接后可以无缝衔接的覆盖车辆四周的环境信息即可，例如，车辆上设置有4台相机，分别设置在前后车牌、左右后视镜位置。本申请实施例以车辆上设置有4台相机为例对技术方案进行说明。
S102、根据二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的映射关系，获得与N个相机拍摄得到的图像对应的目标二维全景图。
其中，二维全景图为根据平底球状模型通过二维全景俯视图获得的。
本实施例中，映射关系预先建立并存储在执行主体中，用于将相机拍摄获得的图像合成目标二维全景图。
可选的，映射关系的建立方式可以包括以下步骤：
S201、获取N个相机分别拍摄获得的初始图像。
本实施例中，在标定时，通过车辆上设置的4个相机，拍摄获得4张初始图像。
S203、根据N个相机拍摄获得的初始图像，获取二维全景俯视图。
其中，二维全景俯视图中点的坐标与N个相机分别拍摄获得的初始图像中点的坐标对应。
本实施例中，由于拍摄获得的4张初始图像拼接后可以无缝衔接的覆盖车辆四周的环境信息，因此，通过该4张初始图像获得车辆四周的二维全景俯视图。其中，设置在车辆上的相机在拍摄车辆周边的图像时，并不是垂直拍摄，而是与地面之间存在一定的角度，因此，相机拍摄获得的图像是以斜视的角度呈现的，因此，通过投影变换模型对4张初始图像分别进行透视投影，获得4张以俯视角度呈现的图像，然后对变换后的4张初始图像进行拼接，获得二维全景俯视图。
其中，通过相机拍摄获得初始图像时，初始图像中每个点的坐标是确定且已知，通过初始图像获得二维全景俯视图时，是对图像中点的坐标进行变换，因此，二维全景俯视图中点的坐标与4张初始图像中点的坐标对应。
S204、根据平底球状模型，通过二维全景俯视图获得二维全景图，其中，平底球状模型的球心垂直映射到二维全景俯视图的中心。
本实施例中，把二维全景俯视图利用鱼眼成像的原理投影到球形弧面上，然后把视点拉到无穷远处再对弧面进行投影。其中，鱼眼压缩的方式会对图像造成横向畸变，为了保证车周边(即二维全景俯视图中心区域)的图像完全无畸变，预先设置一个图像压缩的范围，以二维全景俯视图中心点为中心以预设半径划定一个圆形，对圆形区域内的图像不进行压缩投影，只对圆形区域之外的图像进行压缩投影。例如，如图2所示，将平底球状模型放置在二维全景俯视图的中心，其中，平底球状模型的平面为圆形，对于被平底球状模型的平面覆盖的区域对应的图像不进行压缩投影处理，对于二维全景俯视图中的其他区域，根据平底球状模型进行压缩投影。
选取平底球状模型空间中的任一点为逆球极投影点，投影直线为平底球状模型上连接南极点和北极点的直线。其中，逆球极投影为将球放置在平面上，然后在球内设置一投影点，让光源向平面发光，平面内的所有点均可以投影到球面上，其中，球内设置的投影点为逆球极投影点。本实施例中，以球心为逆球极投影点为例进行说明。
图3为图2所示结构图的俯视图，如图3所示，ABCD为二维全景俯视图，实线圆为平底球状模型的俯视图，虚线圆为平底球状模型底面圆，圆心 O1为球心O的投影点。在图2上以任一过球心O的直线所在的垂直平面为截面，即在图3上一任一过圆心O1的直线所在的垂直平面为截面，获得如图4 所示的正视图。其中，图4是以图3中直线EF所在的垂直平面为截面。
如图4所示，直线EF为二维全景俯视图上一过二维全景俯视图中心点(圆心O1)的直线，直线MN为平底球状模型底面圆的直径，其中，需要进行压缩投影的部分为直线EM和直线NF，以球心O为逆球极投影点，根据逆球极投影，将直线EM投影到弧XM，直线NF投影到弧YN。其中，直线EM 和直线NF投影到球面上对应的弧的长度与∠EOF的大小有关。按照上述方法将二维全景俯视图中圆O1外的区域投影到球面上，获得曲面全景图，其中，曲面全景图包括球面上的图像以及圆O1覆盖的图像。
然后，以无限远处为视点，将球面上的点俯视投影到平面上，如图5所示弧XM上的点投影到E’M，弧YN上的点投影到NF’。其中，在将二维全景俯视图上的点投影到球面以及将球面上的点俯视投影到平面时，是对图像中点的坐标进行变换，其中，根据图5所示，二维全景俯视图上点的坐标与压缩后的二维全景俯视图上点的坐标之间的变换关系例如可通过一下公式计算：
其中，点P为二维全景俯视图上任一点，点P经压缩投影在压缩后的二维全景俯视图上点为P′，点P经逆球极投影在球面上的点为Q，O′P′表示P′到圆心O′的距离，O′P表示点P到圆心O′的距离，R表示平底球形模型的半径， OP点P到球心O的距离。
其中，公式(1)的推导过程为：
如图5所示，选取二维全景俯视图上任一点P，连接OP，直线OP与球面的交点为Q，从无限远处将点Q俯视投影到压缩后的二维全景俯视图，获得点P′，得到全等的OO′P和OO′P，根据全等三角形原理可获得公式(2)：
对公式(2)化简后可获得公式(1)。
通过上述过程，获得压缩后的二维全景俯视图。其中，该压缩后的二维全景俯视图类似于通过鱼眼镜头拍摄获得的图像，其中心区域的图像为无畸变图像。
然后，根据平底球面模型，对压缩后的二维全景俯视图进行经纬度展开，获得长宽比为2:1的二维全景图，其中，由于对应平底球面模型平面圆区域的图像没有发生畸变，因此，对压缩后的二维全景俯视图进行经纬度展开时，将压缩后的二维全景俯视图中经过逆球极投影以及俯视投影过程获得的图像区域进行经纬度展开即可。需要说明的是，在对压缩后的二维全景俯视图进行经纬度展开时，是对图像中点的坐标进行变换。
经过S201-S204，可通过拼接后的平面图像获得二维全景图，在该二维全景俯视图上，可以随意的设定观看车辆周边环境信息的视角。
S205、根据二维全景图和N个相机拍摄获得的初始图像，获得映射关系。
本实施例中，由于上述过程对图像处理时是对图像上点的坐标进行变换，因此，可以获取二维全景图上点的坐标与初始图像上点的坐标的映射关系。
执行主体保存该映射关系，车辆上的相机拍摄图像后，直接根据该映射关系可以获得对应的目标二维全景图。
S103、对目标二维全景图进行渲染，获得立体全景图。
本实施例中，获得立体全景图时，确定目标观测点(即观测视角)在目标二维全景图中的位置，经过3D渲染技术进行渲染，获得立体全景图。其中，目标观测点例如可以是预设的观测点，或者用户通过点击屏幕上当前显示的立体全景图上的点设置的观测点。需要说明的是，目标观测点可以是立体全景图中的任一位置的点。
本实施例，通过获取N个相机分别拍摄获得的图像，然后根据二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的映射关系，获得与 N个相机拍摄得到的图像对应的目标二维全景图，二维全景图为根据平底球状模型通过二维全景俯视图获得的，最后对目标二维全景图进行渲染，获得立体全景图。由于映射关系为二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的对应关系，而根据二维全景图可以随意的设置和切换观看立体全景图的视点，因此，用户可以根据需求通过获得的目标二维全景图获取任一视角的立体全景图，为用户观测车辆周边的环境信息提供更好的支持。
在获取车辆360度3D图像时，需要将多个相机拍摄的图像进行拼接，在拼接时使用标定板进行图像拼接以使拼接后的图像不出现拼接错位问题。车载视角系统包括鸟瞰图像和车辆360度3D图像，由于鸟瞰图像为平面图像，车辆360度3D图像为三维图像，因此，现有技术中，采用不同的标定方式进行标定，这样，就需要设置两套硬件设备(包含标定板等)，不仅增加成本且效率低。并且，现有技术中使用的标定板为如图6所示的棋盘格式，采用这种标定板进行图像拼接时，容易造成拼接错位，并且，由于图6所示的标定板上用于定位的点较多，因此，进行图像拼接时，计算量大，容易出错。因此，本申请提出一种标定板，用于解决上述至少一种问题。
图7为本申请一实施例提供的标定板的示意图。如图7所示，相邻两个三角形的交点为标定点，记为S1和S2，且标定点位于对角线上，需要说明的是，标定板上还可以设置其他标定点。图8示出了进行标定时标定板和车辆之间的位置关系示意图，如图8所示，车辆的每个角位于距离其最近的标定板的对角线的延长线上，例如，如图7所示，标定板为正方形，如图8所示，以车辆左上角的标定板1与车辆的位置关系为例说明标定板与车辆的位置关系：标定板1的下边缘距离车身的垂直距离与右边缘距离车身的水平距离相等，图8中用l表示，从而使得车辆的左上角位于标定板1的对角线的延长线上。
基于图8所示的示意图，进行图像的标定：
以位置1处设置的相机1为例进行说明：相机1拍摄的图像中包含标定板1和标定板2，并且，图像中拍摄到标定板1和标定板2上位于对角线上的两个标定点，这样，根据把图像中标定点对每个相机拍摄的图像进行拼接。
其中，相机拍摄的图像会发生畸变，例如，采用鱼眼镜头拍摄获得的图像，因此，对于相机拍摄获得的初始图像，采用畸变矫正模型进行矫正，并根据图像上的标定点截取目标区域，获得目标图像，这样，可以避免拼接时有较多重复的区域从而影响拼接效果。由于相机在拍摄时并不是垂直与地面拍摄，因此，获得的初始图像并不是俯视视角下的图像，因此，通过透视变换对目标图像进行透视变换，获得俯视视角下的目标图像。然后，根据每张目标图像上的标定点对图像进行拼接。这样，获得车辆周边环境信息的二维全景俯视图，通过上述方法，根据二维全景俯视图可以获得用于生成立体全景图的二维全景图。
根据图7所示的标定板可以获得二维全景俯视图，即获得车辆鸟瞰图像，并且，根据二维全景俯视图还可以获得生成立体全景图的二维全景图，说明通过图7所示标定板不仅可以用于标定鸟瞰图像的生成，还可以用于标定360 度3D图像的生成，节省用于标定的硬件设备，并且，该标定板上的标定点位于对角线上，也便于图像的拼接，并且，在拼接时，通过延长对角线可以减少车辆远处图像拼接错位，提高拼接效果，进而提高图像的呈现效果。
图9为本申请一实施例提供的图像处理装置的结构示意图。如图9所示，本实施例的装置可以包括：获取模块91和处理模块92。其中，
获取模块91，用于获取N个相机分别拍摄获得的图像；
处理模块92，用于根据二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的映射关系，获得与所述N个相机拍摄得到的图像对应的目标二维全景图，所述二维全景图为根据平底球状模型通过二维全景俯视图获得的；还用于对所述目标二维全景图进行渲染，获得立体全景图。
在一些实施例中，所述获取模块91，还用于：
获取所述N个相机分别拍摄获得的初始图像；
所述处理模块92，还用于：
根据所述N个相机拍摄获得的初始图像，获取二维全景俯视图，所述二维全景俯视图中点的坐标与所述N个相机分别拍摄获得的初始图像中点的坐标对应；
根据平底球状模型，通过所述二维全景俯视图获得二维全景图，其中，所述平底球状模型的球心垂直映射到所述二维全景俯视图的中心；
根据所述二维全景图和N个相机拍摄获得的初始图像，获得所述映射关系。
在一些实施例中，所述处理模块92根据平底球状模型，通过所述二维全景俯视图获得二维全景图，具体用于：
根据所述平底球状模型对所述二维全景俯视图上的点进行压缩投影，获得压缩后的二维全景俯视图；
将所述压缩后的二维全景俯视图上的点按照所述平底球状模型进行经纬度展开，获得二维全景图。
在一些实施例中，所述处理模块92根据所述平底球状模型对所述二维全景俯视图上的点进行压缩投影，获得压缩后的二维全景俯视图，具体用于：
以所述平底球状模型上投影直线上的任一点为逆球极投影点，将所述二维全景俯视图上的点投影到所述平底球状模型的球形弧面上，获得投影后的曲面全景图，其中，所述投影直线为所述平底球状模型上连接南极点和北极点的直线；
将所述曲面全景图上的点投影到同一平面，获得所述压缩后的二维全景俯视图。
在一些实施例中，所述处理模块92将所述压缩后的二维全景俯视图上的点按照所述平底球状模型进行经纬度展开，获得二维全景图，具体用于：
将所述压缩后的二维全景俯视图按照逆球极投影时对应的被投影的点的区域根据所述平底球状模型进行经纬度展开，获得二维全景图。
在一些实施例中，所述N个相机拍摄获得的初始图像中每张初始图像中均包含标定板的图像，所述标定板上设置有至少两个标定点，所述至少有两个标定点位于所述标定板的对角线上。
在一些实施例中，所述处理模块92根据所述N个相机拍摄获得的初始图像，获取二维全景俯视图，具体用于：
对N张所述初始图像中的每张初始图像进行矫正并截取目标区域，获得目标图像；
对所述目标图像进行透视变换；
根据每张目标图像中标定板上的标定点，对透视变换后的N张目标图像进行图像拼接，获得所述二维全景俯视图。
在一些实施例中，所述处理模块92对所述目标二维全景图进行渲染，获得立体全景图，具体用于：
基于目标观测点在所述目标二维全景图中的位置，对所述目标二维全景图进行渲染，获得立体全景图，其中，所述目标观测点为预设观测点或者用户设置的观测点，所述目标观测点位于所述立体全景图中的任一位置。
在一些实施例中，所述获取模块91，还用于：
基于显示的立体全景图，检测到用户的观测点选择操作；
根据所述用户的观测点选择操作，确定所述用户设置的观测点。
本实施例以上所述的图像处理装置，可以用于执行上述各方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本申请一实施例提供的电子设备的结构示意图，如图10所示，本实施例的电子设备可以包括：至少一个处理器1001和存储器1002。图10 示出的是以一个处理器为例的电子设备，其中，
存储器1002，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器1002可能包含高速随机存取存储器 (random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1001，用于执行所述存储器1002存储的计算机执行指令，以实现上述任一实施例所示的图像处理方法。
其中，处理器1001可能是一个中央处理器(Central Processing Unit，CPU)，或者是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选的，在具体实现上，如果存储器1002和处理器1001独立实现，则存储器1002和处理器1001可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构 (Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1002和处理器1001集成在一块芯片上实现，则存储器1002和处理器1001可以通过内部接口完成相同间的通信。
本实施例以上所述的电子设备，可以用于执行上述各方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
图11为本申请一实施例提供的用于图像处理的装置20的框图。例如，装置20可以被提供为一服务器。参照图11，装置20包括处理组件1101，其进一步包括一个或多个处理器，以及由存储器1102所代表的存储器资源，用于存储可由处理组件1101的执行的指令，例如应用程序。存储器1102中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1101被配置为执行指令，以执行上述任一实施例所示的数据传输方法。
装置20还可以包括一个电源组件1103被配置为执行装置20的电源管理，一个有线或无线网络接口1104被配置为将装置20连接到网络，和一个输入输出(I/O)接口1105。装置20可以操作基于存储在存储器1103的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM 或类似。
本实施例以上所述的图像处理的装置，可以用于执行上述各方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读存储器(Read-Only Memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
获取N个相机分别拍摄获得的图像；
根据二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的映射关系，获得与所述N个相机拍摄得到的图像对应的目标二维全景图，所述二维全景图为根据平底球状模型通过二维全景俯视图获得的；
对所述目标二维全景图进行渲染，获得立体全景图。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取所述N个相机分别拍摄获得的初始图像；
根据所述N个相机拍摄获得的初始图像，获取二维全景俯视图，所述二维全景俯视图中点的坐标与所述N个相机分别拍摄获得的初始图像中点的坐标对应；
根据平底球状模型，通过所述二维全景俯视图获得二维全景图，其中，所述平底球状模型的球心垂直映射到所述二维全景俯视图的中心；
根据所述二维全景图和N个相机拍摄获得的初始图像，获得所述映射关系。
3.根据权利要求2所述的方法，其特征在于，所述根据平底球状模型，通过所述二维全景俯视图获得二维全景图，包括：
根据所述平底球状模型对所述二维全景俯视图上的点进行压缩投影，获得压缩后的二维全景俯视图；
将所述压缩后的二维全景俯视图上的点按照所述平底球状模型进行经纬度展开，获得二维全景图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述平底球状模型对所述二维全景俯视图上的点进行压缩投影，获得压缩后的二维全景俯视图，包括：
以所述平底球状模型空间中的任一点为逆球极投影点，将所述二维全景俯视图上的点投影到所述平底球状模型的球形弧面上，获得投影后的曲面全景图；
将所述曲面全景图上的点投影到同一平面，获得所述压缩后的二维全景俯视图。
5.根据权利要求3或4所述的方法，其特征在于，所述将所述压缩后的二维全景俯视图上的点按照所述平底球状模型进行经纬度展开，获得二维全景图，包括：
将所述压缩后的二维全景俯视图按照逆球极投影时对应的被投影的点的区域根据所述平底球状模型进行经纬度展开，获得二维全景图。
6.根据权利要求2-4任一项所述的方法，其特征在于，所述N个相机拍摄获得的初始图像中每张初始图像中均包含标定板的图像，所述标定板上设置有至少两个标定点，所述至少有两个标定点位于所述标定板的对角线上。
7.根据权利要求2所述的方法，其特征在于，所述根据所述N个相机拍摄获得的初始图像，获取二维全景俯视图，包括：
对N张所述初始图像中的每张初始图像进行矫正并截取目标区域，获得目标图像；
对所述目标图像进行透视变换；
根据每张目标图像中标定板上的标定点，对透视变换后的N张目标图像进行图像拼接，获得所述二维全景俯视图。
8.根据权利要求1-4任一项所述的方法，其特征在于，对所述目标二维全景图进行渲染，获得立体全景图，包括：
基于目标观测点在所述目标二维全景图中的位置，对所述目标二维全景图进行渲染，获得立体全景图，其中，所述目标观测点为预设观测点或者用户设置的观测点，所述目标观测点位于所述立体全景图中的任一位置。
9.根据权利要求8所述的方法，其特征在于，还包括：
基于显示的立体全景图，检测到用户的观测点选择操作；
根据所述用户的观测点选择操作，确定所述用户设置的观测点。
10.一种图像处理装置，其特征在于，包括：
获取模块，用于获取N个相机分别拍摄获得的图像；
处理模块，用于根据二维全景图中点的坐标与各相机拍摄获得的图像上点的坐标之间的映射关系，获得与所述N个相机拍摄得到的图像对应的目标二维全景图，所述二维全景图为根据平底球状模型通过二维全景俯视图获得的；还用于对所述目标二维全景图进行渲染，获得立体全景图。
11.一种电子设备，其特征在于，包括：存储器和至少一个处理器，存储器用于存储程序指令，处理器用于调用存储器中的程序指令执行如权利要求1-9任一项所述的图像处理方法。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序；所述计算机程序被执行时，实现如权利要求1-9任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010687945.0A CN111815752B (zh) | 2020-07-16 | 2020-07-16 | 图像处理方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010687945.0A CN111815752B (zh) | 2020-07-16 | 2020-07-16 | 图像处理方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111815752A true CN111815752A (zh) | 2020-10-23 |
| CN111815752B CN111815752B (zh) | 2022-11-29 |
Family
ID=72866301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010687945.0A Active CN111815752B (zh) | 2020-07-16 | 2020-07-16 | 图像处理方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815752B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096237A (zh) * | 2021-03-31 | 2021-07-09 | 广东电网有限责任公司云浮供电局 | 一种配网设备的全景可视化处理方法及装置 |
| CN113963063A (zh) * | 2021-09-27 | 2022-01-21 | 北京三快在线科技有限公司 | 车辆全景环视系统自动标定方法、装置、介质及设备 |
| WO2023142732A1 (zh) * | 2022-01-28 | 2023-08-03 | 华为技术有限公司 | 图像处理方法、装置和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011066860A (ja) * | 2009-09-18 | 2011-03-31 | Loarant Corp | パノラマ画像生成方法及びパノラマ画像生成プログラム |
| CN105894549A (zh) * | 2015-10-21 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 一种全景辅助泊车系统、装置及全景图像显示方法 |
| CN106875339A (zh) * | 2017-02-22 | 2017-06-20 | 长沙全度影像科技有限公司 | 一种基于长条形标定板的鱼眼图像拼接方法 |
| CN109741455A (zh) * | 2018-12-10 | 2019-05-10 | 深圳开阳电子股份有限公司 | 一种车载立体全景显示方法、计算机可读存储介质及系统 |
| CN110341597A (zh) * | 2018-04-02 | 2019-10-18 | 杭州海康威视数字技术股份有限公司 | 一种车载全景视频显示系统、方法及车载控制器 |
-
2020
- 2020-07-16 CN CN202010687945.0A patent/CN111815752B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011066860A (ja) * | 2009-09-18 | 2011-03-31 | Loarant Corp | パノラマ画像生成方法及びパノラマ画像生成プログラム |
| CN105894549A (zh) * | 2015-10-21 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 一种全景辅助泊车系统、装置及全景图像显示方法 |
| CN106875339A (zh) * | 2017-02-22 | 2017-06-20 | 长沙全度影像科技有限公司 | 一种基于长条形标定板的鱼眼图像拼接方法 |
| CN110341597A (zh) * | 2018-04-02 | 2019-10-18 | 杭州海康威视数字技术股份有限公司 | 一种车载全景视频显示系统、方法及车载控制器 |
| CN109741455A (zh) * | 2018-12-10 | 2019-05-10 | 深圳开阳电子股份有限公司 | 一种车载立体全景显示方法、计算机可读存储介质及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096237A (zh) * | 2021-03-31 | 2021-07-09 | 广东电网有限责任公司云浮供电局 | 一种配网设备的全景可视化处理方法及装置 |
| CN113963063A (zh) * | 2021-09-27 | 2022-01-21 | 北京三快在线科技有限公司 | 车辆全景环视系统自动标定方法、装置、介质及设备 |
| WO2023142732A1 (zh) * | 2022-01-28 | 2023-08-03 | 华为技术有限公司 | 图像处理方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111815752B (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815752B (zh) | 图像处理方法、装置和电子设备 | |
| CN109741455B (zh) | 一种车载立体全景显示方法、计算机可读存储介质及系统 | |
| CN106952311B (zh) | 基于全景拼接数据映射表的辅助泊车系统及方法 | |
| US9858639B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| CN107660337B (zh) | 用于从鱼眼摄像机产生组合视图的系统及方法 | |
| JP5739584B2 (ja) | 車両周辺視角化のための３次元映像合成装置およびその方法 | |
| US9030524B2 (en) | Image generating apparatus, synthesis table generating apparatus, and computer readable storage medium | |
| CN102045546B (zh) | 一种全景泊车辅助系统 | |
| CN109948398B (zh) | 全景泊车的图像处理方法及全景泊车装置 | |
| JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
| US11303807B2 (en) | Using real time ray tracing for lens remapping | |
| CN109754363B (zh) | 基于鱼眼相机的环视图像合成方法和装置 | |
| EP1600890A2 (en) | Distortion correction of fish-eye image | |
| CN105894549A (zh) | 一种全景辅助泊车系统、装置及全景图像显示方法 | |
| JP2008077628A (ja) | 画像処理装置並びに車両周辺視界支援装置及び方法 | |
| CN110400255B (zh) | 车辆全景影像的生成方法、系统和车辆 | |
| JP4679293B2 (ja) | 車載パノラマカメラシステム | |
| JPH10155109A (ja) | 撮像方法及び装置並びに記憶媒体 | |
| CN111757057A (zh) | 一种全景环视显示方法、装置、设备及存储介质 | |
| CN111294580B (zh) | 基于gpu的摄像头视频投影方法、装置、设备及存储介质 | |
| CN115936995A (zh) | 一种车辆四路鱼眼摄像头全景拼接方法 | |
| CN113114975A (zh) | 图像拼接方法、装置、电子设备和存储介质 | |
| CN115880142A (zh) | 一种拖挂车的图像生成方法、装置、存储介质及终端 | |
| CN113674138B (zh) | 图像处理方法、装置及系统 | |
| JP6007773B2 (ja) | 画像データ変換装置並びにナビゲーションシステムおよびカメラ装置並びに車両 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |