CN106355546A - 车辆全景图像的生成方法和装置 - Google Patents
车辆全景图像的生成方法和装置 Download PDFInfo
- Publication number
- CN106355546A CN106355546A CN201510411027.4A CN201510411027A CN106355546A CN 106355546 A CN106355546 A CN 106355546A CN 201510411027 A CN201510411027 A CN 201510411027A CN 106355546 A CN106355546 A CN 106355546A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- point
- image
- mapping
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013507 mapping Methods 0.000 claims abstract description 99
- 238000009434 installation Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 3
- 238000010304 firing Methods 0.000 claims description 2
- 238000004215 lattice model Methods 0.000 claims description 2
- 230000000149 penetrating effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提出一种车辆全景图像的生成方法和装置,该车辆全景图像的生成方法包括:确定当前观察点和参考点的位置,以及需要观察的视景窗口的大小;将建立的网格模型映射到视景窗口上;将摄像头所拍摄的图像映射到视景窗口上,将图像在网格模型上拼接整齐;通过透视映射,将当前观察点所观察的方位的网格顶点映射述视景窗口上,并将所述摄像头拍摄的图像映射到所述视景窗口上,改变所述观察点和所述参考点的位置,获得对应观察方位的网格顶点在上述图像上的映射点,以生成车辆的全景图像。本发明避免了物体拉伸严重的问题,并且提升了观察的视野范围,可以实现环绕整车360度观察周围路况,大大提升了全景的使用价值,提高了全景图像的利用率。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种车辆全景图像的生成方法和装置。
背景技术
随着交通状况的日益复杂,促使人们对安全驾驶有了更高的要求,从倒车雷达到倒车影像,再到后来的平面的全景影像,人们总是在驾驶安全方面不断的寻求创新,其中平面的全景影像给驾驶员在倒车入库及窄道通行方面提供了很大的帮助。
平面的全景影像是通过安装在车身周围的四个超广角摄像头采集图像,由于鱼眼摄像头畸变严重,控制器对采集过来的图像先进行鱼眼矫正,将图像中弯曲的部分拉直,再通过透视变换的方法,将四幅矫正后的非俯视的图像变换为俯视图像,并完成图像重叠部分的拼接。其中畸变矫正是对整幅图像做拉伸,从而导致很多立体的物体被拉伸的严重,而且透视变换也只使用了一种视角,即俯视视角,这样也进一步加剧了物体被拉伸严重的情况,这就使得很多立体物体在图像中失去了参考价值。由于这些原因,平面的全景影像的视野都做的很小,与此同时,平面的全景影像中的立体物体也被拉伸的很严重,让用户很难识别出具体的物体。这样,当车辆在行驶过程中出现变道的时候,平面全景很难被派上用场,无法给用户以有力的帮助,利用率很低。
发明内容
本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种车辆全景图像的生成方法。通过该方法,将每一个小的网格区域映射到摄像头的图像上,由于是对每一个小网格做单独处理,避免了物体拉伸严重的问题,并且摄像头采集的图像在全景图像上都可以得到显示,提升了观察的视野范围,并且通过改变观察点的位置可以实现环绕整车360度观察周围路况,大大提升了全景的使用价值,提高了全景图像的利用率。
本发明的第二个目的在于提出一种车辆全景图像的生成装置。
为了实现上述目的,本发明第一方面实施例的车辆全景图像的生成方法,包括:确定当前观察点和参考点的位置,以及需要观察的视景窗口的大小;将建立的网格模型根据所述观察点和所述参考点的位置映射到所述视景窗口上;将车辆上安装的摄像头所拍摄的图像映射到所述视景窗口上,调整所述网格模型中的每个网格顶点在所述图像上的映射位置,以将所述图像在所述网格模型上拼接整齐;通过透视映射,将当前观察点所观察的方位的网格顶点映射到所述视景窗口上,并将所述摄像头拍摄的图像映射到所述视景窗口上,获得当前观察点所观察的方位的网格顶点在所述图像上的映射点;改变所述观察点和所述参考点的位置,获得所述网格模型中的每个网格顶点在所述图像上的映射点,以生成所述车辆的全景图像。
本发明实施例的车辆全景图像的生成方法,将每一个小的网格区域映射到摄像头的图像上,由于是对每一个小网格做单独处理,避免了物体拉伸严重的问题,并且摄像头采集的图像在全景图像上都可以得到显示,提升了观察的视野范围,并且通过改变观察点的位置可以实现环绕整车360度观察周围路况,大大提升了全景的使用价值,提高了全景图像的利用率。
为了实现上述目的,本发明第二方面实施例的车辆全景图像的生成装置,包括:确定模块,用于确定当前观察点和参考点的位置,以及需要观察的视景窗口的大小;映射模块,用于将建立的网格模型根据所述观察点和所述参考点的位置映射到所述视景窗口上;以及将车辆上安装的摄像头所拍摄的图像映射到所述视景窗口上,调整所述网格模型中的每个网格顶点在所述图像上的映射位置,以将所述图像在所述网格模型上拼接整齐;通过透视映射,将当前观察点所观察的方位的网格顶点映射到所述视景窗口上,并将所述摄像头拍摄的图像映射到所述视景窗口上,获得当前观察点所观察的方位的网格顶点在所述图像上的映射点;生成模块,用于改变所述观察点和所述参考点的位置,获得对应观察方位的网格顶点在上述图像上的映射点,以生成所述车辆的全景图像。
本发明实施例的车辆全景图像的生成装置,将每一个小的网格区域映射到摄像头的图像上,由于是对每一个小网格做单独处理,避免了物体拉伸严重的问题,并且摄像头采集的图像在全景图像上都可以得到显示,提升了观察的视野范围,并且通过改变观察点的位置可以实现环绕整车360度观察周围路况,大大提升了全景的使用价值,提高了全景图像的利用率。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明车辆全景图像的生成方法一个实施例的流程图;
图2为本发明车辆全景图像的生成方法另一个实施例的流程图;
图3为本发明车辆全景图像的生成方法中的摄像头安装位置示意图;
图4为本发明车辆全景图像的生成方法中网格模型的示意图;
图5为本发明车辆全景图像的生成方法中观察点、参考点和视景窗口一个实施例的示意图;
图6为本发明车辆全景图像的生成方法中任意一个视角的模型图;
图7为本发明车辆全景图像的生成方法中标记点的位置设置示意图;
图8为本发明车辆全景图像的生成装置一个实施例的结构示意图;
图9为本发明车辆全景图像的生成装置另一个实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1为本发明车辆全景图像的生成方法一个实施例的流程图,如图1所示,该车辆全景图像的生成方法可以包括:
步骤101,确定当前观察点和参考点的位置,以及需要观察的视景窗口的大小。
其中,参考点即为观察点要看的方位上的中心点,在未标定之前,需要将观察点设置在建立的网格模型的正上方,这样参考点即为网格模型的中心点。
上述需要观察的视景窗口的大小即为想要看到参考点的视野范围的大小。
步骤102,将建立的网格模型根据上述观察点和上述参考点的位置映射到上述视景窗口上。
步骤103,将车辆上安装的摄像头所拍摄的图像映射到上述视景窗口上,调整上述网格模型中的每个网格顶点在上述图像上的映射位置,以将上述图像在上述网格模型上拼接整齐。
步骤104,通过透视映射,将当前观察点所观察的方位的网格顶点映射到视景窗口上,并将上述摄像头拍摄的图像映射到上述视景窗口上,获得当前观察点所观察的方位的网格顶点在上述图像上的映射点。
步骤105,改变观察点和参考点的位置,获得对应观察方位的网格顶点在上述图像上的映射点,以生成上述车辆的全景图像。
本实施例中,上述网格模型为碗状的3维(three dimensions;以下简称:3D)网格模型;上述摄像头包括至少4个摄像头,分别安装在上述车辆的前后左右4个方向上;其中,安装在上述车辆的左右两个方向的摄像头偏向上述车辆的车身外,与上述车身的夹角为预定角度。其中,该预定角度的大小可以在具体实现时自行设定,本实施例对预定角度的大小不作限定,举例来说,上述预定角度可以为45度。
本实施例中,步骤103,将上述图像在上述网格模型上拼接整齐之后,还可以将上述网格模型中的每个网格顶点在上述图像上的映射位置记录在上述车辆对应的第一映射表中。
进一步地,在上述车辆的车身的4个角方向的地面上设置预定数量的标记点,将上述标记点在上述摄像头拍摄的图像上的位置记录在上述车辆对应的第二映射表中。其中,预定数量可以在具体实现时自行设定,本实施例对预定数量的大小不作限定,举例来说,上述预定数量可以为2。
进一步地,在步骤105,获得上述车辆的全景图像之后,当对车型和摄像头安装位置与上述车辆的车型和摄像头安装位置均相同的另一车辆进行标定时,在上述另一车辆的4个角方向的地面上设置与上述车辆位置和数量均相同的标记点,将另一车辆的标记点的位置记录在另一车辆对应的第三映射表中;然后计算第三映射表中的每个标记点与第二映射表中对应点的位置差,以及对第一映射表中记录的每个网格顶点在上述摄像头拍摄的图像上的映射位置与第三映射表中记录的标记点的位置做权重运算,获得第三映射表中记录的标记点的权重;根据上述位置差、上述权重和第一映射表中记录的每个网格顶点在上述摄像头拍摄的图像上的映射位置,计算获得另一车辆对应的第一映射表;然后利用上述另一车辆对应的第一映射表即可生成另一车辆的全景图像。
上述车辆全景图像的生成方法,将每一个小的网格区域映射到摄像头的图像上,由于是对每一个小网格做单独处理,避免了物体拉伸严重的问题,并且摄像头采集的图像在全景图像上都可以得到显示,提升了观察的视野范围,并且通过改变观察点的位置可以实现环绕整车360度观察周围路况,大大提升了全景的使用价值,提高了全景图像的利用率。
图2为本发明车辆全景图像的生成方法另一个实施例的流程图,如图2所示,该车辆全景图像的生成方法可以包括:
步骤201,将4个超广角鱼眼摄像头分别安装在车辆的前后左右四个方向。
其中,安装在上述车辆的左右两个方向的摄像头偏向上述车辆的车身外,与上述车身的夹角为45度左右;图3为本发明车辆全景图像的生成方法中的摄像头安装位置示意图,为实现大视野,安装在上述车辆的左右两个方向的摄像头偏向上述车辆的车身外,且与上述车身的夹角为45度左右。
步骤202,用3D建模软件建立碗状3D网格模型,记录网格模型上每个网格顶点在三维坐标系上的坐标位置。
图4为本发明车辆全景图像的生成方法中网格模型的示意图。
步骤203,确定当前观察点G的坐标位置(x1,y1,z1)和参考点C的坐标位置(x2,y2,z2),并确定需要观察的视景窗口大小(w,h)。
其中,参考点即为观察点要看的方位上的中心点,在未标定之前,需要将观察点设置在建立的网格模型的正上方,这样参考点即为网格模型的中心点。
上述需要观察的视景窗口的大小即为想要看到参考点的视野范围的大小。
图5为本发明车辆全景图像的生成方法中观察点、参考点和视景窗口一个实施例的示意图。
步骤204,将建立的网格模型根据上述观察点和上述参考点的位置映射到上述视景窗口上。
具体地,由于视景窗口与点G和点C的连线垂直,利用步骤203中点G和点C的坐标位置可以建立视景窗口面M的方程为:
(x1-x2)(x-x2)+(y1-y2)(y–y2)+(z1–z2)(z-z2)=0 ①
然后,确定经过网格顶点P与观察点G的直线,空间中的一条直线需用两个面的方程组来表示,任意建立两个均经过点P和点G的面,联立两个面的方程组:
A1x+B1y+C1z+D1=0
A2x+B2y+C2z+D2=0 ②
于是,经过点P和点G的直线与面M的交点P1即为网格顶点P在视景窗口上的映射点,联立方程①②进行求解即可获得点P1的坐标,然后将P1点的三维坐标变为在视景窗口平面坐标系上的坐标。
步骤205,将车辆上安装的摄像头所拍摄的4幅图像映射到上述视景窗口上,调整上述网格模型中的每个网格顶点在上述图像上的映射位置,以将上述4幅图像在上述网格模型上拼接整齐。
然后将上述网格模型中的每个网格顶点在上述图像上的映射位置记录在上述车辆对应的Map表中,Map表中的参数为基础表参数。
步骤206,通过透视映射,将当前观察点所观察的方位的网格顶点映射到视景窗口上,并将上述摄像头拍摄的图像映射到上述视景窗口上,获得当前观察点所观察的方位的网格顶点在上述图像上的映射点。
具体地,对视景窗口上的每个小网格区域可使用透视变换公式,利用上述车辆对应的Map表求解透视变换方程组。
u0=(c01x+c02y+c03)/(c21x+c22y+c23)
v0=(c11x+c12y+c13)/(c21x+c22y+c23) ③
其中(u0,v0)为Map表中记录的网格顶点在摄像头拍摄的图像上的映射点的坐标,(x,y)为上述网格顶点在视景窗口中的点坐标,利用每个网格区域的四个顶点可以求解出这个网格区域的透视变换系数c01、c02、c03、c11、c12、c13、c21、c22、c23,再利用这个透视变换公式对网格区域中的每个网格顶点进行透视变换即可求解出该网格顶点在摄像头拍摄的图像上的映射点的坐标位置。
步骤207,改变观察点和参考点位置,重复步骤203~步骤206可得到对应视角的映射图像,从而获得上述车辆的全景图像。
图6为本发明车辆全景图像的生成方法中任意一个视角的模型图。
进一步地,可以在上述车辆的车身的4个角方向的地面上各设置2个标记点,将上述标记点在上述摄像头拍摄的图像上的位置记录在上述车辆对应的Mop表中,Mop表中的参数为基础表参数;图7为本发明车辆全景图像的生成方法中标记点的位置设置示意图。
这样,在对车型和摄像头安装位置与上述车辆的车型和摄像头安装位置均相同的另一车辆进行标定时,同样在另一车辆的4个角方向的地面上设置与上述车辆位置和数量均相同的标记点。然后将另一车辆的标记点的位置记录在另一车辆对应的CMop表中。
计算CMop表中的每个标记点与Mop表中对应点的坐标的差值,记为d1、d2、d3和d4,以及对Map表记录的每个网格顶点在上述摄像头拍摄的图像上的映射点的坐标与CMop表中记录的四个标记点的坐标做权重运算,获得第三映射表中记录的标记点的权重,分别记为q1、q2、q3、q4,则上述另一车辆对应的Map表中映射点的坐标可以为:
x0=(q1d1+q2d2+q3d3+q4d4)x
y0=(q1d1+q2d2+q3d3+q4d4)y ④
其中,(x,y)为网格顶点在另一车辆的视景窗口中的坐标,(x0,y0)为另一车辆对应的Map表中映射点的坐标,通过上述过程可以建立另一车辆对应的Map表。
接下来,利用上述另一车辆对应的Map,通过步骤206~步骤207即可获得另一车辆的全景图像。
上述车辆全景图像的生成方法,将每一个小的网格区域映射到摄像头的图像上,由于是对每一个小网格做单独处理,避免了物体拉伸严重的问题,并且摄像头采集的图像在全景图像上都可以得到显示,提升了观察的视野范围。另外,通过改变观察点的位置可以实现环绕整车360度观察周围路况,大大提升了全景的使用价值,使全景图像得到了更多的应用,提高了全景图像的利用率。
图8为本发明车辆全景图像的生成装置一个实施例的结构示意图,本实施例中的车辆全景图像的生成装置可以实现本发明图1所示实施例的流程,如图8所示,该车辆全景图像的生成装置可以包括:确定模块81、映射模块82和生成模块83;
其中,确定模块81,用于确定当前观察点和参考点的位置,以及需要观察的视景窗口的大小;其中,参考点即为观察点要看的方位上的中心点,在未标定之前,需要将观察点设置在建立的网格模型的正上方,这样参考点即为网格模型的中心点。上述需要观察的视景窗口的大小即为想要看到参考点的视野范围的大小。
映射模块82,用于将建立的网格模型根据上述观察点和上述参考点的位置映射到上述视景窗口上;以及将车辆上安装的摄像头所拍摄的图像映射到上述视景窗口上,调整上述网格模型中的每个网格顶点在上述图像上的映射位置,以将所述图像在所述网格模型上拼接整齐;通过透视映射,将当前观察点所观察的方位的网格顶点映射到所述视景窗口上,并将所述摄像头拍摄的图像映射到所述视景窗口上,获得当前观察点所观察的方位的网格顶点在所述图像上的映射点;
生成模块83,用于改变上述观察点和参考点的位置,获得对应观察方位的网格顶点在上述图像上的映射点,以生成上述车辆的全景图像。
本实施例中,上述网格模型为碗状的3维网格模型;上述摄像头包括至少4个摄像头,分别安装在上述车辆的前后左右4个方向上;其中,安装在上述车辆的左右两个方向的摄像头偏向上述车辆的车身外,与上述车身的夹角为预定角度。其中,该预定角度的大小可以在具体实现时自行设定,本实施例对预定角度的大小不作限定,举例来说,上述预定角度可以为45度。
图9为本发明车辆全景图像的生成装置另一个实施例的结构示意图,与图8所示的车辆全景图像的生成装置相比,不同之处在于,图9所示的车辆全景图像的生成装置中,还可以包括:记录模块84和设置模块85;
记录模块84,用于在将上述图像在所述网格模型上拼接整齐之后,将上述网格模型中的每个网格顶点在上述图像上的映射位置记录在上述车辆对应的第一映射表中。
设置模块85,用于在上述车辆的车身的4个角方向的地面上设置预定数量的标记点;其中,预定数量可以在具体实现时自行设定,本实施例对预定数量的大小不作限定,举例来说,上述预定数量可以为2。
记录模块84,还用于将设置模块85设置的标记点在上述摄像头拍摄的图像上的位置记录在上述车辆对应的第二映射表中。
进一步地,上述装置还可以包括:计算模块86;
设置模块85,还用于当对车型和摄像头安装位置与上述车辆的车型和摄像头安装位置均相同的另一车辆进行标定时,在另一车辆的4个角方向的地面上设置与上述车辆位置和数量均相同的标记点;
记录模块84,还用于将上述另一车辆的标记点的位置记录在另一车辆对应的第三映射表中;
计算模块86,用于计算第三映射表中的每个标记点与第二映射表中对应点的位置差,以及对第一映射表中记录的每个网格顶点在上述摄像头拍摄的图像上的映射位置与第三映射表中记录的标记点的位置做权重运算,获得第三映射表中记录的标记点的权重;以及根据上述位置差、上述权重和上述第一映射表中记录的每个网格顶点在上述摄像头拍摄的图像上的映射位置,计算获得另一车辆对应的第一映射表;
这时,生成模块83,还用于利用另一车辆对应的第一映射表生成另一车辆的全景图像。
上述车辆全景图像的生成装置,将每一个小的网格区域映射到摄像头的图像上,由于是对每一个小网格做单独处理,避免了物体拉伸严重的问题,并且摄像头采集的图像在全景图像上都可以得到显示,提升了观察的视野范围,并且通过改变观察点的位置可以实现环绕整车360度观察周围路况,大大提升了全景的使用价值,提高了全景图像的利用率。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(Programmable Gate Array;以下简称:PGA),现场可编程门阵列(Field ProgrammableGate Array;以下简称:FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种车辆全景图像的生成方法,其特征在于,包括:
确定当前观察点和参考点的位置,以及需要观察的视景窗口的大小;
将建立的网格模型根据所述观察点和所述参考点的位置映射到所述视景窗口上;
将车辆上安装的摄像头所拍摄的图像映射到所述视景窗口上,调整所述网格模型中的每个网格顶点在所述图像上的映射位置,以将所述图像在所述网格模型上拼接整齐;
通过透视映射,将当前观察点所观察的方位的网格顶点映射到所述视景窗口上,并将所述摄像头拍摄的图像映射到所述视景窗口上,获得当前观察点所观察的方位的网格顶点在所述图像上的映射点;
改变所述观察点和所述参考点的位置,获得对应观察方位的网格顶点在上述图像上的映射点,以生成所述车辆的全景图像。
2.根据权利要求1所述的方法,其特征在于,所述网格模型为碗状的3维网格模型;
所述摄像头包括至少4个摄像头,分别安装在所述车辆的前后左右4个方向上;其中,安装在所述车辆的左右两个方向的摄像头偏向所述车辆的车身外,与所述车身的夹角为预定角度。
3.根据权利要求1或2所述的方法,其特征在于,所述将所述图像在所述网格模型上拼接整齐之后,还包括:
将所述网格模型中的每个网格顶点在所述图像上的映射位置记录在所述车辆对应的第一映射表中。
4.根据权利要求3所述的方法,其特征在于,还包括:
在所述车辆的车身的4个角方向的地面上设置预定数量的标记点,将所述标记点在所述摄像头拍摄的图像上的位置记录在所述车辆对应的第二映射表中。
5.根据权利要求4所述的方法,其特征在于,所述获得所述车辆的全景图像之后,还包括:
当对车型和摄像头安装位置与所述车辆的车型和摄像头安装位置均相同的另一车辆进行标定时,在所述另一车辆的4个角方向的地面上设置与所述车辆位置和数量均相同的标记点,将所述另一车辆的标记点的位置记录在所述另一车辆对应的第三映射表中;
计算所述第三映射表中的每个标记点与所述第二映射表中对应点的位置差,以及对所述第一映射表中记录的每个网格顶点在所述摄像头拍摄的图像上的映射位置与所述第三映射表中记录的标记点的位置做权重运算,获得所述第三映射表中记录的标记点的权重;
根据所述位置差、所述权重和所述第一映射表中记录的每个网格顶点在所述摄像头拍摄的图像上的映射位置,计算获得所述另一车辆对应的第一映射表;
利用所述另一车辆对应的第一映射表生成所述另一车辆的全景图像。
6.一种车辆全景图像的生成装置,其特征在于,包括:
确定模块,用于确定当前观察点和参考点的位置,以及需要观察的视景窗口的大小;
映射模块,用于将建立的网格模型根据所述观察点和所述参考点的位置映射到所述视景窗口上;以及将车辆上安装的摄像头所拍摄的图像映射到所述视景窗口上,调整所述网格模型中的每个网格顶点在所述图像上的映射位置,以将所述图像在所述网格模型上拼接整齐;通过透视映射,将当前观察点所观察的方位的网格顶点映射到所述视景窗口上,并将所述摄像头拍摄的图像映射到所述视景窗口上,获得当前观察点所观察的方位的网格顶点在所述图像上的映射点;
生成模块,用于改变所述观察点和所述参考点的位置,获得对应观察方位的网格顶点在上述图像上的映射点,以生成所述车辆的全景图像。
7.根据权利要求6所述的装置,其特征在于,所述网格模型为碗状的3维网格模型;所述摄像头包括至少4个摄像头,分别安装在所述车辆的前后左右4个方向上;其中,安装在所述车辆的左右两个方向的摄像头偏向所述车辆的车身外,与所述车身的夹角为预定角度。
8.根据权利要求6或7所述的装置,其特征在于,还包括:
记录模块,用于在将所述图像在所述网格模型上拼接整齐之后,将所述网格模型中的每个网格顶点在所述图像上的映射位置记录在所述车辆对应的第一映射表中。
9.根据权利要求8所述的装置,其特征在于,还包括:
设置模块,用于在所述车辆的车身的4个角方向的地面上设置预定数量的标记点;
所述记录模块,还用于将所述设置模块设置的标记点在所述摄像头拍摄的图像上的位置记录在所述车辆对应的第二映射表中。
10.根据权利要求9所述的装置,其特征在于,还包括:计算模块;
所述设置模块,还用于当对车型和摄像头安装位置与所述车辆的车型和摄像头安装位置均相同的另一车辆进行标定时,在所述另一车辆的4个角方向的地面上设置与所述车辆位置和数量均相同的标记点;
所述记录模块,还用于将所述另一车辆的标记点的位置记录在所述另一车辆对应的第三映射表中;
所述计算模块,用于计算所述第三映射表中的每个标记点与所述第二映射表中对应点的位置差,以及对所述第一映射表中记录的每个网格顶点在所述摄像头拍摄的图像上的映射位置与所述第三映射表中记录的标记点的位置做权重运算,获得所述第三映射表中记录的标记点的权重;以及根据所述位置差、所述权重和所述第一映射表中记录的每个网格顶点在所述摄像头拍摄的图像上的映射位置,计算获得所述另一车辆对应的第一映射表;
所述生成模块,还用于利用所述另一车辆对应的第一映射表生成所述另一车辆的全景图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510411027.4A CN106355546B (zh) | 2015-07-13 | 2015-07-13 | 车辆全景图像的生成方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510411027.4A CN106355546B (zh) | 2015-07-13 | 2015-07-13 | 车辆全景图像的生成方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106355546A true CN106355546A (zh) | 2017-01-25 |
CN106355546B CN106355546B (zh) | 2019-11-05 |
Family
ID=57842106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510411027.4A Active CN106355546B (zh) | 2015-07-13 | 2015-07-13 | 车辆全景图像的生成方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106355546B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765490A (zh) * | 2018-04-04 | 2018-11-06 | 科大讯飞股份有限公司 | 全景图的视野调整方法及装置、存储介质、电子设备 |
CN110660229A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 车速的测量方法、装置及车辆 |
CN111383325A (zh) * | 2018-12-29 | 2020-07-07 | 顺丰科技有限公司 | 车厢三维图像生成方法及装置 |
CN112215033A (zh) * | 2019-07-09 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 车辆全景环视图像的生成方法、装置、系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102111610A (zh) * | 2010-05-21 | 2011-06-29 | 深圳安科智能视频技术有限公司 | 用于辅助驾驶的全景式影像生成方法 |
CN102714712A (zh) * | 2010-01-19 | 2012-10-03 | 富士通天株式会社 | 图像处理设备、图像处理系统和图像处理方法 |
CN103247030A (zh) * | 2013-04-15 | 2013-08-14 | 丹阳科美汽车部件有限公司 | 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法 |
CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
CN104282010A (zh) * | 2013-07-06 | 2015-01-14 | 南京车联网研究院有限公司 | 车辆多鱼眼摄像机360度俯视图像拼接曲线标定方法 |
-
2015
- 2015-07-13 CN CN201510411027.4A patent/CN106355546B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102714712A (zh) * | 2010-01-19 | 2012-10-03 | 富士通天株式会社 | 图像处理设备、图像处理系统和图像处理方法 |
CN102111610A (zh) * | 2010-05-21 | 2011-06-29 | 深圳安科智能视频技术有限公司 | 用于辅助驾驶的全景式影像生成方法 |
CN103247030A (zh) * | 2013-04-15 | 2013-08-14 | 丹阳科美汽车部件有限公司 | 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法 |
CN104282010A (zh) * | 2013-07-06 | 2015-01-14 | 南京车联网研究院有限公司 | 车辆多鱼眼摄像机360度俯视图像拼接曲线标定方法 |
CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765490A (zh) * | 2018-04-04 | 2018-11-06 | 科大讯飞股份有限公司 | 全景图的视野调整方法及装置、存储介质、电子设备 |
WO2019192145A1 (zh) * | 2018-04-04 | 2019-10-10 | 科大讯飞股份有限公司 | 全景图的视野调整方法及装置、存储介质、电子设备 |
CN110660229A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 车速的测量方法、装置及车辆 |
CN111383325A (zh) * | 2018-12-29 | 2020-07-07 | 顺丰科技有限公司 | 车厢三维图像生成方法及装置 |
CN111383325B (zh) * | 2018-12-29 | 2023-06-30 | 深圳市丰驰顺行信息技术有限公司 | 车厢三维图像生成方法及装置 |
CN112215033A (zh) * | 2019-07-09 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 车辆全景环视图像的生成方法、装置、系统及存储介质 |
CN112215033B (zh) * | 2019-07-09 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 车辆全景环视图像的生成方法、装置、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106355546B (zh) | 2019-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104966316B (zh) | 一种3d人脸重建方法、装置及服务器 | |
CN105678693B (zh) | 全景视频浏览播放方法 | |
US10417829B2 (en) | Method and apparatus for providing realistic 2D/3D AR experience service based on video image | |
US9451236B2 (en) | Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof | |
CN104835117B (zh) | 基于重叠方式的球面全景图生成方法 | |
JP6522630B2 (ja) | 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム | |
US8593486B2 (en) | Image information output method | |
US8390617B1 (en) | Visualizing oblique images | |
DE112016004216T5 (de) | Allgemeine Sphärische Erfassungsverfahren | |
CN107660337A (zh) | 用于从鱼眼摄像机产生组合视图的系统及方法 | |
CN110648274B (zh) | 鱼眼图像的生成方法及装置 | |
CN101938599A (zh) | 生成互动的动态全景影像的方法 | |
CN107431796A (zh) | 全景虚拟现实内容的全方位立体式捕捉和渲染 | |
CN102984453A (zh) | 利用单摄像机实时生成半球全景视频图像的方法及系统 | |
CN102945565A (zh) | 一种物体的三维真实感重建方法、系统及电子设备 | |
CN104809719A (zh) | 基于单应性矩阵分割的虚拟视点合成的方法 | |
CN106355546A (zh) | 车辆全景图像的生成方法和装置 | |
CN109559349A (zh) | 一种用于标定的方法和装置 | |
US20130070094A1 (en) | Automatic registration of multi-projector dome images | |
WO2017128887A1 (zh) | 全景图像的校正3d显示方法和系统及装置 | |
US10719920B2 (en) | Environment map generation and hole filling | |
KR102067823B1 (ko) | 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치 | |
CN106303497A (zh) | 一种虚拟现实内容生成方法和装置 | |
US11812009B2 (en) | Generating virtual reality content via light fields | |
CN104506828A (zh) | 一种无有效重叠变结构的定点定向视频实时拼接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |