CN107888894A - 一种立体车载环视方法、系统及车载中控装置 - Google Patents
一种立体车载环视方法、系统及车载中控装置 Download PDFInfo
- Publication number
- CN107888894A CN107888894A CN201710949867.5A CN201710949867A CN107888894A CN 107888894 A CN107888894 A CN 107888894A CN 201710949867 A CN201710949867 A CN 201710949867A CN 107888894 A CN107888894 A CN 107888894A
- Authority
- CN
- China
- Prior art keywords
- mrow
- camera
- vehicle
- view
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
Abstract
本发明公开了一种立体车载环视方法，包括:S1，获取车载相机的视图信息;S2，将来自所述车载相机的视图信息映射到预设的立体环境模型中，形成3D全场景视图；所述立体环境模型的映射关系包括平面部分映射关系、柱面部分映射关系以及球面部分映射关系；S3，根据从车载传感器获取的车辆状态信息，对3D全场景视图进行渲染，形成全景辅助视角视图；S4，将全景辅助视角视图输出至视觉界面。另外，本发明还公开了一种立体车载环视及车载中控装置。采用本发明，扩大了车载环视系统的显示范围。
Description
技术领域
本发明涉及车载环视系统技术领域，尤其涉及一种立体车载环视方法、系统及车载中控装置。
背景技术
智能化是如今汽车行业发展的重要趋势之一，视觉系统在车辆主动安全领域应用越来越广。360度环视系统是现有高级汽车辅助安全系统之一，此类系统可以在低速工况下为驾驶员提供车辆周围情况，为驾驶员低速操作提供视觉辅助(如泊车等)，已经成为了众多量产车型的标准配置。
现有此类量产系统大多只提供俯视视角下车辆周围环境的平面示意图，系统视野范围有限，绝大多数系统只能辅助显示车辆周围2-3米以内的区域，且非道路平面部分物体映射变形严重。
发明内容
本发明的目的提供一种立体车载环视方法、系统机车载中控装置，扩大了车载环视系统的视野和精度。
为解决现有技术存在的问题，本发明提供一种立体车载环视方法，该方法包括：
S1，获取车载相机的视图信息；
S2，将来自所述车载相机的视图信息映射到预设的立体环境模型中，形成3D全场景视图；所述立体环境模型的映射关系包括平面部分映射关系、柱面部分映射关系以及球面部分映射关系；
S3，根据从车载传感器获取的车辆状态信息，对3D全场景视图进行渲染，形成全景辅助视角视图；
S4，将全景辅助视角视图输出至视觉界面。
本技术方案将车载相机的视图信息映射到预设的立体环境模型中，形成3D全景视图，从而扩大了环视的范围，另外立体环境模型预设的映射关系中包括平面部分映射关系、柱面部分映射关系以及球面部分映射关系，因此提高了环视的视图的显示精度。另外，可以根据车辆状态信息，例如转弯、倒车灯车辆状态信息对3D全景视图进行调整，即渲染，形成全景辅助视角视图，从而进一步提高了全景视图的显示精度。
优选的，步骤s1之前还包括：离线相机参数标定，所述离线相机参数标定包括：
通过标定靶对相机内部参数进行标定，所述标定算法为：
采用鱼眼镜头的径向畸变模型对相机内部参数进行标定，所述径向畸变模型为：
θ′＝θ(1+θ2+θ4)
其中，θ为图像中点对应的成像透视角；
在相邻相机视野重合地面区域放置标定靶，计算逆投影矩阵H将矫正后图像中的像素点(u，v)映射到现实地面坐标系(X，Y)中。
本技术方案通过径向畸变模型消除了鱼眼相机视图中存在的畸变。
优选的，步骤s2包括：
将位于预设的图像消失线以下图像信息，映射到立体环境模型中的(X1，Y1，Z1)；
将位于预设的图像消失线以上部分的图像信息，映射到立体环境模型中的(X2，Y2，Z2)。与现有的2位映射关系相比，提高了图像的显示精度。
优选的，还包括：
提取相邻相机重合区域平均亮度，通过调整各相机亮度增益，使重合区域亮度差最小；所述调整个相机亮度增益的误差函数error为：
其中，Nij相机i重叠于相机j的像素个数；gaini，gainj分别是相机i和j的增益；是相机i在于相机j重叠区域的像素平均值；σN是归一化的亮度误差的标准方差；σg是增益的标准方差；n是相机的个数。均衡了各鱼眼相机的亮度。
优选的，还包括：在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合。进一步提高了环视视图的显示精度。
优选的，所述接缝方法为渐进接缝融合方法，所用的公式为：
F(x，y)＝Wl(x，y)Fl(x，y)+Wr(x，y)Fr(x，y)
其中，Fl(x，y)、Fr(x，y)是拼接的2个相邻相机的图像
x，y是一个点的x和y方向坐标，坐标原点为图像左上角，向右向下为正；Wl、Wr为拼接的2个相邻相机的加权函数，由拼接缝确定。从而使相邻相机重合区域过度更加平滑。
优选的，步骤s3包括：
根据从车载传感器获取的车辆状态信息，确定与车辆状态信息对应的全景辅助视角模式；
根据所述确定的全景辅助视角模式，设定若干渲染点以及渲染所用的虚拟相机参数；
虚拟相机采用小孔成像，根据所述确定的渲染点渲染全景场景视图，形成全景辅助视角视图。
本技术方案根据车辆的状态信息确定辅助视角，例如转弯或倒车等辅助视角，并根据辅助视角确定虚拟相机的参数以及渲染点，从而将全景视图渲染为全景辅助视角视图，提高了视图的显示精度。
相应的本发明还提供一种立体车载环视系统：包括车载传感器、相机、标定靶以及车载中控装置，所述标定靶设置于相邻相机视野重合的地面区域，用于对相机内部参数进行标定；所述相机、车载传感器分别与车载中控装置连接；
其中，所述车载中控装置将来自环视相机的视图信息映射到预设的立体环境模型中形成全景场景视图，并根据从车载传感器获取的车辆状态信息，对全景场景视图进行渲染，形成全景辅助视角视图。
相应的本发明还提供一种车载中控装置，该装置包括：
存储单元，用于存储预设的相机投影映射表；
映射单元，用于根据存储的相机投影映射表，将来自环视相机的视图信息映射到预设的立体环境模型中形成全景场景视图；
渲染单元，用于根据从车载传感器获取的车辆状态信息，对全景场景视图进行渲染，形成全景辅助视角视图；
输出单元，用于输出全景辅助视角视图。
优选的，还包括：
全局光照补偿单元，用于提取相邻相机重合区域平均亮度，通过调整各相机亮度增益，使重合区域亮度差最小；所述调整个相机亮度增益的误差函数error为：
其中，Nij相机i重叠于相机j的像素个数；gaini，gainj分别是相机i和j的增益；是相机i在于相机j重叠区域的像素平均值；σN是归一化的亮度误差的标准方差·；σg是增益的标准方差；n是相机的个数；
接缝选取与融合单元，用于在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合；所述接缝为渐进接缝融合方法，该方法采用的公式为：
F(x，y)＝Wl(x，y)Fl(x，y)+Wr(x，y)Fr(x，y)
其中，Fl(x，y)、Fr(x，y)是拼接的2个相邻相机的图像；x，y是一个点的x和y方向坐标；Wl、Wr为拼接的2个相邻相机的加权函数。
本发明的立体车载环视方法将车载相机的视图信息映射到预设的立体环境模型中，从而形成了3D辅助视角视图，扩大了车载环视系统的视野。
附图说明
图1是本发明一种立体车载环视系统的一种实施例的示意图；
图2是本发明一种车载中控装置的示意图；
图3是本发明一种立体车载环视方法的一种实施例的示意图；
图4是本发明一种立体车载环视方法中立体环境模型沿XZ平面切面的示意图；
图5是本发明一种立体车载环视方法中2D与3D坐标对应关系示意图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明。
参考图1，该图是本发明一种立体车载环视系统的一种实施例的示意图，该系统包括：车载传感器1、相机2、标定靶3以及车载中控装置4，标定靶3设置于相邻相机视野重合的地面区域，用于对相机内部参数进行标定；相机2、车载传感器3分别与车载中控装置4连接；其中相机2和车载传感器3都可以可为多个，具体设置的数量可以根据实际的需求进行调整，例如相机可以在前后左右四个方向设置，车载传感器也可以根据检测的不同功能用图进行设定，例如方形盘检测传感器，车速检测传感器，档位检测传感器等等。
车载传感器1，用于检测车辆的档位信息、转向信息、车速信息等车辆状态信息。
相机2，可以采用鱼眼相机，本发明实施例采用在离线状态下，对鱼眼相机的外部参数和内部参数进行标定。
标定靶3，设置于相邻的两个相机之间，因此当相机设置为4个时，标定靶的数量也为四个，这里具体的数量可以根据实际应用中进行调整。另外，标定靶用于在离线状态下对相机的内部参数和外部参数进行标定，因此标定好相机的内部参数和外部参数后，标定靶就将断开与相机之间的连接。标定靶可采用黑白相间的棋盘格，单位棋盘格大小与高宽可根据需求自定义。
车载中控装置4，用于将来自环视相机的视图信息映射到预设的立体环境模型中形成全景场景视图，并根据从车载传感器获取的车辆状态信息，对全景场景视图进行渲染，形成全景辅助视角视图。
从而将以3D视图的效果显示场景视图，扩大了显示的范围和清晰度。
下面对本发明的车载中控装置进行详细说明。
参考图2，该图是本发明车载中控装置的一种实施例的示意图，该装置包括：存储单元41、映射单元42、全局光照补偿单元43、接缝选取与融合单元44，渲染单元45，输出单元46；具体实现时，映射单元42根据存储单元41存储的相机投影映射表，将来自环视相机的视图信息映射到预设的立体环境模型中形成全景场景视图；然后，由其中，存储单元41与映射单元42连接，映射单元42与全局光照补偿单元43对全景场景视图进行光照补偿，由接缝选取与融合单元44对图片进行接缝选取和融合，然后由渲染单元根据从车载传感器获取的车辆状态信息，对全景场景视图进行渲染，形成全景辅助视角视图；最后，通过输出单元46输出全景辅助视角视图。扩大了车载中控装置的对环视全景视图的处理能力，扩大了环视全景视图的显示范围和精度。
下面说明本发明的另一方面。
参考图3，该图是本发明一种立体车载环视方法的一种实施例的流程示意图，该方法包括：
步骤S11，获取车载相机的视图信息，将来自所述车载相机的视图信息映射到预设的立体环境模型中，形成3D辅助视角视图；具体实现时，所选取的立体环境模型由平面、柱面以及球面三部分组成，环境模型沿XZ平面切面如图4所示。平面部分的图像映射关系符合相机外部参数标定的矩阵H，球面以及柱面部分的映射关系可根据H由小孔成像模型坐标变换而得。平面部分的半径R1，球面部分的半径R2，柱面部分的半径R3为可配置参数；另外，在将各鱼眼视图映射到立体环境模型中时，对于图像消失线以下部分(即地面部分)，原本映射关系H将矫正后图像中的像素点(u，v)映射到现实地面坐标系正平面(X，Y)，现映射到3D环境模型中的(X1，Y1，Z1)。对于图像消失线以上部分(即天空部分)，原本映射关系H将矫正后图像中的像素点(u，v)映射到现实地面坐标系负平面(X’，Y’)，现映射到3D环境模型中的(X2，Y2，Z2)。2D与3D坐标对应关系如图5所示。具体实现时，还可以通过全局光照补偿对图片进行处理：提取相邻鱼眼相机重合区域平均亮度，通过调整各相机亮度增益，使重合区域亮度差最小，即均衡各鱼眼相机亮度。此过程通过最小化以下误差函数error来获得相机增益：
其中，Nij相机i重叠于相机j的像素个数；gaini，gainj分别是相机i和j的增益；是相机i在与相机j重叠区域的像素平均值；σN是归一化的亮度误差的标准方差；σg是增益的标准方差；n是相机的个数。实际应用中，可通过共享相机快门与增益参数来实现，此做法需要各相机之间开放通信协议。
步骤S12，接缝选取与融合：在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合。接缝可用静态接缝与动态接缝，静态接缝即在相机重合区域选用固定接缝；动态接缝是指在重合区域采用非固定接缝使接缝宽度内两相机纹理差别最小。本发明采用静态接缝，即固定接缝，接缝如图4所示。本发明采用渐进接缝融合方法，所用公式如下：
F(x，y)＝Wl(x，y)Fl(x，y)+Wr(x，y)Fr(x，y)
其中，Fl(x，y)、Fr(x，y)是拼接的2个相邻相机的图像；x，y是一个点的x和y方向坐标，坐标原点为图像左上角，向右向下为正；Wl、Wr为拼接的2个相邻相机的加权函数，由拼接缝确定。以拼接缝为中心线，形成一条宽度为T的重叠区域，此区域中加权值由重叠区域一侧边缘的每个点沿拼接缝的法线方向从1单调递减到另一侧边缘为0。
步骤S13，根据从车载传感器获取的车辆状态信息，对辅助视角视图进行渲染，形成全景辅助视图；具体实现时，可以称为全景辅助视角渲染：即将车辆立体模型至于环境立体模型中，应用层根据车载传感器信号(包括档位、转向信号等)，预设若干全景辅助视角模式(包括低速通过模式、泊车模式、入库模式等)，设定若干渲染点以及渲染所用虚拟相机参数，包括焦距、视场角以及全局坐标。采用小孔成像原理，渲染该辅助全景视图。
步骤S14，将全景辅助视图输出至视觉界面。
另外，具体实现时在步骤s11之前还可以包括步骤s10，在步骤s13之前还可以包括步骤s15：
步骤s10：本发明实施例采用的相机可以为鱼眼相机，在离线的条件下可以对相机的内部参数和外部参数进行标定。其中，内部参数标定包括鱼眼视角畸变矫正：通过相机内部参数标定，利用鱼眼镜头的径向畸变模型，消除鱼眼相机视图中存在的畸变。所用的径向畸变模型如下：
θ′＝θ(1+θ2+θ4)
其中，θ为图像中点对应的成像透视角。
相应的，外部参数的标定采用标定靶标定的方法，具体实现时，在相邻相机视野重合地面区域放置标定靶，计算逆投影矩阵H将矫正后图像中的像素点(u，v)映射到现实地面坐标系(X，Y)中。相机安装高度可通过分解homography矩阵H，或直接在车辆上测量获得。另外，其中H矩阵为3*3矩阵，使得[X，Y，1]T＝H[u，v，1]T。
步骤s15：判断环视系统的开关状态，当判定环视系统开的时候才进入步骤S13。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种立体车载环视方法，其特征在于，包括如下步骤：
S1，获取车载相机的视图信息；
S2，将来自所述车载相机的视图信息映射到预设的立体环境模型中，形成3D全场景视图；所述立体环境模型的映射关系包括平面部分映射关系、柱面部分映射关系以及球面部分映射关系；
S3，根据从车载传感器获取的车辆状态信息，对3D全场景视图进行渲染，形成全景辅助视角视图；
S4，将全景辅助视角视图输出至视觉界面。
2.根据权利要求1所述的立体车载环视方法，其特征在于，步骤s1之前还包括：离线相机参数标定，所述离线相机参数标定包括：
通过标定靶对相机内部参数进行标定，所述标定算法为：
采用鱼眼镜头的径向畸变模型对相机内部参数进行标定，所述径向畸变模型为：
θ′＝θ(1+θ2+θ4)
其中，θ为图像中点对应的成像透视角；
在相邻相机视野重合地面区域放置标定靶，计算逆投影矩阵H将矫正后图像中的像素点(u，v)映射到现实地面坐标系(X，Y)中。
3.根据权利要求1所述的立体车载环视方法，其特征在于，步骤s2包括：
将位于预设的图像消失线以下图像信息，映射到立体环境模型中的(X1，Y1，Z1)；
将位于预设的图像消失线以上部分的图像信息，映射到立体环境模型中的(X2，Y2，Z2)。
4.根据权利要求1所述的立体车载环视方法，其特征在于，还包括：
提取相邻相机重合区域平均亮度，通过调整各相机亮度增益，使重合区域亮度差最小；所述调整个相机亮度增益的误差函数error为：
<mrow>
<mi>e</mi>
<mi>r</mi>
<mi>r</mi>
<mi>o</mi>
<mi>r</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msub>
<mi>N</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mi>g</mi>
<mi> </mi>
<msub>
<mi>ain</mi>
<mi>i</mi>
</msub>
<mover>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mi>g</mi>
<mi> </mi>
<msub>
<mi>ain</mi>
<mi>j</mi>
</msub>
<mover>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>/</mo>
<msubsup>
<mi>&sigma;</mi>
<mi>N</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mi>g</mi>
<mi> </mi>
<msub>
<mi>ain</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>/</mo>
<msubsup>
<mi>&sigma;</mi>
<mi>g</mi>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
其中，Nij相机i重叠于相机j的像素个数；g aini，g ainj分别是相机i和j的增益；是相机i在于相机j重叠区域的像素平均值；σN是归一化的亮度误差的标准方差；σg是增益的标准方差；n是相机的个数。
5.根据权利要求1所述的立体车载环视方法，其特征在于，还包括：
在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合。
6.根据权利要求1所述的立体车载环视方法，其特征在于，所述接缝方法为渐进接缝融合方法，所用的公式为：
F(x，y)＝Wl(x，y)Fl(x，y)+Wr(x，y)Fr(x，y)
其中，Fl(x，y)、Fr(x，y)是拼接的2个相邻相机的图像x，y是一个点的x和y方向坐标，坐标原点为图像左上角，向右向下为正；Wl、Wr为拼接的2个相邻相机的加权函数，由拼接缝确定。
7.根据权利要求1所述的立体车载环视方法，其特征在于，步骤s3包括：
根据从车载传感器获取的车辆状态信息，确定与车辆状态信息对应的全景辅助视角模式；
根据所述确定的全景辅助视角模式，设定若干渲染点以及渲染所用的虚拟相机参数；
虚拟相机采用小孔成像，根据所述确定的渲染点渲染全景场景视图，形成全景辅助视角视图。
8.一种立体车载环视系统，其特征在于，包括车载传感器、相机、标定靶以及车载中控装置，所述标定靶设置于相邻相机视野重合的地面区域，用于对相机内部参数进行标定；所述相机、车载传感器分别与车载中控装置连接；
其中，所述车载中控装置将来自环视相机的视图信息映射到预设的立体环境模型中形成全景场景视图，并根据从车载传感器获取的车辆状态信息，对全景场景视图进行渲染，形成全景辅助视角视图。
9.一种车载中控装置，其特征在于，包括：
存储单元，用于存储预设的相机投影映射表；
映射单元，用于根据存储的相机投影映射表，将来自环视相机的视图信息映射到预设的立体环境模型中形成全景场景视图；
渲染单元，用于根据从车载传感器获取的车辆状态信息，对全景场景视图进行渲染，形成全景辅助视角视图；
输出单元，用于输出全景辅助视角视图。
10.根据权利要求9所述的车载中控装置，其特征在于，还包括：
全局光照补偿单元，用于提取相邻相机重合区域平均亮度，通过调整各相机亮度增益，使重合区域亮度差最小；所述调整个相机亮度增益的误差函数error为：
<mrow>
<mi>e</mi>
<mi>r</mi>
<mi>r</mi>
<mi>o</mi>
<mi>r</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msub>
<mi>N</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mi>g</mi>
<mi> </mi>
<msub>
<mi>ain</mi>
<mi>i</mi>
</msub>
<mover>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mi>g</mi>
<mi> </mi>
<msub>
<mi>ain</mi>
<mi>j</mi>
</msub>
<mover>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>/</mo>
<msubsup>
<mi>&sigma;</mi>
<mi>N</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mi>g</mi>
<mi> </mi>
<msub>
<mi>ain</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>/</mo>
<msubsup>
<mi>&sigma;</mi>
<mi>g</mi>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
其中，Nij相机i重叠于相机j的像素个数；g aini，g ainj分别是相机i和j的增益；是相机i在于相机j重叠区域的像素平均值；
σN是归一化的亮度误差的标准方差·；σg是增益的标准方差；n是相机的个数；
接缝选取与融合单元，用于在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合；所述接缝为渐进接缝融合方法，该方法采用的公式为：
F(x，y)＝Wl(x，y)Fl(x，y)+Wr(x，y)Fr(x，y)
其中，Fl(x，y)、Fr(x，y)是拼接的2个相邻相机的图像；x，y是一个点的x和y方向坐标；Wl、Wr为拼接的2个相邻相机的加权函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710949867.5A CN107888894B (zh) | 2017-10-12 | 2017-10-12 | 一种立体车载环视方法、系统及车载中控装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710949867.5A CN107888894B (zh) | 2017-10-12 | 2017-10-12 | 一种立体车载环视方法、系统及车载中控装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107888894A true CN107888894A (zh) | 2018-04-06 |
| CN107888894B CN107888894B (zh) | 2019-11-05 |
Family
ID=61781543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710949867.5A Active CN107888894B (zh) | 2017-10-12 | 2017-10-12 | 一种立体车载环视方法、系统及车载中控装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107888894B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647664A (zh) * | 2018-05-18 | 2018-10-12 | 河海大学常州校区 | 一种基于环视图像的车道线检测方法 |
| CN108765499A (zh) * | 2018-06-04 | 2018-11-06 | 浙江零跑科技有限公司 | 一种车载非gpu渲染360度立体环视实现方法 |
| CN109741455A (zh) * | 2018-12-10 | 2019-05-10 | 深圳开阳电子股份有限公司 | 一种车载立体全景显示方法、计算机可读存储介质及系统 |
| CN110097799A (zh) * | 2019-05-23 | 2019-08-06 | 重庆大学 | 基于真实场景建模的虚拟驾驶系统 |
| CN110109552A (zh) * | 2019-05-23 | 2019-08-09 | 重庆大学 | 基于真实环境的虚拟驾驶场景建模方法 |
| CN110188689A (zh) * | 2019-05-30 | 2019-08-30 | 重庆大学 | 基于真实场景建模的虚拟驾驶目标碰撞检测方法 |
| CN110371108A (zh) * | 2019-06-14 | 2019-10-25 | 浙江零跑科技有限公司 | 车载超声波雷达与车载环视系统融合方法 |
| CN110610523A (zh) * | 2018-06-15 | 2019-12-24 | 杭州海康威视数字技术股份有限公司 | 汽车环视标定方法及装置、计算机可读存储介质 |
| CN110796597A (zh) * | 2019-10-10 | 2020-02-14 | 武汉理工大学 | 基于时空补偿的车载环视图像拼接装置 |
| CN111757057A (zh) * | 2020-06-17 | 2020-10-09 | 广州市泰睿科技有限公司 | 一种全景环视显示方法、装置、设备及存储介质 |
| CN113066158A (zh) * | 2019-12-16 | 2021-07-02 | 杭州海康威视数字技术股份有限公司 | 一种车载环视方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102438108A (zh) * | 2011-10-13 | 2012-05-02 | 江苏尚阳数字科技有限公司 | 一种影片处理方法 |
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| CN103802725A (zh) * | 2012-11-06 | 2014-05-21 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
| CN103988499A (zh) * | 2011-09-27 | 2014-08-13 | 爱信精机株式会社 | 车辆周边监视装置 |
| CN104034269A (zh) * | 2014-06-24 | 2014-09-10 | 深圳市赛为智能股份有限公司 | 一种单目视觉测量方法与装置 |
| US20150326782A1 (en) * | 2014-05-08 | 2015-11-12 | Hyundai Mobis Co., Ltd. | Around view system |
| CN106441094A (zh) * | 2016-09-10 | 2017-02-22 | 上海大学 | 自适应标定的视觉在线检测装置和方法 |
| WO2017067495A1 (en) * | 2015-10-22 | 2017-04-27 | Byd Company Limited | Method and apparatus for generating image of area under vehicle, and vehicle |
| CN106994936A (zh) * | 2016-01-22 | 2017-08-01 | 广州求远电子科技有限公司 | 一种3d全景泊车辅助系统 |
| CN107066954A (zh) * | 2017-03-23 | 2017-08-18 | 浙江零跑科技有限公司 | 一种车载360度环视显示方法及系统 |
| CN107133918A (zh) * | 2017-05-05 | 2017-09-05 | 陈健 | 一种在三维场景中任意位置生成全景图的方法 |
-
2017
- 2017-10-12 CN CN201710949867.5A patent/CN107888894B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103988499A (zh) * | 2011-09-27 | 2014-08-13 | 爱信精机株式会社 | 车辆周边监视装置 |
| CN102438108A (zh) * | 2011-10-13 | 2012-05-02 | 江苏尚阳数字科技有限公司 | 一种影片处理方法 |
| CN103802725A (zh) * | 2012-11-06 | 2014-05-21 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| US20150326782A1 (en) * | 2014-05-08 | 2015-11-12 | Hyundai Mobis Co., Ltd. | Around view system |
| CN104034269A (zh) * | 2014-06-24 | 2014-09-10 | 深圳市赛为智能股份有限公司 | 一种单目视觉测量方法与装置 |
| WO2017067495A1 (en) * | 2015-10-22 | 2017-04-27 | Byd Company Limited | Method and apparatus for generating image of area under vehicle, and vehicle |
| CN106994936A (zh) * | 2016-01-22 | 2017-08-01 | 广州求远电子科技有限公司 | 一种3d全景泊车辅助系统 |
| CN106441094A (zh) * | 2016-09-10 | 2017-02-22 | 上海大学 | 自适应标定的视觉在线检测装置和方法 |
| CN107066954A (zh) * | 2017-03-23 | 2017-08-18 | 浙江零跑科技有限公司 | 一种车载360度环视显示方法及系统 |
| CN107133918A (zh) * | 2017-05-05 | 2017-09-05 | 陈健 | 一种在三维场景中任意位置生成全景图的方法 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647664A (zh) * | 2018-05-18 | 2018-10-12 | 河海大学常州校区 | 一种基于环视图像的车道线检测方法 |
| CN108647664B (zh) * | 2018-05-18 | 2021-11-16 | 河海大学常州校区 | 一种基于环视图像的车道线检测方法 |
| CN108765499A (zh) * | 2018-06-04 | 2018-11-06 | 浙江零跑科技有限公司 | 一种车载非gpu渲染360度立体环视实现方法 |
| CN108765499B (zh) * | 2018-06-04 | 2021-07-09 | 浙江零跑科技有限公司 | 一种车载非gpu渲染360度立体环视实现方法 |
| CN110610523A (zh) * | 2018-06-15 | 2019-12-24 | 杭州海康威视数字技术股份有限公司 | 汽车环视标定方法及装置、计算机可读存储介质 |
| CN109741455A (zh) * | 2018-12-10 | 2019-05-10 | 深圳开阳电子股份有限公司 | 一种车载立体全景显示方法、计算机可读存储介质及系统 |
| CN109741455B (zh) * | 2018-12-10 | 2022-11-29 | 深圳开阳电子股份有限公司 | 一种车载立体全景显示方法、计算机可读存储介质及系统 |
| CN110097799B (zh) * | 2019-05-23 | 2020-12-11 | 重庆大学 | 基于真实场景建模的虚拟驾驶系统 |
| CN110097799A (zh) * | 2019-05-23 | 2019-08-06 | 重庆大学 | 基于真实场景建模的虚拟驾驶系统 |
| CN110109552A (zh) * | 2019-05-23 | 2019-08-09 | 重庆大学 | 基于真实环境的虚拟驾驶场景建模方法 |
| CN110109552B (zh) * | 2019-05-23 | 2020-06-05 | 重庆大学 | 基于真实环境的虚拟驾驶场景建模方法 |
| CN110188689A (zh) * | 2019-05-30 | 2019-08-30 | 重庆大学 | 基于真实场景建模的虚拟驾驶目标碰撞检测方法 |
| CN110371108B (zh) * | 2019-06-14 | 2020-12-15 | 浙江零跑科技有限公司 | 车载超声波雷达与车载环视系统融合方法 |
| CN110371108A (zh) * | 2019-06-14 | 2019-10-25 | 浙江零跑科技有限公司 | 车载超声波雷达与车载环视系统融合方法 |
| CN110796597A (zh) * | 2019-10-10 | 2020-02-14 | 武汉理工大学 | 基于时空补偿的车载环视图像拼接装置 |
| CN110796597B (zh) * | 2019-10-10 | 2024-02-02 | 武汉理工大学 | 基于时空补偿的车载环视图像拼接装置 |
| CN113066158A (zh) * | 2019-12-16 | 2021-07-02 | 杭州海康威视数字技术股份有限公司 | 一种车载环视方法及装置 |
| CN113066158B (zh) * | 2019-12-16 | 2023-03-10 | 杭州海康威视数字技术股份有限公司 | 一种车载环视方法及装置 |
| CN111757057A (zh) * | 2020-06-17 | 2020-10-09 | 广州市泰睿科技有限公司 | 一种全景环视显示方法、装置、设备及存储介质 |
| CN111757057B (zh) * | 2020-06-17 | 2022-06-17 | 广州市泰睿科技有限公司 | 一种全景环视显示方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107888894B (zh) | 2019-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107888894B (zh) | 一种立体车载环视方法、系统及车载中控装置 | |
| CN107792179B (zh) | 一种基于车载环视系统的泊车引导方法 | |
| CN108263283B (zh) | 多编组变角度车辆全景环视系统标定及拼接方法 | |
| CN109741455B (zh) | 一种车载立体全景显示方法、计算机可读存储介质及系统 | |
| CN104851076B (zh) | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 | |
| US9858639B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| CN108765496A (zh) | 一种多视点汽车环视辅助驾驶系统及方法 | |
| CN110341597B (zh) | 一种车载全景视频显示系统、方法及车载控制器 | |
| US20170324943A1 (en) | Driver-assistance method and a driver-assistance apparatus | |
| CN112224132B (zh) | 一种车用全景环视障碍物预警方法 | |
| JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
| CN109087251B (zh) | 一种车载全景图像显示方法及系统 | |
| US20070041659A1 (en) | Surroundings monitoring apparatus and surroundings monitoring method | |
| US11303807B2 (en) | Using real time ray tracing for lens remapping | |
| CN111223038A (zh) | 一种车载环视图像的自动拼接方法及显示装置 | |
| CN102298771A (zh) | 全景泊车辅助系统的鱼眼图像快速校正方法 | |
| CN112070886B (zh) | 矿用自卸车的影像监控方法及相关设备 | |
| CN102158684A (zh) | 具有图像增强功能的自适应场景图像辅助系统 | |
| CN103802725A (zh) | 一种新的车载驾驶辅助图像生成方法 | |
| CN106994936A (zh) | 一种3d全景泊车辅助系统 | |
| US10699376B1 (en) | eMirror with 3-in-1 stitching by non-rectilinear warping of camera views | |
| CN107492125A (zh) | 汽车鱼眼镜头环视图像的处理方法 | |
| CN106780344A (zh) | 基于偏差转移和拆分的汽车360°环视图像拼接方法 | |
| CN112435161A (zh) | 全景环视图像拼接方法及系统、电子设备和存储介质 | |
| CN113724133B (zh) | 一种非刚体连接的拖挂车360°环视拼接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200910 Address after: Room 301, building 3, No. 2930, South Ring Road, Puyan street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Zhejiang Dahua Automobile Technology Co.,Ltd. Address before: 310051, Hangzhou, Zhejiang, Binjiang District, 6 street, 451 building, building Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 310000 Room 301, building 3, no.2930, South Ring Road, Puyan street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Zhejiang huaruijie Technology Co.,Ltd. Address before: 310000 Room 301, building 3, no.2930, South Ring Road, Puyan street, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: Zhejiang Dahua Automobile Technology Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |