CN117774834A - 车辆环景影像显示方法 - Google Patents

Abstract

本发明公开了一种车辆环景影像显示方法，包含通过装设于一车辆上的复数个摄像头撷取车辆移动时的周围环境影像以产生连续影像帧，并通过连续影像帧的实时影像组成对应于车辆外侧区域的第一影像，计算行车数据来得到连续影像帧的延迟影像，并经过增益运算组成对应于车辆的底盘区域的第二影像，通过拼接第一影像及第二影像实时产生一车辆环景影像并显示。

Description

车辆环景影像显示方法

技术领域

本发明涉及行车影像技术领域，具体涉及一种车辆环景影像显示方法。

背景技术

一般车辆亦或可装设额外的摄像头于车辆各个位置。举例来说，摄影机可安装在车辆的前、侧及后面，采集周围环境的各个区域的影像。对于车辆行驶中的不同环境或停车场场域需要更多的影像视野来提供给驾驶者，然而，受限于摄像头的安装位置会受到车辆本身的遮蔽，但增加额外的摄像头来采集整体车辆周围环境，往往会产生较高的成本。此外，受到环境光线的影响，车辆本身会产生投影于地面的阴影或是因车灯开启照射地面产生光斑，若这些影像被用来产生车辆环景影像，往往会产生不良的影像质量，特别是用来产生摄像头视野被遮蔽的影像，又若以人工智能判断车辆阴影或是车灯造成的光斑并加以改善，则会需要大量的影像训练数据，可能造成影像的误判或因此抹除环境中重要的影像信息。

发明内容

为解决上述技术问题，本发明的目的在于提供一种车辆环景影像显示方法。

本发明的目的可以通过以下的技术方案来实现：

本发明提供一种车辆环景影像显示方法，包含：

通过装设于一车辆上的复数个摄像头撷取所述车辆移动时的周围环境影像以产生连续影像帧，

通过所述连续影像帧的实时影像组成对应于所述车辆外侧区域的第一影像，

接收所述车辆的行车数据，

计算所述行车数据来得到所述连续影像帧的延迟影像，

通过对所述连续影像帧的延迟影像进行增益运算组成对应于所述车辆的底盘区域的第二影像，

通过拼接所述第一影像及所述第二影像实时产生一车辆环景影像，

显示所述车辆环景影像。

所述车辆外侧区域还包括一影像比对区域，通过比对在所述影像比对区域中的所述连续影像帧的实时影像与所述连续影像帧的延迟影像来调整所述第一影像或第二影像。

还包括将所述连续影像帧从第一视角执行坐标转换为第二视角。

所述车辆的行车数据至少包含所述车辆的转向角、车速及档位。

所述影像比对区域相邻所述车辆的底盘区域。

所述增益运算包含调整所述连续影像帧的延迟影像在每一帧的影像透明度变化。

本发明具有以下优点：

1、通过对安装车辆外侧的摄像头撷取的连续影像帧的延迟影像进行增益运算可产生成对应于车辆的底盘区域的影像，除了无需增加安装在车辆底盘下方的摄像头，使车辆在行驶中，如摄像头视野无遮蔽般行驶，同时可以减少车辆阴影或车灯造成的光斑对于组成车辆环景影像的影响。

2、通过影像在拼接时特定区域的比对，可降低车辆外部区域影像与对应车辆底盘的影像间因车辆移动的时间先后造成的影像拼接差异，并可以此调整车辆外部区域的影像，降低此区域因车辆造成的阴影及车灯造成的光斑。

附图说明

图1是本发明的一种车辆环景影像显示系统的结构示意图；

图2是本发明的一种车辆环景影像显示的方法流程图；

图3是本发明的一种车辆环景影像显示区域的实施示意图；

图4是本发明在连续影像帧执行坐标转换视角的实施示意图；

图5是在计算行车数据来得到连续影像帧的延迟影像的实施示意图；

图6是本发明通过对连续影像帧的延迟影像进行增益运算的实施示意图；

图7是本发明在车辆外侧区域包括一影像比对区域的实施示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通或两个组件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合附图与具体实施方式对本发明作进一步详细描述：

请参考图1，本发明公开了一种车辆环景影像显示系统100安装在一车辆上，包括影像信息接收模块101、摄像头102、处理单元103、车辆信息总成接口104以及储存模块105。

影像信息接收模块101用来获取来自安装在车辆多颗的摄像头102所撷取的连续影像帧，特别是用来获取车辆移动时的周围环境影像帧以产生连续影像帧。影像信息接收模块101通常具有影像处理单元(ISP,Image Signal Processor)，可处理如镜头矫正、像素矫正、颜色插值、Bayer噪声去除、白平衡矫正、色彩矫正、gamma矫正、色彩空间转换等功能。影像信息接收模块101一般可具有LVDS(Low Voltage Differential Signaling，低电压差分信号)或MIPI CSI传输接口(未标示)，为了能获取较好的影像质量，影像信息可以为LVDS格式信息。

复数个摄像头102被安装在车辆上，如可被安装在车辆的前侧(例如，前表面)的前摄像头，被安装在车辆的相对后侧的后摄像头，以及车辆左右外侧的左、右摄像头，由于这些摄像头102通常具备影像传感器并通过广角镜头或鱼眼镜头从环境接收影像。影像传感器包含各自撷取光以产生影像数据的像素的水平及垂直列。来自像素的影像数据可结合以形成以产生连续影像帧。在本发明中，复数个摄像头102设置在车辆的不同侧，可拍摄车辆外侧的周围影像并具有不同的视野，整体而言，这些不同视野的影像可构成车辆外侧周围环境完整的影像视野，并经由影像信息接收模块101传送至处理单元103。

本发明的处理单元103为本发明的主要的运算单元，如一个或多个通用处理器、如数字信号处理器(DSPs)的专用处理器或其他数字处理电路。处理单元103与影像信息接收模块101连接，可接收且处理从复数个摄像头102接收的连续影像帧，并运算自影像信息接收模块101转换后的连续影像帧。同时，处理单元103可通过通讯路径(例如，一个或多个电缆，以利控制器局域网络总线的通讯总线实施于其上)与车辆控制系统通讯连接，更进一步是通过车辆信息总成接口104连接车辆CAN总线，从车辆控制系统接收车辆数据，如车辆速度、转向角等及其他有关车辆的行车数据。储存模块105可用来储存影像。举例来说，处理单元103可维持一个或多个影像缓冲存储器，并储存从复数个摄像头102接收的连续影像帧于储存模块105中。此外，储存模块105可储存来自车辆的各式感测信息或其他有关车辆的行车数据。储存模块104可以是内建的集成电路的存储器，也可以是外接式的存储装置，如SSD或SD卡。

请一并参考图1至图7根据本发明的一种车辆环景影像显示系统100安装于一车辆上运作的实施方式。根据该系统100可以产生车辆环景影像300，其中车辆环景影像300又可分为车辆外侧区域301的影像(本发明的第一影像)及车辆的底盘区域302的影像(本发明的第二影像)，而本发明的系统100产生这两个区域影像的方法具有以下步骤:

步骤S01，撷取车辆移动时的周围环境影像以产生连续影像帧并组成对应于所述车辆外侧区域的第一影像。

安装在车辆各个位置的复数个摄像头102，举例来说，可安装在车辆的前、后及/或侧面，各自由不同的安装视角撷取车辆移动时周围环境影像以产生连续影像帧。由于这些不同安装视角的摄像头102安装在车辆外侧，因此各摄像头所撷取分别的连续影像帧，在本发明中主要可构成车辆外侧区域301的影像，即对应车辆外侧区域301的第一影像，如图3所示。更进一步来说，个别的摄像头102所撷取的影像通常是摄像头光轴方向所拍摄的前视角影像。对应于不同摄像头的前视角影像，本发明的处理单元103在组合所有对应于车辆外侧区域301的第一影像之前，须将各摄像头102撷取车辆移动时的周围环境影像帧的第一视角(即个别摄像头的前视角)执行坐标转换为第二视角(即共同视角)，其中第二视角通常为反映车辆由上往下的视角，或称为鸟瞰视角，如此可让车辆驾驶者方便由这些不同摄像头的视角经坐标转换后的共同视角来观察车辆外侧周围的影像，当然这些来自不同视角的摄像头102所撷取的连续影像帧是经同步时间处理且为实时拍摄的影像。值得一提的是，为了能反映车辆行驶过程中的实时影像与真实车辆周围环境，在对应车辆外侧区域301的第一影像中，因车辆本身投射地面的阴影或是车灯产生的光斑等现象，是不经由影像运算或是人工智能处理被抹去。

其中，处理单元103将各摄像头102撷取车辆移动时的周围环境影像帧的第一视角(即个别摄像头的前视角)执行坐标转换为第二视角(即共同视角)的具体做法，请一并参考图4。如图4中所示，以其中一个摄像头102为例，通过摄像头所撷取的影像，可包含在坐标系中，如在摄像头的前视角的平面401中沿着向量403的点X1的影像数据(例如，像素)。向量403延伸在平面401中的点X1与在鸟瞰视角对应的目标平面402中的对应点Xπ之间，其中目标平面402在本发明中即为地平面。由于向量403被绘制于摄像头的前视角平面401上的点与目标平面402之间，所以向量403可表示摄像头被安装在车辆上且朝向地面的角度。

在摄像头的前视角的平面401通过摄像头所撷取的连续影像帧，可根据矩阵公式Xπ＝H*X1而转换(例如，投影)至目标平面402上。矩阵“H”可通过对于摄像头的校正程序来计算及决定。举例来说，摄像头可安装在车辆上的所需位置，且校正影像可用以产生已知环境的影像。在这种情况下，可以获得若干对在平面401及目标平面402中的对应点(例如，点X1及点Xπ可构成一对)，而“H”可基于已知的点来计算。

作为实例，点X1可通过平面401的坐标系统而被定义为X1＝(x_i,y_i,ω_i)，而点Xπ可通过目标平面402的坐标系统而被定义为Xπ＝(x₁′,y₁′,ω_i′)。在这种情况下，矩阵“H”可被定义为如在方程式1中所示，点X1与点Xπ之间的关系可被定义为如在方程式2中所示。

方程式1：

方程式2：

安装在车辆的各摄像头102，可通过处理单元103计算各摄像头102的前视角的平面401执行坐标转换为目标平面402的各个矩阵“H”，而校正转换至目标平面402上。也就是说，在复数个摄像头102被安装在车辆的前、后及侧面的情况中，处理单元103可根据各摄像头预先决定的各个转换矩阵而加以校正，再通过该多个转换矩阵将该复数个摄像头102撷取的连续影像帧从第一视角(即个别摄像头的前视角)执行坐标转换为第二视角(即共同视角)，经过影像拼接得到共同的平面影像，如本发明图3中对应车辆的鸟瞰视角的影像300。最后处理单元103将这些经坐标转换后的连续影像帧的实时影像组成对应于车辆外侧区域301的第一影像，同时将这些经坐标转换后的连续影像帧储存于储存模块105中，以作为本发明后续步骤所使用。

显然地，由于本发明中复数个摄像头102安装于车辆外侧，即使其搭载广角镜头或是鱼眼镜头，但仍受到车辆本身的遮挡，视野因而产生遮蔽，如图3中车辆所在的区域，或进一步说，在图3中的鸟瞰影像，复数个摄像头102受到车辆本身所遮蔽的区域投影至地平面的区域，即为对应车辆的底盘区域302。因此，在后续步骤S02至S04为本发明通过在S01步骤中所储存经坐标转换后的连续影像帧，产生被车辆本身所遮蔽的区域(车辆的底盘区域302)影像(本发明的第二影像)的方法。

步骤S02，接收车辆的行车数据。

在此步骤中，车辆的行车数据可通过控制及/或监测系统(例如，经通讯路径如控制器局域网络总线，controller area network bus，CAN bus)来提供，最后经由车辆信息总成接口104传送至处理单元103。行车数据，举例如车辆的转向角、速度、档位等，即足以识别车辆的移动状态的数据，这些数据将被处理单元计算并判定在步骤S01先前撷取并储存的连续影像帧的哪个部分，可以用来产生车辆本身所遮蔽的区域(车辆的底盘区域302)的影像。

步骤S03，计算行车数据来得到连续影像帧的延迟影像。

图5描述计算行车数据来得到连续影像帧的延迟影像的实施示意图。其中，Φ为转向角(例如，平均前轮角度)、V为车速及L为车辆轴距长度(亦即，在车辆前及后轮之间的长度)。在此步骤中，主要是计算车辆的移动，通过车辆的行车数据可以获得未来时间点的车辆位置，并由先前撷取并储存的连续影像帧根据计算后的车辆位置来得到连续影像帧的延迟影像，以用来产生对应于车辆的底盘区域302的影像。

车辆的角速度可基于目前的车辆速度V、轴距长度L及转向角Φ(例如，如在方程式3中所示)来计算。

方程式3：

对于各位置，对应的未来位置可基于预测移动量Δyi来计算。预测移动量Δyi可基于距车辆的旋转半径的中心O_i的位置的X轴距离r_xi及Y轴距离L_xi以及车辆角速度来计算(例如，根据方程式4)。

方程式4：

对于车辆本身所遮蔽的区域(车辆的底盘区域302)的影像内的各位置，预测移动量Δyi可用以决定预测的未来位置是否落在车辆周围环境的目前可见区域(例如，车辆外侧区域301)内。如果预测的车辆移动位置是位于目前可见区域内，则在车辆移动至预测位置时，根据本发明，处理单元103可计算在步骤S01已由复数个摄像头102撷取并储存车辆移动时的周围环境的连续影像帧中，对应于预测移动量Δyi的区块，而对应区块的连续影像帧便可以用来产生车辆本身所遮蔽的区域(即车辆的底盘区域302)的影像。因此，对于车辆移动至未来时间点时，相较于车辆外侧区域301的影像(第一影像)是由摄像头102撷取的连续影像帧的实时影像所组成，这些被用作产生车辆本身所遮蔽的区域(即车辆的底盘区域302)对应区块的影像，则可视为前述连续影像帧的延迟影像，亦即在预测车辆移动对应的已储存的连续影像帧。

同样地，由于这些对应车辆移动所预先储存的连续影像帧可能仍然具有车辆本身投射地面的阴影或是车灯产生的光斑，如因此作为产生车辆的底盘区域302的影像时，会造成该区域302的影像质量不良，如原有连续影像帧的阴影产生的不连续、光斑的过曝，进一步对驾驶者造成不良的视觉干扰，或是误判该区域302在地面上有障碍物等不良影响。因此，在下一步骤中，将针对这些预先储存的连续影像帧进行处理。

步骤S04，对连续影像帧的延迟影像进行增益运算组成对应于所述车辆的底盘区域的第二影像。

基于前一步骤S03，为了将用来产生车辆的底盘区域302的预先储存的连续影像帧(即连续影像帧的延迟影像)进行处理，以减少车辆阴影或是车灯对于影像质量的影响。因此，本发明的处理单元103可针对这些预先储存的连续影像帧进行增益运算组成对应于车辆的底盘区域302的影像(第二影像)。为了清楚说明增益运算的作法，请一并参考图6，预先储存的连续影像帧的延迟图像对应在车辆的外侧区域301，此时，在区域301可能会存在有车辆本身造成的阴影或是车灯造成的光斑，本发明的处理单元103则对连续影像帧的延迟影像进行增益运算，以车辆侧边方向的影像增益运算为例(A-A’方向)，增益运算的方式，举例可以如图6中的(a)，预先排除车身向外延伸距离s所形成的范围内的影像，亦即增益w为0，也就是说，连续影像帧的延迟影像在离车身s距离内的范围内的部分，也就是车辆本身造成的阴影或是车灯造成的光斑最容易发生的区域范围，在车辆移动后不作为产生车辆的底盘区域302的影像。而增益w不为0时，可视为将连续影像帧的延迟影像作权重值的调整，例如调整连续影像帧的延迟影像在每一帧的影像透明度变化，直到增益w为1(此时透明度为0)。一般而言，s可以为由车身外侧起算40公分至60公分的距离，或是进一步可以根据车辆行驶的状态，如白天或夜间时段、环境光线的亮度、室外或室内、GPS定位信号等，由处理单元103内建的预设值进行调整。如同图6中(a)的做法，为了淡化车辆阴影或车灯造成光斑的影像，除了预先排除连续影像帧的延迟影像在离车身s距离内的范围内的部分，在图6中如(b)的增益w是往远离车身方向以线性方式递增；图6中(c)的增益w则是以二次曲线方程往远离车身方向递增，同样地，这些增益的运算可内建于处理单元103成为预设值。详细来说，如在车辆移动到下一位置时，期间所被使用到的连续影像帧的延迟影像的每一帧都可通过前述的增益计算来降低车辆阴影或是车灯对于影像质量的影响，最后，通过处理单元103将这些经过增益运算后的连续影像帧的延迟影像组成对应于车辆的底盘区域的影像(即本发明的第二影像)，且储存于储存单元105。以上本发明的增益运算仅以本实施方式举例说明，但不限于前述增益运算的方法。对于预先储存的连续影像帧的延迟影像可根据对应于车辆的外侧区域301作整体的增益运算，换言之，不仅是车辆侧边方向的区域作增益运算，还包括整个对应于车辆的外侧区域301的影像。

步骤S05，通过拼接第一影像及第二影像实时产生一车辆环景影像。

针对车辆移动时经由连续影像帧的实时影像组成对应于车辆外侧区域301的第一影像，以及通过对连续影像帧的延迟影像进行增益运算组成对应于所述车辆的底盘区域302的第二影像，在此步骤中，处理单元103便将第一影像及第二影像进行拼接以形成本发明的车辆环景影像300。由于本发明可通过结合在步骤S01期间的先前所储存的连续影像帧，并根据行车数据预测车辆位置，加以计算后用来产生对应车辆的底盘区域302的影像，因此在任何时间，除了在车辆移动时可实时显示车辆外侧区域301的影像外，尽管车辆挡住摄像头视野的部分周围环境(即车辆的底盘区域302)，通过本发明步骤S01～步骤S05可实现仿佛车辆行驶过程中，摄像头视野无任何遮蔽般。本发明进一步考虑影像拼接的质量而言，对应于车辆外侧区域301的第一影像是车辆行驶的当下连续影像帧的实时影像，而对应于所述车辆的底盘区域302的第二影像是连续影像帧的延迟影像，也就是车辆在稍早的位置预先储存的连续影像帧，由于两者影像有着时间顺序上的差异，因此在将影像进行拼接时，可能会造成影像的不连续，特别是发生在车辆移动时所伴随的车辆阴影或是当车辆的车灯造成的光斑明显时，即第一影像具有车辆阴影或是车灯造成的光斑，而第二影像在本发明中则是淡化车辆阴影或是车灯造成的光斑。因此在本发明中，处理单元103还可以进一步比对第一影像及第二影像间的影像差异，并进行影像的调整，如亮度、对比或是伽玛值(gamma)等相关影像参数。具体作法如图7，处理单元103可以计算第一影像及第二影像在拼接处附近区域的影像值，如车辆外侧区域301还包括一影像比对区域303，该影像比对区域303相邻车辆的底盘区域302，以本发明的实施方式可以由车身侧向外延伸30公分以内所形成的区域范围。通过比对在影像比对区域303中的连续影像帧的实时影像与连续影像帧的延迟影像来调整车辆外侧区域301的第一影像或车辆的底盘区域302的第二影像，使第一影像及第二影像在拼接时不产生太大的影像差异，甚至可因本步骤的比对，调整第一影像存在车辆阴影或是车灯造成的光斑时的影像，以提升车辆环景影像的质量。

步骤S06，显示车辆环景影像。

经由前述步骤S01至步骤S05，当处理单元103已完成影像的拼接后，可通过连接一显示模块(未示出)以作为车辆环景影像300的输出显示，实作上，显示模块可以是LCD、OLED、PLED或Micro LED监视器。优选地，显示模块亦可以具有可以互动的触控功能。影像显示的方式，除了可显示拼接后的车辆环景影像300，也可以显示车辆的框架，可以为半透明显示或完全不显示车辆的框架，可依照驾驶员喜好，通过显示模块选择即可。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例公开如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (6)

1.一种车辆环景影像显示方法，其特征在于，包含：

通过装设于一车辆上的复数个摄像头撷取所述车辆移动时的周围环境影像以产生连续影像帧，

通过所述连续影像帧的实时影像组成对应于所述车辆外侧区域的第一影像，

接收所述车辆的行车数据，

计算所述行车数据来得到所述连续影像帧的延迟影像，

通过对所述连续影像帧的延迟影像进行增益运算组成对应于所述车辆的底盘区域的第二影像，

通过拼接所述第一影像及所述第二影像实时产生一车辆环景影像，

显示所述车辆环景影像。

2.根据权利要求1所述的车辆环景影像显示方法，其特征在于，所述车辆外侧区域还包括一影像比对区域，通过比对在所述影像比对区域中的所述连续影像帧的实时影像与所述连续影像帧的延迟影像来调整所述第一影像或第二影像。

3.根据权利要求1所述的车辆环景影像显示方法，其特征在于，将所述连续影像帧从第一视角执行坐标转换为第二视角。

4.根据权利要求1所述的车辆环景影像显示方法，其特征在于，所述车辆的行车数据至少包含所述车辆的转向角、车速、档位。

5.根据权利要求2所述的车辆环景影像显示方法，其特征在于，所述影像比对区域相邻所述车辆的底盘区域。

6.根据权利要求1所述的车辆环景影像显示方法，其特征在于，所述增益运算包含调整所述连续影像帧的延迟影像在每一帧的影像透明度变化。