CN118115400A - 图像处理方法、图像处理装置、控制器、车辆和存储介质 - Google Patents

Abstract

本发明公开了一种图像处理方法、图像处理装置、控制器、车辆和存储介质，其中，图像处理方法用于控制器，图像处理方法包括：获取由多个图像采集装置采集的车辆环境的多张原始图像；根据多张原始图像，得到车辆环境的全景拼接图像；从全景拼接图像识别出目标对象；根据目标对象在全景拼接图像中的第一像素区域，确定目标对象在多张原始图像中的第二像素区域；将目标对象在多张原始图像中的第二像素区域投影至全景拼接图像中的第一像素区域处，以在全景拼接图像中的第一像素区域处形成目标对象的替代对象；向车辆显示终端发送，将经过投影的且包含替代对象的全景拼接图像。采用该方法能解决全景拼接图像中行人发生变形的情况，提升驾驶安全性。

Description

图像处理方法、图像处理装置、控制器、车辆和存储介质

技术领域

本发明涉及车辆技术领域，尤其是涉及一种图像处理方法、图像处理装置、控制器、车辆和存储介质。

背景技术

现有的车辆在行驶过程中，车辆中设置的多个摄像头能够实时采集车辆环境的视频信息，车辆通常采用全景拼接采用3D渲染技术，将采集到的车辆环境的视频信息进行渲染拼接合成车身周围360°的全景鸟瞰画面，并传输到车载显示器进行显示。

在现有技术中，对全景拼接视频采用实车场景进行测试时，通常采用3D渲染技术实现全景拼接，而拼接合成车身周围360°的全景鸟瞰画面中存在行人或者车辆等变形的情况，驾驶员观测全景拼接视频时，会影响驾驶员判断的直观性，甚至驾驶员不能确定车辆周围是否有行人以及行人与驾驶车辆的距离，驾驶安全性有待提升。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的第一个目的在于提出一种图像处理方法，能解决全景拼接图像中行人或者车辆等发生变形导致的驾驶员观测全景拼接视频全景拼接图像显示的画面时，不能直观地判断车辆周围是否有行人以及行人与车辆的距离的问题，提升驾驶的安全性。

本发明的第二个目的在于提出一种图像处理装置。

本发明的第三个目的在于提出一种控制器。

本发明的第四个目的在于提出一种车辆。

本发明的第五个目的在于提出一种计算机可读存储介质。

为了达到上述目的，本发明第一方面实施例提出一种图像处理方法，用于控制器，包括：获取由多个图像采集装置采集的车辆环境的多张原始图像；根据所述多张原始图像，得到所述车辆环境的全景拼接图像；从所述全景拼接图像识别出目标对象；根据所述目标对象在所述全景拼接图像中的第一像素区域，确定所述目标对象在所述多张原始图像中的第二像素区域；将所述目标对象在所述多张原始图像中的第二像素区域投影至所述全景拼接图像中的所述第一像素区域处，以在所述全景拼接图像中的所述第一像素区域处形成所述目标对象的替代对象；向车辆显示终端发送，将经过投影的且包含所述替代对象的所述全景拼接图像。

根据本发明实施例提出的图像处理方法，能基于获取的车辆环境的原始图像生成全景拼接图像，通过识别出目标对象和目标对象在全景拼接图像中的第一像素区域，计算出目标对象在多张原始图像中的第二像素区域，将第二像素区域投影至第一像素区域处以作为目标对象的替代对象，采用该方法将目标对象替换后，不影响算法的实时性和鲁棒性。在全景拼接图像中目标对象被替换为比例正确的替代对象后，驾驶员在观看经过投影的全景拼接图像时，全景拼接图像中不会出现目标对象变形等情况，能更加直观地观测到驾驶车辆周围的行人或者车辆等，能够提升驾驶的安全性。

进一步地，车辆能根据更准确地根据全景拼接图像中的替代对象确定目标对象的位置以及目标对象与车辆之间的距离等，便于根据经过投影的且包含替代对象的全景拼接图像直接判断出是否需要语音提醒或者灯光提醒等，从而减少安全事故的发生。

在本发明的一些实施例中，在所述将所述目标对象在所述多张原始图像中的第二像素区域投影至所述全景拼接图像中的所述第一像素区域处之后，所述方法包括：对经过投影的所述全景拼接图像中的所述替代对象进行缩小或放大。

在本发明的一些实施例中，所述根据所述目标对象在所述全景拼接图像中的第一像素区域，确定所述目标对象在所述多张原始图像中的第二像素区域，包括：根据所述目标对象在所述全景拼接图像中的第一像素区域，以及所述多个图像采集装置的内参数和外参数，确定所述目标对象在所述多张原始图像中的第二像素区域。

在本发明的一些实施例中，所述从所述全景拼接图像识别出目标对象，包括：采用图像深度学习语义分割模型识别所述全景拼接图像中的目标对象。

在本发明的一些实施例中，所述图像深度学习语义分割模型包括编码器网络、解码器网络和像素级分类层；采用图像深度学习语义分割模型识别所述全景拼接图像中的目标对象，包括：将所述全景拼接图像的数据输入所述编码器网络，以获得所述编码器网络输出的所述全景拼接图像的特征矩阵；将所述特征矩阵输入所述解码器网络，以获得所述解码器网络输出的所述特征矩阵的上采样数据；将所述上采样数据输入所像素级分类层，以获得所述像素级分类层输出的所述目标对象。

在本发明的一些实施例中，所述根据所述多张原始图像，得到所述车辆环境的全景拼接图像，包括：根据所述多个图像采集装置的内参数和外参数对多张所述原始图像进行渲染拼接，以获得所述车辆环境的全景拼接图像。

为了达到上述目的，本发明第二方面实施例还提出一种图像处理装置，用于控制器，包括：获取模块，用于获取由多个图像采集装置采集的车辆环境的多张原始图像；渲染拼接模块，用于根据所述多张原始图像，得到所述车辆环境的全景拼接图像；识别模块，用于从所述全景拼接图像识别出目标对象；确定模块，用于根据所述目标对象在所述全景拼接图像中的第一像素区域，确定所述目标对象在所述多张原始图像中的第二像素区域；投影模块，用于将所述目标对象在所述多张原始图像中的第二像素区域投影至所述全景拼接图像中的所述第一像素区域处，以在所述全景拼接图像中的所述第一像素区域处形成所述目标对象的替代对象；发送模块，用于向车辆显示终端发送，经过投影的且包含所述替代对象的所述全景拼接图像。

根据本发明实施例提出的图像处理装置，渲染拼接模块能基于获取模块获取的车辆环境的原始图像生成全景拼接图像，通过识别模块识别出目标对象和目标对象在全景拼接图像中的第一像素区域，确定模块能进一步计算出目标对象在多张原始图像中的第二像素区域，投影模块将第二像素区域投影至第一像素区域处以作为目标对象的替代对象，采用该方法将目标对象替换后，不影响算法的实时性和鲁棒性。在全景拼接图像中目标对象被替换为比例正确的替代对象后，发送模块将经过投影的全景拼接图像发送至时车辆显示终端提供给驾驶员观看时，全景拼接图像中不会出现目标对象变形等情况，能更加直观地观测到驾驶车辆周围的行人或者车辆等，能够提升驾驶的安全性。

为了达到上述目的，本发明第三方面实施例提出的控制器，包括：至少一个处理器；与至少一个所述处理器通信连接的存储器；其中，所述存储器中存储有可被至少一个所述处理器执行的计算机程序，至少一个所述处理器执行所述计算机程序时实现权利要求上面任一项所述的图像处理方法。

根据本发明实施例提出的控制器，通过执行上面任一项的图像处理方法，能够解决全景拼接上行人或者车辆等发生变形导致的，驾驶员在观测显示的全景拼接图像的画面时，不能直观地判断车辆周围是否有行人以及行人与驾驶车辆的距离的问题，提升驾驶的安全性。

为了达到上述目的，本发明第四方面实施例还提出一种车辆，所述车辆包括：多个图像采集装置，用于采集所述车辆周围环境的原始图像；上面第三方面实施例所述的控制器，所述的控制器，所述控制器与多个所述图像采集装置连接，用于根据上面任一项所述的图像处理方法获得经过投影的且包含所述替代对象的所述全景拼接图像；显示终端，与所述控制器连接，用于显示经过投影的且包含所述替代对象的所述全景拼接图像。

根据本发明实施例提出的车辆，基于图像采集装置、控制器和显示终端的架构，能解决全景拼接图像上行人或者车辆等发生变形导致的驾驶员观测全景拼接图像时，不能直观地判断车辆周围是否有行人以及行人与驾驶车辆的距离的问题，能够提升驾驶的安全性。

为了达到上述目的，本发明第五方面实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上面任一项所述的图像显示方法。

根据本发明实施例提出的计算机可读存储介质，存储的计算机程序可以由处理器执行，能基于获取的车辆环境的原始图像，实现将生成的全景拼接图像中的目标对象替换为比例正确的替代对象，及时进行反应发出可被处理器执行的指令，对视频播放过程中的各部分状态信息有记忆性，反应迅速，能有效缩短反应时间，保障车辆图像显示方法的智能性运行，提升车辆驾驶安全性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的图像处理方法的流程图；

图2为根据本发明另一个实施例的图像处理方法的流程图；

图3为根据本发明另又一个实施例的图像处理方法的流程图；

图4为根据本发明另又一个实施例的图像处理方法的流程图；

图5为根据本发明一个实施例的图像处理可装置的框图；

图6为根据本发明一个实施例的控制器的框图；

图7为根据本发明一个实施例的车辆的框图。

附图标记：

车辆100；

图像处理装置1、控制器10、图像采集装置20、显示终端30；

处理器101、存储器102、获取模块11、渲染拼接模块12、识别模块13、确定模块14、投影模块15、发送模块16。

具体实施方式

下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。

下面参考图1-图4描述根据本发明实施例的图像处理方法。

在本发明的一些实施例中，如图1所示，为根据本发明一个实施例的图像处理方法的流程图，其中，该图像处理方法，用于控制器，对于车辆而言，控制器可以采用车辆中的车身控制器，用于对获取的原始图像等数据进行处理和发送，图像处理方法至少包括步骤S1-S6，具体如下。

S1，获取由多个图像采集装置采集的车辆环境的多张原始图像。

其中，多个图像采集装置可以为车辆中设置的多个摄像头，多个摄像头以四个摄像头或者六个摄像头为例。具体地，多个摄像头为四个摄像头时，四个摄像头分别位于车身的前部、左前部、右前部以及后部，四个摄像头分别朝向车辆的前、左、右、后四个方向进行拍摄，每个摄像头的位置都通过支架结构固定，均为鱼眼相机，用于采集车辆环境的多张原始图像。或者，多个摄像头为六个摄像头时，六个摄像头分别位于车身的前部、左前部、右前部、左后部、右后部以及后部，六个相机分别朝向车辆的前、左前、右前、左后、右后、后六个方向进行拍摄，每个摄像头的位置都通过支架结构固定，均为鱼眼相机，用于采集车辆环境的多张原始图像。

其中，车辆中可设置有多个摄像头，多个摄像头可用于采集车辆环境的图像采集信息，该图像采集信息即为车辆周围的实时图像视频。进

S2，根据多张原始图像，得到车辆环境的全景拼接图像。

其中，可根据多个图像采集装置的内参数和外参数对多张原始图像进行渲染拼接，以获得车辆环境的全景拼接图像。

具体地，可在车辆出厂时预先标定各个图像采集装置的内参数和外参数，例如，可使用棋盘格标定板可对鱼眼相机进行内参的标定，以及基于光束平差法对多个相机的位姿进行联合标定外参标定。具体地，可使用待标定的鱼眼相机拍摄棋盘格标定板的照片，确保棋盘格以各种角度覆盖了鱼眼图像的各个区域，以保证内参估计的准确性。每个摄像头拍摄大约几十张鱼眼棋盘格图像后，使用鱼眼相机内参标定函数估计出鱼眼相机的内参矩阵、畸变参数，最终生成各个摄像头的内参数和外参数。

进一步地，多张原始图像可作为生成全景拼接视频中的一帧一帧的图像，可由车身控制器执行多张原始图像的渲染拼接操作，以将多张原始图像渲染拼接生成全景拼接视频。其中可采用3D渲染技术，基于预先标定好各个相机内参和外参对四路或者六路摄像头采集到的多张原始图像进行渲染拼接，合成车身周围360°全景鸟瞰视频也就是车辆环境的全景拼接图像。

可以理解的是，对于全景拼接采用3D渲染技术，在渲染的时候通常会采用视图变化操作进行渲染。其视图变换操作的过程可以类比为使用照相机拍摄照片的过程，即渲染时，若在一定高度进行视图变换(类比为拍摄，即相机在某个高度进行拍摄)，由于物体在成像上时远小近大的特点，当有行人或者车辆靠近车辆时，所合成的全景拼接图像中，行人或车辆等会发生变形，特别是行人越靠近车辆，则图像中的显示的行人变形越来越严重，驾驶员在观看合成的车身周围360°全景鸟瞰视频时，可能不能直观地观察到其中视频中的行人或者车辆等，甚至不能感知到在车辆周围有行人，影响驾驶安全。

S3，从全景拼接图像识别出目标对象。

其中，目标对象可以为全景拼接图像中的人或者物，例如可将目标对象设定为目标行人或者目标车辆或者其他目标物体等。以及，还可进一步获得目标对象的位置信息，其中目标对象的位置信息包括目标对象与车辆的相对位置。以目标对象为目标行人为例，可基于语义分割定位图像中的目标行人，识别出全景拼接图像中的目标行人后标记出目标行人整体所在的区域，从而进一步确定目标行人所在的区域中的各个坐标点的位置信息以及目标行人所在区域的各个坐标点与车辆之间的距离。

S4，根据目标对象在全景拼接图像中的第一像素区域，确定目标对象在多张原始图像中的第二像素区域。

其中，确定目标对象在全景拼接图像中像素区域即为第一像素区域，且能获取该第一像素区域中的各个点的位置坐标，由于全景拼接图像是由多张原始图像渲染拼接而成，因此可根据已经标记好的第一像素区域和预设的摄像头的参数信息，将第一像素区域映射到多张原始图像中，获得该目标对象所在的原始图像中的区域也就是第二像素区域，第一像素区域中的各个坐标点与第二像素区域中的各个坐标点一一对应。

S5，将目标对象在多张原始图像中的第二像素区域投影至全景拼接图像中的第一像素区域处，以在全景拼接图像中的第一像素区域处形成目标对象的替代对象。

可以理解的是，第二像素区域为目标对象所在的区域，将第二像素区域进行正交投影，并投影至全景拼接图像中的第一像素区域处，正交投影的主要作用是在投影之后依然保持物体的真实大小以及相互之间的角度，也就是说，将第二像素区域投影后所生成的替代对象为比例正确、没有发生变形的图像，这与全景拼接图像中的第一像素区域相比，采用目标对象的替代对象替代目标对象后，能更清晰地体现出目标对象位置以及目标对象与车辆之间的距离。

其中，由于第一像素区域中的目标对象可能为比例失调或者出现变形的图像，第二像素区域进行正交投影后生成的替代对象所在的像素区域与第一像素区域大致重合，但可能不完全一致。因此，可将第二像素区域进行投影生成的替代对象直接覆盖到全景拼接图像中的第一像素区域处，对于一些未能完全覆盖第一像素区域的部分，可采用一些不突兀的背景颜色进行覆盖，以实现由替代对象能够替代全景拼接图像中的第一像素区域处的目标对象。或者，还可以采用第二像素区域进行投影生成的替代对象直接替换全景拼接图像中的第一像素区域，对于一些未能完全替代第一像素区域的部分，也可以采用一些不突兀的背景颜色进行填涂，以实现由替代对象能够替代全景拼接图像中的第一像素区域处的目标对象。

以及，采用上述方法执行将多张原始图像中的第二像素区域投影至全景拼接图像中的第一像素区域处的操作，不会影响算法的实时性和鲁棒性。

S6，向车辆显示终端发送，将经过投影的且包含替代对象的全景拼接图像。

其中，车辆显示终端可为车辆中的显示器、平板等显示设备。由于投影的全景拼接图像中的替代对象不会出现缩放或者变形的情况，车辆显示终端显示该经过投影的且包含替代对象的全景拼接图像时，驾驶员能更加直观地在全景拼接图像中观测到驾驶车辆周围的行人，提升驾驶的安全性。

根据本发明实施例提出的图像处理方法，能基于获取的车辆环境的原始图像生成全景拼接图像，通过识别出目标对象和目标对象在全景拼接图像中的第一像素区域，计算出目标对象在多张原始图像中的第二像素区域，将第二像素区域投影至第一像素区域处以作为目标对象的替代对象，采用该方法将目标对象替换后，不影响算法的实时性和鲁棒性。在全景拼接图像中目标对象被替换为比例正确的替代对象后，驾驶员在观看经过投影的全景拼接图像时，全景拼接图像中不会出现目标对象变形等情况，能更加直观地观测到驾驶车辆周围的行人或者车辆等，能够提升驾驶的安全性。

进一步地，车辆能根据更准确地根据全景拼接图像中的替代对象确定目标对象的位置以及目标对象与车辆之间的距离等，便于根据经过投影的且包含替代对象的全景拼接图像直接判断出是否需要语音提醒或者灯光提醒等，从而减少安全事故的发生。

在本发明的一些实施例中，如图2所示，为根据本发明另一个实施例的图像处理方法的流程图，其中，在将目标对象在多张原始图像中的第二像素区域投影至全景拼接图像中的第一像素区域处之后，图像处理方法还可以包括步骤S51。

S51，对经过投影的全景拼接图像中的替代对象进行缩小或放大。

可以理解的是，目标对象与车辆的距离越近，则在所生成的360°的全景鸟瞰画面中的目标对象的尺寸就越大，目标对象与车辆的距离越远，则在所生成的360°的全景鸟瞰画面中的目标对象的尺寸就越小，由此可知替代对象的尺寸可以显示出目标对象与车辆的距离，因此可以根据目标对象的尺寸调整替代对象的尺寸，具体地，可根据预设的调整参数对经过投影的全景拼接图像中的替代对象进行缩小或放大，能免替代对象替代目标对象后，经过投影的全景拼接图像中的替代对象过小或者过大。

在本发明的一些实施例中，如图3所示，为根据本发明又一个实施例的图像处理方法的流程图，其中，根据目标对象在全景拼接图像中的第一像素区域，确定目标对象在多张原始图像中的第二像素区域，即上面步骤S4具体可以包括步骤S41。

S41，根据目标对象在全景拼接图像中的第一像素区域，以及多个图像采集装置的内参数和外参数，确定目标对象在多张原始图像中的第二像素区域。

其中，可基于图像深度学习语义分割模型识别全景拼接图像中的目标对象并进一步获取目标对象所在的第一区域的位置信息，该目标对象的位置信息可以为目标所在的第一像素区域中所包含的各个坐标点的坐标。

进一步地，由于全景拼接图像是由多张原始图像渲染拼接而成，因此可根据已经标记好的第一像素区域和预先标定好的各个相机内参和外参，确定与第一像素区域所在的全景拼接图像中的某一帧图像对应的原始图像，并在该原始图像中标记出与第一像素区域相对应的第二像素区域，第一像素区域中的各个坐标点与第二像素区域中的各个坐标点一一对应。

在本发明的一些实施例中，如图4所示，为根据本发明又一个实施例的图像处理方法的流程图，其中，从全景拼接图像识别出目标对象，即上面步骤S3具体可以包括步骤S31。

S31，采用图像深度学习语义分割模型识别全景拼接图像中的目标对象。

其中，语义分割是将标签或类别与图片的每个像素关联的一种深度学习算法。它用来识别构成可区分类别的像素集合，语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。

具体地，可在车辆出厂时可以预先构建并训练图像深度学习语义分割模型。首先，可子在离线采集各种场景下360°全景鸟瞰拼接图像样本，构建数据集，例如不同光照下，采集不同行人在与车辆相距不同距离时的全景鸟瞰拼接图像。进一步地，再对采集到的数据集进行标注。其中，本发明实施例可将全景拼接图像的内容划分成两类，原全景拼接图像中包含两个不同类别的图像像素如人和背景；或者，本发明实施例可将全景拼接图像的内容划分成多类如人、车、建筑物等。将数据集上每张图像的不同类别的像素勾选出来，并打上对应标签，生成每张图像的标注文件，最后随机对样本进行排序，能够使得数据随机化，避免过拟合。

进一步地，在PC端或者服务器端构建并训练深度学习中语义分割模型，不断训练后生成深度学习语义分割模型，用于实时对所生成的全景拼接图像中的目标对象进行识别和定位。

具体地，在构建并训练深度学习语义分割模型时，可以使用的语义分割网络有基于全卷积的对称语义分割模型SegNet网络和FCN网络、基于全卷积的扩张卷积语义分割模型DeepLab系列网络和RefineNet网络，以及基于全卷积的残差网络语义分割模型PSPNet网络等。

以基于全卷积的对称语义分割模型SegNet网络为例，SegNet网络的特点是解码器对其低分辨率输入特征映射进行上采样的方式，图像深度学习语义分割模型主要是由一个编码器网络、一个对应的解码网络和一个像素级分类层组成。

其中，编码器网络采用的是VGG网络进行特征提取，编码器网络采用的是VGG16网络的前面13个卷积层进行提取特征，并且送入到解码器中的是VGG16网络第4个卷积块输出的特征矩阵。解码实际上是上采样的过程，解码器网络主要进行3次分线性上采样，解码器使用在对应编码器的最大池化步骤中计算的池索引来执行非线性上采样，其主要针对场景理解应用，SegNet网络的可训练的参数量少，并且可以通过随机梯度下降算法进行端对端的训练。像素级分类层主要是为像素级分类而设计，像素级分类层可通过一个卷积层将网络输出调整为所需的输出，可使用卷积层来改变解码器网络输出张量的通道数，由此SegNet网络在推理过程中，具有时间和内存方面的良好性能。

更进一步地，本发明的实施例可以使用TensorFlow和Pytorch等机器学习库对模型进行训练，以使用Pytorch为例进行描述，可将上述标注好的数据集分为训练集、验证集和测试集，模型的损失函数是交叉熵损失函数。其中。训练集是用于模型拟合的数据样本，用来调试网络中的参数。验证集可用于查看模型训练的效果是否朝着坏的方向进行，如果是的话及时停止训练，根据情况调整模型结构和超参数。测试集用于评估最终模型的泛化能力。将把训练集、验证集、测试集和基于全卷积的对称语义分割模型加载到Pytorch后，能根据测试集的数据集中所有像素正确分类的百分比和所有类的预测准确度的平均值来综合分析模型及参数是否合适，最终的模型生成为图像深度学习语义分割模型并存储至车身控制器中。

基于以上，采用图像深度学习语义分割模型识别全景拼接图像中的目标对象和目标对象的位置信息时，可选择采用基于全卷积的对称语义分割模型SegNet网络识别全景拼接图像中的目标对象并确定目标对象的位置以获得位置信息，其中，目标对象以目标行人为例。

具体地，将全景拼接图像的数据输入编码器网络，对输入数据进行特征提取，以获得编码器网络输出的全景拼接图像的特征矩阵，例如提取全景拼接图像中的人的特征矩阵，进一步地，将特征矩阵输入解码器网络，通过解码器网络对特征矩阵进行上采样，以获得解码器网络输出的特征矩阵的上采样数据，将上采样数据输入像素级分类层，最后通过像素级分类层输出目标对象。以及，还能进一步获得目标对象的位置信息，例如输出原目标行人所在的区域也就是第一像素区域中的各个坐标点的坐标等。

根据本发明实施例的图像处理方法，在根据获取的多张原始图像，得到车辆环境的全景拼接图像后，对全景拼接图像中的每一帧进行深度学习模型识别，基于语义分割定位全景拼接图像中的目标对象并确定目标对象的所在区域也就是第一像素区域，从而能进一步根据第一像素区域确定目标对象在多张原始图像中的第二像素区域，并将第二像素区域投影至全景拼接图像中的第一像素区域处作为目标对象的替代对象，通过将替代对象进行缩小或放大，以将替代对象的比例调整为正确比例且不会变形，使得驾驶员在观看投影后的全景拼接图像时更加直观地观测到驾驶车辆周围的行人，提升驾驶的安全性。

为了达到上述目的，本发明的实施例还提出一种图像处理装置，如图5所示，为根据本发明一个实施例的图像处理装置的框图，其中，该图像处理装置1用于控制器，该控制器可以为车辆中的车身控制器，用于对获取的原始图像等数据进行处理和发送。具体包括获取模块11、渲染拼接模块12、识别模块13、确定模块14、投影模块15和发送模块16。

其中，获取模块11用于获取由多个图像采集装置采集的车辆环境的多张原始图像。

具体地，图像处理装置1可以为车辆中的车身控制器，能用于获取数据、处理数据和发送数据，车身控制器中的获取模块11可用于获取车载摄像头所采集的多张原始图像，即车辆周围的实时图像视频。

渲染拼接模块12用于根据多张原始图像，得到车辆环境的全景拼接图像。具体地，渲染拼接模块12用于根据多个图像采集装置的内参数和外参数对获取多个摄像头采集的多张原始图像进行渲染拼接，合成车身周围360°全景鸟瞰视频也就是车辆环境的全景拼接图像。

识别模块13用于从全景拼接图像识别出目标对象。其中，目标对象可以为全景拼接图像中的人或者物，例如可将目标对象设定为目标行人或者目标车辆或者其他目标物体等。以及，还可进一步获得目标对象的位置信息，其中目标对象的位置信息包括目标对象与车辆的相对位置。以目标对象为目标行人为例，可基于语义分割定位图像中的目标行人，识别出全景拼接图像中的目标行人后标记出目标行人整体所在的区域，从而进一步确定目标行人所在的区域中的各个坐标点的位置信息以及目标行人所在区域的各个坐标点与车辆之间的距离。

确定模块14用于根据目标对象在全景拼接图像中的第一像素区域，确定目标对象在多张原始图像中的第二像素区域。其中，确定目标对象在全景拼接图像中像素区域即为第一像素区域，且能获取该第一像素区域中的各个点的位置坐标，由于全景拼接图像是由多张原始图像渲染拼接而成，因此可根据已经标记好的第一像素区域和预设的摄像头的参数信息，将第一像素区域映射到多张原始图像中，获得该目标对象所在的原始图像中的区域也就是第二像素区域，第一像素区域中的各个坐标点与第二像素区域中的各个坐标点一一对应。

投影模块15用于将目标对象在多张原始图像中的第二像素区域投影至全景拼接图像中的第一像素区域处，以在全景拼接图像中的第一像素区域处形成目标对象的替代对象。其中，可将第二像素区域进行投影生成的替代对象直接覆盖到全景拼接图像中的第一像素区域处，对于一些未能完全覆盖第一像素区域的部分，可采用一些不突兀的背景颜色进行覆盖，以实现由替代对象能够替代全景拼接图像中的第一像素区域处的目标对象。或者，还可以采用第二像素区域进行投影生成的替代对象直接替换全景拼接图像中的第一像素区域，对于一些未能完全替代第一像素区域的部分，也可以采用一些不突兀的背景颜色进行填涂，以实现由替代对象能够替代全景拼接图像中的第一像素区域处的目标对象。

可以理解的是，正交投影的主要作用是在投影之后依然保持物体的真实大小以及相互之间的角度，也就是说，将第二像素区域投影后所生成的替代对象为比例正确、没有发生变形的图像，这与全景拼接图像中的第一像素区域相比，采用目标对象的替代对象替代目标对象后，能更清晰地体现出目标对象位置以及目标对象与车辆之间的距离。

发送模块16用于向车辆显示终端发送，经过投影的且包含替代对象的全景拼接图像。其中，发送模块16发送的经再次渲染后的全景拼接图像中的替代对象不会出现缩放或者变形的情况，因此驾驶员更加直观地在渲染后的图像中观测到驾驶车辆周围的行人，提升驾驶的安全性。

根据本发明实施例提出的图像处理装置1，渲染拼接模块12能基于获取模块11获取的车辆环境的原始图像生成全景拼接图像，通过识别模块13识别出目标对象和目标对象在全景拼接图像中的第一像素区域，确定模块14能进一步计算出目标对象在多张原始图像中的第二像素区域，投影模块15将第二像素区域投影至第一像素区域处以作为目标对象的替代对象，采用该方法将目标对象替换后，不影响算法的实时性和鲁棒性。在全景拼接图像中目标对象被替换为比例正确的替代对象后，发送模块16将经过投影的全景拼接图像发送至时车辆显示终端提供给驾驶员观看时，全景拼接图像中不会出现目标对象变形等情况，能更加直观地观测到驾驶车辆周围的行人或者车辆等，能够提升驾驶的安全性。

为了达到上述目的，本发明的实施例还提出一种控制器，如图6所示，为根据本发明另一个实施例的控制器的框图，其中，对于车辆而言，该控制器10可以为车辆中的车身控制器，用于对获取的原始图像等数据进行处理和发送。

其中，控制器10包括至少一个处理器101和存储器102。存储器102与至少一个处理器101通信连接，存储器102中存储有可被至少一个处理器101执行的计算机程序，至少一个处理器101执行计算机程序时实现上面任一项的图像处理方法。

根据本发明实施例提出的控制器10，通过执行上面任一项的图像处理方法，能够解决全景拼接上行人或者车辆等发生变形导致的，驾驶员在观测显示的全景拼接图像的画面时，不能直观地判断车辆周围是否有行人以及行人与驾驶车辆的距离的问题，提升驾驶的安全性。

为了达到上述目的，本发明的实施例提出一种车辆，如图7所示，为根据本发明一个实施例的车辆的框图，其中，车辆100包括多个图像采集装置20、控制器10和显示终端30。

多个图像采集装置20用于采集车辆环境的原始图像。例如，多个图像采集装置20可以为车辆100中设置的多个摄像头，多个摄像头可用于采集车辆环境的原始图像。

控制器10与多个图像采集装置20连接，用于根据上面任一项的图像处理方法获得经过投影的且包含替代对象的全景拼接图像。其中，上面实施例以详细描述了控制器10根据车辆环境的原始图像获得经过投影的且包含替代对象的全景拼接图像的方法，此处不做赘述。

显示终端30与控制器10连接，用于显示经过投影的且包含替代对象的全景拼接图像。其中，显示终端30可为车辆中的显示器、平板等显示设备。显示终端30显示图像时，经过投影的且包含替代对象的全景拼接图像中的目标对象被替换为比例正确的替代对象，驾驶员更加直观地在最终输出的全景拼接图像中观测到驾驶车辆周围的行人，提升驾驶的安全性。

根据本发明实施例提出的车辆100，基于图像采集装置20、控制器10和显示终端30的架构，能解决全景拼接图像上行人或者车辆等发生变形导致的驾驶员观测全景拼接图像时，不能直观地判断车辆周围是否有行人以及行人与驾驶车辆的距离的问题，提升驾驶的安全性。

在本发明的一些实施例中，还提出一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上面任一项的图像显示方法。

根据本发明实施例的计算机可读存储介质，存储的计算机程序可以由处理器执行，能基于获取的车辆环境的原始图像，实现将生成的全景拼接图像中的目标对象替换为比例正确的替代对象，及时进行反应发出可被处理器执行的指令，对视频播放过程中的各部分状态信息有记忆性，反应迅速，能有效缩短反应时间，保障车辆图像显示方法的智能性运行，提升车辆驾驶安全性。

根据本发明实施例的控制器10、图像采集装置20和车辆100等的其他构成以及操作对于本领域普通技术人员而言都是已知的，这里不再详细描述。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种图像处理方法，其特征在于，用于控制器，包括：

获取由多个图像采集装置采集的车辆环境的多张原始图像；

根据所述多张原始图像，得到所述车辆环境的全景拼接图像；

从所述全景拼接图像识别出目标对象；

根据所述目标对象在所述全景拼接图像中的第一像素区域，确定所述目标对象在所述多张原始图像中的第二像素区域；

将所述目标对象在所述多张原始图像中的第二像素区域投影至所述全景拼接图像中的所述第一像素区域处，以在所述全景拼接图像中的所述第一像素区域处形成所述目标对象的替代对象；

向车辆显示终端发送，将经过投影的且包含所述替代对象的所述全景拼接图像。

2.根据权利要求1所述的图像处理方法，其特征在于，在所述将所述目标对象在所述多张原始图像中的第二像素区域投影至所述全景拼接图像中的所述第一像素区域处之后，所述方法包括：

对经过投影的所述全景拼接图像中的所述替代对象进行缩小或放大。

3.根据权利要求1或2所述图像处理方法，其特征在于，所述根据所述目标对象在所述全景拼接图像中的第一像素区域，确定所述目标对象在所述多张原始图像中的第二像素区域，包括：

根据所述目标对象在所述全景拼接图像中的第一像素区域，以及所述多个图像采集装置的内参数和外参数，确定所述目标对象在所述多张原始图像中的第二像素区域。

4.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述从所述全景拼接图像识别出目标对象，包括：

采用图像深度学习语义分割模型识别所述全景拼接图像中的目标对象。

5.根据权利要求4所述的图像处理方法，其特征在于，所述图像深度学习语义分割模型包括编码器网络、解码器网络和像素级分类层；

所述采用图像深度学习语义分割模型识别所述全景拼接图像中的目标对象，包括：

将所述全景拼接图像的数据输入所述编码器网络，以获得所述编码器网络输出的所述全景拼接图像的特征矩阵；

将所述特征矩阵输入所述解码器网络，以获得所述解码器网络输出的所述特征矩阵的上采样数据；

将所述上采样数据输入所像素级分类层，以获得所述像素级分类层输出的所述目标对象。

6.根据权利要求1至5中任意一项所述的图像处理方法，其特征在于，所述根据所述多张原始图像，得到所述车辆环境的全景拼接图像，包括：

根据所述多个图像采集装置的内参数和外参数对所述多张原始图像进行渲染拼接，以获得所述车辆环境的全景拼接图像。

7.一种图像处理装置，其特征在于，用于控制器，包括：

获取模块，用于获取由多个图像采集装置采集的车辆环境的多张原始图像；

渲染拼接模块，用于根据所述多张原始图像，得到所述车辆环境的全景拼接图像；

识别模块，用于从所述全景拼接图像识别出目标对象；

确定模块，用于根据所述目标对象在所述全景拼接图像中的第一像素区域，确定所述目标对象在所述多张原始图像中的第二像素区域；

投影模块，用于将所述目标对象在所述多张原始图像中的第二像素区域投影至所述全景拼接图像中的所述第一像素区域处，以在所述全景拼接图像中的所述第一像素区域处形成所述目标对象的替代对象；

发送模块，用于向车辆显示终端发送，经过投影的且包含所述替代对象的所述全景拼接图像。

8.一种控制器，其特征在于，包括：

至少一个处理器；

与至少一个所述处理器通信连接的存储器；

其中，所述存储器中存储有可被至少一个所述处理器执行的计算机程序，至少一个所述处理器执行所述计算机程序时实现权利要求1-6任一项所述的图像处理方法。

9.一种车辆，其特征在于，包括：

多个图像采集装置，用于采集所述车辆周围环境的原始图像；

权利要求8所述的控制器，所述控制器与多个所述图像采集装置连接，用于根据权利要求1-6任一项所述的图像处理方法获得经过投影的且包含所述替代对象的所述全景拼接图像；

显示终端，与所述控制器连接，用于显示经过投影的且包含所述替代对象的所述全景拼接图像。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的图像显示方法。