CN118154742A - 图像处理方法、图像处理装置、控制器、车辆和存储介质 - Google Patents

Abstract

本发明公开了一种图像处理方法、图像处理装置、控制器、车辆和存储介质，其中，图像处理方法用于控制器，图像处理方法包括：获取车辆环境的原始图像；识别原始图像中的目标对象并获得目标对象的位置信息；根据目标对象的位置信息和标识图案对原始图像进行渲染，以得到渲染后的图像，在渲染后的图像中，标识图案位于目标对象的位置；将渲染后的图像发送给车辆显示终端。通过采用该图像处理方法能解决全景拼接视频上行人或者车辆等发生变形导致的驾驶员观测全景拼接视频显示的画面时，不能直观地判断车辆周围是否有行人以及行人与车辆的距离的问题，提升驾驶的安全性。

Description

图像处理方法、图像处理装置、控制器、车辆和存储介质

技术领域

本发明涉及车辆技术领域，尤其是涉及一种图像处理方法、图像处理装置、控制器、车辆和存储介质。

背景技术

现有的车辆在行驶过程中，车辆中设置的多个摄像头能够实时采集车辆环境的视频信息，车辆通常采用全景拼接采用3D渲染技术，将采集到的车辆环境的视频信息进行渲染拼接合成车身周围360°的全景鸟瞰画面，并传输到车载显示器进行显示。

在现有技术中，对全景拼接视频采用实车场景进行测试时，通常采用3D渲染技术实现全景拼接，而拼接合成车身周围360°的全景鸟瞰画面中存在行人或者车辆等变形的情况，驾驶员观测全景拼接视频显示的画面时，会影响驾驶员判断的直观性，甚至驾驶员不能确定车辆周围是否有行人以及行人与驾驶车辆的距离，驾驶安全性有待提升。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的第一个目的在于提出一种图像处理方法，能解决全景拼接视频上行人或者车辆等发生变形导致的驾驶员观测全景拼接视频显示的画面时，不能直观地判断车辆周围是否有行人以及行人与车辆的距离的问题，提升驾驶的安全性。

本发明的第二个目的在于提出一种图像处理装置。

本发明的第三个目的在于提出一种控制器。

本发明的第四个目的在于提出一种车辆。

本发明的第五个目的在于提出一种计算机可读存储介质。

为了达到上述目的，本发明第一方面实施例提出一种图像处理方法，用于控制器，包括：获取车辆环境的原始图像；识别所述原始图像中的目标对象并获得所述目标对象的位置信息；根据所述目标对象的位置信息和标识图案对所述原始图像进行渲染，以得到渲染后的图像，在所述渲染后的图像中，所述标识图案位于所述目标对象的位置；将所述渲染后的图像发送给车辆显示终端。

根据本发明实施例提出的图像处理方法，在获取车辆环境的原始图像的基础上，在识别出原始图像中的目标对象并确定目标对象的位置信息后，将标识图案渲染拼接到原始图像中目标对象的位置上以获得渲染后的图像，在渲染后的图像中，目标对象被标识图案所代替后不会出现目标对象变形等情况，并且不影响算法的实时性和鲁棒性，使得驾驶员在观看渲染后的图像时，能更加直观地观测到驾驶车辆周围的行人或者车辆等，能够提升驾驶的安全性。

进一步地，车辆能更准确地根据图像中的标识图案确定目标对象的位置以及目标对象与车辆之间的距离等，便于根据渲染后的图像直接判断出是否需要语音提醒或者灯光提醒等，从而减少安全事故的发生。

在本发明的一些实施例中，在所述根据所述目标对象的位置信息和标识图案对所述原始图像进行渲染前，所述方法还包括：确定与所述目标对象相对应的所述标识图案。

在本发明的一些实施例中，确定与所述目标对象相对应的所述标识图案，包括：根据所述目标对象的类别确定所述标识图案的类别；和/或根据所述目标对象的尺寸确定所述标识图案的尺寸。

在本发明的一些实施例中，所述识别所述原始图像中的目标对象并获得所述目标对象的位置信息，包括：采用图像深度学习语义分割模型识别所述原始图像中的目标对象和所述目标对象的位置信息。

在本发明的一些实施例中，所述图像深度学习语义分割模型包括编码器网络、解码器网络和像素级分类层；采用图像深度学习语义分割模型识别所述原始图像中的目标对象和所述目标对象的位置信息，包括：将所述原始图像的数据输入所述编码器网络，以获得所述编码器网络输出的所述原始图像的特征矩阵；将所述特征矩阵输入所述解码器网络，以获得所述解码器网络输出的所述特征矩阵的上采样数据；将所述上采样数据输入所述像素级分类层，以获得所述像素级分类层输出的所述目标对象的位置信息。

根据本发明实施例的图像处理方法，在获取车辆环境的原始图像后，对原始图像中的每一帧进行深度学习模型识别，基于语义分割定位图像中的目标对象并确定目标对象的位置，从而能进一步根据目标对象的位置信息将目标对象的标识图案渲染拼接到原始图像中目标对象的位置上以生成渲染后的图像，使得驾驶员在观看最终的渲染后的图像时更加直观地观测到驾驶车辆周围的行人，提升驾驶的安全性。

在本发明的一些实施例中，所述获取所述车辆环境的原始图像，包括：获取所述车辆上多个图像采集装置的图像采集信息；根据所述多个图像采集装置的内参数和外参数对所述图像采集信息进行渲染拼接，以获得所述车辆环境的原始图像。

在本发明的一些实施例中，所述标识图案包括二维图案或者三维图案。

为了达到上述目的，本发明第二方面实施例还提出一种图像处理装置，用于控制器，包括：获取模块，用于获取所述车辆环境的原始图像；识别模块，用于识别所述原始图像中的目标对象并获得所述目标对象的位置信息；渲染拼接模块，于根据所述目标对象的位置信息和标识图案对所述原始图像进行渲染，以得到渲染后的图像，在所述渲染后的图像中，所述标识图案位于所述目标对象的位置；发送模块，用于将所述渲染后的图像发送给车辆显示终端。

根据本发明实施例提出的图像处理装置，在获取模块获取了车辆环境的原始图像的基础上，基于过识别模块和渲染拼接模块，在识别出原始图像中的目标对象并确定目标对象的位置信息后，将标识图案渲染拼接到原始图像中目标对象的位置上以获得渲染后的图像，在渲染后的图像中，目标对象被标识图案所代替后不会出现目标对象变形等情况，使得驾驶员在观看渲染后的图像时，能更加直观地观测到驾驶车辆周围的行人或者车辆等，能够提升驾驶的安全性。

进一步地，在车辆中设置有上述图像处理装置的基础上，也可以在车辆中设置提醒模块，车辆能根据图像中的标识图案更准确地确定目标对象的位置以及目标对象与车辆之间的距离等，进而能直接判断出是否需要控制提醒模块进行提醒，从而减少安全事故的发生。

为了达到上述目的，本发明第三方面实施例提出的控制器，包括：至少一个处理器；与至少一个所述处理器通信连接的存储器；其中，所述存储器中存储有可被至少一个所述处理器执行的计算机程序，至少一个所述处理器执行所述计算机程序时实现上面任一项所述的图像处理方法。

根据本发明实施例提出的控制器，通过执行上面任一项的图像处理方法，能够解决全景拼接视频上行人或者车辆等发生变形导致的，驾驶员观测全景拼接视频显示的画面时，不能直观地判断车辆周围是否有行人以及行人与驾驶车辆的距离的问题，提升驾驶的安全性。

为了达到上述目的，本发明第四方面实施例还提出一种车辆，所述车辆包括：多个图像采集装置，用于采集所述车辆环境的原始图像；上面第三方面实施例所述的控制器，所述控制器与多个所述图像采集装置连接，用于根据上面任一项所述的图像处理方法获得渲染后的图像；显示终端，与所述图像处理装置连接，用于显示所述渲染后的图像。

根据本发明实施例提出的车辆，基于图像采集装置、控制器和显示终端的架构，能解决全景拼接视频上行人或者车辆等发生变形导致的驾驶员观测全景拼接视频显示的画面时，不能直观地判断车辆周围是否有行人以及行人与驾驶车辆的距离的问题，能够提升驾驶的安全性。

为了达到上述目的，本发明第五方面实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上面任一项所述的图像显示方法。

根据本发明实施例提出的计算机可读存储介质，存储的计算机程序可以由处理器执行，能通过获取的车辆环境的原始图像，实现对原始图像中的目标对象的调整，及时进行反应发出可被处理器执行的指令，对视频播放过程中的各部分状态信息有记忆性，反应迅速，能有效缩短反应时间，保障车辆图像显示方法的智能性运行，提升车辆驾驶安全性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的图像处理方法的流程图；

图2为根据本发明另一个实施例的图像处理方法的流程图；

图3为根据本发明另又一个实施例的图像处理方法的流程图；

图4为根据本发明另又一个实施例的图像处理方法的流程图；

图5为根据本发明一个实施例的图像处理可装置的框图；

图6为根据本发明一个实施例的控制器的框图；

图7为根据本发明一个实施例的车辆的框图。

附图标记：

车辆100；

图像处理装置1、控制器10、图像采集装置20、显示终端30；

处理器101、存储器102、获取模块11、识别模块12、渲染拼接模块13、发送模块14。

具体实施方式

下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。

下面参考图1-图4描述根据本发明实施例的图像处理方法。

在本发明的一些实施例中，如图1所示，为根据本发明一个实施例的图像处理方法的流程图，其中，该图像处理方法，用于控制器，对于车辆而言，控制器可以采用车辆中的车身控制器，用于对获取的原始图像等数据进行处理和发送，图像处理方法至少包括步骤S1-S4，具体如下。

S1，获取车辆环境的原始图像。

其中，车辆中可设置有多个摄像头，多个摄像头可用于采集车辆环境的图像采集信息，该图像采集信息即为车辆周围的实时图像视频。进一步地，由车身控制器获取多个摄像头采集的图像采集信息并采用3D渲染技术对各个摄像头到的图像采集信息进行渲染拼接，合成车身周围360°全景鸟瞰视频也就是车辆环境的原始图像。

但是，对于全景拼接采用3D渲染技术，在渲染的时候通常会采用视图变化操作进行渲染。其视图变换操作的过程可以类比为使用照相机拍摄照片的过程，即渲染时，若在一定高度进行视图变换(类比为拍摄，即相机在某个高度进行拍摄)，由于物体在成像上时远小近大的特点，在有行人或者车辆靠近车辆时，所合成的全景拼接视频显示的画面中，行人或车辆等会发生变形，特别是行人越靠近车辆，则视频中的显示的行人变形越来越严重，驾驶员在观看合成的车身周围360°全景鸟瞰视频时，可能不能直观地观察到其中视频中的行人或者车辆等，甚至不能感知到在车辆周围有行人，影响驾驶安全。

S2，识别原始图像中的目标对象并获得目标对象的位置信息。

其中，目标对象可以为原始图像中的人或者物，例如可将目标对象设定为目标行人或者目标车辆或者其他目标物体等，以及，目标对象的位置信息包括目标对象与车辆的相对位置。以目标对象为目标行人为例，可基于语义分割定位图像中的目标行人，识别出原始图像中的目标行人后找到行人目标的中心，从而进一步确定目标行人的位置以及目标行人与车辆之间的距离。

S3，根据目标对象的位置信息和标识图案对原始图像进行渲染，以得到渲染后的图像，在渲染后的图像中，标识图案位于目标对象的位置。

其中，标识图案为与目标对象的类型、尺寸等相匹配的图案，例如，标识图案可以包括人物的标识图案、车辆的标识图案或者其他物体的标识图案等，这些标识图案可以为真实的车辆、人物或者其他物体的图案、卡通图案、标识符号图案等，此处不做限定。

当目标对象是行人时，标识图案即为行人的标识图案，当目标对象是车辆时，标识图案即为车辆的标识图案，再或者，目标对象是其他物体时，标识图案即为相应物体的标识图案。

对于第一次渲染生成的车辆环境的原始图像也就是360°全景鸟瞰视频，将获取的标识图案再次渲染到原始图像中所对应的目标对象的位置上以生成全景拼接视频也就是渲染后的图像。

可以理解的是，标识图案为比例正确没有发生变形的图案，也就是说，在渲染后的图像中，标识图案的比例是正常的，不会出现缩放或者变形的情况，这与原始图像相比，渲染后的图像能更清晰地体现出目标对象位置以及目标对象与车辆之间的距离。

以及，采用上述方法执行将原始图像中的目标对象替换为标识图案的操作，不会影响算法的实时性和鲁棒性。

S4，将渲染后的图像发送给车辆显示终端。

其中，车辆显示终端可为车辆中的显示器、平板等显示设备。由于渲染后的图像中的标识图案不会出现缩放或者变形的情况，车辆显示终端显示该渲染后的图像时，驾驶员能更加直观地在渲染后的图像中观测到驾驶车辆周围的行人，提升驾驶的安全性。

根据本发明实施例提出的图像处理方法，在获取车辆环境的原始图像的基础上，在识别出原始图像中的目标对象并确定目标对象的位置信息后，将标识图案渲染拼接到原始图像中目标对象的位置上以获得渲染后的图像后，在渲染后的图像中，目标对象被标识图案所代替后不会出现目标对象变形等情况，并且不影响算法的实时性和鲁棒性，使得驾驶员在观看渲染后的图像时，能更加直观地观测到驾驶车辆周围的行人或者车辆等，能够提升驾驶的安全性。

进一步地，能根据更准确地根据图像中的标识图案确定目标对象的位置以及目标对象与车辆之间的距离等，便于根据渲染后的图像直接判断出是否需要语音提醒或者灯光提醒等，从而减少安全事故的发生。

在本发明的一些实施例中，如图2所示，为根据本发明另一个实施例的图像处理方法的流程图，其中，在根据目标对象的位置信息和标识图案对原始图像进行渲染前，图像处理方法还可以包括步骤S31。

S31，确定与目标对象相对应的标识图案。

其中，可在车辆的控制器中提前存储有不同种类的原始标识图案，原始标识图案比如原始的人物的标识图案、原始的车辆的标识图案或者原始的其他物体的标识图案等，这些原始的标识图案可以为真实的车辆、人物或者其他物体的图案、卡通图案、标识符号图案等，此处不做限定。

具体地，可根据目标对象的类别确定原始标识图案的类别，例如，当确定目标图案是人，则选取的原始标识图案为表示人物的标识图案，当确定目标图案是车辆，则选取的原始标识图案为表示车辆的标识图案等，以及，以目标对象为行人为例，当人物的标识图案为多种时，还可以根据摄像头所拍摄的目标人物的角度、目标行人的姿势等进一步选取相适应的目标图案。

和/或，还可以根据目标对象的尺寸确定标识图案的尺寸。可以理解的是，目标对象与车辆的距离越近，则在所生成的360°的全景鸟瞰画面中的目标对象的尺寸就越大，目标对象与车辆的距离越远，则在所生成的360°的全景鸟瞰画面中的目标对象的尺寸就越小，由此可知标识图案的尺寸可以显示出目标对象与车辆的距离，因此可以根据目标对象的尺寸调整原始标识图案的尺寸以获得可以调整后的标识图案，在渲染拼接时，可直接将尺寸合适的标识图案与原始图像中的相应位置的目标对象进行替换。

在一些实施例中，标识图案包括二维图案或者三维图案。其中，以目标对象为目标行人为例，标识图案可以为一个二维的行人标识，该二维图像为比例正常的没有出现变形的图像。或者，目标行人的三维图案可以为该目标行人的三维图案，或者还可以为一个三维的行人标识，该三维图案为比例正常的没有出现变形的模型。

以及，将目标对象的二维图案渲染到原始图像中对应的目标对象的位置上时，可直接将原始图像中所对应的目标对象替换为目标对象的二维图案。或者，目标对象的三维图案渲染到原始图像中对应的目标对象的位置上时，可根据拍摄到的原始图像中该目标对象的摄像头的视角，将目标对象的三维图案进行投影，投影后的图像为二维图像，将该二维图像渲染至目标对象所对应的位置上。在渲染后生成的渲染后的图像中，被调整后的目标对象的比例是正常的，不会出现缩放或者变形的情况。

在本发明的一些实施例中，如图3所示，为根据本发明又一个实施例的图像处理方法的流程图，其中，识别原始图像中的目标对象并获得目标对象的位置信息，即上面步骤S2具体可以包括步骤S21。

S21，采用图像深度学习语义分割模型识别原始图像中的目标对象和目标对象的位置信息。

其中，语义分割是将标签或类别与图片的每个像素关联的一种深度学习算法。它用来识别构成可区分类别的像素集合，语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。

具体地，可在车辆出厂时可以预先构建并训练图像深度学习语义分割模型。首先，可子在离线采集各种场景下360°全景鸟瞰拼接图像样本，构建数据集，例如不同光照下，采集不同行人在与车辆相距不同距离时的全景鸟瞰拼接图像。进一步地，再对采集到的数据集进行标注。其中，本发明实施例可将原始图像的内容划分成两类，原始图像中包含两个不同类别的图像像素如人和背景；或者，本发明实施例可将原始图像的内容划分成多类如人、车、建筑物等。将数据集上每张图像的不同类别的像素勾选出来，并打上对应标签，生成每张图像的标注文件，最后随机对样本进行排序，能够使得数据随机化，避免过拟合。

进一步地，在PC端或者服务器端构建并训练深度学习中语义分割模型，不断训练后生成深度学习语义分割模型，用于实时对所生成的全景拼接视频中的行人目标进行识别和定位。

具体地，在构建并训练深度学习语义分割模型时，可以使用的语义分割网络有基于全卷积的对称语义分割模型SegNet网络和FCN网络、基于全卷积的扩张卷积语义分割模型DeepLab系列网络和RefineNet网络，以及基于全卷积的残差网络语义分割模型PSPNet网络等。

以基于全卷积的对称语义分割模型SegNet网络为例，SegNet网络的特点是解码器对其低分辨率输入特征映射进行上采样的方式，图像深度学习语义分割模型主要是由一个编码器网络、一个对应的解码网络和一个像素级分类层组成。

其中，编码器网络采用的是VGG网络进行特征提取，编码器网络采用的是VGG16网络的前面13个卷积层进行提取特征，并且送入到解码器中的是VGG16网络第4个卷积块输出的特征矩阵。解码实际上是上采样的过程，解码器网络主要进行3次分线性上采样，解码器使用在对应编码器的最大池化步骤中计算的池索引来执行非线性上采样，其主要针对场景理解应用，SegNet网络的可训练的参数量少，并且可以通过随机梯度下降算法进行端对端的训练。像素级分类层主要是为像素级分类而设计，像素级分类层可通过一个卷积层将网络输出调整为所需的输出，可使用卷积层来改变解码器网络输出张量的通道数，由此SegNet网络在推理过程中，具有时间和内存方面的良好性能。

更进一步地，本发明的实施例可以使用TensorFlow和Pytorch等机器学习库对模型进行训练，以使用Pytorch为例进行描述，可将上述标注好的数据集分为训练集、验证集和测试集，模型的损失函数是交叉熵损失函数。其中。训练集是用于模型拟合的数据样本，用来调试网络中的参数。验证集可用于查看模型训练的效果是否朝着坏的方向进行，如果是的话及时停止训练，根据情况调整模型结构和超参数。测试集用于评估最终模型的泛化能力。将把训练集、验证集、测试集和基于全卷积的对称语义分割模型加载到Pytorch后，能根据测试集的数据集中所有像素正确分类的百分比和所有类的预测准确度的平均值来综合分析模型及参数是否合适，最终的模型生成为图像深度学习语义分割模型并存储至车身控制器中。

基于以上，采用图像深度学习语义分割模型识别原始图像中的目标对象和目标对象的位置信息时，可选择采用基于全卷积的对称语义分割模型SegNet网络识别原始图像中的目标对象并确定目标对象的位置以获得位置信息，其中，目标对象以目标行人为例。

具体地，将原始图像的数据输入编码器网络，对输入数据进行特征提取，以获得编码器网络输出的原始图像的特征矩阵，例如提取原始图像中的人的特征矩阵，进一步地，将特征矩阵输入解码器网络，通过解码器网络对特征矩阵进行上采样，以获得解码器网络输出的特征矩阵的上采样数据，将上采样数据输入像素级分类层，最后通过像素级分类层输出目标对象的位置信息也就是目标行人的位置信息。

根据本发明实施例的图像处理方法，在获取车辆环境的原始图像后，对原始图像中的每一帧进行深度学习模型识别，基于语义分割定位图像中的目标对象并确定目标对象的位置，从而能进一步根据目标对象的位置信息将目标对象的标识图案渲染拼接到原始图像中目标对象的位置上以生成渲染后的图像，使得驾驶员在观看最终的渲染后的图像时更加直观地观测到驾驶车辆周围的行人，提升驾驶的安全性。

在本发明的一些实施例中，如图4所示，为根据本发明又一个实施例的图像处理方法的流程图，其中，获取车辆环境的原始图像，即上面步骤S1具体可以包括步骤S11和步骤S12。

S11，获取车辆上多个图像采集装置的图像采集信息。

其中，多个图像采集装置可以为车辆中设置的多个摄像头，多个摄像头以四个摄像头或者六个摄像头为例。具体地，多个摄像头为四个摄像头时，四个摄像头分别位于车身的前部、左前部、右前部以及后部，四个摄像头分别朝向车辆的前、左、右、后四个方向进行拍摄，每个摄像头的位置都通过支架结构固定，均为鱼眼相机，用于采集车辆环境的图像采集信息。或者，多个摄像头为六个摄像头时，六个摄像头分别位于车身的前部、左前部、右前部、左后部、右后部以及后部，六个相机分别朝向车辆的前、左前、右前、左后、右后、后六个方向进行拍摄，每个摄像头的位置都通过支架结构固定，均为鱼眼相机，用于采集车辆环境的图像采集信息。

S12，根据多个图像采集装置的内参数和外参数对图像采集信息进行渲染拼接，以获得车辆环境的原始图像。

具体地，可在车辆出厂时预先标定各个图像采集装置的内参数和外参数，例如，可使用棋盘格标定板可对鱼眼相机进行内参的标定，以及基于光束平差法对多个相机的位姿进行联合标定外参标定。具体地，可使用待标定的鱼眼相机拍摄棋盘格标定板的照片，确保棋盘格以各种角度覆盖了鱼眼图像的各个区域，以保证内参估计的准确性。每个摄像头拍摄大约几十张鱼眼棋盘格图像后，使用鱼眼相机内参标定函数估计出鱼眼相机的内参矩阵、畸变参数，最终生成各个摄像头的内参数和外参数。

进一步地，基于预先标定好各个相机内参和外参对四路或者六路摄像头采集到的图像采集信息进行渲染拼接，合成车身周围360°全景鸟瞰视频也就是车辆环境的原始图像。

为了达到上述目的，本发明的实施例还提出一种图像处理装置，如图5所示，为根据本发明一个实施例的图像处理装置的框图，其中，该图像处理装置1用于控制器，该控制器可以为车辆中的车身控制器，用于对获取的原始图像等数据进行处理和发送。具体包括获取模块11、识别模块12、渲染拼接模块13和发送模块14。

其中，获取模块11用于获取车辆环境的原始图像。

具体地，图像处理装置1可以为车辆中的车身控制器，能用于获取数据、处理数据和发送数据，车身控制器中的获取模块11可用于获取车载摄像头所采集的车辆环境的图像采集信息，即车辆周围的实时图像视频。进一步地，再对获取多个摄像头采集的图像采集信息进行渲染拼接，合成车身周围360°全景鸟瞰视频也就是车辆环境的原始图像。

识别模块12用于识别原始图像中的目标对象并获得目标对象的位置信息。其中，目标对象可以为原始图像中的人或者物，例如可将目标对象设定为目标行人或者目标车辆或者其他目标物体等，以及，目标对象的位置信息包括目标对象与车辆的相对位置。以目标对象为目标行人为例，可基于语义分割定位图像中的目标行人，识别出原始图像中的目标行人后找到行人目标的中心，从而进一步确定目标行人的位置以及目标行人与车辆之间的距离。

渲染拼接模块13用于根据目标对象的位置信息和标识图案对原始图像进行渲染，以得到渲染后的图像，在渲染后的图像中，标识图案位于目标对象的位置。其中以目标对象是行人为例，标识图案即为行人的标识图案。对于第一次渲染生成的车辆环境的原始图像也就是360°全景鸟瞰视频，将获取的标识图案再次渲染到原始图像中所对应的目标对象的位置上以生成全景拼接视频也就是渲染后的图像。

可以理解的是，标识图案为比例正确没有发生变形的图案，也就是说，在渲染后的图像中，标识图案的比例是正常的，不会出现缩放或者变形的情况，这与原始图像相比，渲染后的图像能更清晰地体现出目标对象位置以及目标对象与车辆之间的距离。

发送模块14用于将渲染后的图像发送给车辆显示终端。其中，发送模块14发送的渲染后的图像中的标识图案不会出现缩放或者变形的情况，因此驾驶员更加直观地在渲染后的图像中观测到驾驶车辆周围的行人，提升驾驶的安全性。

根据本发明实施例提出的图像处理装置1，在获取模块11获取了车辆环境的原始图像的基础上，基于过识别模块12和渲染拼接模块13，在识别出原始图像中的目标对象并切丁目标对象的位置信息后，将目标对象的标识图案渲染拼接到原始图像中目标对象的位置以获得渲染后的图像后，在渲染后的图像中，目标对象被标识图案所代替后不会出现目标对象变形等情况，使得驾驶员在观看渲染后的图像时，能更加直观地观测到驾驶车辆周围的行人或者车辆等，能够提升驾驶的安全性。

进一步地，在车辆中设置有上述图像处理装置1的基础上，也可以在车辆中设置提醒模块，车辆能根据图像中的标识图案更准确地确定目标对象的位置以及目标对象与车辆之间的距离等，进而能直接判断出是否需要控制提醒模块进行提醒，从而减少安全事故的发生。

为了达到上述目的，本发明的实施例还提出一种控制器，如图6所示，为根据本发明另一个实施例的控制器的框图，其中，对于车辆而言，该控制器10可以为车辆中的车身控制器，用于对获取的原始图像等数据进行处理和发送。

其中，控制器10包括至少一个处理器101和存储器102。存储器102与至少一个处理器101通信连接，存储器102中存储有可被至少一个处理器101执行的计算机程序，至少一个处理器101执行计算机程序时实现上面任一项的图像处理方法。

根据本发明实施例提出的控制器10，通过执行上面任一项的图像处理方法，能够解决全景拼接视频上行人或者车辆等发生变形导致的，驾驶员观测全景拼接视频显示的画面时，不能直观地判断车辆周围是否有行人以及行人与驾驶车辆的距离的问题，提升驾驶的安全性。

为了达到上述目的，本发明的实施例提出一种车辆，如图7所示，为根据本发明一个实施例的车辆的框图，其中，车辆100包括多个图像采集装置20、控制器10和显示终端30。

多个图像采集装置20用于采集车辆环境的原始图像。例如，多个图像采集装置20可以为车辆100中设置的多个摄像头，多个摄像头可用于采集车辆环境的图像采集信息，即车辆周围的实时图像视频。进一步地，再对获取的图像采集信息进行渲染拼接，合成车身周围360°全景鸟瞰视频也就是车辆环境的原始图像。

控制器10与多个图像采集装置20连接，用于根据上面任一项的图像处理方法获得渲染后的图像。其中，上面实施例以详细描述了控制器10根据车辆环境的原始图像获取渲染后的图像的方法，此处不做赘述。

显示终端30与控制器10连接，用于显示渲染后的图像。其中，显示终端30可为车辆中的显示器、平板等显示设备。显示终端30显示渲染后的图像时，渲染后的图像中的目标对象为比例正确的标识图案，驾驶员更加直观地在渲染后的图像中观测到驾驶车辆周围的行人，提升驾驶的安全性。

根据本发明实施例提出的车辆100，基于图像采集装置20、控制器10和显示终端30的架构，能解决全景拼接视频上行人或者车辆等发生变形导致的驾驶员观测全景拼接视频显示的画面时，不能直观地判断车辆周围是否有行人以及行人与驾驶车辆的距离的问题，提升驾驶的安全性。

在本发明的一些实施例中，还提出一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上面任一项的图像显示方法。

根据本发明实施例的计算机可读存储介质，存储的计算机程序可以由处理器执行，能通过获取的车辆环境的原始图像，实现对原始图像中的目标对象的调整，及时进行反应发出可被处理器执行的指令，对视频播放过程中的各部分状态信息有记忆性，反应迅速，能有效缩短反应时间，保障车辆图像显示方法的智能性运行，提升车辆驾驶安全性。

根据本发明实施例的控制器10、图像采集装置20和车辆100等的其他构成以及操作对于本领域普通技术人员而言都是已知的，这里不再详细描述。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (11)

1.一种图像处理方法，其特征在于，用于控制器，包括：

获取车辆环境的原始图像；

识别所述原始图像中的目标对象并获得所述目标对象的位置信息；

根据所述目标对象的位置信息和标识图案对所述原始图像进行渲染，以得到渲染后的图像，在所述渲染后的图像中，所述标识图案位于所述目标对象的位置；

将所述渲染后的图像发送给车辆显示终端。

2.根据权利要求1所述的图像处理方法，其特征在于，在所述根据所述目标对象的位置信息和标识图案对所述原始图像进行渲染前，所述方法还包括：

确定与所述目标对象相对应的所述标识图案。

3.根据权利要求2所述的图像处理方法，其特征在于，确定与所述目标对象相对应的所述标识图案，包括：

根据所述目标对象的类别确定所述标识图案的类别；和/或

根据所述目标对象的尺寸确定所述标识图案的尺寸。

4.根据权利要求1至3中任意一项所述图像处理方法，其特征在于，所述识别所述原始图像中的目标对象并获得所述目标对象的位置信息，包括：

采用图像深度学习语义分割模型识别所述原始图像中的目标对象和所述目标对象的位置信息。

5.根据权利要求4所述的图像处理方法，其特征在于，所述图像深度学习语义分割模型包括编码器网络、解码器网络和像素级分类层；

所述采用图像深度学习语义分割模型识别所述原始图像中的目标对象和所述目标对象的位置信息，包括：

将所述原始图像的数据输入所述编码器网络，以获得所述编码器网络输出的所述原始图像的特征矩阵；

将所述特征矩阵输入所述解码器网络，以获得所述解码器网络输出的所述特征矩阵的上采样数据；

将所述上采样数据输入所像素级分类层，以获得所述像素级分类层输出的所述目标对象的位置信息。

6.根据权利要求1至5中任意一项所述的图像处理方法，其特征在于，所述获取所述车辆环境的原始图像，包括：

获取所述车辆上多个图像采集装置的图像采集信息；

根据所述多个图像采集装置的内参数和外参数对所述图像采集信息进行渲染拼接，以获得所述车辆环境的原始图像。

7.根据权利要求1至6中任意一项所述的图像处理方法，其特征在于，所述标识图案包括二维图案或者三维图案。

8.一种图像处理装置，其特征在于，用于控制器，包括：

获取模块，用于获取所述车辆环境的原始图像；

识别模块，用于识别所述原始图像中的目标对象并获得所述目标对象的位置信息；

渲染拼接模块，用于根据所述目标对象的位置信息和标识图案对所述原始图像进行渲染，以得到渲染后的图像，在所述渲染后的图像中，所述标识图案位于所述目标对象的位置；

发送模块，用于将所述渲染后的图像发送给车辆显示终端。

9.一种控制器，其特征在于，包括：

至少一个处理器；

与至少一个所述处理器通信连接的存储器；

其中，所述存储器中存储有可被至少一个所述处理器执行的计算机程序，至少一个所述处理器执行所述计算机程序时实现权利要求1-7任一项所述的图像处理方法。

10.一种车辆，其特征在于，包括：

多个图像采集装置，用于采集所述车辆环境的原始图像；

权利要求9所述的控制器，所述控制器与多个所述图像采集装置连接，用于根据权利要求1-7任一项所述的图像处理方法获得渲染后的图像；

显示终端，与所述控制器连接，用于显示所述渲染后的图像。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的图像显示方法。