CN110096937A

CN110096937A - 一种用于辅助车辆自动驾驶的图像识别的方法及装置

Info

Publication number: CN110096937A
Application number: CN201810097842.1A
Authority: CN
Inventors: 高洋; 肖旭
Original assignee: Navinfo Co Ltd
Current assignee: Navinfo Co Ltd
Priority date: 2018-01-31
Filing date: 2018-01-31
Publication date: 2019-08-06

Abstract

本申请公开了一种用于辅助车辆自动驾驶的图像识别的方法及装置，该方法包括：获取目标物体初始图像，根据图像变换算法，对所获取的目标物体初始图像进行变换处理，生成目标物体样本图像，据此训练基于神经网络的图像识别模型，采集待识别的目标物体图像，根据所训练的基于神经网络的图像识别模型，识别所述待识别的目标物体图像，以辅助车辆自动驾驶，通过上述方法，无需人工出去通过拍照的方式采集目标物体的样本图像，更无需分工进行分类，直接对目标物体的样本图像自动生成并分类，从而大大提高了制作大量目标物体的样本图像时的效率，并且本申请的目标物体的样本图像生成的覆盖率会远远超过人工制作的目标物体的样本图像。

Description

一种用于辅助车辆自动驾驶的图像识别的方法及装置

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种用于辅助车辆自动驾驶的图像识别的方法及装置。

背景技术

随着人工智能的不断发展，图像识别技术已经逐渐替代了人工作业，并逐渐应用到车辆自动驾驶领域中，辅助车辆自动驾驶，如，通过图像识别技术识别图像中的交通标志牌来引导车辆自动调整行驶状态。

目前，由于图像识别技术中的深度学习算法是依靠大规模的数据训练建立的，因此，图像识别技术的效率和准确率主要取决于训练过程中所使用的数据样本。

现有的制作数据样本的方式，通常是人工出去拍摄携带有目标物体的照片，并将拍出的照片通过人工标注的方式进行分类。

但是，现有技术中，通过人工拍摄以及人工标注的方式进行分类，耗费人力，效率较低，并且，由于人工制作的目标物体的样本图像很难覆盖到各种复杂场景的目标物体，也就是说，所制作的目标物体的样本图像的覆盖率无法很好的满足辅助车辆自动驾驶的需要。

发明内容

有鉴于此，本申请实施例提供一种用于辅助车辆自动驾驶的图像识别的方法及装置，相比于现有的目标物体的样本图像生成方法，无需人工出去通过拍照的方式采集目标物体的样本图像，更无需分工进行分类，直接对目标物体的样本图像自动生成并分类，从而大大提高了制作大量目标物体的样本图像时的效率，并且由于人工制作的目标物体的样本图像很难覆盖到各种复杂场景的目标物体，而本申请可以通过图像变换算法模拟各种复杂场景的目标物体，因此，本申请的目标物体的样本图像生成的覆盖率会远远超过人工制作的目标物体的样本图像，可以很好的满足辅助车辆自动驾驶的需要。

为解决上述技术问题，本申请实施例公开一种用于辅助车辆自动驾驶的图像识别的方法，该方法包括：

获取目标物体初始图像；

根据图像变换算法，对所获取的目标物体初始图像进行变换处理，生成目标物体样本图像；

根据所生成的目标物体样本图像，训练基于神经网络的图像识别模型；

采集待识别的目标物体图像；

根据所训练的基于神经网络的图像识别模型，识别所述待识别的目标物体图像，以辅助车辆自动驾驶。

为了实现上述用于辅助车辆自动驾驶的图像识别的方法，本申请实施例公开一种用于辅助车辆自动驾驶的图像识别的装置，该装置包括：

存储设备，用于存储程序数据；

处理器，用于执行所述存储设备中的程序数据以实现所述的用于辅助车辆自动驾驶的图像识别方法。

另外，本申请实施例还公开一种存储设备，其上存储有程序数据，所述程序数据用于被处理器执行时实现所述的用于辅助车辆自动驾驶的图像识别方法。

进一步的，基于上述用于辅助车辆自动驾驶的图像识别方法及装置，本申请实施例公开一种用于辅助车辆自动驾驶的图像识别系统，所述图像识别系统通过用于辅助车辆自动驾驶的图像识别装置执行用于辅助车辆自动驾驶的图像识别方法获得。

进一步的，本申请实施例还公开一种车辆，所述车辆包含用于辅助车辆自动驾驶的图像识别系统。

本申请实施例公开一种用于辅助车辆自动驾驶的图像识别的方法及装置，该方法能够产生以下有益效果：

相比于现有的目标物体的样本图像生成方法，无需人工出去通过拍照的方式采集目标物体的样本图像，更无需分工进行分类，直接对目标物体的样本图像自动生成并分类，从而大大提高了制作大量目标物体的样本图像时的效率，并且由于人工制作的目标物体的样本图像很难覆盖到各种复杂场景的目标物体，而本申请可以通过图像变换算法模拟各种复杂场景的目标物体，因此，本申请的目标物体的样本图像生成的覆盖率会远远超过人工制作的目标物体的样本图像，可以很好的满足辅助车辆自动驾驶的需要。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的用于辅助车辆自动驾驶的图像识别的过程；

图2为本申请实施例提供的一种交通标志牌初始图像；

图3为本申请实施例提供的一种交通标志牌样本图像；

图4为本申请实施例提供的第一种目标物体的样本图像生成的过程；

图5为本申请实施例提供的一种目标物体的样本图像生成的系统；

图6为本申请实施例提供的第二种目标物体的样本图像生成的过程；

图7为本申请实施例提供的用于辅助车辆自动驾驶的图像识别装置的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的用于辅助车辆自动驾驶的图像识别的过程，具体包括以下步骤：

S101：获取目标物体初始图像。

在实际应用中，图像识别技术已经逐渐替代了人工作业，并逐渐应用到车辆自动驾驶领域中，辅助车辆自动驾驶，如，通过图像识别技术识别图像中的交通标志牌来引导车辆自动调整行驶状态，而由于图像识别技术中的深度学习算法是依靠大规模的数据训练建立的，因此，图像识别技术的效率和准确率主要取决于训练过程中所使用的数据样本。

进一步的，本申请在生成目标物体的样本图像的过程中，首先需要获取目标物体的初始图像。

在此需要说明的是，目标物体可以是交通标志牌，也可以是其他物体，如，车辆、行人等。另外，初始图像指的是清晰度，亮度以及形态均符合要求的图像，可以通过绘图软件制作出初始图像。

为了简单清楚的详细介绍本发明的实施方式，以下均以目标物体为交通标志牌为例进行说明，当然在本申请中，目标物体不仅仅局限于交通标志牌。

因此，本申请在生成目标物体的样本图像的过程中，首先需要获取交通标志牌初始图像，如图2所示。

S102：根据图像变换算法，对所获取的目标物体初始图像进行变换处理，生成目标物体样本图像。

进一步的，由于本申请是通过对目标物体的初始图像进行变换处理，从而实现模拟不同拍摄条件下的拍摄效果，因此，在本申请中，在获取到目标物体的初始图像后，可根据图像变换算法，对所获取的目标物体初始图像进行变换处理，生成目标物体样本图像。

进一步的，本申请给出了一种根据图像变换算法，对所获取的目标物体初始图像进行变换处理，生成目标物体样本图像的实施方式，具体如下：

根据图像颜色变换算法，对所获取的目标物体初始图像进行图像颜色变换处理；和/或根据图像形态变换算法，对所获取的目标物体初始图像进行图像形态变换处理；和/或根据图像清晰度变换算法，对所获取的目标物体进行图像清晰度变换处理；和/或根据背景变换算法，对所获取的目标物体进行图像背景变换处理。如图3所示，图3为通过图像变换算法变换处理后的交通标志牌图像，也就是所生成的交通标志牌样本图像。

在此需要说明的是，由于自然拍摄目标物体时，同一种类的目标物体(如，交通标志牌)的颜色会随着时间和自然条件的变化而相互之间不一定不同或者同一个目标物体的颜色会随着时间和自然条件的变化而不同，因此，需要通过图像颜色变换算法来模拟不同颜色的目标物体，上述图像颜色变换算法具体可以是图像的色彩变换以及亮度变换，具体的，根据图像色彩变化算法，对所获取的目标物体初始图像进行图像色彩变换处理；和/或根据图像亮度变化算法，对所获取的目标物体初始图像进行图像亮度变换处理。对于图像亮度的变化算法可以采用光照算法，调整像素的亮度值，像素一般分布在0-255的范围，值越大越亮，反之越暗。

由于自然拍摄目标物体时，同一类型目标物体的形态会随着时间和自然条件的变化而相互之间不一定不同或者同一个目标物体的形态会随着时间和自然条件的变化而不同，并且同一个目标物体(如，交通标志牌)，围绕其一圈全角度覆盖是非常困难的，因此，需要通过图像颜色变换算法来模拟不同形态以及不同的拍摄角度的目标物体，上述图像形态变换算法具体可以是旋转变换以及扭曲变换，具体的，根据图像旋转变化算法，对所获取的目标物体初始图像进行图像旋转变换处理；和/或根据图像扭曲变化算法，对所获取的目标物体初始图像进行图像扭曲变换处理。当然，图像形态变换算法还可以是拉伸变换算法，倾斜变换算法在此不做进一步的限定。

由于自然拍摄目标物体时，同一类型的目标物体的清晰度会随着时间和自然条件的变化而相互之间不一定不同或者同一个目标物体的清晰度会随着时间和自然条件的变化而不同，因此，需要通过图像颜色变换算法来模拟不同清晰度的目标物体，具体的，根据图像模糊变换算法，对所获取的目标物体进行图像清晰度变换处理；和/或根据图像噪音变换算法，对所获取的目标物体进行图像噪音变换处理。当然在本申请中，图像清晰度变换处理还可以是给图像添加马赛克。还可以利用椒盐噪声算法增加噪点，椒盐点的噪声参数目前设置在20-100的范围内，在此范围内生成一个随机数，表达椒盐点的数目。

由于自然拍摄目标物体时，目标物体是处于自然条件下的，也就是说，拍出的照片中除了含有目标物体，肯定还会包含有背景图像，因此，在本申请中，需要根据图像背景变换算法，对所获取的目标物体进行图像背景变换处理。

在此还需要说明的是，上述图像变换算法的顺序可以根据实际需求进行设定，并且上述图像变换算法的种类选择也可以根据实际需求来设定。

进一步的，本申请给出了第二种根据图像变换算法，对所获取的目标物体初始图像进行变换处理，生成目标物体样本图像的实施方式，如图4所示。

在此需要说明的是，图4所示的流程中图像变换算法的顺序可以根据实际需求进行改变，但是图像变换算法顺序改变后所制作出的样本图像也会有所改变，甚至有可能会出现所制作出的样本图像存在失真的情况，而通过本申请所提供的图4所示的流程所制作出的样本图像可以很好的减少所制作出的样本图像不失真的情况。另外，图像曝光变换是模拟实际天气中的不同光线下的目标物体图像。

在此还需要说明的是，在本申请中，为了更好的减少通过本申请所制作出来的无效图像，即，不符合训练样本图像的要求，因此，具体可以通过每一个图像变换算法中的门限值参数来控制所制作出的样本图像为有效图像，即，符合训练样本图像的要求，如，设定椒盐噪声变换算法中的门限值范围为50-100，来控制输出的样本图像为模拟使用年限为两年以内的样本图像，设定椒盐噪声变换算法中的门限值范围为100-200，来控制输出的样本图像为模拟使用年限为两年以上的样本图像，设定图像曝光变换算法中的门限值范围为初始图像像素值的四分之一到四倍之间，来控制输出的样本图像为模拟不同光线下的样本图像，使得所输出的样本图像的曝光度符合期望的曝光度，其中，门限值设置为初始图像像素值的四分之一模拟标牌不在阳光下的样本图像。

进一步的，本申请还还给出了一种目标物体的样本图像生成系统，如图5所示，包括：

外业采集照片设备501，用于外业采集照片；

颜色提取软件502，用于提取外业采集的照片中的颜色；

背景提取软件503，用于提取外业采集的照片中的背景；

目标物体初始图像生成设备504，用于生成目标物体初始图像；

图像变换软件505，用于对所生成的目标物体初始图像进行图像变换；

图像合成软件506，用于对图像变换后的目标物体初始图像进行颜色变换以及背景变换。

在此需要说明的是，颜色提取软件502可是本申请自主开发的小工具，主要功能与PhotoShop中的吸管功能类似，点选图像中的某颜色，获取到该像素的颜色值，记录下来提供给图像合成软件506使用。背景提取软件503在采集的照片中随机取一些天空、树林、或者是建筑作为背景素材，将这些背景素材提供给图像合成软件506使用，图像合成软件506采用随机贴图的方式，把生成的标牌图片贴在这些背景图上，使标牌更贴近于采集场景。

进一步的，本申请根据上述系统，提供了一套基于该系统的目标物体的样本图像生成流程图，如图6所示。

S103：根据所生成的目标物体样本图像，训练基于神经网络的图像识别模型。

S104：采集待识别的目标物体图像。

S105：根据所训练的基于神经网络的图像识别模型，识别所述待识别的目标物体图像，以辅助车辆自动驾驶。

通过上述方法，相比于现有的目标物体的样本图像生成方法，无需人工出去通过拍照的方式采集目标物体的样本图像，更无需分工进行分类，直接对目标物体的样本图像自动生成并分类，从而大大提高了制作大量目标物体的样本图像时的效率，并且由于人工制作的目标物体的样本图像很难覆盖到各种复杂场景的目标物体，而本申请可以通过图像变换算法模拟各种复杂场景的目标物体，因此，本申请的目标物体的样本图像生成的覆盖率会远远超过人工制作的目标物体的样本图像，可以很好的满足辅助车辆自动驾驶的需要。

在此需要说明的是，本申请针对大大提高了制作大量目标物体为交通标志牌的样本图像时的效率给出了实验数据，具体的，假设制作一百万张交通标志牌的样本图像，4个熟悉人工制作交通标志牌流程的人同时制作，需要三个月才可以制作完成，而使用本申请的方法来制作一万张交通标志牌的样本图像，则使用需要1小时，显然，本申请相比于现有技术而言，能够大大提供制作大量目标物体的样本图像的效率。

以上为本申请实施例提供的用于辅助车辆自动驾驶的图像识别的方法，基于同样的思路，本申请实施例还提供一种用于辅助车辆自动驾驶的图像识别的装置，如图7所示，包括:

存储设备701，用于存储程序数据；

处理器702，用于执行所述存储设备701中的程序数据以实现所述的用于辅助车辆自动驾驶的图像识别方法。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种用于辅助车辆自动驾驶的图像识别方法，其特征在于，包括：

获取目标物体初始图像；

采集待识别的目标物体图像；

2.如权利要求1所述的方法，其特征在于，根据图像变换算法，对所获取的目标物体初始图像进行变换处理，具体包括：

根据图像颜色变换算法，对所获取的目标物体初始图像进行图像颜色变换处理；和/或

根据图像形态变换算法，对所获取的目标物体初始图像进行图像形态变换处理；和/或

根据图像清晰度变换算法，对所获取的目标物体进行图像清晰度变换处理；和/或

根据图像背景变换算法，对所获取的目标物体进行图像背景变换处理。

3.如权利要求2所述的方法，其特征在于，根据图像颜色变换算法，对所获取的目标物体初始图像进行图像颜色变换处理，具体包括：

根据图像色彩变化算法，对所获取的目标物体初始图像进行图像色彩变换处理；和/或

根据图像亮度变化算法，对所获取的目标物体初始图像进行图像亮度变换处理。

4.如权利要求2所述的方法，其特征在于，根据图像形态变换算法，对所获取的目标物体初始图像进行图像形态变换处理，具体包括：

根据图像旋转变化算法，对所获取的目标物体初始图像进行图像旋转变换处理；和/或

根据图像扭曲变化算法，对所获取的目标物体初始图像进行图像扭曲变换处理。

5.如权利要求2所述的方法，其特征在于，根据图像清晰度变换算法，对所获取的目标物体进行图像清晰度变换处理，具体包括：

根据图像模糊变换算法，对所获取的目标物体进行图像清晰度变换处理；和/或

根据图像噪音变换算法，对所获取的目标物体进行图像噪音变换处理。

6.如权利要求1所述的方法，其特征在于，根据图像变换算法，对所获取的目标物体初始图像进行变换处理，生成目标物体样本图像，具体包括：

根据所述图像变换算法中的门限值，对所获取的目标物体初始图像进行变换处理，生成有效的目标物体样本图像。

7.一种存储设备，其上存储有程序数据，其特征在于，所述程序数据用于被处理器执行时实现权利要求1-6中任一项所述的用于辅助车辆自动驾驶的图像识别方法。

8.一种用于辅助车辆自动驾驶的图像识别装置，其特征在于，包括：

存储设备，用于存储程序数据；

处理器，用于执行所述存储设备中的程序数据以实现权利要求1-6中任一项所述的用于辅助车辆自动驾驶的图像识别方法。

9.一种用于辅助车辆自动驾驶的图像识别系统，其特征在于，所述图像识别系统通过如权利要求8所述的用于辅助车辆自动驾驶的图像识别装置执行如权利要求1-6中任一项所述的用于辅助车辆自动驾驶的图像识别方法以根据识别的图像获得驾驶行为指令。

10.一种车辆，其特征在于，所述车辆包含如权利要求9所述的用于辅助车辆自动驾驶的图像识别系统。