CN112884850B

CN112884850B - 一种赛道识别用图片获取方法及装置

Info

Publication number: CN112884850B
Application number: CN202110304259.5A
Authority: CN
Inventors: 徐少权; 高园岗
Original assignee: Shanghai Yijiao Technology Co ltd
Current assignee: Shanghai Yijiao Technology Co ltd
Priority date: 2021-03-22
Filing date: 2021-03-22
Publication date: 2024-02-13
Anticipated expiration: 2041-03-22
Also published as: CN112884850A

Abstract

本发明公开一种赛道识别用图片获取方法，括以下步骤。步骤1，使搭载摄像头的小车沿赛道移动，拍摄所述赛道的图片。步骤2，对所述图片中赛道的像素数按列进行统计，得到一维像素数组。步骤3，将一维像素数组分成至少三个分组，左分组L、中间分组M、右分组R。步骤4，分别计算左分组平均值Lm、中间分组平均值Mm、右分组平均值Rm。步骤5，计算左右区域平均值LRm。步骤6，比较Lm和Rm，Mm和LRm的大小。步骤7，Lm＞Rm，且Mm＜LRm时，将图片标注为左转图片，Lm＜Rm，且Mm）＜LRm时，将图片标注为右转图片，Mm≥LRm时，将图片标注为直行图片。

Description

一种赛道识别用图片获取方法及装置

技术领域

本发明涉及一种赛道识别用图片获取装置及方法，尤其涉及赛道图片的标注和筛选。

背景技术

当前用于教育、赛事小车的自动驾驶技术实现主要有以下几种方法：一种是通过红外反射传感器循迹来控制小车自动驾驶，该方式要求赛道或地面上要有一条颜色区别于背景的“线”，一般要求线宽3-10cm，颜色为黑色或白色，具体为在小车的前端或后端底部并行安装2个红外反射传感器（两传感器的间距为线宽），该方法的局限性在于必须有一条明显区别于背景的“线”。

另一种是通过超声波传感器根据测得的“障碍物（一般指赛道边界的挡板）”距离来自动驾驶，具体表现为在小车的前后左右等4到8个方向安装上超声波传感器，该方法的局限性在于赛道边界的“挡板”要高出小车的高度；还有就是多种传感器配合使用来实现赛道上的自动驾驶。

以上两种小车的自动驾驶方法都是比较传统的方法，对赛道的要求也比较高。在小车上安装一个摄像头，利用图像处理在赛道上实现自动驾驶已成为一个热点问题和趋势。该方法需要提前控制小车采集赛道图片，这些图片会用来训练一个赛道识别的深度学习模型，小车根据这个模型在赛道上完成自动驾驶的功能。

训练一个比较好的赛道识别模型，很大程度上取决于采集的数据质量和图片标注质量。当前针对赛道识别模型的训练数据的采集和标注方法有两种：

（1）采集数据的过程中完成对图片进行标注，

（2）采集图片数据完成初步标注图片+人工筛选和标注图片。

第一种方法，由操作员利用手柄遥控小车在赛道上行驶过程中采集所得。在小车行驶的过程中后台程序（在小车上运行的自己编写的python程序会自动捕捉视频流的每一帧图片）根据手柄发出的控制小车的转向信息来命名保存的当前帧图片。例如利用0、1、2来表示小车左转、右转、直行三个运动状态，对应的图片分别标注为“0_+图片名称”、“1_+图片名称”、“2_+图片名称”。经过标注的图片，直接用于赛道识别模型的训练。

第二种方法，操作员利用手柄遥控小车，在采集图片的过程中对图片的标注，由于硬件、程序延时等原因会造成很多图片的名称（图片名称的首位数字0，1，2表示保存/采集当前图片时小车的转向信息（运动状态））是错误的。甚至会有一些不含赛道信息的图片夹杂在其中。所以，常用的方法是通过人工筛选图片。即人工检查、删除或重新标注图片，由于自动驾驶需要的图片数量比较大（例如5000张以上），该筛选工作非常耗时。

尤其是用于教学时，低龄的学生无法在课堂上短时间内完成赛道图片的标注和筛选。

本发明的目的在于提供一种能够自动对图片进行标注和筛选的赛道图片获取方法和装置。

发明内容

本发明的第一目的在于提供一种能够自动标注图片的赛道识别用图片获取方法及装置。

第二目的在于对图片进行标注的过程中能够自动删除不适合赛道识别用图片。

为了实现上述目的，本发明提供如下技术方案：

第一技术方案为一种赛道识别用图片获取方法，其特征在于：包括以下步骤，

步骤1，使搭载摄像头的小车沿赛道移动，拍摄所述赛道的图片；

步骤2，对所述图片中赛道的像素数按列进行统计，得到一维像素数组；

步骤3，将所述一维像素数组分成至少三个分组，左分组（L）、中间分组（M）、右分组（R）分别对应于所述图片中的左中右三个区域；

步骤4，分别计算左分组（L）、中间分组（M）、右分组（R）的平均值，得到左分组平均值（Lm）、中间分组平均值（Mm）、右分组平均值（Rm）；

步骤5，计算所述左右区域像素的平均值，得到左右区域平均值（LRm）；

步骤6，比较左分组平均值（Lm）和右分组平均值（Rm），中间分组平均值（Mm）和左右区域平均值（LRm）的大小；

步骤7，左分组平均值（Lm）＞右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm）时，将所述图片标注为左转图片，

左分组平均值（Lm）＜右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm）时，将所述原图片标注为右转图片，

中间分组平均值（Mm）≥左右区域平均值（LRm）时，将所述图片标注为直行图片。

优选所述摄像头拍摄的赛道图片为彩色图片，

所述步骤2，对所述彩色图片进行灰度化处理得到灰度图片，对所述灰度图片进行二值化处理得到二值化图片，对所述二值化图片中，与所述赛道颜色对应的像素按列进行统计，得到一维像素数组。

3. 根据权利要求2所述的一种赛道识别用图片获取方法，其特征在于：所述步骤7中，将既不满足左分组平均值（Lm）＞右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm），又不满足左分组平均值（Lm）＜右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm），并且中间分组平均值（Mm）＜左右区域平均值（LRm）的图片删除。

优选所述步骤5中，通过计算所述左分组平均值（Lm）和右分组平均值（Rm），计算所述左右区域的像素的平均值，得到左右区域平均值（LRm）。

优选所述左中右三个区域高度相同，横向的比例为1：2：1。

优选所述赛道的两侧设置有挡板，所述挡板具有与所述赛道不同的颜色。

第二技术方案为一种赛道识别用图片获取系统，其特征在于：包括搭载摄像头的小车和图片标注装置，

所述小车包括遥控手柄，通过所述遥控手柄控制所述小车在赛道内移动，由所述摄像头拍摄赛道的图像：

所述图片标注装置包括以下模块，

像素数统计模块（21），对所述图片中赛道的像素数按列进行统计，得到一维像素数组；

分组模块（22），将所述一维像素数组分成至少三个分组，左分组（L）、中间分组（M）、右分组（R）分别对应于所述图片中的左中右三个区域；

各区域计算模块（23），分别计算左分组（L）、中间分组（M）、右分组（R）的平均值，得到左分组平均值（Lm）、中间分组平均值（Mm）、右分组平均值（Rm）；

左右区域计算模块（24），计算所述左右区域像素的平均值，得到左右区域平均值（LRm）；

标注模块（25），比较左分组平均值（Lm）和右分组平均值（Rm），中间分组平均值（Mm）和左右区域平均值（LRm）的大小，左分组平均值（Lm）＞右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm）时，将所述图片标注为左转图片，

左分组平均值（Lm）＜右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm）时，将所述图片标注为右转图片，

优选还包括图像处理模块（26），对彩色图片进行灰度化处理得到灰度图片，对所述灰度图片进行二值化处理得到二值化图片，

所述像素数统计模块（21）对所述二值化图片中，与所述赛道颜色对应的像素按列进行统计，得到一维像素数组。

优选所述标注模块（25），将既不满足左分组平均值（Lm）＞右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm），又不满足左分组平均值（Lm）＜右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm），并且中间分组平均值（Mm）＜左右区域平均值（LRm）的图片删除。

优选所述左中右三个区域高度相同，横向的比例为1：2：1。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中

图1为训练赛道识别模型的流程图；

图2为AI小车朝向右侧时的原图片以及灰度图片、二值图片；

图3为AI小车朝向左侧时的原图片以及灰度图片、二值图片；

图4为AI小车直行时的原图片以及灰度图片、二值图片；

图5为图2中二值图c的放大图；

图6为对图5中的图像按列对赛道像素数进行统计的结果图；

图7为图片标注装置的模块结构图；

图8为对图片进行标注和筛选的流程图；

图9为量化分析的流程图；

图10为各种常见赛道的说明图;

图11为AI小车的分解图；

图12为AI小车的主视图；

图13为AI小车的俯视图；

图14为AI小车的仰视图。

具体实施方式

本发明提供了许多可应用的创造性概念，该创造性概念可大量的体现于具体的上下文中。在下述本发明的实施方式中描述的具体的实施例仅作为本发明的具体实施方式的示例性说明，而不构成对本发明范围的限制。

首先对获得赛道识别模型的整个流程进行说明。图1为训练赛道识别模型的流程图，如图1所示，操作者利用遥控器的手柄遥控AI小车（101），沿赛道行使（102）。AI小车的前端安装有摄像头，AI小车行使过程中，摄像头不断拍摄赛道图像，采集赛道图片（103）。

操作AI小车沿赛道行使2至3周后，用U盘把采集到的图片数据剪贴到训练机上（105）。训练机用于训练AI小车自动驾驶的赛道识别模型。

剪贴到训练机上的图片，显示在显示屏上由人工进行初步筛选（106）后，对图片进行自动化筛选和标注（107）、标注后的图片作为训练数据（108）用于训练赛道识别的学习模型（109），获得赛道识别模型（110）。将赛道识别模型输入到AI小车的自动驾驶系统，AI小车就能在赛道上实现自动驾驶。训练一个好的模型，很大程度上取决于采集的数据质量和图片的标注质量。以下对与本发明相关的图片标注和筛选进行详细说明，训练模型（109）以及赛道识别模型（110）为现有技术在此不再赘述。

图10为各种常见赛道的说明图。图中（a）为C字形，（b）为8字形，（c）为中间交叉性、（d）为0形赛道。各个赛道1由多段直线道和弯道组成，AI小车（赛车）在赛道中可以循环行使。赛道1两边由挡板11和挡板12围住。赛道1为深色，挡板11和挡板12为浅色。

AI小车的前端具有摄像头、电源和遥控接收机，可在操作人员的操作下，前行、后退、左转、右转和停车。行使过程中，摄像头对赛道进行拍摄，并将图片保存起来。AI小车的具体结构如图11至14所示。

图2为AI小车朝向右侧时的原图片以及灰度图片、二值图片，图3为AI小车朝向左侧时的原图片以及灰度图片、二值图片，图4为AI小车直行时的原图片以及灰度图片、二值图片。

当AI小车朝向右侧行使或遇到向左的弯道时，如图2所示，AI小车右边的挡板被摄入图片中，并且赛道呈左高右低的形状。

当AI小车朝向左侧行使或遇到向右的弯道时，如图3所示，AI小车左边的挡板被摄入图片中，并且赛道呈右高左低的形状。

当AI小车在直线道直行时，如图4所示，AI小车左右边的挡板分别被摄入图片中，并且赛道呈中间部分高，两边部分低的形状。

因此，按列图片中的像素数进行统计，通过对该一维数组的分布特征，可以分析判断出该图片是在AI小车是在哪一运动状态下采集得来。图2中“左高右低”表示右侧赛道边缘靠近小车，此时小车需要左转才能正常在赛道上行驶，标注为左转。图3中“左低右高”表示左侧赛道边缘靠近小车，此时小车需要右转才能正常在赛道上行驶，标注为右转。图4中，“左右相当”，表示AI小车既不靠近左边也不靠近右边，此时小车需要直行才能正常在赛道上行驶，标注为直行。

图5为图2中二值图c的放大图，图6为对图5中的图像按列对赛道像素数进行统计的结果图。

如图5所示将图片分成L、M、R三个区域，例如横向按1：2：1的比例分割。对各个区域中赛道1A的像素数统计其平均值，如果左侧L区域的赛道1A像素数平均数大于右侧R区域的赛道像素数平均数，即可判定该图片为AI小车相对于赛道1A处于向右运动状态下拍摄，需要标注为左转图片。图5中，11A 为图10中挡板12的图像，A为图10中挡板12外面的图像。

图6为对图5中的图像按列对赛道像素数进行统计的结果图。图6中，赛道像素数包含了挡板12外面的图像A部分的像素。

图7为图片标注装置的模块结构图。图片标注装置由图像处理模块26、像素数统计模块21、分组模块23、各区域计算模块23、左右区域计算模块24、标注模块25组成。

图像处理模块26，对摄像头2（A）拍摄的彩色图片进行灰度化处理得到灰度图片，灰度图片再进行二值化处理得到二值化图片。

像素数统计模块21对二值化图片中，与赛道颜色对应的像素按列进行统计，得到如图6所示的一维像素数组。

分组模块22，将一维像素数组分成三个分组，即，左分组L、中间分组M、右分组R，三个分组分别对应于图片中的左中右三个区域。

各区域计算模块23，分别计算左分组L、中间分组M、右分组R的平均值，得到左分组平均值Lm、中间分组平均值Mm、右分组平均值Rm。

左右区域计算模块24，计算左右区域像素的平均值，得到左右区域平均值LRm。LRm的计算方法以下说明。

标注模块25，比较左分组平均值Lm和右分组平均值Rm，中间分组平均值Mm和左右区域平均值LRm的大小，左分组平均值Lm＞右分组平均值Rm，且中间分组平均值Mm＜左右区域平均值LRm时，将原图片标注为左转图片；

左分组平均值Lm＜右分组平均值Rm，且中间分组平均值Mm＜左右区域平均值LRm时，将原图片标注为右转图片；

中间分组平均值Mm≥左右区域平均值LRm时，将原图片标注为直行图片。

图8为对图片进行标注和筛选的流程图。图像处理模块26按顺序输入摄像头2（A）（参见图11至14）拍摄的原图片（S1），对原图片进行灰度化处理得到灰度图片（S2），之后对灰度图片进行二值化处理得到二值图片（S3）。二值图片中，赛道1A部分的值为0，挡板部分的值为255。

像素数统计模块21对二值化图片进行量化分析，即，按列对0的像素数进行统计（S4）。实施方式中，原图片的尺寸为（160，120），这里的二值化图片的尺寸和原来一样为（160，120）。对二值化图片按列统计赛道部分的像素数量结果得到如图6所示大小为1*160维的一个一维数组。例如如下所示一维数组;

[101, 101, 101, 101, 101, 101, 100, 100, 100, 100, 99, 99, 99, 99,99, 99, 99, 98, 98, 98, 98, 97, 97, 97, 97, 97, 97, 96, 97, 95, 95, 95, 95,95, 95, 95, 94, 94, 94, 94, 94, 94, 93, 93, 92, 92, 92, 92, 91, 91, 91, 91,91, 91, 90, 90, 89, 89, 89, 89, 88, 88, 88, 88, 88, 87, 87, 87, 87, 87, 86,86, 85, 85, 85, 85, 84, 84, 83, 82, 82, 81, 81, 80, 80, 80, 80, 79, 79, 78,78, 78, 77, 77, 76, 76, 76, 75, 75, 75, 74, 74, 74, 74, 73, 73, 73, 73, 74,74, 75, 74, 74, 74, 74, 74, 73, 72, 70, 68,

67, 67, 67, 66, 66, 66, 66, 66, 65, 65, 64, 64, 63, 63, 62, 62, 62,61, 60, 60, 59, 59, 61, 62, 62, 62, 61, 58, 57, 57, 56, 56, 56, 55, 55, 58,60, 59, 58, 57]。

分组模块22，将一维像素数组分成三个分组，即，左分组L、中间分组M、右分组R，三个分组分别对应于图片中的左中右三个区域（S5）。

各区域计算模块23，分别计算左分组L、中间分组M、右分组R的平均值，得到左分组平均值Lm、中间分组平均值Mm、右分组平均值Rm（S6）。

左右区域计算模块24，根据左分组平均值Lm和右分组平均值Rm计算左右区域平均值LRm（S7），计算公式如下：

LRm=（Lm+Rm）/2。

标注模块25，比较左分组平均值Lm和右分组平均值Rm，中间分组平均值Mm和左右区域平均值LRm的大小。

左分组平均值Lm＞右分组平均值Rm，且中间分组平均值Mm＜左右区域平均值LRm时（S8），将原图片标注为左转图片（S9）；

左分组平均值Lm＜右分组平均值Rm，且中间分组平均值Mm＜左右区域平均值LRm时（S10），将原图片标注为右转图片（S1）；

中间分组平均值Mm≥左右区域平均值LRm时（S12），将原图片标注为直行图片（S13）；

不满足左分组平均值Lm＞右分组平均值Rm，且中间分组平均值Mm＜左右区域平均值LRm，左分组平均值Lm＜右分组平均值Rm，且中间分组平均值Mm＜左右区域平均值LRm，并且中间分组平均值Mm＜左右区域平均值LRm时（S12）时，删除原图片。

以下对像素数统计模块21的量化分析进行说明。图9为量化分析的流程图。

通过步骤40至48，统计二值图片中每一列中像素的数量（仅统计二值图中与赛道部分颜色对应的像素），sum被用于计数（二值图中每列有多个像素是赛道），b_n就是最终得到的该二值图中赛道部分每列的像素数量，即b_n中有w个元素（数值），每个元素表示binary该列有多少个像素是赛道。

通量化分析，就把非结构化数据（二值图）转换为需要的结构化数据（一维数组）了。这样方便后续分析该一维数组的数据分布。

以上对本发明的实施方式进行了说明，如上所述，本发明把非结构化数据（二值图）转换为结构化数据（一维数组），并根据该一维数组的某一连续区域分布特征，判断出该张图片的转向信息（该张图片对应当前的小车转向信息，即小车是左转、右转还是直行状态下拍摄的该照片），不仅能够自动标注图片，还能自动删选对赛道模型识别没有用的图片。与人工筛选和标注图片相比，处理图片的的耗时不足人工处理的十分之一，极大的提高了处理效率。

尤其是用于教学时，低龄的学生也能在课堂上完成赛道图片的标注和筛选，增加了教学内容，进一步提高了学生的学习范围。

由于将一维像素数组分成三个分组，通过计算平均值进行比较，即使在各个区域中如图5所示混入与赛道颜色相近的区域A，也不会造成方向的标注错误和图片误删除，提高了标注精度。作为赛道，本实施方式中以两边有挡板的赛道为例进行了说明，但也可以是没有挡板的赛道，对本发明而言，只要赛道以外的部分能够在二值图中与赛道加以区分即可，任何形式的赛道都可以。

以下对教学用AI小车进行简单介绍。图11为AI小车的分解图；图12为AI小车的主视图；图13为AI小车的俯视图；图14为AI小车的仰视图。其中摄像头2（A）安装在小车上略高于赛道挡板的位置，摄像头2（A）向下倾斜，拍摄小车下方的赛道。摄像头2（A）的拍摄范围根据赛道宽度设定，即，AI小车直行时，赛道两边的挡板处于摄像头的拍摄范围内。

该AI小车由可拆卸部件组装而成，各结构名称及说明如下表所示：

上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。

Claims

1.一种赛道识别用图片获取方法，其特征在于：包括以下步骤，

步骤3，将所述一维像素数组分成三个分组，左分组（L）、中间分组（M）、右分组（R）分别对应于所述图片中的左中右三个区域；

2.根据权利要求1所述的一种赛道识别用图片获取方法，其特征在于：

所述摄像头拍摄的赛道图片为彩色图片，

3.根据权利要求2所述的一种赛道识别用图片获取方法，其特征在于：所述步骤7中，将既不满足左分组平均值（Lm）＞右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm），又不满足左分组平均值（Lm）＜右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm），并且中间分组平均值（Mm）＜左右区域平均值（LRm）的图片删除。

4.根据权利要求3所述的一种赛道识别用图片获取方法，其特征在于：所述步骤5中，通过计算所述左分组平均值（Lm）和右分组平均值（Rm），计算所述左右区域平均值（LRm）。

5.根据权利要求4所述的一种赛道识别用图片获取方法，其特征在于：所述左中右三个区域高度相同，横向的比例为1：2：1。

6.根据权利要求1至5中任一项所述的一种赛道识别用图片获取方法，其特征在于：所述赛道的两侧设置有挡板，所述挡板具有与所述赛道不同的颜色。

7.一种赛道识别用图片获取系统，其特征在于：包括搭载摄像头的小车和图片标注装置，

所述图片标注装置包括以下模块，

分组模块（22），将所述一维像素数组分成三个分组，左分组（L）、中间分组（M）、右分组（R）分别对应于所述图片中的左中右三个区域；

左右区域计算模块（24），计算所述左右区域的像素平均值，得到左右区域平均值（LRm）；

8.根据权利要求7所述的一种赛道识别用图片获取系统，其特征在于：还包括图像处理模块（26），对彩色图片进行灰度化处理得到灰度图片，对所述灰度图片进行二值化处理得到二值化图片，

9.根据权利要求8所述的一种赛道识别用图片获取系统，其特征在于：所述标注模块（25），将既不满足左分组平均值（Lm）＞右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm），又不满足左分组平均值（Lm）＜右分组平均值（Rm），且中间分组平均值（Mm）＜左右区域平均值（LRm），并且中间分组平均值（Mm）＜左右区域平均值（LRm）的图片删除。

10.根据权利要求7至9中任一项所述的一种赛道识别用图片获取系统，其特征在于：所述左中右三个区域高度相同，横向的比例为1：2：1。