CN110070139B - 面向自动驾驶环境感知的小样本在环学习系统和方法 - Google Patents

Abstract

本发明的一种面向自动驾驶环境感知的小样本在环学习系统和方法，基于数据训练集对目标学习模型进行算法训练，获取目标检测算法；在物理ECU模块进行小样本训练集训练学习，获取目标感知算法；通过获取的目标感知算法进行所述系统的目标算法测试，所述系统包括：样本输入模块，图像采集模块，图像显示模块，物理ECU模块，结果输出模块。本发明的一种面向自动驾驶环境感知的小样本在环学习系统和方法，通过提出基于小规模数据的学习方法，设置的在环实验仿真平台配合仿真软件，解决了实车自动驾驶环境感知算法开发中大规模数据获取困难的问题，实现场景自定义功能，模拟生成大量实际情况中很难实现的场景数据，增加了实验开发的安全性。

Description

面向自动驾驶环境感知的小样本在环学习系统和方法

技术领域

本发明涉及智能驾驶领域，具体涉及一种面向自动驾驶环境感知的小样本在环学习系统和方法。

背景技术

基于摄像头硬件的自动驾驶环境感知系统是自动驾驶汽车智能化系统的最重要组成部分之一。自动驾驶智能化系统主要实现的功能包括：传感、感知、决策、控制等内容，自动驾驶汽车开发的工作中，大部分的技术难题和挑战都来自于环境感知和计算机视觉部分。

目前自动驾驶环境感知技术的解决方案主要基于计算机视觉和机器学习，面向计算机视觉的机器学习方法以深度学习为主，深度学习的是数据驱动的机器学习方法，其对学习模型的训练依赖大量的多样化的准确标记的数据集，存在长尾分布、标记困难、数据不足和认知机理四个方面的局限，进而在自动驾驶技术产品化的进程中逐渐受到限制，因此不依赖于大规模数据的小样本学习方法成为迫切的技术需求。深度学习和小样本学习的对比如下文所述：

一、长尾分布

以某自动驾驶场景数据集为例，共200种类别，其中10个高频率类别的样本量覆盖整体数据集45％，190个低频率类别的样本量覆盖整体数据集55％，自动驾驶场景大多数为低频率样本，难以面向深度学习模型采集大规模数据进行算法训练。

二、标记困难

面向自动驾驶环境感知的深度学习模型训练往往需要100K规模的数据集，大规模的数据集在人工标注方面存在成本高和人工误差两方面的劣势，进而导致自动驾驶公司在数据标记中开销很大，并且无法得到精准标注的数据。

三、数据不足

在面向算法模型训练的大规模样本数据采集中，存在采集数据成本过高、周期过长、危险场景数据难以采集等问题，进而导致自动驾驶公司往往存在样本数据不足的问题。

四、认知机理

以深度学习为代表的数据驱动型的机器学习模型，并非模拟人类大脑认知的学习机理，实际上，人类学习是理解驱动型的学习，如人类通过一次观察认知物体、基于描述识别初次见到的物体、基于描述想象未曾见到的物体，基于概念系统匹配和模型驱动的小样本学习与人类识别的机理更为相似，可以极大的提升计算机视觉的工作效率。

发明内容

针对上述现有技术存在的问题，本发明提供了一种面向自动驾驶环境感知的小样本在环学习系统和方法，通过小样本学习获取目标检测算法和目标感知算法，进行目标算法测试，设置在环实验仿真平台，对比实体车辆开发成本降低、实验效率高；模拟生成大量实际情况中很难实现的场景数据，以及生成面向极端工况目标检测的复杂场景或者危险场景，增加了实验开发的安全性。

本发明提供了一种面向自动驾驶环境感知的小样本在环学习系统，所述系统基于数据训练集对目标学习模型进行算法训练，获取目标检测算法，在物理ECU模块进行小样本训练集训练学习，获取目标感知算法，通过获取的目标检测算法和目标感知算法进行所述系统的目标算法测试，所述系统包括：

样本输入模块，用于输入小样本测试集实验数据；

图像采集模块，用于采集实验用道路图像以及视频数据；

图像显示模块，用于显示实验过程的模拟道路图像数据；

物理ECU模块，用于集成小样本训练集训练学习的目标感知算法，进程目标场景的物体检测；

结果输出模块，用于所述系统通过目标算法对环境进行感知的结果输出。

作为上述方案的进一步优化，所述物理ECU模块进行小样本训练学习获取目标感知算法包括如下：

(1)通过数据输入接口输入实验用数据；

(2)基于训练数据集进行模型学习训练获取目标分类器；

(3)对比目标相机采集的图像以及用于对比的标准图像，分析并计算获取图像转换参数，进行相机标定；

(4)获取目标相机采集的图像，采用畸变矩阵、内参数矩阵、旋转向量、位移向量作为计算参数，对采集的车道线图像进行畸变矫正，获取矫正后的图像；

(5)基于概念匹配学习、图像匹配学习和数据扩展学习，将小样本学习与概念系统内的语义概念或图像概念进行匹配；通过将小样本学习与语义或图像概念匹配组合，有效增加样本数据的信息深度，优化小样本数据，提升感知和认知水平；

采用数学模型，将小样本数据扩展为大样本数据，通过大样本数据的机器学习模型进行感知操作；

(6)优化机器学习模型，将数据驱动学习转化为模型驱动学习，进行模型增强学习；

(7)输出训练学习模型训练的目标算法。

作为上述方案的进一步优化，所述针对采集的车道线图像进行畸变矫正的过程包括如下：

相机标定，采集拍摄对象的数据图像，获取世界坐标系点以及与世界坐标系对应的图像点，通过世界坐标系点和图像点计算相机的畸变矩阵、内参数矩阵、旋转向量和位移向量；

图像畸变矫正，获取目标图像的世界坐标系点和图像点，采用畸变矩阵、内参数矩阵、旋转向量和位移向量为计算参数，对采集的车道线图像进行畸变矫正，获取矫正图像。

作为上述方案的进一步优化，所述相机标定包括如下：

(11)设置世界坐标系XO₁Y，O₁点为坐标系原点，即车道检测算法在环仿真开发方法中相机进行图像数据采集视野下边沿的中心，Y轴为车辆坐标系的纵向，表示车辆前进方向，X轴为横向，表示车辆右转方向，坐标系内的物点坐标用(x，y)表示，单位cm；

(12)设置图像坐标系UO₂V，O₂点为坐标系原点，即车道检测算法在环仿真开发方法中相机图像平面的右上角，U轴是图像上边的一行元素，方向向左，V轴是图像右边的一列像素，方向向下，坐标系内的像素点坐标用(u，v)表示，表征该像素点位于图像数组的列数和行数，单位为像素；

(13)构建纵向畸变矫正算法模型，截取世界坐标系XO₁Y的Y轴，即车辆纵向的纵向切面，存在地平面上的一点I，世界坐标系中I点坐标为(0，y)，图像坐标系中I′点坐标为(u，v)，I点和I′点为相互映射关系，两坐标系纵向的V轴和Y轴的对应关系为：

公式(1)中，h为摄像头的高度，θ为摄像头俯仰角，α为摄像头张角，f为摄像头焦距；

(14)构建横向畸变矫正算法模型，截取世界坐标系XO₁Y的Y轴，即车辆纵向的纵向切面，

地平面上的一点I，世界坐标系中I点坐标为(0，y)，图像坐标系中I′点坐标为(u，v)，I点和I′为相互映射关系，两坐标系横向的U轴和X轴的对应关系为：

公式(2)中，l为摄像头视野下部的宽度，N为像素的总列数。

作为上述方案的进一步优化，所述概念匹配学习通过构建直接属性预测模型执行，设m为样本空间，n为类别空间，z为属性空间，p＝1表示条件判断为真，p＝0表示条件判断为假,i为自然数，具体包括如下：

(21)训练概率分类器模型

针对任意目标属性z_m，基于小样本训练数据集进行学习训练，构建概率分类器模型；

表示形式，即类别w对应二值化标注

(22)构建图像-属性匹配规则，基于步骤(21)构建的概率分类器模型，对咪表概率进行预测，获取完整的图像-属性匹配规则，如下式：

(23)测试概率分类器模型

通过集合属性的匹配特征，针对测试数据集不可见类图像的识别，设定测试数据集每个类别n确定包含其对应的属性向量zⁿ，即：

p(z|n)＝[[z＝zⁿ]] (4)

基于贝叶斯法则得到属性-类别的关联表示如下所示：

通过式(3)和(5)，获取小样本测试数据集中图像和类别的对应关系：

(24)基于直接属性预测的小样本数据分类器模型，设定样本数据集相同类别的数据具有先验性，忽略类别因子p(n)；

设定一个属性因子p(z)，分布公式如下：

采用经验平均值，基于样本训练数据集，其属性优先级的表示如下：

基于决策规则f：m→n，根据小样本测试数据集的所有类别，为目标测试样本m分配最佳输出类别，设定l为获取小样本测试数据集的目标图像分类器模型如下

作为上述方案的进一步优化，所述概念匹配学习还通过构建间接属性预测模型执行，基于直接属性预测进行相关内容的优化工作，获取间接属性预测的内容，具体优化工作包括如下：

(31)基于小样本训练数据集的类别w_k，k＝1，2，3...k，训练学习一个统计型多类别分类器模型p(w_k|m)；

(32)基于直接属性预测，设定属性与类别的确定依赖关系，如下所示：

(33)根据步骤(31)和(32)，获取间接属性与样本关联的概率分类器模型，

(34)将优化后的概率分类器模型代入直接属性预测任务，获取最终的目标分类器模型。

作为上述方案的进一步优化，所述图像匹配学习通过目标样本数据的语义属性概念，合成新的虚拟图像，进行不可见类图像的识别；所述图像匹配学习包括如下：

(41)基于小样本训练数据集，进行可见类的分类器模型训练学习；

(42)通过不可见类数据的属性特征合成视觉特征，基于合成视觉元素，完善样本训练数据集，并进行不可见类的分类器模型训练学习；

(43)基于测试数据集，对训练完成的分类器模型进行测试，进行不可见类识别。

作为上述方案的进一步优化，所述数据扩展学习基于增广矩阵生成的基本理论，采用训练数据集为基础，持续生成新的数据，增加训练数据集样本的数量。

作为上述方案的进一步优化，所述模型增强学习基于小样本训练数据集，应用外部存储器，对新样本数据信息完成快速编码、索引和吸收工作，对样本数据和类别标注的匹配关系进行预测。

本发明还公开了一种基于上述在环学习系统的面向自动驾驶环境感知的小样本在环学习方法，所述方法包括如下：

步骤A：构建在环仿真实验平台，其包括：

实验区，所述实验区为由木板构建成封闭的长方体工作腔；

工作台，所述工作台为由支撑杆构建成与实验区四条侧边匹配的长方体工作腔；

所述工作台位于所述实验区的下端，通过实验区底部的木板支撑实验区，且所述工作台工作腔的底部设置有支撑工控机和电源的木板；

所述实验区的前端内侧设置有用于输出相机数据的显示屏，左右侧边内侧均水平设置有照明灯移动支架，所述照明灯移动支架设置有可调节亮度的照明灯，后端内侧水平设置运动支架，所述运动支架活动设置万向连接部，所述万向连接部设置有相机。

步骤B：实现面向自动驾驶环境感知的小样本在环仿真开发方法，其包括：

B1，工控机、相机与显示屏均与电源电连接，且显示屏和相机均与所述工控机电连接；

B2，依次开启电源开关与工控机开关，电力驱动在环仿真实验平台工作；

B3，设置显示屏为工作状态，工控机运行在环仿真软件，生成实验用虚拟交通场景；

B4，设置照明灯为工作状态，调节照明灯至实验用环境亮度；

B5，设置相机为工作状态，运行工控机的相机数据采集软件，通过移动万向连接部延运动支架轴向运动调整相机的相对位置，设置相机相对万向连接部的角度调整相机的数据采集方向点，工控机实时采集显示屏输出的相机数据图像，上传数据至ECU模块进行目标检测分析；

B6，检测结果输出至行为决策模块进行决策工作，输出决策控制信号；

B7，根据获取的决策控制信号，在环仿真软件在虚拟交通场景执行对应的控制执行操作；

B8，面向自动驾驶环境感知的小样本在环仿真开发实验的自动驾驶闭环形成，持续运行直至实验结束。

本发明采用上述的技术方案，与现有技术相比，本发明的一种面向自动驾驶环境感知的小样本在环学习系统和方法，具有以下技术效果：

1.本发明的一种面向自动驾驶环境感知的小样本在环学习系统，基于数据训练集对目标学习模型进行算法训练，获取目标检测算法，在物理ECU模块进行小样本训练集训练学习，获取目标感知算法，通过获取的目标感知算法进行所述系统的目标算法测试，实现面向深度学习模型采集大规模数据通过目标算法进行训练；

2.本发明的一种面向自动驾驶环境感知的小样本在环学习方法，设置的在环实验仿真平台，对比实体车辆，开发成本降低、实验效率高，同时实验的流程相对实体车辆也简便灵活；基于在环实验仿真平台的相机标记，通过坐标系点和图像点计算得到目标相机的畸变矩阵、内参数矩阵、旋转向量和位移向量，便于实验过程的标注的准确性；

3.本发明的一种面向自动驾驶环境感知的小样本在环学习方法，设置的在环实验仿真平台配合仿真软件，实现场景自定义功能，场景可完全还原实际路况，模拟生成大量实际情况中很难实现的场景数据，以及生成面向极端工况目标检测的复杂场景或者危险场景，同时增加了实验研发的安全性。

附图说明

图1为本发明的一种面向自动驾驶环境感知的小样本在环学习系统的流程图；

图2为本发明的一种面向自动驾驶环境感知的小样本在环学习系统的世界坐标系与图像坐标系转换关系图；

图3为本发明的一种面向自动驾驶环境感知的小样本在环学习系统的车辆纵向示意图；

图4为本发明的一种面向自动驾驶环境感知的小样本在环学习系统的直接属性预测模型构建流程图；

图5为本发明的一种面向自动驾驶环境感知的小样本在环学习系统的图像匹配学习流程示意图；

图6为本发明的一种面向自动驾驶环境感知的小样本在环学习方法的在环仿真实验平台结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。

如图1-6所示，本实施例提供了一种面向自动驾驶环境感知的小样本在环学习系统，所述系统基于数据训练集对目标学习模型进行算法训练，获取目标检测算法，在物理ECU模块进行小样本训练集训练学习，获取目标感知算法，通过获取的目标检测算法和目标感知算法进行所述系统的目标算法测试，所述系统包括：

样本输入模块，用于输入小样本测试集实验数据；

图像采集模块，用于采集实验用道路图像以及视频数据；

图像显示模块，用于显示实验过程的模拟道路图像数据；

物理ECU模块，用于集成小样本训练集训练学习的目标感知算法，进程目标场景的物体检测；

结果输出模块，用于所述系统通过目标算法对环境进行感知的结果输出。

所述物理ECU模块进行小样本训练学习获取目标感知算法包括如下：

步骤S1，通过数据输入接口输入实验用数据；

步骤S2，基于训练数据集进行模型学习训练获取目标分类器；

步骤S3，对比目标相机采集的图像以及用于对比的标准图像，分析并计算获取图像转换参数，进行相机标定；

步骤S4，获取目标相机采集的图像，采用畸变矩阵、内参数矩阵、旋转向量、位移向量作为计算参数，对采集的车道线图像进行畸变矫正，获取矫正后的图像；

步骤S5，基于概念匹配学习、图像匹配学习和数据扩展学习，将小样本学习与概念系统内的语义概念或图像概念进行匹配；通过将小样本学习与语义或图像概念匹配组合，有效增加样本数据的信息深度，优化小样本数据，提升感知和认知水平；

采用数学模型，将小样本数据扩展为大样本数据，通过大样本数据的机器学习模型进行感知操作；

步骤S6，优化机器学习模型，将数据驱动学习转化为模型驱动学习，进行模型增强学习；

步骤S7，输出训练学习模型训练的目标算法。

针对采集的车道线图像进行畸变矫正的过程包括如下：

相机标定，采集拍摄对象的数据图像，获取世界坐标系点以及与世界坐标系对应的图像点，通过世界坐标系点和图像点计算相机的畸变矩阵、内参数矩阵、旋转向量和位移向量；

图像畸变矫正，获取目标图像的世界坐标系点和图像点，采用畸变矩阵、内参数矩阵、旋转向量和位移向量为计算参数，对采集的车道线图像进行畸变矫正，获取矫正图像。

所述相机标定包括如下：

(11)设置世界坐标系XO₁Y，O₁点为坐标系原点，即车道检测算法在环仿真开发方法中相机进行图像数据采集视野下边沿的中心，Y轴为车辆坐标系的纵向，表示车辆前进方向，X轴为横向，表示车辆右转方向，坐标系内的物点坐标用(x，y)表示，单位cm；

(12)设置图像坐标系UO₂V，O₂点为坐标系原点，即车道检测算法在环仿真开发方法中相机图像平面的右上角，U轴是图像上边的一行元素，方向向左，V轴是图像右边的一列像素，方向向下，坐标系内的像素点坐标用(u，v)表示，表征该像素点位于图像数组的列数和行数，单位为像素；

(13)构建纵向畸变矫正算法模型，截取世界坐标系XO₁Y的Y轴，即车辆纵向的纵向切面，存在地平面上的一点I，世界坐标系中I点坐标为(0，y)，图像坐标系中I′点坐标为(u，v)，I点和I′点为相互映射关系，两坐标系纵向的V轴和Y轴的对应关系为：

公式(1)中，h为摄像头的高度，θ为摄像头俯仰角，α为摄像头张角，f为摄像头焦距；

(14)构建横向畸变矫正算法模型，截取世界坐标系XO₁Y的Y轴，即车辆纵向的纵向切面，

地平面上的一点I，世界坐标系中I点坐标为(0，y)，图像坐标系中I′点坐标为(u，v)，I点和I′为相互映射关系，两坐标系横向的U轴和X轴的对应关系为：

公式(2)中，l为摄像头视野下部的宽度，N为像素的总列数。

概念匹配学习通过构建直接属性预测模型执行，设m为样本空间，n为类别空间，z为属性空间，p＝1表示条件判断为真，p＝0表示条件判断为假,i为自然数，具体包括如下：

(21)训练概率分类器模型

针对任意目标属性z_m，基于小样本训练数据集进行学习训练，构建概率分类器模型；

表示形式，即类别w对应二值化标注

(22)构建图像-属性匹配规则，基于步骤(21)构建的概率分类器模型，对咪表概率进行预测，获取完整的图像-属性匹配规则，如下式：

(23)测试概率分类器模型

通过集合属性的匹配特征，针对测试数据集不可见类图像的识别，设定测试数据集每个类别n确定包含其对应的属性向量zⁿ，即：

p(z|n)＝[[z＝zⁿ]] (4)

基于贝叶斯法则得到属性-类别的关联表示如下所示：

通过式(3)和(5)，获取小样本测试数据集中图像和类别的对应关系：

(24)基于直接属性预测的小样本数据分类器模型，设定样本数据集相同类别的数据具有先验性，忽略类别因子p(n)；

设定一个属性因子p(z)，分布公式如下：

采用经验平均值，基于样本训练数据集，其属性优先级的表示如下：

基于决策规则f：m→n，根据小样本测试数据集的所有类别，为目标测试样本m分配最佳输出类别，设定l为获取小样本测试数据集的目标图像分类器模型如下

所述概念匹配学习还通过构建间接属性预测模型执行，基于直接属性预测进行相关内容的优化工作，获取间接属性预测的内容，具体优化工作包括如下：

(31)基于小样本训练数据集的类别w_k，k＝1，2，3...k，训练学习一个统计型多类别分类器模型p(w_k|m)；

(32)基于直接属性预测，设定属性与类别的确定依赖关系，如下所示：

(33)根据步骤(31)和(32)，获取间接属性与样本关联的概率分类器模型，

(34)将优化后的概率分类器模型代入直接属性预测任务，获取最终的目标分类器模型；

所述图像匹配学习通过目标样本数据的语义属性概念，合成新的虚拟图像，进行不可见类图像的识别；所述图像匹配学习包括如下：

(41)基于小样本训练数据集，进行可见类的分类器模型训练学习；

(42)通过不可见类数据的属性特征合成视觉特征，基于合成视觉元素，完善样本训练数据集，并进行不可见类的分类器模型训练学习；

(43)基于测试数据集，对训练完成的分类器模型进行测试，进行不可见类识别。

具体的，训练数据集包含的数据信息分为三个维度：视觉图像特征、属性特征和可见类标注，优选的，下标s表示可见类，下标t表示不可见类，

加帽子表示标量与不可见类样本数据相关；

(51)训练数据集，下式中，E是训练数据集的样本数目，

D维图像特征空间表示如下所示，

M_s＝[m_ed]∈R^E×D (13)

J维图像特征空间表示如下所示，

Z_s＝[z_ej]∈R^E×J (14)

C维离散型类别标注空间如下所示，

W_e∈{1，...，C} (15)

(52)测试数据集，通过设计框架应用统一的范式处理两种类型的属性数据，框架的设计如下：

测试环节三维度数据信息(依次为图像特征、属性、离散型类别)如下所示，

测试集的类为不可见类，即与训练集的类不重合，如下所示，

J维不可见类属性空间表示如下所示：

图像匹配学习目标是训练学习一个可以识别测试集不可见类数据的分类器模型,如下式所述：

f：M_t→W_t (19)

(53)不可见图像数据合成，基于语义属性合成不可见类图像特征，首先基于训练数据集训练学习一个嵌入式函数，然后基于嵌入函数，输入不可见类的属性，合成目标不可见类图像,具体如下所示：

f_s：z_s→M_s (20)

M_t＝f_s(Z_t) (21)

(54)测试任务，基于合成的视觉图像特征，直接估计不可见类的概率分布，应用监督分类器模型预测不可见类的标注，完成测试任务；

具体的，还通过嵌入式方法进行不可见图像数据合成，通过学习一个新的目标函数使多分类误差同时最小化，且考虑不同属性之间的关系，如下所示，P是投影矩阵，L是损失函数，Ω(P)是正则化计算，超调参数为λ,矩阵范数为F；

min_PL(M_sP，Z_s) (22)

基于投影矩阵P，将不可见类图像样本直接映射到属性空间，为解决偏差问题，提出逆向学习方法基于属性合成视觉图像特征，完成语义属性空间到视觉图像空间的映射，如此基于投影矩阵P，将不可见类的语义属性映射到图像空间；

具体的，为了解决实践中视觉空间和语义空间差距巨大，由于合成数据的判别行不够、内在拓扑结构不足、最小重构误差等原因，合成数据特征分布存在与原始特征完全不同的可能性的问题，本实施例还提出一种辅助隐式嵌入空间V，使得语义属性空间和图像特征空间相协调

V＝[v_nd]∈R^E×D (25)

通过让空间V保留语义属性空间和图像特征空间两者的内在结构信息，估计两个矩阵之间的欧几里得距离；

通过空间V，实现先从图像特征空间X中分解得到空间V，进而从空间V分解得到语义属性空间A，且P、Q均为投影矩阵，如下式所示；

上式中，Ω₁为对偶图，L是图像的拉普拉斯矩阵，D、I是图像空间的维数，L＝D-I，V是辅助隐式嵌入空间，Tr()为计算矩阵的轨迹；

Ω₁(V)＝Tr(V^TDV)-Tr(V^TIV)＝Tr(V^TLV) (28)

更具体的，为了解决方差信息大量集中于少数的投影中，分配不均，导致合成数据的剩余维度出现大幅度方差衰减的问题，本实施例通过调整旋转，让集中的信息可以有效扩散到所有学习模型的维度；

通过修正上式(26)的投影矩阵Q，采用正交旋转，QQ^T＝I，获取下式(21)，通过正交变换改变坐标系来旋转整个特征空间，进而在不改变整体方差Г的条件下，将高方差扩散到低方差维度；

Tr(Q^TP^TZ^TZPQ)＝Tr(P^TZ^TZP) (29)

保证整体方差Г不变，将整体方差Г趋于平均的扩散到学习模型的所有维度，进而覆盖视觉图像空间的真实数据分布，即要求方差的扩散标准差∏在基于语义属性合成的视觉特征数据空间中尽可能地要小，所以将方差Г的扩散标准差∏做最小化求解，扩散标准差∏的简化表达式如下所示，μ、γ为环境常量；

通过上式将扩散标准差∏最小化的问题，转化为K最大化的问题，再结合上式(26)和(28)，将从属性空间A映射到图像空间X的重构误差最小化，同时保留数据结构，并让数据扩散到各个维度，β为K的系数；

所述数据扩展学习基于增广矩阵生成的基本理论，采用训练数据集为基础，持续生成新的数据，增加训练数据集样本的数量，将小样本的训练数据集扩展成为大样本的训练数据集，进而将小样本学习模型转化为传统的大样本深度学习模型，完成学习工作；

具体的，本实施例提出一种算法，创建包含n×n单元的网络，每个单元包含一个不同的旋转的随机图像，并在新创建的图像中引入自然背景。基于小样本数据集进行图像生成，将新图像补充到训练数据集，扩展后的数据集具有大规模图像样本；

所述数据扩展学习模型工作流程如下：

(61)基于小样本数据集，构建包含G张图片的文件列表，图片定为I_i，i∈G，初始化网格的每个单元内容,n×n＝M；

(62)计算目标尺寸，I_q＝ceil(I_i)/2；

计算目标阵列I_q；

(63)旋转目标阵列，旋转角度为0-180随机数值，产生新的图像I_r；

应用基于相邻像素的人工像素填充在旋转产生的误差背景，由图像I_r生成图像I_a；所有图像I_a组合放入对应单元M中，如下式所示

I_c＝[I_am，...，I_a(m+3)，...，I_a(M)] (32)

(64)更新数据集，阵列单元I_c转换为图像矩阵I_m；

图像矩阵I_m的像素格式转换为规定格式；优选的，本实施例为像素；

存储图像I_m(i)到目标数据集文件夹

基于生成的新图像，更新训练数据集，并以此进行传统学习模型的学习训练，完成数据扩展学习任务

所述模型增强学习基于小样本训练数据集，应用外部存储器，对新样本数据信息完成快速编码、索引和吸收工作，对样本数据和类别标注的匹配关系进行预测；

所述模型增强学习算法模型的工作流程如下：

(71)学习模型任务设置，选择参数θ来降低从数据集D到数据集分布p(D)的学习成本L，

θ＝argmin_θF_D`p(D)[L(D；θ)] (33)

数据集D的表达式如下式所示，其中x_t为目标图像样本，y_t为目标图像类别标注，

上述任务设置中，y_t为分类器模型识别的目标类，且同时为样本图像x_t一起以时间偏移的方式作为输入的类标注；

所述模型增强学习的任务设置包括如下：

(711)为目标图像样本x_t在给定的时间步长下输出正确的类别标注；

(712)将类别标注在不同的数据集之间重组，以避免学习模型在其权重中出现数据和类别的慢速绑定干扰，进而面向基于小样本的新样本信息快速索引和编码；

(713)在存储器中保留图像数据样本直到下一个时间步中出现正确的类别标注，并将数据和类别信息进行绑定并存储以作下一步使用；

(714)类别标注重组后，前期的数据和类别的匹配关系失效，对新输入的随机样本数据，可完成前期对目标类的随机预测，和后期基于存储器的目标类别准确预测；

(715)建立预测分布函数，计算每个时间步的相应损失量值；

(72)应用快速编码和索引模块，模型增强学习算法训练学习一种选择策略，即选择面向记忆存储的数据表示类型和面向准确预测的数据使用方法，进而通过控制速度来对只见过一次的数据进行准确预测，完成基于模型增强的小样本学习目标；

(73)针对目标数据信息进行精确编码和纯基于内容的检索，当新数据信息写入到最少使用位置时，对最近编码的信息进行保存；当新信息写入到最近使用位置时，可用更新、相关度更高的信息对记忆值进行更新；

本实施例还公开了基于上述在环学习系统的面向自动驾驶环境感知的小样本在环学习方法，所述方法包括如下：

步骤A：构建在环仿真实验平台，其包括：

实验区，所述实验区为由木板构建成封闭的长方体工作腔；

工作台，所述工作台为由支撑杆构建成与实验区四条侧边匹配的长方体工作腔；

所述工作台位于所述实验区的下端，通过实验区底部的木板支撑实验区，且所述工作台工作腔的底部设置有支撑工控机3和电源8的木板；

所述实验区的前端内侧设置有用于输出相机数据的显示屏1，左右侧边内侧均水平设置有照明灯移动支架2，所述照明灯移动支架2设置有可调节亮度的照明灯4，后端内侧水平设置运动支架7，所述运动支架7活动设置万向连接部6，所述万向连接部6设置有相机5。

步骤B：实现面向自动驾驶环境感知的小样本在环仿真开发方法，其包括：

B1，工控机3、相机5与显示屏1均与电源8电连接，且显示屏1和相机5均与所述工控机3电连接；

B2，依次开启电源8开关与工控机开关，电力驱动在环仿真实验平台工作；

B3，设置显示屏1为工作状态，工控机3运行在环仿真软件，生成实验用虚拟交通场景；

B4，设置照明灯4为工作状态，调节照明灯4至实验用环境亮度；

B5，设置相机5为工作状态，运行工控机3的相机数据采集软件，通过移动万向连接部6延运动支架7轴向运动调整相机5的相对位置，设置相机5相对万向连接部6的角度调整相机5的数据采集方向点，工控机3实时采集显示屏1输出的相机数据图像，上传数据至ECU模块进行目标检测分析；

B6，检测结果输出至行为决策模块进行决策工作，输出决策控制信号；

B7，根据获取的决策控制信号，在环仿真软件在虚拟交通场景执行对应的控制执行操作；

B8，面向自动驾驶环境感知的小样本在环仿真开发实验的自动驾驶闭环形成，持续运行直至实验结束。

本发明的一种面向自动驾驶环境感知的小样本在环学习系统和方法，基于数据训练集对目标学习模型进行算法训练，获取目标检测算法，在物理ECU模块进行小样本训练集训练学习，获取目标感知算法，通过获取的目标检测算法和目标感知算法进行所述系统的目标算法测试，所述系统包括：样本输入模块，用于输入小样本测试集实验数据；图像采集模块，用于采集实验用道路图像以及视频数据；图像显示模块，用于显示实验过程的模拟道路图像数据；物理ECU模块，用于集成小样本训练集训练学习的目标感知算法，进程目标场景的物体检测；结果输出模块，用于所述系统通过目标算法对环境进行感知的结果输出。本发明的一种面向自动驾驶环境感知的小样本在环学习系统和方法，设置的在环实验仿真平台，对比实体车辆，开发成本降低、实验效率高，同时实验的流程相对实体车辆也简便灵活；配合仿真软件，实现场景自定义功能，场景可完全还原实际路况，模拟生成大量实际情况中很难实现的场景数据，以及生成面向极端工况目标检测的复杂场景或者危险场景，增加了实验开发的安全性。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种面向自动驾驶环境感知的小样本在环学习系统，其特征在于，所述系统基于数据训练集对目标学习模型进行算法训练，获取目标检测算法，在物理ECU模块进行小样本训练集训练学习，获取目标感知算法，通过获取的目标检测算法和目标感知算法进行所述系统的目标算法测试，所述系统包括：

样本输入模块，用于输入小样本测试集实验数据；

图像采集模块，用于采集实验用道路图像以及视频数据；

图像显示模块，用于显示实验过程的模拟道路图像数据；

物理ECU模块，用于集成小样本训练集训练学习的目标感知算法，进程目标场景的物体检测；

结果输出模块，用于所述系统通过目标算法对环境进行感知的结果输出；

所述物理ECU模块进行小样本训练学习获取目标感知算法包括如下步骤：

(1)通过数据输入接口输入实验用数据；

(2)基于训练数据集进行模型学习训练获取目标分类器；

(3)对比目标相机采集的图像以及用于对比的标准图像，分析并计算获取图像转换参数，进行相机标定；

(4)获取目标相机采集的图像，采用畸变矩阵、内参数矩阵、旋转向量、位移向量作为计算参数，对采集的车道线图像进行畸变矫正，获取矫正后的图像；

(5)基于概念匹配学习、图像匹配学习和数据扩展学习，将小样本学习与概念系统内的语义概念或图像概念进行匹配；采用数学模型，将小样本数据扩展为大样本数据，通过大样本数据的机器学习模型进行感知操作；

(6)优化机器学习模型，将数据驱动学习转化为模型驱动学习，进行模型增强学习；

(7)输出训练学习模型训练的目标算法。

2.根据权利要求1所述的一种面向自动驾驶环境感知的小样本在环学习系统，其特征在于，所述对采集的车道线图像进行畸变矫正的过程包括如下：

相机标定，采集拍摄对象的数据图像，获取世界坐标系点以及与世界坐标系对应的图像点，通过世界坐标系点和图像点计算相机的畸变矩阵、内参数矩阵、旋转向量和位移向量；

图像畸变矫正，获取目标图像的世界坐标系点和图像点，采用畸变矩阵、内参数矩阵、旋转向量和位移向量为计算参数，对采集的车道线图像进行畸变矫正，获取矫正图像。

3.根据权利要求2所述的一种面向自动驾驶环境感知的小样本在环学习系统，其特征在于，所述相机标定包括如下：

(11)设置世界坐标系XO₁Y，O₁点为坐标系原点，即车道检测算法在环仿真开发方法中相机进行图像数据采集视野下边沿的中心，Y轴为车辆坐标系的纵向，表示车辆前进方向，X轴为横向，表示车辆右转方向，坐标系内的物点坐标用(x，y)表示，单位cm；

(12)设置图像坐标系UO₂V，O₂点为坐标系原点，即车道检测算法在环仿真开发方法中相机图像平面的右上角，U轴是图像上边的一行元素，方向向左，V轴是图像右边的一列像素，方向向下，坐标系内的像素点坐标用(u，v)表示，表征该像素点位于图像数组的列数和行数，单位为像素；

(13)构建纵向畸变矫正算法模型，截取世界坐标系XO₁Y的Y轴，即车辆纵向的纵向切面，存在地平面上的一点I，世界坐标系中I点坐标为(0，y)，图像坐标系中I′点坐标为(u，v)，I点和I′点为相互映射关系，两坐标系纵向的V轴和Y轴的对应关系为：

公式(1)中，h为摄像头的高度，θ为摄像头俯仰角，α为摄像头张角，f为摄像头焦距；

(14)构建横向畸变矫正算法模型，截取世界坐标系XO₁Y的Y轴，即车辆纵向的纵向切面，

地平面上的一点I，世界坐标系中I点坐标为(0，y)，图像坐标系中I′点坐标为(u，v)，I点和I′为相互映射关系，两坐标系横向的U轴和X轴的对应关系为：

公式(2)中，l为摄像头视野下部的宽度，N为像素的总列数。

4.根据权利要求1所述的一种面向自动驾驶环境感知的小样本在环学习系统，其特征在于，所述概念匹配学习通过构建直接属性预测模型执行，设m为样本空间，n为类别空间，z为属性空间，p＝1表示条件判断为真，p＝0表示条件判断为假，i为自然数，具体包括如下：

(21)训练概率分类器模型

针对任意目标属性z_m，基于小样本训练数据集进行学习训练，构建概率分类器模型；

表示形式，即类别w对应二值化标注

(22)构建图像-属性匹配规则，基于步骤(21)构建的概率分类器模型，对咪表概率进行预测，获取完整的图像-属性匹配规则，如下式：

(23)测试概率分类器模型

通过集合属性的匹配特征，针对测试数据集不可见类图像的识别，设定测试数据集每个类别n确定包含其对应的属性向量zⁿ，即：

p(z|n)＝[[z＝zⁿ]] (4)

基于贝叶斯法则得到属性-类别的关联表示如下所示：

通过式(3)和(5)，获取小样本测试数据集中图像和类别的对应关系：

(24)基于直接属性预测的小样本数据分类器模型，设定样本数据集相同类别的数据具有先验性，忽略类别因子p(n)；

设定一个属性因子p(z)，分布公式如下：

采用经验平均值，基于样本训练数据集，其属性优先级的表示如下：

基于决策规则f：m→n，根据小样本测试数据集的所有类别，为目标测试样本m分配最佳输出类别，设定l为获取小样本测试数据集的目标图像分类器模型如下

5.根据权利要求4所述的一种面向自动驾驶环境感知的小样本在环学习系统，其特征在于，所述概念匹配学习还通过构建间接属性预测模型执行，基于直接属性预测进行相关内容的优化工作，获取间接属性预测的内容，具体优化工作包括如下：

(31)基于小样本训练数据集的类别w_k，k＝1，2，3…k，训练学习一个统计型多类别分类器模型p(w_k|m)；

(32)基于直接属性预测，设定属性与类别的确定依赖关系，如下所示：

(33)根据步骤(31)和(32)，获取间接属性与样本关联的概率分类器模型，

(34)将优化后的概率分类器模型代入直接属性预测任务，获取最终的目标分类器模型。

6.根据权利要求1所述的一种面向自动驾驶环境感知的小样本在环学习系统，其特征在于，所述图像匹配学习通过目标样本数据的语义属性概念，合成新的虚拟图像，进行不可见类图像的识别；所述图像匹配学习包括如下：

(41)基于小样本训练数据集，进行可见类的分类器模型训练学习；

(42)通过不可见类数据的属性特征合成视觉特征，基于合成视觉元素，完善样本训练数据集，并进行不可见类的分类器模型训练学习；

(43)基于测试数据集，对训练完成的分类器模型进行测试，进行不可见类识别。

7.根据权利要求1所述的一种面向自动驾驶环境感知的小样本在环学习系统，其特征在于，所述数据扩展学习基于增广矩阵生成的基本理论，采用训练数据集为基础，持续生成新的数据，增加训练数据集样本的数量。

8.根据权利要求1所述的一种面向自动驾驶环境感知的小样本在环学习系统，其特征在于，所述模型增强学习基于小样本训练数据集，应用外部存储器，对新样本数据信息完成快速编码、索引和吸收工作，对样本数据和类别标注的匹配关系进行预测。

9.基于权利要求 1-8任一所述的在环学习系统的面向自动驾驶环境感知的小样本在环学习方法，其特征在于，所述方法包括如下：

步骤A：构建在环仿真实验平台，其包括：

实验区，所述实验区为由木板构建成封闭的长方体工作腔；

工作台，所述工作台为由支撑杆构建成与实验区四条侧边匹配的长方体工作腔；

所述工作台位于所述实验区的下端，通过实验区底部的木板支撑实验区，且所述工作台工作腔的底部设置有支撑工控机和电源的木板；

所述实验区的前端内侧设置有用于输出相机数据的显示屏，左右侧边内侧均水平设置有照明灯移动支架，所述照明灯移动支架设置有可调节亮度的照明灯，后端内侧水平设置运动支架，所述运动支架活动设置万向连接部，所述万向连接部设置有相机；

步骤B：实现面向自动驾驶环境感知的小样本在环仿真开发方法，其包括：

B1，工控机、相机与显示屏均与电源电连接，且显示屏和相机均与所述工控机电连接；

B2，依次开启电源开关与工控机开关，电力驱动在环仿真实验平台工作；

B3，设置显示屏为工作状态，工控机运行在环仿真软件，生成实验用虚拟交通场景；

B4，设置照明灯为工作状态，调节照明灯至实验用环境亮度；

B5，设置相机为工作状态，运行工控机的相机数据采集软件，通过移动万向连接部延运动支架轴向运动调整相机的相对位置，设置相机相对万向连接部的角度调整相机的数据采集方向点，工控机实时采集显示屏输出的相机数据图像，上传数据至ECU模块进行目标检测分析；

B6，检测结果输出至行为决策模块进行决策工作，输出决策控制信号；

B7，根据获取的决策控制信号，在环仿真软件在虚拟交通场景执行对应的控制执行操作；

B8，面向自动驾驶环境感知的小样本在环仿真开发实验的自动驾驶闭环形成，持续运行直至实验结束。

Images