CN113192198A - 一种基于智能网联汽车的高精度动态地图生成与应用方法及系统 - Google Patents

一种基于智能网联汽车的高精度动态地图生成与应用方法及系统 Download PDF

Info

Publication number
CN113192198A
CN113192198A CN202110568557.5A CN202110568557A CN113192198A CN 113192198 A CN113192198 A CN 113192198A CN 202110568557 A CN202110568557 A CN 202110568557A CN 113192198 A CN113192198 A CN 113192198A
Authority
CN
China
Prior art keywords
image
dynamic map
semantic
map
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110568557.5A
Other languages
English (en)
Inventor
吴统明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110568557.5A priority Critical patent/CN113192198A/zh
Publication of CN113192198A publication Critical patent/CN113192198A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种地图生成的技术领域，揭露了一种基于智能网联汽车的高精度动态地图生成与应用方法，包括：汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中，汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理；利用特征提取算法对预处理后的图像进行特征提取处理；利用语义特征提取算法对图像视觉特征进行处理；初始化点云地图场景，并利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图；对生成的三维动态地图进行精度调优处理，生成高精度动态地图。本发明还提供了一种高精度动态地图生成与应用系统。本发明实现了高精度动态地图生成与应用。

Description

一种基于智能网联汽车的高精度动态地图生成与应用方法及 系统
技术领域
本发明涉及地图生成的技术领域，尤其涉及一种基于智能网联汽车的高精度动态地图生成与应用方法及系统。
背景技术
随着科学技术的快速发展，汽车技术正朝向电动化、智能化、网联化、共享化发展方向快速迈进，相关技术领域包括电驱动、线控底盘、集成控制、自动驾驶、环境传感、无线通信等。汽车逐渐形成了智能汽车网，如何利用智能汽车网实现汽车行驶动态地图生成，成为当前研究领域的热门话题。
现有的动态地图生成算法中，常采用单纯的去除环境先验动态物体轮廓的方法来得到相对稳定的图像特征，而事实证明，仅仅通过实例分割方法去除的动态物体轮廓，往往由于识别网络的波动性以及非先验动态物体的可移动性而使得建图结果并不理想。
鉴于此，如何对结合视觉特征和语义特征，实现更为稳定的高精度动态地图生成，成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种基于智能网联汽车的高精度动态地图生成与应用方法，通过利用特征提取算法对智能网联汽车实时采集的二维图像进行处理，得到二维图像视觉特征，并利用语义特征提取算法对二维图像视觉特征进行处理，得到图像的语义特征；利用点云地图描述三维地图场景，从而基于图像的视觉特征和语义特征生成高精度动态地图。
为实现上述目的，本发明提供的一种基于智能网联汽车的高精度动态地图生成与应用方法，包括：
汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中，汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理；
利用特征提取算法对预处理后的图像进行特征提取处理，得到图像视觉特征；
利用语义特征提取算法对图像视觉特征进行处理，得到图像的语义特征；
初始化点云地图场景，并利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图；
对生成的三维动态地图进行精度调优处理，生成高精度动态地图，并将所生成的高精度动态地图上传到汽车智能网。
可选地，所述汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理，包括：
汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中；所述汽车智能网根据汽车的行驶轨迹，将行驶轨迹有关联的汽车所发布的图像进行拼接；
1)对所接收的图像中每一个像素的三个分量求最大值，并将该最大值设置为该像素点的灰度值，得到图像的灰度图，所述灰度化处理的公式为：
G(i,j)＝max{R(i,j),G(i,j),B(i,j)}
其中：
(i,j)为图像中的一个像素点；
R(i,j),G(i,j),B(i,j)分别为像素点(i,j)在R、G、B三个颜色通道中的值；
G(i,j)为像素点(i,j)的灰度值；
2)对于所述灰度图，利用分段线性变换的方式对图像灰度进行拉伸，所述灰度拉伸的公式为：
Figure BDA0003081714870000021
其中：
f(x,y)为灰度图；
MAXf(x,y),MINf(x,y)分别为灰度图的最大灰度值和最小灰度值。
可选地，所述利用特征提取算法对预处理后的图像进行特征提取处理，包括：
1)利用预设定的阈值t将灰度范围[0,L-1]的图像划分为S1和S2两部分，其中S1和S2分别表示图像灰度值的变化范围在[0,t]和[t+1,L-1]之间的像素灰度值概率分布；
2)计算S1和S2两部分的熵H1和H2：
Figure BDA0003081714870000022
Figure BDA0003081714870000023
其中：
Pi为第i级灰度值出现的概率；
3)将每幅图像的熵记为H1和H2之和，则自适应阈值t为：
t＝β(H1+H2)
其中：
β为自适应系数，将其设置为0.2，根据实验结果，若β＝0.2，能够分割提取出更为明显的特征点；
4)根据计算得到的自适应阈值，提取图像的FAST特征点，并将图像的FAST特征点作为图像的视觉特征。
可选地，所述利用语义特征提取算法对图像视觉特征进行处理，包括：
1)训练得到Tiny-YOLO权重模型；在本发明一个具体实施例中，模型的训练集为MS-COCO数据集；
2)在训练得到的Tiny-YOLO权重模型后添加条件随机场：
Figure BDA0003081714870000024
Figure BDA0003081714870000025
Figure BDA0003081714870000026
其中：
x表示语义目标类别的随机变量；
Z为归一化因子；
Figure BDA0003081714870000027
表示随机场图节点标注类别的概率；
P(xi)表示语义目标类别为i的概率；
fij表示第i个语义目标类别和第j个语义目标类别之间的差异大小，
Figure BDA0003081714870000028
其中pi,j表示第i个语义目标类别和第j个语义目标类别被同时检测出现的概率；
μ(xi,xj)表示标记兼容函数，当xi＝xj其值为0，否则为1；
wn表示线性组合权值的大小；
Figure BDA0003081714870000029
为二元势函数，表示随机场图节点xi,xj之间的相关性；
所述条件随机场能够融合目标分类器检测出的分类信息
Figure BDA00030817148700000210
以及目标的局部信息fij来实现模型的建立，将语义目标检测过程转换为后验概率极大化的过程，相较于传统算法，本发明结合像素块对之间的二元势能以及参与图像语义标记过程中的全部像素对，联合图像的分类信息以及局部信息，实现了在较大的范围上的建模过程，从而能够检测出更加细致的标签信息；
3)将图像视觉特征输入到Tiny-YOLO权重模型，利用条件随机场输出检测到的语义特征。
可选地，所述利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图，包括：
1)计算点云空间各个维度的方差，选择具有最大方差最大维度k；
2)提取维度k上的中值进行集合划分，并构造超平面C；
3)根据摄像头获取的信息，定义场景的最大的尺寸，由此来建立根节点，并根据语义特征确定生成的物体类别，同时根据视觉特征确定物体所存在的树节点；
4)实时计算节点与语义关联事件的概率p/(1-p)，其对数为：
Figure BDA0003081714870000031
令Zt表示t时刻节点n的观察结果，从开始到时间t的观察得分结果为L(n|Z1：t)，则在t+1时刻，节点n的观察得分结果为：
L(n|Z1：t+1)＝L(n|Z1：t)+L(n|Zt)
Figure BDA0003081714870000032
其中：
pa,pf为预定义的值，当节点被反复占用时，节点n的观察得分为(t+1)pa，因此0＜pa，同时L(n|Zt)表示概率对数值，即节点n被观察为Zt情况下的值，因此pa≤1，同时节点被部分观察到为小概率事件，因此pa＞pf，通过实验判断，将pa,pf分别设置为0.8和0.3，能构建得到更准确的动态地图；
当反复观察到节点被占用时，节点的对数优势得分将增加，否则降低。式中，pa,pf为预定义的值，如果节点经常被观测到，其占有概率会上升，那些未被观测到以及不在考虑中的点(地面部分以及动态点部分)的占有概率会相对减小。可以通过逆logit变换来计算节点的占据概率；仅当占用概率大于预定阈值时，才认为节点被占用并且将在八叉树图中可视化。换句话说，已被观察到被多次占据的节点被认为是稳定的占据节点。这样就能够让节点与语义的关联概率得到更新，可以看出节点被观测到的次数越多，概率就越大，观测的次数变少，概率就会变小，同时，最新时刻t+1的得分结果为t时刻以及t时刻之前的得分不断累加所得，因此所构建的地图也将实时变化，从而实现动态地图的构建；
5)根据节点与语义关联事件的关联关系，依次将语义特征所对应的语义关联事件在对应的节点位置生成；最终生成的立方体节点即为三维动态地图。
可选地，所述对生成的三维动态地图进行精度调优处理，包括：
所述节点位置的更新模型为：
Figure BDA0003081714870000033
其中：
M表示更新前的节点位置；
w表示权重；
Figure BDA0003081714870000034
表示坐标的位置信息；
Figure BDA0003081714870000041
表示旋转矩阵；
采用图优化的方法计算
Figure BDA0003081714870000042
和
Figure BDA0003081714870000043
对生成的三维动态地图进行精度调优处理，生成高精度动态地图。
此外，为实现上述目的，本发明还提供一种高精度动态地图生成与应用系统，所述系统包括：
图像数据获取装置，用于汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中；
数据处理器，用于汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理，利用特征提取算法对预处理后的图像进行特征提取处理，利用语义特征提取算法对图像视觉特征进行处理；
地图生成装置，用于初始化点云地图场景，并利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图,对生成的三维动态地图进行精度调优处理，生成高精度动态地图，并将所生成的高精度动态地图上传到汽车智能网。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有高精度动态地图生成程序指令，所述高精度动态地图生成程序指令可被一个或者多个处理器执行，以实现如上所述的基于智能网联汽车的高精度动态地图生成与应用的实现方法的步骤。
相对于现有技术，本发明提出一种基于智能网联汽车的高精度动态地图生成与应用方法，该技术具有以下优势：
首先，本发明提出一种视觉特征提取算法，由于在传统FAST特征点提取过程中，当光照或环境改变时，会易造成特征点数量急剧减少，从而无法提取到有效特征，因此本发明首先利用预设定的阈值t将灰度范围[0,L-1]的图像划分为S1和S2两部分，其中S1和S2分别表示图像灰度值的变化范围在[0,t]和[t+1,L-1]之间的像素灰度值概率分布；计算S1和S2两部分的熵H1和H2：
Figure BDA0003081714870000044
Figure BDA0003081714870000045
其中：Pi为第i级灰度值出现的概率；将每幅图像的熵记为H1和H2之和，则自适应阈值t为：
t＝β(H1+H2)
其中：β为自适应系数；根据计算得到的自适应阈值，提取图像的FAST特征点，并将图像的FAST特征点作为图像的视觉特征。通过自适应阈值的方法，可以得到适应不同环境条件的最佳阈值，在不同环境均能提取到有效的视觉特征，有助于后续动态地图的准确生成。
同时，本发明提出一种地图生成方法，通过初始化若干点云数据，生成点云地图场景；并利用基于视觉特征和语义特征的三维地图生成算法生成三维地图，所述基于视觉特征和语义特征的三维地图生成算法流程为：计算点云空间各个维度的方差，选择具有最大方差最大维度k；提取维度k上的中值进行集合划分，并构造超平面C；根据摄像头获取的信息，定义场景的最大的尺寸，由此来建立根节点，并根据语义特征确定生成的物体类别，同时根据视觉特征确定物体所存在的树节点；实时计算节点与语义关联事件的概率p/(1-p)，其对数为：
Figure BDA0003081714870000046
令Zt表示t时刻节点n的观察结果，从开始到时间t的观察得分结果为L(n|Z1：t)，则在t+1时刻，节点n的观察得分结果为：
L(n|Z1t+1)＝L(n|Z1：t)+L(n|zt)
Figure BDA0003081714870000051
其中：pa,pf为预定义的值，当节点被反复占用时，节点n的观察得分为(t+1)pa，因此0＜pa，同时L(n|Zt)表示概率对数值，即节点n被观察为Zt情况下的值，因此pa≤1，同时节点被部分观察到为小概率事件，因此pa＞pf，通过实验判断，将pa,pf分别设置为0.8和0.3，能构建得到更准确的动态地图；当反复观察到节点被占用时，节点的对数优势得分将增加，否则降低。式中，pa,pf为预定义的值，如果节点经常被观测到，其占有概率会上升，那些未被观测到以及不在考虑中的点(地面部分以及动态点部分)的占有概率会相对减小。可以通过逆logit变换来计算节点的占据概率；仅当占用概率大于预定阈值时，才认为节点被占用并且将在八叉树图中可视化。换句话说，已被观察到被多次占据的节点被认为是稳定的占据节点。这样就能够让节点与语义的关联概率得到更新，可以看出节点被观测到的次数越多，概率就越大，观测的次数变少，概率就会变小，同时，最新时刻t+1的得分结果为t时刻以及t时刻之前的得分不断累加所得，因此所构建的地图也将实时变化，从而实现动态地图的构建；根据节点与语义关联事件的关联关系，依次将语义特征所对应的语义关联事件在对应的节点位置生成；最终生成的立方体节点即为三维动态地图。
附图说明
图1为本发明一实施例提供的一种基于智能网联汽车的高精度动态地图生成与应用方法的流程示意图；
图2为本发明一实施例提供的一种高精度动态地图生成与应用系统的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
通过利用特征提取算法对智能网联汽车实时采集的二维图像进行处理，得到二维图像视觉特征，并利用语义特征提取算法对二维图像视觉特征进行处理，得到图像的语义特征；利用点云地图描述三维地图场景，从而基于图像的视觉特征和语义特征生成高精度动态地图。参照图1所示，为本发明一实施例提供的基于智能网联汽车的高精度动态地图生成与应用方法示意图。
在本实施例中，基于智能网联汽车的高精度动态地图生成与应用方法包括：
S1、汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中；汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理。
首先，汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中；所述汽车智能网根据汽车的行驶轨迹，将行驶轨迹有关联的汽车所发布的图像进行拼接；
进一步地，所述汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理，所述预处理流程为：
1)对所接收的图像中每一个像素的三个分量求最大值，并将该最大值设置为该像素点的灰度值，得到图像的灰度图，所述灰度化处理的公式为：
G(i,j)＝max{R(i,j),G(i,j),B(i,j)}
其中：
(i,j)为图像中的一个像素点；
R(i,j),G(i,j),B(i,j)分别为像素点(i,j)在R、G、B三个颜色通道中的值；
G(i,j)为像素点(i,j)的灰度值；
2)对于所述灰度图，利用分段线性变换的方式对图像灰度进行拉伸，所述灰度拉伸的公式为：
Figure BDA0003081714870000061
其中：
f(x,y)为灰度图；
MAXf(x,y),MINf(x,y)分别为灰度图的最大灰度值和最小灰度值。
S2、利用特征提取算法对预处理后的图像进行特征提取处理，得到图像视觉特征。
进一步地，本发明利用特征提取算法对预处理后的图像进行特征提取处理，得到图像的视觉特征，所述预处理流程为：
1)利用预设定的阈值t将灰度范围[0,L-1]的图像划分为S1和S2两部分，其中S1和S2分别表示图像灰度值的变化范围在[0,t]和[t+1,L-1]之间的像素灰度值概率分布；
2)计算S1和S2两部分的熵H1和H2：
Figure BDA0003081714870000062
Figure BDA0003081714870000063
其中：
Pi为第i级灰度值出现的概率；
3)将每幅图像的熵记为H1和H2之和，则自适应阈值t为：
t＝β(H1+H2)
其中：
β为自适应系数，将其设置为0.2，根据实验结果，若β＝0.2，能够分割提取出更为明显的特征点；
4)根据计算得到的自适应阈值，提取图像的FAST特征点，并将图像的FAST特征点作为图像的视觉特征。
S3、利用语义特征提取算法对图像视觉特征进行处理，得到图像的语义特征。
进一步地，本发明利用语义特征提取算法对图像视觉特征进行处理，所述语义特征提取算法流程为：
1)训练得到Tiny-YOLO权重模型；在本发明一个具体实施例中，模型的训练集为MS-COCO数据集；
2)在训练得到的Tiny-YOLO权重模型后添加条件随机场：
Figure BDA0003081714870000064
Figure BDA0003081714870000065
Figure BDA0003081714870000066
其中：
x表示语义目标类别的随机变量；
Z为归一化因子；
Figure BDA0003081714870000067
表示随机场图节点标注类别的概率；
P(xi)表示语义目标类别为i的概率；
fij表示第i个语义目标类别和第j个语义目标类别之间的差异大小，
Figure BDA0003081714870000071
其中pi,j表示第i个语义目标类别和第j个语义目标类别被同时检测出现的概率；
μ(xi,xj)表示标记兼容函数，当xi＝xj其值为0，否则为1；
wn表示线性组合权值的大小；
Figure BDA0003081714870000072
为二元势函数，表示随机场图节点xi,xj之间的相关性；
所述条件随机场能够融合目标分类器检测出的分类信息
Figure BDA0003081714870000073
以及目标的局部信息fij来实现模型的建立，将语义目标检测过程转换为后验概率极大化的过程，相较于传统算法，本发明结合像素块对之间的二元势能以及参与图像语义标记过程中的全部像素对，联合图像的分类信息以及局部信息，实现了在较大的范围上的建模过程，从而能够检测出更加细致的标签信息；
3)将图像视觉特征输入到Tiny-YOLO权重模型，利用条件随机场输出检测到的语义特征。
S4、初始化点云地图场景，并利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图。
进一步地，本发明通过初始化若干点云数据，生成点云地图场景；并利用基于视觉特征和语义特征的三维地图生成算法生成三维地图，所述基于视觉特征和语义特征的三维地图生成算法流程为：
1)计算点云空间各个维度的方差，选择具有最大方差最大维度k；
2)提取维度k上的中值进行集合划分，并构造超平面C；
3)根据摄像头获取的信息，定义场景的最大的尺寸，由此来建立根节点，并根据语义特征确定生成的物体类别，同时根据视觉特征确定物体所存在的树节点；
4)实时计算节点与语义关联事件的概率p/(1-p)，其对数为：
Figure BDA0003081714870000074
令Zt表示t时刻节点n的观察结果，从开始到时间t的观察得分结果为L(n|Z1∶t)，则在t+1时刻，节点n的观察得分结果为：
L(n|Z1∶t+1)＝L(n|Z1：t)+L(n|Zt)
Figure BDA0003081714870000075
其中：
pa,pf为预定义的值，当节点被反复占用时，节点n的观察得分为(t+1)pa，因此0＜pa，同时L(n|Zt)表示概率对数值，即节点n被观察为Zt情况下的值，因此pa≤1，同时节点被部分观察到为小概率事件，因此pa＞pf，通过实验判断，将pa,pf分别设置为0.8和0.3，能构建得到更准确的动态地图；
当反复观察到节点被占用时，节点的对数优势得分将增加，否则降低。式中，pa,pf为预定义的值，如果节点经常被观测到，其占有概率会上升，那些未被观测到以及不在考虑中的点(地面部分以及动态点部分)的占有概率会相对减小。可以通过逆logit变换来计算节点的占据概率；仅当占用概率大于预定阈值时，才认为节点被占用并且将在八叉树图中可视化。换句话说，已被观察到被多次占据的节点被认为是稳定的占据节点。这样就能够让节点与语义的关联概率得到更新，可以看出节点被观测到的次数越多，概率就越大，观测的次数变少，概率就会变小，同时，最新时刻t+1的得分结果为t时刻以及t时刻之前的得分不断累加所得，本发明实现动态地图的构建；
5)根据节点与语义关联事件的关联关系，依次将语义特征所对应的语义关联事件在对应的节点位置生成；最终生成的立方体节点即为三维动态地图。
S5、对生成的三维动态地图进行精度调优处理，生成高精度动态地图，并将所生成的高精度动态地图上传到汽车智能网。
进一步地，本发明对对生成的三维动态地图进行精度调优处理，生成高精度动态地图，所述三维动态地图的精度调优流程为：
所述节点位置的更新模型为：
Figure BDA0003081714870000081
其中：
M表示更新前的节点位置；
w表示权重；
Figure BDA0003081714870000082
表示坐标的位置信息；
Figure BDA0003081714870000083
表示旋转矩阵；
采用图优化的方法计算
Figure BDA0003081714870000084
和
Figure BDA0003081714870000085
对生成的三维动态地图进行精度调优处理，生成高精度动态地图。
下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：Inter(R)Core(TM)i7-6700K CPU，软件为Matlab2018a；对比方法为基于CNN的地图生成方法以及基于GAN的地图生成方法。
在本发明所述算法实验中，数据集为10G的汽车拍摄的时序图像。本实验通过将汽车拍摄的时序图像输入到算法模型中，将地图生成的准确率作为算法可行性的评价指标，其中地图生成的准确率越高，则说明算法的有效性、可行性越高。
根据实验结果，基于CNN的地图生成方法的地图生成准确率为75.11％，基于GAN的地图生成方法的地图生成准确率为83.78％，本发明所述方法的地图生成准确率为88.66％，相较于对比算法，本发明所提出的基于智能网联汽车的高精度动态地图生成与应用方法能够实现更高的地图生成准确率。
发明还提供一种高精度动态地图生成与应用系统。参照图2所示，为本发明一实施例提供的高精度动态地图生成与应用系统的内部结构示意图。
在本实施例中，所述高精度动态地图生成与应用系统1至少包括图像数据获取装置11、数据处理器12、地图生成装置13，通信总线14，以及网络接口15。
其中，图像数据获取装置11可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。
数据处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。数据处理器12在一些实施例中可以是高精度动态地图生成与应用系统1的内部存储单元，例如该高精度动态地图生成与应用系统1的硬盘。数据处理器12在另一些实施例中也可以是高精度动态地图生成与应用系统1的外部存储设备，例如高精度动态地图生成与应用系统1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，数据处理器12还可以既包括高精度动态地图生成与应用系统1的内部存储单元也包括外部存储设备。数据处理器12不仅可以用于存储安装于高精度动态地图生成与应用系统1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
地图生成装置13在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行数据处理器12中存储的程序代码或处理数据，例如高精度动态地图生成程序指令16等。
通信总线14用于实现这些组件之间的连接通信。
网络接口15可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该系统1与其他电子设备之间建立通信连接。
可选地，高精度动态地图生成与应用系统1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在高精度动态地图生成与应用系统1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-15以及高精度动态地图生成与应用系统1，本领域技术人员可以理解的是，图1示出的结构并不构成对高精度动态地图生成与应用系统1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的高精度动态地图生成与应用系统1实施例中，数据处理器12中存储有高精度动态地图生成程序指令16；地图生成装置13执行数据处理器12中存储的高精度动态地图生成程序指令16的步骤，与基于智能网联汽车的高精度动态地图生成与应用方法的实现方法相同，在此不作类述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有高精度动态地图生成程序指令，所述高精度动态地图生成程序指令可被一个或多个处理器执行，以实现如下操作：
汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中，汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理；
利用特征提取算法对预处理后的图像进行特征提取处理，得到图像视觉特征；
利用语义特征提取算法对图像视觉特征进行处理，得到图像的语义特征；
初始化点云地图场景，并利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图；
对生成的三维动态地图进行精度调优处理，生成高精度动态地图，并将所生成的高精度动态地图上传到汽车智能网。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于智能网联汽车的高精度动态地图生成与应用方法，其特征在于，所述方法包括：
汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中，汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理；
利用特征提取算法对预处理后的图像进行特征提取处理，得到图像视觉特征；
利用语义特征提取算法对图像视觉特征进行处理，得到图像的语义特征；
初始化点云地图场景，并利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图；
对生成的三维动态地图进行精度调优处理，生成高精度动态地图，并将所生成的高精度动态地图上传到汽车智能网。
2.如权利要求1所述的一种基于智能网联汽车的高精度动态地图生成与应用方法，其特征在于，所述汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理，包括：
1)对所接收的图像中每一个像素的三个分量求最大值，并将该最大值设置为该像素点的灰度值，得到图像的灰度图，所述灰度化处理的公式为：
G(i,j)＝max{R(i,j),G(i,j),B(i,j)}
其中：
(i,j)为图像中的一个像素点；
R(i,j),G(i,j),B(i,j)分别为像素点(i,j)在R、G、B三个颜色通道中的值；
G(i,j)为像素点(i,j)的灰度值；
2)对于所述灰度图，利用分段线性变换的方式对图像灰度进行拉伸，所述灰度拉伸的公式为：
Figure FDA0003081714860000011
其中：
f(x,y)为灰度图；
MAXf(x,y),MINf(x,y)分别为灰度图的最大灰度值和最小灰度值。
3.如权利要求2所述的一种基于智能网联汽车的高精度动态地图生成与应用方法，其特征在于，所述利用特征提取算法对预处理后的图像进行特征提取处理，包括：
1)利用预设定的阈值t将灰度范围[0,L-1]的图像划分为S1和S2两部分，其中S1和S2分别表示图像灰度值的变化范围在[0,t]和[t+1,L-1]之间的像素灰度值概率分布；
2)计算S1和S2两部分的熵H1和H2：
Figure FDA0003081714860000012
Figure FDA0003081714860000013
其中：
Pi为第i级灰度值出现的概率；
3)将每幅图像的熵记为H1和H2之和，则自适应阈值t为：
t＝β(H1+H2)
其中：
β为自适应系数，将其设置为0.2；
4)根据计算得到的自适应阈值，提取图像的FAST特征点，并将图像的FAST特征点作为图像的视觉特征。
4.如权利要求3所述的一种基于智能网联汽车的高精度动态地图生成与应用方法，其特征在于，所述利用语义特征提取算法对图像视觉特征进行处理，包括：
1)训练得到Tiny-YOLO权重模型；
2)在训练得到的Tiny-YOLO权重模型后添加条件随机场：
Figure FDA0003081714860000021
Figure FDA0003081714860000022
Figure FDA0003081714860000023
其中：
x表示语义目标类别的随机变量；
Z为归一化因子；
Figure FDA0003081714860000024
表示随机场图节点标注类别的概率；
P(xi)表示语义目标类别为i的概率；
fij表示第i个语义目标类别和第j个语义目标类别之间的差异大小，
Figure FDA0003081714860000025
其中pi,j表示第i个语义目标类别和第j个语义目标类别被同时检测出现的概率；
μ(xi,xj)表示标记兼容函数，当xi＝xj其值为0，否则为1；
wn表示线性组合权值的大小；
Figure FDA0003081714860000026
为二元势函数，表示随机场图节点xi,xj之间的相关性；
3)将图像视觉特征输入到Tiny-YOLO权重模型，利用条件随机场输出检测到的语义特征。
5.如权利要求4所述的一种基于智能网联汽车的高精度动态地图生成与应用方法，其特征在于，所述利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图，包括：
1)计算点云空间各个维度的方差，选择具有最大方差最大维度k；
2)提取维度k上的中值进行集合划分，并构造超平面C；
3)根据摄像头获取的信息，定义场景的最大的尺寸，由此来建立根节点，并根据语义特征确定生成的物体类别，同时根据视觉特征确定物体所存在的树节点；
4)实时计算节点与语义关联事件的概率p/(1-p)，其对数为：
Figure FDA0003081714860000027
令Zt表示t时刻节点n的观察结果，从开始到时间t的观察得分结果为L(n|Z1：t)，则在t+1时刻，节点n的观察得分结果为：
L(n|Z1：t+1)＝L(n|Z1：t)+L(n|Zt)
Figure FDA0003081714860000028
其中：
pa,pf为预定义的值，分别为0.8和0.3；
5)根据节点与语义关联事件的关联关系，依次将语义特征所对应的语义关联事件在对应的节点位置生成；最终生成的立方体节点即为三维动态地图。
6.如权利要求5所述的一种基于智能网联汽车的高精度动态地图生成与应用方法，其特征在于，所述对生成的三维动态地图进行精度调优处理，包括：
所述节点位置的更新模型为：
Figure FDA0003081714860000031
其中：
M表示更新前的节点位置；
w表示权重；
Figure FDA0003081714860000032
表示坐标的位置信息；
Figure FDA0003081714860000033
表示旋转矩阵；
采用图优化的方法计算
Figure FDA0003081714860000034
和
Figure FDA0003081714860000035
对生成的三维动态地图进行精度调优处理，生成高精度动态地图。
7.一种高精度动态地图生成与应用系统，其特征在于，所述系统包括：
图像数据获取装置，用于汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中；
数据处理器，用于汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理，利用特征提取算法对预处理后的图像进行特征提取处理，利用语义特征提取算法对图像视觉特征进行处理；
地图生成装置，用于初始化点云地图场景，并利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图,对生成的三维动态地图进行精度调优处理，生成高精度动态地图，并将所生成的高精度动态地图上传到汽车智能网。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有高精度动态地图生成程序指令，所述高精度动态地图生成程序指令可被一个或者多个处理器执行，以实现如上所述的基于智能网联汽车的高精度动态地图生成与应用的实现方法的步骤。
CN202110568557.5A 2021-05-25 2021-05-25 一种基于智能网联汽车的高精度动态地图生成与应用方法及系统 Withdrawn CN113192198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110568557.5A CN113192198A (zh) 2021-05-25 2021-05-25 一种基于智能网联汽车的高精度动态地图生成与应用方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110568557.5A CN113192198A (zh) 2021-05-25 2021-05-25 一种基于智能网联汽车的高精度动态地图生成与应用方法及系统

Publications (1)

Publication Number Publication Date
CN113192198A true CN113192198A (zh) 2021-07-30

Family

ID=76985170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110568557.5A Withdrawn CN113192198A (zh) 2021-05-25 2021-05-25 一种基于智能网联汽车的高精度动态地图生成与应用方法及系统

Country Status (1)

Country Link
CN (1) CN113192198A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115374235A (zh) * 2022-10-21 2022-11-22 天津市职业大学 一种基于智能网联汽车的动态地图生成与应用方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115374235A (zh) * 2022-10-21 2022-11-22 天津市职业大学 一种基于智能网联汽车的动态地图生成与应用方法

Similar Documents

Publication Publication Date Title
CN108229532B (zh) 图像识别方法、装置和电子设备
CN109960742B (zh) 局部信息的搜索方法及装置
CN107944450B (zh) 一种车牌识别方法及装置
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN112036292B (zh) 基于神经网络的文字识别方法、装置及可读存储介质
CN107203778A (zh) 视网膜病变程度等级检测系统及方法
CN109583509B (zh) 数据生成方法、装置及电子设备
CN109271842B (zh) 一种基于关键点回归的通用物体检测方法、系统、终端和存储介质
CN112581227A (zh) 产品推荐方法、装置、电子设备及存储介质
CN111639667B (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN114049568B (zh) 基于图像比对的标的物形变检测方法、装置、设备及介质
CN113705462A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113033321A (zh) 目标行人属性识别模型的训练方法及行人属性识别方法
CN111104911A (zh) 一种基于大数据训练的行人重识别方法及装置
CN112991217A (zh) 一种医学图像采集方法、装置及设备
CN110705547B (zh) 图像内文字识别方法、装置及计算机可读存储介质
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
CN113344121B (zh) 训练招牌分类模型和招牌分类的方法
CN114913339A (zh) 特征图提取模型的训练方法和装置
CN113192198A (zh) 一种基于智能网联汽车的高精度动态地图生成与应用方法及系统
CN115098644B (zh) 图像与文本匹配方法、装置、电子设备及存储介质
CN113554748B (zh) 一种医疗器械三维建模方法及装置
CN113837998B (zh) 一种基于深度学习的图片自动调整对齐的方法及装置
CN114187476A (zh) 基于图像分析的车险信息核对方法、装置、设备及介质
CN113095286A (zh) 一种大数据图像处理算法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210730