CN113532499A - 无人系统的传感器安全性检测方法、设备及存储介质 - Google Patents

无人系统的传感器安全性检测方法、设备及存储介质 Download PDF

Info

Publication number
CN113532499A
CN113532499A CN202110799228.1A CN202110799228A CN113532499A CN 113532499 A CN113532499 A CN 113532499A CN 202110799228 A CN202110799228 A CN 202110799228A CN 113532499 A CN113532499 A CN 113532499A
Authority
CN
China
Prior art keywords
sensor
sensors
distance
correlation
imu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110799228.1A
Other languages
English (en)
Other versions
CN113532499B (zh
Inventor
邵翠萍
李慧云
陈贝章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110799228.1A priority Critical patent/CN113532499B/zh
Priority to PCT/CN2021/107842 priority patent/WO2023283987A1/zh
Publication of CN113532499A publication Critical patent/CN113532499A/zh
Application granted granted Critical
Publication of CN113532499B publication Critical patent/CN113532499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/23—Testing, monitoring, correcting or calibrating of receiver elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种无人系统的传感器安全性检测方法，包括：将无人系统中的传感器按定位和检测功能分为两组，分别寻找各组内的传感器之间的互相关性；根据每组传感器中具有互相关性的传感器的感知数据之间的差异，筛选出可疑传感器；根据各可疑传感器在相邻两个时刻的感知数据的相关性，判断其是否为异常传感器。本发明还公开了一种无人系统的传感器安全性检测设备及存储介质。本发明从传感器定位和检测两大功能出发，将传感器分成两组，寻找组内传感器之间的互相关性和各个传感器在时间序列上的自相关性，从而筛选出可疑传感器，并从可疑传感器中判断筛选出异常传感器，实现了无人系统中传感器安全性的实时检测，可以准确定位出现异常的传感器。

Description

无人系统的传感器安全性检测方法、设备及存储介质
技术领域
本发明涉及自动驾驶及传感技术领域，尤其涉及一种无人系统的传感器安全性检测方法、设备及存储介质。
背景技术
无人驾驶技术是一个涉及人工智能、传感技术、地图技术以及计算机等诸多前沿科技的综合技术。车载传感器是自动驾驶汽车所依靠的重要测量设备。传感器的功能如同人类的眼睛和耳朵一样，主要由激光雷达、视觉摄像头、毫米波雷达、全球定位系统(GPS)等设备组成。车载传感器为无人驾驶汽车提供周围详细的环境信息，为规划与决策模块提供丰富的数据，既包括障碍物的位置、形状、类别及速度信息，也包括对一些特殊场景的语义理解(如施工区域、交通信号灯及交通路牌等)。
无人驾驶对车载传感器是十分依赖，而传感器又极易受外界的攻击或干扰而出现不可靠的情况。无人驾驶汽车规划与决策环节的安全性以传感器的安全为前提，传感器的攻击是一种简单、直接、暴力、有效的方法，因其不需要进入无人驾驶系统内部，这种攻击方法门槛很低，对无人系统构成巨大的安全威胁。一旦无人车的传感器受到攻击或出现故障，将会导致传感器获取的信息失真及错误的识别结果，进而规划不正确的驾驶策略，极有可能引发车祸，造成严重的生命与财产损失。
目前对无人驾驶技术的研究主要集中在功能层面，例如环境感知技术，传感器融合技术等，但对于无人车近距离攻击的安全研究尚处在比较早期的阶段，主要是通过针对单一传感器采取一些改善和防御措施，以增强传感器的鲁棒性，从一定程度上减小攻击带来的影响，但尚未形成实时的、系统性的异常传感器检测方法。
发明内容
鉴于现有技术存在的不足，本发明提供了一种无人系统的传感器安全性检测方法、设备及存储介质，可以实时检测无人系统中传感器的安全性，准确定位出现异常的传感器。
为了实现上述的目的，本发明采用了如下的技术方案：
一种无人系统的传感器安全性检测方法，包括：
将无人系统中的传感器分为两组，第一组为定位用的传感器，第二组为检测物体形状特征用的传感器；
分别寻找各组内的传感器之间的互相关性；
根据每组传感器中具有互相关性的传感器的感知数据之间的差异，筛选出可疑传感器；
根据各可疑传感器在相邻两个时刻的感知数据的相关性，判断其是否为异常传感器。
作为其中一种实施方式，所述分别寻找各组内的传感器之间的互相关性的过程包括：
将各组内具有相关性的传感器的感知数据统一到同一特征维度下；
所述根据每组传感器中具有互相关性的传感器的感知数据之间的差异，筛选出可疑传感器的过程包括：
分别在同一特征维度下，建立度量各组内具有互相关性的传感器的感知数据之间距离的距离模型；
根据所述距离模型实时计算对应感知数据之间的距离，并与各自的第一距离阈值比较，超出各自的第一距离阈值的感知数据对应的传感器即为可疑传感器。
作为其中一种实施方式，第一组传感器包括GPS(Global Positioning System，全球定位系统)、IMU(Inertial Measurement Unit，惯性测量单元)和Lidar(即激光雷达)；
将第一组内具有相关性的传感器的感知数据统一到同一特征维度下的过程，包括：激光雷达与IMU融合定位形成融合特征矢量
Figure BDA0003164019320000021
GPS的原始特征矢量经过投影转换后形成GPS特征矢量
Figure BDA0003164019320000022
在建立度量第一组内具有互相关性的传感器的感知数据之间距离的第一距离模型Distance(GPS,Lidar)的过程中，采用范数来表征感知数据之间的距离，
Figure BDA0003164019320000023
n为非负整数。
作为其中一种实施方式，激光雷达与IMU融合定位时，包括：
对两个时刻间的IMU测量数据
Figure BDA0003164019320000031
进行预积分；
利用连续的特征点云序列{Pk},{Pk+1}和IMU预积分结果
Figure BDA0003164019320000032
估计载体的相对运动。
作为其中一种实施方式，所述利用连续的特征点云序列{Pk},{Pk+1}和IMU预积分结果
Figure BDA0003164019320000033
估计载体的相对运动的过程包括：
利用IMU预积分结果
Figure BDA0003164019320000034
对特征点云序列{Pk+1}进行坐标变换，使之与特征点云序列{Pk}在同一坐标系下；
pj∈Pk+1,pi∈Pk，pj与pi的距离之和记为d，利用Levenberg-Maquardt算法求解d最小时载体坐标系(B)到世界坐标系(W)的旋转量
Figure BDA0003164019320000035
和平移量
Figure BDA0003164019320000036
根据所述旋转量
Figure BDA0003164019320000037
和所述平移量
Figure BDA0003164019320000038
得到激光雷达与IMU融合的定位公式
Figure BDA0003164019320000039
作为其中一种实施方式，第二组传感器包括激光雷达和摄像头；
将第二组内具有相关性的传感器的感知数据统一到同一特征维度下的过程，包括：
针对激光雷达的感知数据：
经过坐标系的变换，将感知数据的三维点云中任意一个三维点(XL，YL，ZL)投射到二维坐标系上的一个二维点(i，j)；
对得到的张量进行特征提取，得到激光雷达特征矢量
Figure BDA00031640193200000310
[XL,YL]T表示检测目标相对车体坐标系[0,0]T的位置，[hL,wL]T表示检测框的高度和宽度，θL表示检测框内是检测目标的置信度；
针对摄像头的感知数据：
调用深度卷积神经网络算法对采集到的RGB图像进行特征提取，得到摄像头特征矢量
Figure BDA00031640193200000311
[Xv Yv]T表示目标物体在图像坐标系上的坐标值，[hv,wv,]T表示检测框的高度和宽度，p表示目标物体的置信度。
作为其中一种实施方式，在建立度量第二组内具有互相关性的传感器的感知数据之间距离的第二距离模型Distance(Camera,Lidar)的过程中，采用范数来表征感知数据之间的距离，
Figure BDA0003164019320000041
Figure BDA0003164019320000042
n为非负整数。
作为其中一种实施方式，确定可疑传感器的过程包括：
建立第一组与第二组的至少一组中的具有互相关性的传感器A、B的感知数据之间距离D的正态分布：
D～N(ε,σ2)；
其中，期望
Figure BDA0003164019320000043
方差
Figure BDA0003164019320000044
Distancei(A,B)为第i个样本中，两个传感器A、B的感知数据之间的距离，m为正常样本总数，m为大于0的整数；
判断置信区间M是否满足条件：
Figure BDA0003164019320000045
如果不满足，则两个传感器A、B为可疑传感器。
作为其中一种实施方式，所述根据各可疑传感器在相邻两个时刻的感知数据的相关性，判断其是否为异常传感器的过程包括：
确定各可疑传感器的特征矢量表示
Figure BDA0003164019320000046
Figure BDA0003164019320000047
代表第j个传感器在第i时刻的特征矢量；
建立时间序列的第三距离模型Differencesensor-j-i(ti,ti+1)，所述第三距离模型表示第j个传感器的感知数据在相邻两个时刻：第i时刻和第i+1时刻的距离；
根据所述第三距离模型，分别计算各可疑传感器在相邻两个时刻的特征矢量之间的距离，并与各自的第二距离阈值比较，超出各自的第二距离阈值的感知数据对应的传感器即为异常传感器。
作为其中一种实施方式，所述建立时间序列的第三距离模型的过程中，采用范数来表征感知数据之间的距离：
Figure BDA0003164019320000051
Figure BDA0003164019320000052
n为非负整数，
Figure BDA0003164019320000053
代表第j个传感器在第i+1时刻的特征矢量。
作为其中一种实施方式，确定异常传感器的过程包括：
建立可疑传感器在相邻时刻的特征矢量的距离D3的正态分布：
D3～N(τ,σ3 2)；
其中，期望
Figure BDA0003164019320000054
方差
Figure BDA0003164019320000055
m3代表参与计算的相邻时间段总数，m3为大于0的整数；
判断置信区间M3是否满足条件：
Figure BDA0003164019320000056
如果不满足，则可疑传感器为异常传感器。
本发明的另一目的在于提供一种存储介质，所述存储介质内存储有多条指令，所述指令适于由处理器加载并执行上述任一项所述的无人系统的传感器安全性检测方法的步骤。
本发明的又一目的在于提供一种无人系统的传感器安全性检测设备，包括如上所述的存储介质和适于实现各指令的处理器。
本发明针对传感器的安全性问题，从传感器定位和检测两大功能出发，将传感器分成两组，寻找组内传感器之间的互相关性和各个传感器在时间序列上的自相关性，从而根据具有互相关性的传感器的感知数据之间的差异筛选出可疑传感器，根据各可疑传感器在相邻两个时刻的感知数据的相关性，判断传感器的感知数据是否安全可靠，从而实时检测无人系统中传感器的安全性，准确定位出现异常的传感器。
附图说明
图1为本发明实施例的一种无人系统的传感器安全性检测方法的流程图；
图2为本发明实施例的一种无人系统的传感器安全性检测方法的原理框图；
图3为本发明实施例的惯性测量单元的原理图；
图4为本发明实施例的一种多传感融合定位的原理框图；
图5为本发明实施例的IMU与Lidar的频率关系图；
图6为本发明实施例的激光雷达点云球面投影原理示意图；
图7为本发明实施例的激光雷达的方位角φ和顶角θ的示意图；
图8为本发明实施例的激光雷达的球面坐标与直角坐标的变换关系示意图；
图9为本发明实施例的模拟传感器受到外界攻击前的GPS与激光雷达和IMU融合定位轨迹图；
图10为本发明实施例的模拟传感器受到外界攻击后的GPS与激光雷达和IMU融合定位轨迹图；
图11为本发明实施例的激光雷达被篡改攻击后的定位轨迹图；
图12为本发明实施例的无人系统的传感器安全性检测设备的结构框图。
具体实施方式
在本发明中，术语“设置”、“设有”、“连接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参阅图1和图2，本发明实施例提供了一种无人系统的传感器安全性检测方法，包括：
S01、将无人系统中的传感器分为两组，统一特征表示，第一组为定位用的传感器，第二组为检测物体形状特征用的传感器。
示例性地，无人系统中的车载传感器可以有IMU、激光雷达、GPS、视觉摄像头、毫米波雷达等设备。
如图3所示，IMU是测量载体三轴姿态角(或角速率)以及加速度的装置。IMU通常由3个加速度计、3个陀螺仪、3个磁力计组组合而成，分别用来测量物体在三维空间中的角速度和加速度，并以此解算出载体的姿态。加速度计、陀螺仪和磁力计安装在互相垂直的测量轴上，可以将其输出看作为三个方向的加速度、角速度和磁场强度一共9自由度(DOF)的输出，表示为IMU＝[ax,ay,az,ωx,ωy,ωz,gx,gy,gz]T。
激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统，其工作原理是向目标发射探激光束，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，来获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对目标进行探测、跟踪和识别以及使用同时定位与建图(SLAM)技术估计载体的位置和姿态。
GPS导航系统的基本原理是测量出已知位置的卫星到用户接收机之间的距离，然后综合多颗卫星的数据来确定接收机的具体位置。其输出常见为经度、纬度和高度，表示为GPS＝[lon,lat,alt]T，其中lon表示经度，lat表示纬度，alt表示高度。
视觉感知部分包含目标检测和定位两部分，传感器按照目标检测和定位功能可以分为以下两组：第一组传感器可以包括GPS、IMU和激光雷达，第二组传感器可以包括激光雷达和摄像头。
第一组传感器用于定位。由于GPS是基于全球坐标系统，IMU和激光雷达是基于载体坐标系，因此在定位任务中，可将GPS的定位结果与激光雷达和IMU的定位结果统一在世界坐标系下，在IMU与激光雷达融合定位的SLAM算法中，两类传感器是紧耦合相关的，如图4展示的是GPS，激光雷达和IMU联合进行定位的框架。
第二组传感器用于检测。在检测任务中，摄像头和激光雷达用于检测目标物体，给出物体的位置坐标和高度、宽度信息。激光雷达在三维空间中的点云可以投射到了一个球面坐标系中，这个球面坐标系中的点又可以转换到二维坐标系下。在二维坐标系下，根据点的分布和激光雷达目标检测网络可以得到检测目标的特征矢量，该特征矢量中包含目标的坐标和检测框大小信息。同理，摄像头通过RGB的图片和视觉检测网络，也能得到检测目标的坐标和检测框大小信息。
S02、分别寻找各组内的传感器之间的互相关性。
寻找各组内的传感器之间的互相关性的过程具体可以是将各组内具有相关性的传感器的感知数据统一到同一特征维度下，结合图2所示，这一过程中，定位任务中特征统一和检测任务中特征统一的过程分别进行。
【定位任务中统一特征表示的过程】
具体地，在定位任务中，首先需要将第一组内具有相关性的传感器的感知数据统一到同一特征维度下，这一过程具体包括：
1)激光雷达与IMU融合定位形成融合特征矢量
Figure BDA0003164019320000081
IMU原始特征矢量IMU＝[ax,ay,az,ωx,ωy,ωz,gx,gy,gz]T，由于在定位任务中，更关注载体三轴的速度与加速度状态，因此可将IMU输出特征定义为：
Figure BDA0003164019320000082
其中加速度为欧式空间下的三维向量
Figure BDA0003164019320000083
角加速度
Figure BDA0003164019320000084
速度为欧式空间下的三维向量
Figure BDA0003164019320000085
零偏项由陀螺仪零偏
Figure BDA0003164019320000086
和加速度计零偏
Figure BDA0003164019320000087
构成，即零偏项
Figure BDA0003164019320000088
激光雷达在原始特征为点云集合，可表示为矢量
Figure BDA0003164019320000089
(64线激光雷达，每线扫描一周1800个点云)，其中X表示点云在水平面的横坐标，Y表示点云在水平面的纵坐标，Z表示点云的高度，intensity表示点云的反射强度。对于定位任务，通过SLAM算法解算搭载了激光雷达载体的位姿，则其特征矢量可表示为
Figure BDA00031640193200000810
激光雷达和IMU特征矢量之间的关系：载体坐标系定义为B，与IMU坐标系保持一致；世界坐标系定义为W，原点为系统初始化时的载体系中心。设Lidar第i次扫描的起始时刻为ti，扫描得到的全部点云为Pi，其中任意一点记为pn∈Pi；IMU在[ti,ti+1]内采集的数据为I(i,i+1)，i为大于0的整数。由于IMU输出频率高于Lidar，I(i,i+1)中包含了N组在载体坐标系B下的加速度和角速度
Figure BDA0003164019320000091
系统在ti时刻的状态包括姿态、位置、速度和IMU零偏。其中，位姿变换构成特殊欧式群[Ri,ti]∈SE(3)；速度为欧式空间下的三维向量
Figure BDA0003164019320000092
零偏项由陀螺仪零偏
Figure BDA0003164019320000093
和加速度计零偏
Figure BDA0003164019320000094
构成
Figure BDA0003164019320000095
根据IMU工作原理可知其观测模型为：
Figure BDA0003164019320000096
Figure BDA0003164019320000097
其中，
Figure BDA0003164019320000098
η～N(0,Σ)表示观测噪声，
Figure BDA0003164019320000099
为载体坐标系B到世界坐标系W的旋转矩阵，
Figure BDA00031640193200000910
为载体坐标系B到世界坐标系W的平移向量。
Figure BDA00031640193200000911
为重力加速度，根据IMU的动力学模型对
Figure BDA00031640193200000912
和
Figure BDA00031640193200000913
在IMU采样间隔时间δt内积分
Figure BDA00031640193200000914
得到：
Figure BDA00031640193200000915
Figure BDA00031640193200000916
Figure BDA00031640193200000917
如图5所示，为IMU与Lidar的频率关系图，激光里程计模块利用连续的特征点云序列{Pk},{Pk+1}和IMU预积分结果
Figure BDA00031640193200000918
估计载体的相对运动，其输出频率与Lidar的采样频率保持一致。
因此，在利用激光雷达与IMU融合定位时，具体可以包括如下步骤：
S021、对两个时刻间的IMU测量数据
Figure BDA00031640193200000919
进行预积分，得到这两个时刻间移动物体的位姿变化；
S022、利用连续的特征点云序列{Pk},{Pk+1}和IMU预积分结果
Figure BDA00031640193200000920
估计载体的相对运动。
在步骤S022中，利用连续的特征点云序列{Pk},{Pk+1}和IMU预积分结果
Figure BDA00031640193200000921
估计载体的相对运动的过程具体可以包括：
S0221、利用IMU预积分结果
Figure BDA0003164019320000101
对特征点云序列{Pk+1}进行坐标变换，使之与特征点云序列{Pk}在同一坐标系下。其中，pj∈Pk+1,pi∈Pk，pj与pi的距离之和记为d，j、k为大于0的整数，f(x)表示点云的距离表达式，有：
Figure BDA0003164019320000102
Figure BDA0003164019320000103
S0222、令d最小，利用Levenberg-Maquardt算法求解d最小时载体坐标系B到世界坐标系W的旋转量
Figure BDA0003164019320000104
和平移量
Figure BDA0003164019320000105
因此，根据旋转量
Figure BDA0003164019320000106
和平移量
Figure BDA0003164019320000107
即可得到激光雷达与IMU融合的定位公式：
Figure BDA0003164019320000108
2)GPS的原始特征矢量经过投影转换后形成GPS特征矢量
Figure BDA0003164019320000109
GPS的原始特征矢量GPS＝[lon,lat,alt]T是基于WGS-84坐标的经纬度信息，其中lon是经度，lat是纬度，alt表示高度。对于自动驾驶的定位任务，由于GPS坐标系需要投影为平面地图才可以做航位推算。因此GPS定位算法输出的特征矢量可定义为
Figure BDA00031640193200001010
GPS定位可构建载体所在的世界坐标系W与地球坐标系(WGS-84)之间的关系，其在i+1时刻输出的原始特征矢量可表示为
Figure BDA00031640193200001011
GPS原始输出定位是基于WGS-84坐标的经纬度信息。GPS坐标系需要投影为平面地图才可以做航位推算。常用的投影方法有高斯克吕格投影、UTM投影、墨卡托投影等。
本实施例中，GPS坐标优选采用墨卡托投影进行转换，其变换方式如下：
Figure BDA00031640193200001012
Figure BDA00031640193200001013
zG,i+1＝alti+1；
Figure BDA00031640193200001014
其中，xG，i+1、yG,i+1、zG,i+1是GPS原始特征矢量经过墨卡托投影的地面坐标系坐标，EARTH_RAD是地球半径，取值为6378137米。SCALE表示地图比例尺。因此，GPS定位算法在i+1时刻输出的特征矢量
Figure BDA0003164019320000111
【检测任务中统一特征表示的过程】
具体地，在检测任务中，传统的CNN(Convolutional Neural Networks，卷积神经网络)检测任务设计多用于二维的图像模式识别(宽×高×通道数)，考虑到三维的点云数据格式不符合该模式，而且点云数据稀疏无规律，这对特征提取都是不利的。因此，首先需要将第二组内具有相关性的传感器的感知数据统一到同一特征维度下，下面对这一过程具体描述。
在将点云数据输入到CNN之前，首先对数据进行球面投影，从而得到一个稠密的、二维的数据，球面投影到二维图像平面的过程如图6所示。
(1)激光雷达
图7为激光雷达的方位角φ和顶角θ的示意图，图中的φ和θ分别表示点的方位角(azimuth)和顶角(altitude)。通常，方位角是相对于正北方向的夹角，但是，在本实施例的Lidar的坐标系下，方位角为相对于x方向(车辆正前方)的夹角，φ和θ的计算公式为：
Figure BDA0003164019320000112
Figure BDA0003164019320000113
其中，(X，Y，Z)为三维点云中每一个点的坐标。因此，根据上式，对于点云中的每一个点都可以通过其坐标(X，Y，Z)计算出其(θ，φ)，从而将三维空间坐标系中的点都投射到了一个球面坐标系。
如图8，示出了球面坐标与直角坐标的变换关系，通过对其角度(θ，φ)进行微分化，可以得到一个二维的直角坐标系：
Figure BDA0003164019320000121
Figure BDA0003164019320000122
根据上式，球面坐标系下的每一个点(XL，YL，ZL)都可以使用一个直角坐标系中的点表示。
也就是说，针对激光雷达的感知数据，当将其感知数据统一到同一特征维度下时，需要进行如下过程：
1)经过坐标系的变换，将感知数据的三维点云中任意一个三维点(XL，YL，ZL)投射到二维坐标系上的一个二维点(i，j)，得到一个尺寸为(W，H，C)的张量，W表示水平方向上激光感知范围划分的网格数；H表示激光雷达的线数；C表示激光点特征向量
Figure BDA0003164019320000123
的维数。
这里，点云中每一个点的5个特征：
Figure BDA0003164019320000124
被放入对应的二维坐标(i，j)内，intensity表示点云的反射强度，range表示视点到采样点的距离。
2)通过激光雷达目标检测网络对得到的张量进行特征提取，即可得到激光雷达特征矢量：
Figure BDA0003164019320000125
其中，[XL,YL]T表示检测目标相对车体坐标系[0,0]T的位置，[hL,wL]T表示检测框的高度和宽度，θL表示检测框内是检测目标的置信度。
(2)摄像头
自动驾驶车辆通过车载摄像头采集车辆周围的图像，采集到的图片以RGB格式输入目标检测系统，检测系统调用深度卷积神经网络算法对RGB图像进行特征提取，神经网络算法中常见的结构有卷积层，池化层，激活层，dropout层，BN(batch normalization)层，全连接层等，最终从图片中提取的特征能有效描述目标物体的信息。
因此，针对摄像头的感知数据，当将其感知数据统一到同一特征维度下时，具体需要进行如下过程：调用深度卷积神经网络算法对采集到的RGB图像进行特征提取，得到摄像头特征矢量：
Figure BDA0003164019320000131
其中，[Xv Yv]T表示目标物体在图像坐标系上的坐标值，[hv,wv,]T表示检测框的高度和宽度，p表示目标物体的置信度。
S03、根据每组传感器中具有互相关性的传感器的感知数据之间的差异，筛选出可疑传感器。
筛选可疑传感器的过程具体可以包括：
S031、分别在同一特征维度下，建立度量各组内具有互相关性的传感器的感知数据之间距离的距离模型。
S032、根据距离模型实时计算对应感知数据之间的距离，并与各自的第一距离阈值比较，超出各自的第一距离阈值的感知数据对应的传感器即为可疑传感器。
在步骤S031中，同样地，第一组的定位传感器对应的距离模型的建立与第二组的检测传感器对应的距离模型的建立分别独立地进行，具体过程如下。
【定位任务中距离模型建立的过程】
根据GPS定位与激光雷达和IMU融合定位的转换关系，可以将GPS，激光雷达和IMU的感知信息统一到同样的特征表示下，并在同样的特征下建立两者的距离模型。
建立度量第一组内具有互相关性的传感器的感知数据之间距离的第一距离模型Distance(GPS,Lidar)的过程中，本实施例采用范数来表征感知数据之间的距离，则GPS与激光雷达和IMU融合的定位方法的输出特征距离可以表示为：
Figure BDA0003164019320000132
Figure BDA0003164019320000141
其中，n为非负整数。
【检测任务中距离模型建立的过程】
理论上，激光雷达特征矢量
Figure BDA0003164019320000142
与摄像头特征矢量
Figure BDA0003164019320000143
检测的结果应该一致，包含两层含义：一是检测框的大小一致，二是坐标一致，即检测框完全重叠。但是受噪声以及传感器测量精度的影响，这两个特征矢量会存在一定的正常偏移量。在同样的特征下建立
Figure BDA0003164019320000144
两者的距离模型，可以用于计算二者的检测框和坐标的距离。
在建立度量第二组内具有互相关性的传感器的感知数据之间距离的第二距离模型Distance(Camera,Lidar)的过程中，本实施例采用范数来表征感知数据之间的距离：
Figure BDA0003164019320000145
Figure BDA0003164019320000146
其中，n为非负整数。
步骤S032中，确定可疑传感器的过程具体可以包括：
S0321、建立第一组与第二组的至少一组中的具有互相关性的传感器A、B的感知数据之间距离D的正态分布：
D～N(ε,σ2)；
其中，期望
Figure BDA0003164019320000147
方差
Figure BDA0003164019320000148
Distancei(A,B)为第i个样本中，两个传感器A、B的感知数据之间的距离，m为正常样本总数，m为大于0的整数；
S0322、判断置信区间M是否满足条件
Figure BDA0003164019320000149
n为常数，根据置信度变化。如果不满足，则两个传感器A、B异常，为可疑传感器，否则，两个传感器正常。
例如，如果以99％的置信度才能判断这两个传感器的距离是正常的，则相应的置信区间M应满足条件：
Figure BDA0003164019320000151
即，
Figure BDA0003164019320000152
表示以99％的置信水平认为传感器A，B无异常，否则表示传感器A，B有异常。
可以理解，在其他实施方式中，置信度可以根据需要设定，并不一定限定为99％。例如，当求取90％置信区间时，n＝1.65，
Figure BDA0003164019320000153
Figure BDA0003164019320000154
当求取95％置信区间时，n＝1.96，
Figure BDA0003164019320000155
Figure BDA0003164019320000156
同样地，结合图2所示，定位任务和检测任务中分别对各组传感器的异常与否进行检测，下面将具体进行介绍。
【定位任务中异常传感器的检测过程】
在定位任务中，由于第一组传感器中的激光雷达和惯性传感器都存在一定的测量误差，正常情况下，受测量误差、测量精度、环境噪声等因素的影响，两者同一维度下的特征也存在一定的偏差或距离。由于激光雷达和惯性传感器感知数据之间的距离是受多种因素影响，这里，可以认为两者感知数据之间的距离服从正态分布。我们定义正常情况下两者的距离均值(即距离期望)为ε1，σ1 2为方差，通过样本可以计算得到期望ε1和方差σ1 2：
Figure BDA0003164019320000157
Figure BDA0003164019320000158
其中，Distancei(GPS,Lidar)为第i个样本中GPS和激光雷达的距离，m1代表正常样本总数。
建立激光雷达和GPS的距离D1的正态分布：
D1～N(ε1,σ1 2)
假设要以99％的置信度才能判断这组传感器的距离是正常的，则相应的置信区间M1应满足条件：
Figure BDA0003164019320000161
即如果
Figure BDA0003164019320000162
则表示以99％的置信水平认为定位传感器中GPS和激光雷达无异常，否则表示定位传感器中IMU或激光雷达有异常。
【检测任务中异常传感器的检测过程】
在检测任务中，理想情况下，第二组传感器中的激光雷达和摄像头的检测框应该完全重合，但是实际应用中，由于传感器的测量误差和各自检测框识别算法的不同，检测框会有一定的偏移(包含坐标的偏移和检测框长宽方向的偏移)，且偏移距离在一定的范围内。由于激光雷达和摄像头感知数据之间的距离是受多种因素影响，因此可以认为两者感知数据之间的距离服从正态分布。我们定义ε2为距离期望，σ2 2为方差，通过样本可以计算得到期望ε2和方差σ2 2：
Figure BDA0003164019320000163
Figure BDA0003164019320000164
其中，Differencei(Camera,Lidar)为第i个样本中摄像头和激光雷达的检测框偏移度，m2代表正常样本总数。
建立激光雷达和摄像头的距离D2的正态分布：
D2～N(ε2,σ2 2)
假设要以99％的置信度才能判断这组传感器的距离是正常的，则相应的置信区间M2满足条件：
Figure BDA0003164019320000165
即如果
Figure BDA0003164019320000166
表示以99％的置信水平认为检测任务中摄像头和激光雷达无异常，否则表示检测任务中摄像头或激光雷达有异常。
S04、根据各可疑传感器在相邻两个时刻的感知数据的相关性，判断其是否为异常传感器。
判断异常传感器的过程具体可以包括：
S041、确定各可疑传感器的特征矢量表示
Figure BDA0003164019320000171
代表第j个传感器在第i时刻的特征矢量。
当步骤S03筛选出可疑传感器后，则需要进一步对有异常的组内传感器进行自相关性的检测，即在时间序列上检验单个传感器是否发生异常，最终定位发生异常的传感器。具体来说，如果是定位功能出现异常，则需要分别检测第一组传感器：激光雷达和IMU在时间序列上的相关性，定位出异常传感器。如果是检测功能出现异常，则需要分别检测第二组传感器：激光雷达和摄像头在时间序列上的相关性，定位出异常传感器。
为了计算传感器在前后两个相邻时刻的感知数据的距离，首先需要确定传感器的特征表示。综合考虑计算效率和计算精度，各组传感器的用于时间序列相关性计算的传感器的特征矢量分别这样表示：
GPS定位在i时刻输出的原始特征矢量可表示为
Figure BDA0003164019320000173
经过墨卡托投影后输出的特征矢量
Figure BDA0003164019320000174
激光雷达在ti时刻输出的初始特征矢量为
Figure BDA0003164019320000175
其中X表示点云在水平面的横坐标，Y表示点云在水平面的纵坐标，Z表示点云的高度，intensity表示点云的反射强度。此处的特征矢量是激光雷达原始的特征矢量，不分区是检测任务还是定位任务。
通过激光雷达的定位算法解算在i时刻的特征矢量
Figure BDA0003164019320000176
其中xl,i表示ti时刻搭载了激光雷达的载体所在水平面的横坐标，yl,i表示载体所在水平面的纵坐标，zl,i表示载体的高度。在检测任务中，使用激光检测算法在i时刻解算的特征矢量
Figure BDA0003164019320000181
其中[XL,i,YL,i]T表示检测目标相对车体坐标系[00]T的位置，[hL,i,wL,i]T表示检测框的高度和宽度，θL为检测框内是检测目标的置信度。
IMU在ti时刻输出的初始特征矢量
Figure BDA0003164019320000182
其中加速度为欧式空间下的三维向量
Figure BDA0003164019320000183
角加速度
Figure BDA0003164019320000184
速度为欧式空间下的三维向量
Figure BDA0003164019320000185
零偏项由陀螺仪零偏
Figure BDA0003164019320000186
零和加速度计零偏
Figure BDA0003164019320000187
构成
Figure BDA0003164019320000188
Figure BDA0003164019320000189
摄像头目标物体检测结果用向量
Figure BDA00031640193200001810
表示。其中Xv,iYv,i]T表示目标物体在图像坐标系上的坐标值，[hi wi]T表示检测框的高度和宽度，pi表示目标物体的置信度。在时序相关性分析中，置信度不参与相关性分析。
S042、建立时间序列的第三距离模型Differencesensor-j-i(ti,ti+1)，第三距离模型表示第j个传感器的感知数据在相邻两个时刻：第i时刻和第i+1时刻的距离。
正常情况下，相邻两个时刻传感器感知的信息必然有大部分重叠的区域，即在时间序列上具有明显的相关性，第j个传感器的在相邻两个时刻(第i时刻和第i+1时刻)的距离可以表示为：Differencesensor-j-i(ti,ti-1)。
在建立时间序列的第三距离模型Differencesensor-j-i(ti,ti+1)的过程中，本实施例中同样采用范数来计算相邻两个时刻传感器感知信息的特征距离：
Figure BDA00031640193200001811
其中，Ln(ti,ti+1)表示传感器的特征矢量在第i时刻和i+1时刻的距离，
Figure BDA0003164019320000191
代表第j个传感器在第i时刻的特征矢量，
Figure BDA0003164019320000192
Figure BDA0003164019320000193
代表第j个传感器在第i+1时刻的特征矢量，n为非负整数，可以取0，1，2，3...。
S043、根据第三距离模型，分别计算各可疑传感器在相邻两个时刻的特征矢量之间的距离，并与各自的第二距离阈值比较，超出各自的第二距离阈值的感知数据对应的传感器即为异常传感器。
第三距离模型Differencesensor-j-i(ti,ti+1)建立后，根据要进一步判断的可疑传感器，将该可疑传感器的特征矢量代入第三距离模型即可计算相邻两个时刻该可疑传感器感知信息的特征距离。
这里，各感器感知信息的特征距离对应的第二距离阈值并非始终某一固定的数值，考虑到正常情况下，相邻两个时刻，传感器感知的数据必然有大部分重叠的区域，即在时间序列上具有明显的相关性，因此在前后两个时刻，传感器特征矢量的距离必然在一定的阈值范围内。根据这一思路，我们通过计算传感器感知数据在相邻时刻的距离是否在阈值范围内去判断传感器是否有异常。
由于单一传感器相邻时刻的距离是受环境噪声、测量误差、特征提取算法等多种因素影响，因此我们认为两者之间的距离服从正态分布。
可疑传感器的确定过程可以采用如下方式：
S0431、建立可疑传感器在相邻时刻的特征矢量的距离D3的正态分布：
D3～N(τ,σ3 2)；
其中，期望
Figure BDA0003164019320000194
方差
Figure BDA0003164019320000195
m3代表参与计算的相邻时间段总数，m3为大于0的整数。每个传感器相邻时刻的距离的期望不同，其与传感器相邻两个时刻的时间长短有关系。
判断置信区间M3是否满足条件，置信度为99％的置信区间M3为：
Figure BDA0003164019320000201
即如果
Figure BDA0003164019320000202
表示以99％的置信水平认为第j个传感器第i+1时刻感知的特征数据正常，如果不满足，则可疑传感器为异常传感器。
可以理解，在其他实施方式中，置信度可以根据需要设定，并不一定限定为99％。例如，当求取90％置信区间时，n＝1.65，
Figure BDA0003164019320000203
Figure BDA0003164019320000204
当求取95％置信区间时，n＝1.96，
Figure BDA0003164019320000205
本实施例的无人系统的传感器安全性检测方法经过实验模拟、验证、使用，可以实时检测无人系统中传感器的安全性，准确定位出现异常的传感器，具体验证过程如下。
(1)实验准备
多传感互相关的定位实验在ROS(Robot Operating System)机器人操作系统上进行，使用KITTI数据集作为测试数据。该数据集用于评测激光里程计(lidar odometry)、视觉里程计(visual odometry)、立体图像(stereo)、光流(optical flow)、3D物体检测(object detection)和3D跟踪(tracking)等算法在车载环境下的性能。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据。
数据采集平台中，传感器包括一个64线激光雷达，位于车顶的正中心，激光雷达两侧各放一个彩色摄像头和一个黑白摄像头，共四个摄像头。在雷达左后方，有一个组合导航系统(OXTS RT 3003)，它可以输出RTK/IMU组合导航结果(包括经纬度和姿态)，同时也输出IMU原始数据。
(2)实验整体思路
实验对KITTI的数据集进行离线回放，对激光雷达与IMU估计的车辆位姿与GPS估计的位姿统一到世界坐标系下，对不同时刻激光雷达的特征值进行篡改(模拟传感器受到外界攻击)，利用激光雷达、IMU与GPS输出的特征矢量的互相关性，与各传感器的自相关性，找到数据被篡改攻击的时刻，并定位具体被攻击是何种传感器。
根据激光雷达与IMU定位的输出特征
Figure BDA0003164019320000211
和GPS定位输出的特征
Figure BDA0003164019320000212
由于仅考虑车辆在平面上的运动，在激光雷达与IMU定位中，zl,i的值为预设的固定高度值，而zG,i由卫星测量的值反应了真实的地理位置的高度，两者并无相关性，因此在平面运动的无人车可仅考虑输出特征
Figure BDA0003164019320000213
如图9所示，虚线表示GPS在空间域上的定位输出结果xG,i,yG,i，实线表示激光雷达和IMU在空间域上关于xl,i,yl,i的定位输出结果。
(3)建立互相关模型和自相关模型
根据传感器的第二距离模型计算互相关的距离
Figure BDA0003164019320000214
计算两组定位特征的均值。每隔10S选取未被攻击篡改的两组定位特征作为测试样本，计算定位特征序列的距离的均值。其中均值ε1＝8.32，方差σ1 2＝42.65。计算异常检测的阈值
Figure BDA0003164019320000215
表示测试样本可以99％的置信水平认为定位传感器中GPS和激光雷达与IMU无异常，否则表示定位传感器中GPS、IMU或激光雷达有异常。
对互相关距离在区间[2.37,14.28]外的时刻，标记为传感器可能发生故障的时间ti。根据传感器的第三距离模型计算自相关距离：Differencesensor(ti,ti+1)，每隔10s，分别计算GPS、Lidar和IMU在i和i+1时刻的距离的期望τ和方差σ3 2，计算GPS测试样本的先后时刻距离均值为ε1＝8.3239，方差σ1 2＝42.6508。计算GPS发生异常的距离阈值
Figure BDA0003164019320000221
Figure BDA0003164019320000222
表示以99％的置信水平认为GPS传感器样本在第i+1时刻的特征数据正常，否则表示异常。
计算lidar测试样本的先后时刻距离均值为ε2＝0.9，方差σ2 2＝0.3769。代入并计算lidar发生异常的距离阈值，得到
Figure BDA0003164019320000223
Figure BDA0003164019320000224
表示以99％的置信水平认为激光雷达传感器样本在第i+1时刻的特征数据正常，否则表示异常。
同理，计算IMU测试样本的先后时刻距离均值为ε3＝1.02402，方差σ3 2＝0.000201。代入计算IMU发生异常的距离阈值
Figure BDA0003164019320000225
Figure BDA0003164019320000226
表示以99％的置信水平认为IMU传感器样本在第i+1时刻的特征数据正常，否则表示异常。
(4)注错实验
选择5组攻击点模拟传感器攻击测试，分别在时间序列索引为0、1000、2000、3000、4000的时刻注入激光雷达定位特征的错误点云数据，模拟传感器在该时刻受到攻击。
图10是注入激光雷达攻击数据后在空间域输出的定位轨迹图；图11显示定位特征[x,y]T在时间域的波形，其中实线表示在0、1000、2000、3000、4000时刻注入激光雷达攻击数据的特征波形，虚线表示GPS定位的参考波形。圆圈标记的是激光雷达被攻击时刻的定位波形。
下表1记录了时间序列索引为0、1000、2000、3000、4000的攻击时刻与时间序列索引为500、1500、2500、3500正常时刻的激光雷达与IMU融合的定位与GPS两种定位输出互相关与自相关距离的统计情况，据统计情况，发现在攻击注入时刻，激光雷达与IMU融合的定位输出与GPS参考波形有较大偏差，其偏差的均值在10米以上，远大于判定正常的阈值
Figure BDA0003164019320000227
的上限。此时将距离大于
Figure BDA0003164019320000228
的数据(如表1的灰色底色标记的单元格)标记为传感器可能发生故障，对应时间为ti＝0、1000、2000、3000、4000的时刻，分别计算Lidar、GPS、IMU特征在i和i+1时刻的距离，经计算，注入攻击的激光雷达的测试样本的i、i+1先后时刻，距离均大于Differencelidar(ti,ti+1)的上限，而在该时刻测得样本的DifferenceIMU(ti,ti+1)∈[1.01082,1.03722]，DifferenceGPS(ti,ti+1)∈[0.29,2.36]，故可论证以99％的置信水平认为在第0、1000、2000、3000、4000时刻，GPS和IMU没有异常而激光雷达传感器异常，可能被攻击。
表1.检测结果
Figure BDA0003164019320000231
Figure BDA0003164019320000241
可以看出，利用本实施例的无人系统的传感器安全性检测方法可以非常准确地定位出现异常的传感器。
另外，如图12所示，本实施例还提供了一种计算机可读的存储介质10及无人系统的传感器安全性检测设备，该存储介质10内存储有多条指令，该指令适于由处理器20加载并执行上述的无人系统的传感器安全性检测方法的步骤，该存储介质10为检测设备的一部分。处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算设备的总体操作。本实施例中，该处理器用于运行存储介质中存储的程序代码或者处理数据。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
综上所述，本发明实施例针对传感器安全性的问题，从传感器定位和检测两大功能出发，将传感器分成两组，根据传感器感知信号之间的互相关性，将感知数据统一到同一特征表示下，构建传感器之间的距离模型和距离阈值，以此来度量传感器之间的距离，并以此为判断依据，对传感器进行异常检测。其次，针对可疑的传感器，通过分析计算单个传感器自身在时间域上的相关性，建立相邻时刻的距离函数和距离阈值，采用正态分布和置信水平来判断传感器是否有异常，从而精确判断并定位异常传感器。本发明不是只针对单一的传感器的异常检测方法，而是面向无人系统的一套完整的传感器安全性检测方法，不仅适用于无人车，也使用于其他无人系统，例如无人机，无人船等。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种无人系统的传感器安全性检测方法，其特征在于，包括：
将无人系统中的传感器分为两组，第一组为定位用的传感器，第二组为检测物体形状特征用的传感器；
分别寻找各组内的传感器之间的互相关性；
根据每组传感器中具有互相关性的传感器的感知数据之间的差异，筛选出可疑传感器；
根据各可疑传感器在相邻两个时刻的感知数据的相关性，判断其是否为异常传感器。
2.根据权利要求1所述的无人系统的传感器安全性检测方法，其特征在于，
所述分别寻找各组内的传感器之间的互相关性的过程包括：
将各组内具有相关性的传感器的感知数据统一到同一特征维度下；
所述根据每组传感器中具有互相关性的传感器的感知数据之间的差异，筛选出可疑传感器的过程包括：
分别在同一特征维度下，建立度量各组内具有互相关性的传感器的感知数据之间距离的距离模型；
根据所述距离模型实时计算对应感知数据之间的距离，并与各自的第一距离阈值比较，超出各自的第一距离阈值的感知数据对应的传感器即为可疑传感器。
3.根据权利要求2所述的无人系统的传感器安全性检测方法，其特征在于，第一组传感器包括GPS、IMU和激光雷达；
将第一组内具有相关性的传感器的感知数据统一到同一特征维度下的过程，包括：激光雷达与IMU融合定位形成融合特征矢量
Figure FDA0003164019310000011
GPS的原始特征矢量经过投影转换后形成GPS特征矢量
Figure FDA0003164019310000012
在建立度量第一组内具有互相关性的传感器的感知数据之间距离的第一距离模型Distance(GPS，Lidar)的过程中，采用范数来表征感知数据之间的距离，
Figure FDA0003164019310000013
n为非负整数。
4.根据权利要求3所述的无人系统的传感器安全性检测方法，其特征在于，激光雷达与IMU融合定位时，包括：
对两个时刻间的IMU测量数据
Figure FDA0003164019310000021
进行预积分；
利用连续的特征点云序列{Pk}，{Pk+1}和IMU预积分结果
Figure FDA0003164019310000028
估计载体的相对运动。
5.根据权利要求4所述的无人系统的传感器安全性检测方法，其特征在于，所述利用连续的特征点云序列{Pk}，{Pk+1}和IMU预积分结果
Figure FDA0003164019310000029
估计载体的相对运动的过程包括：
利用IMU预积分结果
Figure FDA00031640193100000210
对特征点云序列{Pk+1}进行坐标变换，使之与特征点云序列{Pk}在同一坐标系下；
pj∈Pk+1，pi∈Pk，pj与pi的距离之和记为d，利用Levenberg-Maquardt算法求解d最小时载体坐标系(B)到世界坐标系(W)的旋转量
Figure FDA0003164019310000022
和平移量
Figure FDA0003164019310000023
根据所述旋转量
Figure FDA0003164019310000024
和所述平移量
Figure FDA0003164019310000025
得到激光雷达与IMU融合的定位公式
Figure FDA0003164019310000026
6.根据权利要求2所述的无人系统的传感器安全性检测方法，其特征在于，第二组传感器包括激光雷达和摄像头；
将第二组内具有相关性的传感器的感知数据统一到同一特征维度下的过程，包括：
针对激光雷达的感知数据：
经过坐标系的变换，将感知数据的三维点云中任意一个三维点(XL，YL，ZL)投射到二维坐标系上的一个二维点(i，j)；
对得到的张量进行特征提取，得到激光雷达特征矢量
Figure FDA0003164019310000027
[XL，YL]T表示检测目标相对车体坐标系[0，0]T的位置，[hL，wL]T表示检测框的高度和宽度，θL表示检测框内是检测目标的置信度；
针对摄像头的感知数据：
调用深度卷积神经网络算法对采集到的RGB图像进行特征提取，得到摄像头特征矢量
Figure FDA0003164019310000031
[Xv Yv]T表示目标物体在图像坐标系上的坐标值，[hv，wv，]T表示检测框的高度和宽度，p表示目标物体的置信度。
7.根据权利要求6所述的无人系统的传感器安全性检测方法，其特征在于，在建立度量第二组内具有互相关性的传感器的感知数据之间距离的第二距离模型Distance(Camera，Lidar)的过程中，采用范数来表征感知数据之间的距离，
Figure FDA0003164019310000032
Figure FDA0003164019310000033
n为非负整数。
8.根据权利要求2所述的无人系统的传感器安全性检测方法，其特征在于，确定可疑传感器的过程包括：
建立第一组与第二组的至少一组中的具有互相关性的传感器A、B的感知数据之间距离D的正态分布：
D～N(ε，σ2)；
其中，期望
Figure FDA0003164019310000034
方差
Figure FDA0003164019310000035
Distancei(A，B)为第i个样本中，两个传感器A、B的感知数据之间的距离，m为正常样本总数，m为大于0的整数；
判断置信区间M是否满足条件：
Figure FDA0003164019310000036
如果不满足，则两个传感器A、B为可疑传感器。
9.根据权利要求1～8任一所述的无人系统的传感器安全性检测方法，其特征在于，所述根据各可疑传感器在相邻两个时刻的感知数据的相关性，判断其是否为异常传感器的过程包括：
确定各可疑传感器的特征矢量表示
Figure FDA0003164019310000037
Figure FDA0003164019310000038
代表第j个传感器在第i时刻的特征矢量；
建立时间序列的第三距离模型Differencesensor-j-i(ti，ti+1)，所述第三距离模型表示第j个传感器的感知数据在相邻两个时刻：第i时刻和第i+1时刻的距离；
根据所述第三距离模型，分别计算各可疑传感器在相邻两个时刻的特征矢量之间的距离，并与各自的第二距离阈值比较，超出各自的第二距离阈值的感知数据对应的传感器即为异常传感器。
10.根据权利要求9所述的无人系统的传感器安全性检测方法，其特征在于，所述建立时间序列的第三距离模型的过程中，采用范数来表征感知数据之间的距离：
Figure FDA0003164019310000041
n为非负整数，
Figure FDA0003164019310000042
代表第j个传感器在第i+1时刻的特征矢量。
11.根据权利要求10所述的无人系统的传感器安全性检测方法，其特征在于，确定异常传感器的过程包括：
建立可疑传感器在相邻时刻的特征矢量的距离D3的正态分布：
D3～N(τ，σ3 2)；
其中，期望
Figure FDA0003164019310000043
方差
Figure FDA0003164019310000044
m3代表参与计算的相邻时间段总数，m3为大于0的整数；
判断置信区间M3是否满足条件：
Figure FDA0003164019310000045
如果不满足，则可疑传感器为异常传感器。
12.一种存储介质，其特征在于，所述存储介质内存储有多条指令，所述指令适于由处理器加载并执行权利要求1～11任一项所述的无人系统的传感器安全性检测方法的步骤。
13.一种无人系统的传感器安全性检测设备，其特征在于，包括权利要求12所述的存储介质和适于实现各指令的处理器。
CN202110799228.1A 2021-07-15 2021-07-15 无人系统的传感器安全性检测方法、设备及存储介质 Active CN113532499B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110799228.1A CN113532499B (zh) 2021-07-15 2021-07-15 无人系统的传感器安全性检测方法、设备及存储介质
PCT/CN2021/107842 WO2023283987A1 (zh) 2021-07-15 2021-07-22 无人系统的传感器安全性检测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110799228.1A CN113532499B (zh) 2021-07-15 2021-07-15 无人系统的传感器安全性检测方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113532499A true CN113532499A (zh) 2021-10-22
CN113532499B CN113532499B (zh) 2022-08-30

Family

ID=78099326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110799228.1A Active CN113532499B (zh) 2021-07-15 2021-07-15 无人系统的传感器安全性检测方法、设备及存储介质

Country Status (2)

Country Link
CN (1) CN113532499B (zh)
WO (1) WO2023283987A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114826751A (zh) * 2022-05-05 2022-07-29 深圳市永达电子信息股份有限公司 一种多目标信息融合的卡尔曼滤波网络防控方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115856931B (zh) * 2023-03-01 2023-06-02 陕西欧卡电子智能科技有限公司 基于激光雷达的无人船停泊库位重定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358344A (zh) * 2018-11-07 2019-02-19 西安电子科技大学 一种基于多源信息融合的无人机抗gps欺骗系统及方法
CN110501036A (zh) * 2019-08-16 2019-11-26 北京致行慕远科技有限公司 传感器参数的标定检查方法及装置
JP2020087061A (ja) * 2018-11-28 2020-06-04 パナソニックＩｐマネジメント株式会社 無人移動体及び制御方法
CN112254741A (zh) * 2020-09-09 2021-01-22 安克创新科技股份有限公司 里程传感器的异常检测方法、自移动机器人及存储介质
CN112702408A (zh) * 2020-12-20 2021-04-23 国网山东省电力公司临沂供电公司 基于多感知功能的物联网系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358344A (zh) * 2018-11-07 2019-02-19 西安电子科技大学 一种基于多源信息融合的无人机抗gps欺骗系统及方法
JP2020087061A (ja) * 2018-11-28 2020-06-04 パナソニックＩｐマネジメント株式会社 無人移動体及び制御方法
CN110501036A (zh) * 2019-08-16 2019-11-26 北京致行慕远科技有限公司 传感器参数的标定检查方法及装置
CN112254741A (zh) * 2020-09-09 2021-01-22 安克创新科技股份有限公司 里程传感器的异常检测方法、自移动机器人及存储介质
CN112702408A (zh) * 2020-12-20 2021-04-23 国网山东省电力公司临沂供电公司 基于多感知功能的物联网系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李慧云 等: "基于矩阵补全的无人车感知系统的攻击防御技术", 《集成技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114826751A (zh) * 2022-05-05 2022-07-29 深圳市永达电子信息股份有限公司 一种多目标信息融合的卡尔曼滤波网络防控方法
CN114826751B (zh) * 2022-05-05 2022-10-28 深圳市永达电子信息股份有限公司 一种多目标信息融合的卡尔曼滤波网络防控方法

Also Published As

Publication number Publication date
WO2023283987A1 (zh) 2023-01-19
CN113532499B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN110631593B (zh) 一种用于自动驾驶场景的多传感器融合定位方法
Vu et al. Real-time computer vision/DGPS-aided inertial navigation system for lane-level vehicle navigation
EP4318397A2 (en) Method of computer vision based localisation and navigation and system for performing the same
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
US9070289B2 (en) System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
Brenner Extraction of features from mobile laser scanning data for future driver assistance systems
CN110850403A (zh) 一种多传感器决策级融合的智能船水面目标感知识别方法
KR102627453B1 (ko) 위치 추정 장치 및 방법
CN113532499B (zh) 无人系统的传感器安全性检测方法、设备及存储介质
CN112805766B (zh) 用于更新详细地图的装置和方法
Dumble et al. Airborne vision-aided navigation using road intersection features
JP2022500750A (ja) 教師なし機械学習による道路オブジェクトの位置特定のためのシステムおよび方法
CN112346463A (zh) 一种基于速度采样的无人车路径规划方法
CN113252051A (zh) 一种地图构建方法及装置
Zhao et al. Environmental perception and sensor data fusion for unmanned ground vehicle
Del Pizzo et al. Reliable vessel attitude estimation by wide angle camera
CN114641701A (zh) 使用表面穿透雷达和深度学习的改进的导航和定位
CN111089580B (zh) 一种基于协方差交叉的无人战车同时定位与地图构建方法
Mueller et al. Continuous stereo self-calibration on planar roads
Barbieri et al. Deep neural networks for cooperative lidar localization in vehicular networks
Kim et al. Vision-based map-referenced navigation using terrain classification of aerial images
Sanjukumar et al. Novel technique for Multi Sensor Calibration of a UAV
Zalewski et al. Computer Vision-Based Position Estimation for an Autonomous Underwater Vehicle
Stubberud et al. Navigation using image tracking
EP4160153A1 (en) Methods and systems for estimating lanes for a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant