CN108804528A - 一种数据融合方法及装置 - Google Patents

一种数据融合方法及装置 Download PDF

Info

Publication number
CN108804528A
CN108804528A CN201810404931.6A CN201810404931A CN108804528A CN 108804528 A CN108804528 A CN 108804528A CN 201810404931 A CN201810404931 A CN 201810404931A CN 108804528 A CN108804528 A CN 108804528A
Authority
CN
China
Prior art keywords
data
fusion
model
fused
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810404931.6A
Other languages
English (en)
Other versions
CN108804528B (zh
Inventor
王兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN201810404931.6A priority Critical patent/CN108804528B/zh
Publication of CN108804528A publication Critical patent/CN108804528A/zh
Application granted granted Critical
Publication of CN108804528B publication Critical patent/CN108804528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Abstract

本申请实施例提供了一种数据融合方法及装置,涉及计算机技术领域,其中,上述方法包括:获得待融合数据;将所述待融合数据输入至预先训练的数据过滤模型,滤除所述待融合数据中的异常数据,获得过滤数据;采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果。应用本申请实施例提供的方案进行数据融合,提高了数据融合结果的准确度。

Description

一种数据融合方法及装置
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据融合方法及装置。
背景技术
随着电子技术的发展,设备的数据处理能力越来越强,一些应用场景中因每种获得数据的方式均具有其局限性,因此,为了获得较为准确的数据,往往采用多种方式获得数据,然后通过对所获得数据进行数据融合的方式获得高准确度的数据。
例如,在导航系统中进行定位时,可以获得单目摄像头、双目摄像头、深度相机、超声波传感器、红外线传感器等等设备采集的与位置相关的数据,然后通过对上述设备采集到的数据进行数据融合,实现定位。
然而,现有技术中对采用多种方式获得的数据进行融合后,所得到的数据准确度一般较低。
发明内容
本申请实施例的目的在于提供一种数据融合方法及装置,以提高数据融合所得数据的准确度。具体技术方案如下:
第一方面,提供了一种数据融合方法,所述方法包括:
获得待融合数据;
将所述待融合数据输入至预先训练的数据过滤模型,滤除所述待融合数据中的异常数据,获得过滤数据;
采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果。
本申请的一个实施例中,所述数据过滤模型为:采用第一样本数据和所述第一样本数据的分类标注对预设的第一神经网络模型进行训练得到的模型,所述分类标注为:用于表征所述第一样本数据是否属于异常数据的信息。
本申请的一个实施例中,所述采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果,包括:
采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得初始融合结果;
将所述初始融合结果输入至预先训练的误差补偿模型,获得所述初始融合结果的误差补偿信息;
根据所述初始融合结果和误差补偿信息,获得所述待融合数据的数据融合结果。
本申请的一个实施例中,所述误差补偿模型为:采用样本融合结果和所述样本融合结果的实际误差对预设的第二神经网络模型进行训练得到的模型,所述样本融合结果为:采用卡尔曼滤波方式对第二样本数据进行数据融合的结果。
本申请的一个实施例中,所述采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果,包括:
采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得第一融合结果;
将所述过滤数据输入至基于神经网络的数据融合模型,获得所述数据融合模型输出的融合结果,作为第二融合结果,并基于第一融合信息和第二融合信息对所述数据融合模型进行训练,其中,所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合而产生的信息,所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合而产生的信息;
根据所述第一融合结果和第二融合结果,确定所述待融合数据的数据融合结果。
本申请的一个实施例中,在所述基于第一融合信息和第二融合信息对所述数据融合模型进行训练之后,还包括:
判断所述数据融合模型是否满足预设的训练中止条件;
若为是,中止对所述数据融合模型进行训练。
本申请的一个实施例中,所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合的结果;所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合的结果;
和/或
所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合而生成的第一状态信息,其中,所述第一状态信息为:用于表征卡尔曼滤波方式中系统状态的信息;所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合而产生的第二状态信息,其中,所述第二状态信息为:用于表征所述数据融合模型中系统状态的信息。
本申请的一个实施例中,所述根据所述第一融合结果和第二融合结果,确定所述待融合数据的数据融合结果,包括:
判断所述第一融合结果是否收敛;
若为是,将所述第一融合结果确定为所述待融合数据的数据融合结果;
若为否,将所述第二融合结果确定为所述待融合数据的数据融合结果。
第二方面,提供了一种数据融合装置,所述装置包括:
数据获得模块,用于获得待融合数据;
数据滤除模块,用于将所述待融合数据输入至预先训练的数据过滤模型,滤除所述待融合数据中的异常数据,获得过滤数据;
数据融合模块,用于采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果。
本申请的一个实施例中,所述数据过滤模型为:采用第一样本数据和所述第一样本数据的分类标注对预设的第一神经网络模型进行训练得到的模型,所述分类标注为:用于表征所述第一样本数据是否属于异常数据的信息。
本申请的一个实施例中,所述数据融合模块,包括:
第一数据融合单元,用于采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得初始融合结果;
补偿信息获得单元,用于将所述初始融合结果输入至预先训练的误差补偿模型,获得所述初始融合结果的误差补偿信息;
第一结果获得单元,用于根据所述初始融合结果和误差补偿信息,获得所述待融合数据的数据融合结果。
本申请的一个实施例中,所述误差补偿模型为:采用样本融合结果和所述样本融合结果的实际误差对预设的第二神经网络模型进行训练得到的模型,所述样本融合结果为:采用卡尔曼滤波方式对第二样本数据进行数据融合的结果。
本申请的一个实施例中,所述数据融合模块,包括:
第二数据融合单元,用于采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得第一融合结果;
第三数据融合单元,用于将所述过滤数据输入至基于神经网络的数据融合模型,获得所述数据融合模型输出的融合结果,作为第二融合结果;
模型训练单元,用于基于第一融合信息和第二融合信息对所述数据融合模型进行训练,其中,所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合而产生的信息,所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合而产生的信息;
第二结果获得单元,用于根据所述第一融合结果和第二融合结果,确定所述待融合数据的数据融合结果。
本申请的一个实施例中,所述数据融合装置还包括:
训练判断模块,用于在所述模型训练单元对所述数据融合模型进行训练之后,判断所述数据融合模型是否满足预设的训练中止条件,若为是,中止对所述数据融合模型进行训练。
本申请的一个实施例中,所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合的结果;所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合的结果;
和/或
所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合而生成的第一状态信息,其中,所述第一状态信息为:用于表征卡尔曼滤波方式中系统状态的信息;所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合而产生的第二状态信息,其中,所述第二状态信息为:用于表征所述数据融合模型中系统状态的信息。
本申请的一个实施例中,所述第二结果获得单元,具体用于判断所述第一融合结果是否收敛;若为是,将所述第一融合结果确定为所述待融合数据的数据融合结果;若为否,将所述第二融合结果确定为所述待融合数据的数据融合结果。
第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本申请实施例所述的方法步骤。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例所述的方法步骤。
由以上可见,应用本申请实施例提供的方案进行数据融合时,首先采用数据过滤模型滤除待融合数据中的异常数据,然后采用卡尔曼滤波方式对滤除异常数据后的待融合数据进行数据融合,获得待融合数据的融合结果。由于采用卡尔曼滤波方式进行数据融合之前,已经滤除待融合数据中的异常数据,所以能够得到高准确度的数据融合结果,从而提高了数据融合后数据的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的第一种数据融合方法的流程示意图;
图2为本申请实施例提供的第二种数据融合方法的流程示意图;
图3为本申请实施例提供的第三种数据融合方法的流程示意图;
图4为本申请实施例提供的第一种数据融合装置的结构示意图;
图5为本申请实施例提供的第二种数据融合装置的结构示意图;
图6为本申请实施例提供的第三种数据融合装置的结构示意图;
图7为本申请实施例提供的第一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在对本申请实施例提供的数据融合方法进行详细介绍之前,先对本申请实施例提供的数据融合方法的应用场景进行介绍。
一种应用场景为:导航场景,例如,机器人的导航场景。
机器人在工作过程中,当其在未知环境中从一个位置位置开始移动时,移动过程中需获取自身位置,并根据获取的位置和地图进行自身定位,在自身定位的基础上构建增量式地图,从而实现机器人的自主定位与导航。
其中,机器人在移动过程中获取自身位置时,可以通过多种方式获取,例如,通过LIDAR(Light Detection And Ranging,激光雷达)、单目摄像头、双目摄像头、深度相机、IMU(Inertial Measurement Unit,惯性测量装置)、码盘、超声波传感器、红外线传感器等等设备获得。
机器人在移动过程中通过多种方式获取自身位置后,通过对所获取的位置进行数据融合,从而得到机器人自身的精确位置。
需要说明的是,本申请仅仅以上述场景为例进行说明,实际应用中并不仅限于上述场景,例如,上述应用场景也可以为无人机的导航场景,还可以是导航以外的场景。
由于现有技术中存在数据融合所得数据准确度低的技术问题,为解决上述技术问题,本申请实施例提供了一种数据融合方法及装置。
本申请的一个实施例中,上述数据融合方式,包括:
获得待融合数据;
将待融合数据输入至预先训练的数据过滤模型,滤除待融合数据中的异常数据,获得过滤数据;
采用卡尔曼滤波方式对过滤数据进行数据融合,获得待融合数据的融合结果。
由以上可见,本实施例提供的方案中,由于采用卡尔曼滤波方式进行数据融合之前,已经滤除待融合数据中的异常数据,所以能够得到高准确度的数据融合结果,从而提高了数据融合后数据的准确度。另外,由于数据过滤模型是结合样本数据的分类标注对样本数据进行学习得到的,因此上述数据过滤模型能够从数据的整体角度学习到异常数据的特征,从而在使用数据过滤模型对待融合数据进行过滤时,能够较好的滤除待融合数据中的异常数据。
下面通过具体实施例对本申请实施例提供的数据融合方法进行详细介绍。
图1为本申请实施例提供的第一种数据融合方法的流程示意图,该方法包括:
S101:获得待融合数据。
具体的,上述待融合数据可以是多个传感器采集的数据,当然,也可以是其他设备采集的数据,本申请中并不限定待融合数据的来源。
S102:将待融合数据输入至数据过滤模型,滤除待融合数据中的异常数据,获得过滤数据。
为便于描述,本申请实施例中将滤除异常数据后的待融合数据称为过滤数据。
上述异常数据可以理解为:需要进行数据融合的数据中,与其他数据所表征信息差异大的数据。
以机器人导航场景为例,对LIDAR、单目摄像头、双目摄像头、深度相机、IMU、码盘、超声波传感器、红外线传感器等等设备采集的数据进行数据融合时,若经对数据进行检测发现LIDAR遇到反射不良的物体、双目摄像头被旁边的行人遮挡,则可以认为LIDAR采集的数据和双目摄像头采集的数据为异常数据。
本申请的一个实施例中,上述数据过滤模型为:采用第一样本数据和第一样本数据的分类标注对预设的第一神经网络模型进行训练得到的模型,分类标注为:用于表征第一样本数据是否属于异常数据的信息。
由于数据过滤模型是结合样本数据的分类标注对样本数据进行学习得到的,因此上述数据过滤模型能够从数据的整体角度学习到异常数据的特征,从而在使用数据过滤模型对待融合数据进行过滤时,能够较好的滤除待融合数据中的异常数据。
为便于区分,本申请实施例中将用于训练得到数据过滤模型的基础神经网络模型称为:第一神经网络模型,将对第一神经网络模型进行训练得到数据过滤模型过程中采用的样本数据称为:第一样本数据。
其中,第一样本数据中包含属于正常数据的正样本数据,也包含属于异常数据的负样本数据。
本申请的一个实施例中,可以通过以下方式训练得到数据过滤模型:
获得第一样本数据,并获得第一样本数据的分类标注,
将第一样本数据和第一样本数据的分类标注输入至上述第一神经网络模型,对第一神经网络模型进行训练,从而获得上述数据过滤模型。
从上述训练过程可以看出,上述数据过滤模型也可以作为对数据进行分类的模型,也就是将数据划分为正常数据和异常数据的模型。基于此,在应用数据过滤模型滤除待融合数据中的异常数据时,通过数据过滤模型可以将待融合数据划分为正常数据和异常数据两类,得到分类结果后即可滤除待融合数据中属于异常数据的数据。
本申请的一个实施例中,上述第一神经网络模型可以为能够模拟复杂的非线性映射的神经网络模型:CNN(Convolutional Neural Network,卷积神经网络)模型、全连接神经网络等。
S103:采用卡尔曼滤波方式对上述过滤数据进行数据融合,获得待融合数据的融合结果。
卡尔曼滤波(Kalman filtering)是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。由于观测数据中包括系统噪声和干扰数据,所以最优估计也可看作是滤波过程。卡尔曼滤波不要求真实信号和噪声均属于平稳信号这一假设条件。对于每个时刻的系统扰动和观测误差(即噪声),只要对它们的统计性质作某些适当的假定,通过对含有噪声的观测数据进行处理,就能在平均意义上,求得误差最小的真实信号的估计值。
也就是,卡尔曼滤波过程可以理解为:对系统输入观测数据进行处理,得到误差最小的真实信号估计值的过程,而对待融合数据进行数据融合,也可以理解为:对待融合数据进行数据处理,得到与各个待融合数据误差最小的估计数据的过程,因此,可以将卡尔曼滤波引入数据融合过程中。
另外,在不同的应用场景中采用卡尔曼滤波方式对数据进行融合之前,需要结合待融合数据的种类、格式、采用间隔、维数等等信息对卡尔曼滤波算法中涉及的参数进行设置,以适应应用场景的需求。对卡尔曼滤波算法中所涉及的参数进行设置在整个应用场景中设置一次即可,并不需要每次进行数据融合之前均进行设置。
由以上可见,应用本实施例提供的方案进行数据融合时,首先采用数据过滤模型滤除待融合数据中的异常数据,然后采用卡尔曼滤波方式对滤除异常数据后的待融合数据进行数据融合,获得待融合数据的融合结果。由于采用卡尔曼滤波方式进行数据融合之前,已经滤除待融合数据中的异常数据,所以能够得到高准确度的数据融合结果,从而提高了数据融合后数据的准确度。
本申请的一个实施例中,在采用卡尔曼滤波方式进行数据融合时,可以是基于卡尔曼滤波器的原始滤波器进行数据融合的,也可以是基于EKF(ExtendedKalmanFilter,扩展卡尔曼滤波器)或MSCKF(Multi-state constrained Kalman Filter,多状态约束卡尔曼滤波器)进行数据融合的。
其中,EKF对非线性函数的Taylor展开式进行一阶线性化截断,忽略其余高阶项,从而将非线性问题转化为线性问题,因此,可以将卡尔曼线性滤波算法应用于非线性系统中。这样一来,解决了非线性问题。
以导航系统为例,MSCKF可以维护一个Pose(位姿)的FIFO(First Input FirstOutput,先进先出队列),这一队列按照时间顺序排列,可以理解为一个滑动窗口,如果一个特征点在滑动窗口中的几个位姿都被观察到的话,就会在这几个位姿间建立约束,从而进行KF(KalmanFilter,卡尔曼滤波器)的更新。由于MSCKF使用了多个位姿之间基于单个特征的约束关系,会更容易收敛,并且对局部数据错误有更好的鲁棒性。
本申请的一个实施例中,参见图2,提供了第二种数据融合方法的流程示意图,与前述图1所示实施例相比,本实施例中,上述步骤S103采用卡尔曼滤波方式对上述过滤数据进行数据融合,获得待融合数据的融合结果,包括:
S103A:采用卡尔曼滤波方式对上述过滤数据进行数据融合,获得初始融合结果。
S103B:将初始融合结果输入至预先训练的误差补偿模型,获得初始融合结果的误差补偿信息。
本申请的一个实施例中,上述误差补偿模型为:采用样本融合结果和样本融合结果的实际误差对预设的第二神经网络模型进行训练得到的模型,上述样本融合结果为:采用卡尔曼滤波方式对第二样本数据进行数据融合的结果。
为便于区分,本申请实施例中将用于训练得到误差补偿模型的基础神经网络模型称为:第二神经网络模型,将对第二神经网络模型进行训练得到误差补偿模型过程中采用的样本数据称为:第二样本数据。
本申请的一种实现方式中,可以通过以下方式训练得到误差补偿模型:
获得第二样本数据;
采用卡尔曼滤波方式对第二样本数据进行数据融合,获得融合结果,作为样本融合结果;
获得上述样本融合结果的实际误差;
将上述样本融合结果和实际误差输入至第二神经网络模型,对第二神经网络模型进行训练,从而获得上述误差补偿模型。
上述第二样本数据可以为未经过数据过滤模型滤除异常数据的样本数据,还可以为采用数据过滤模型滤除异常数据的样本数据。
具体的,上述实际误差可以采用测试人员人工测试量的方式获得。以机器人导航系统中对自身位置进行定位为例,可以记录机器人移动过程中经过的实际位置,获得机器人在移动过程中采用卡尔曼滤波方式计算得到的融合结果,然后通过计算上述实际位置与融合结果之间的差值获得上述实际误差。
本申请的一种实现方式中,上述第二神经网络模型可以是有时间记忆功能的网络模型,例如:RNN(Recurrent neural Network,循环神经网络)模型、LSTM(Long Short-TermMemory,长短期记忆网络)模型等等。
S103C:根据初始融合结果和误差补偿信息,获得待融合数据的数据融合结果。
具体的,根据初始融合结果和误差补偿信息,获得待融合数据的数据融合结果时,可以采用初始融合结果与误差补偿结果直接叠加的方式,获得待同和数据的数据融合结果。
由以上可见,应用本实施例提供的方案进行数据融合时,在采用卡尔曼滤波方式对滤除异常数据后的待融合数据进行数据融合,获得初始融合结果后,还通过误差补偿模型获得了初始融合结果的误差补偿,这样可以有效消除数据融合过程中引入的误差,进一步提高了最终得到的数据融合结果的准确度。
本申请的一个实施例中,参见图3,提供了第三种数据融合方法的流程示意图,与前述图1所示实施例相比,本实施例中,上述步骤S103采用卡尔曼滤波方式对上述过滤数据进行数据融合,获得待融合数据的融合结果,包括:
S103D:采用卡尔曼滤波方式对上述过滤数据进行数据融合,获得第一融合结果。
S103E:将过滤数据输入至基于神经网络的数据融合模型,获得数据融合模型输出的融合结果,作为第二融合结果,并基于第一融合信息和第二融合信息对数据融合模型进行训练。
其中,第一融合信息为:采用卡尔曼滤波方式对过滤数据进行数据融合而产生的信息,第二融合信息为:采用数据融合模型对过滤数据进行数据融合而产生的信息。
从上述描述可见,数据融合模型为基于神经网络的模型,也就是说,数据融合模型是一种神经网络模型。
神经网络模型是一种模仿人类神经网络行为特征,并进行分布式并行信息处理的数学算法模型。神经网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。在网络训练过程中,通过大量的训练样本及反向传播算法对神经网络进行训练,进而可以模拟任何复杂的非线性函数。而数据融合本质也是非线性优化问题,因此,可以用神经网络模型引入数据融合过程。
本申请的一种实现方式中,上述数据融合模型可以是有时间记忆功能的网络模型,例如:RNN(Recurrent neural Network,循环神经网络)模型、LSTM(Long Short-TermMemory,长短期记忆网络)模型等等。
具体的,基于第一融合信息和第二融合信息对数据融合模型进行训练时,是指以第一融合信息为训练标注信息,结合第二融合信息相对于第一融合信息的差异,对数据融合模型进行训练,也就是对数据融合模型中与各个系统状态相关的参数进行调整。训练的目的是期望采用数据融合模型对待融合数据进行数据融合时,得到的融合结果向上述第一融合结果靠拢,从而实现数据融合模型对采用卡尔曼滤波方式进行数据融合的模拟。
本申请的一种实现方式中,
第一种情况:上述第一融合信息为:采用卡尔曼滤波方式对上述过滤数据进行数据融合的结果;第二融合信息为:采用数据融合模型对上述过滤数据进行数据融合的结果;
和/或
第二种情况:第一融合信息为:采用卡尔曼滤波方式对上述过滤数据进行数据融合而生成的第一状态信息,其中,第一状态信息为:用于表征卡尔曼滤波方式中系统状态的信息;第二融合信息为:采用数据融合模型对上述过滤数据进行数据融合而产生的第二状态信息,其中,第二状态信息为:用于表征数据融合模型中系统状态的信息。
当第一融合信息和第二融合信息为上述第一种情况时,通过对上述过滤数据进行学习,数据融合模型可以学习到采用卡尔曼滤波方式对不同数据进行融合时所得到的融合结果。
当第一融合信息和第二融合信息为上述第二种情况时,通过对上述过滤数据进行学习,数据融合模型可以学习到采用卡尔曼滤波方式进行数据融合的过程。
从前述描述可见,本实施例提供的方案中是基于第一融合信息和第二融合信息对数据融合模型进行训练的,也就是,上述数据融合模型是在采用卡尔曼滤波方式进行数据融合的同时,结合采用卡尔曼滤波方式进行数据融合过程中产生的信息,进行模型训练,获得上述数据融合模型。基于此,可以认为上述数据融合模型是通过在线训练的方式获得的。
也就是,随着数据融合的进行,对数据融合模型的训练可以一直持续,这样可以使得数据融合模型能够持续不断的学习基于卡尔曼滤波方式的数据融合,使得数据融合模型的数据融合结果越来越接近基于卡尔曼滤波方式的数据融合结果。
然而模型训练过程需要占用一定资源,为此本申请的一种实现方式中,在基于第一融合信息和第二融合信息对数据融合模型进行训练之后,还可以判断数据融合模型是否满足预设的训练中止条件,若满足上述训练中止条件,中止对数据融合模型进行训练。
具体的,上述训练中止条件可以是与训练时间相关的训练中止条件,例如,判断针对数据融合模型的训练时长是否达到预设时长,若达到上述预设时长,判定数据融合模型满足训练中止条件。如,上述预设时长可以是3天、4天等。
上述训练中止条件还可以是与数据融合模型的融合结果相关的中止条件,例如,判断上述第二融合结果与第一融合结果之间的相似度是否达到预设阈值,若达到预设阈值,判定数据融合模型满足训练中止条件。
本申请的一种实现方式中,数据融合模型满足训练中止条件后,中止针对数据融合模型的模型训练,但是一旦需要融合的数据的特征发生变化等,可以再次开启针对数据融合模型的模型训练。
S103F:根据第一融合结果和第二融合结果,确定待融合数据的数据融合结果。
本申请的一种实现方式中,根据第一融合结果和第二融合结果,确定待融合数据的数据融合结果时,可以判断第一融合结果是否收敛;若收敛,将第一融合结果确定为待融合数据的数据融合结果;若不收敛,将第二融合结果确定为待融合数据的数据融合结果。
本申请的另一种实现方式中,根据第一融合结果和第二融合结果,确定待同和数据的数据融合结果时,可以采用对第一融合结果和第二融合结果进行加权计算的方式,确定待融合数据的数据融合结果。
需要说明的是,本申请仅仅以上述为例进行说明,并不限定确定待融合数据的数据融合结果的具体方式。
由以上可见,应用本实施例提供的方案进行数据融合时,不仅采用卡尔曼滤波方式对上述过滤数据进行数据融合,而且采用数据融合模型对上述过滤数据进行数据融合,且数据融合模型是采用在线训练的方式对基于卡尔曼滤波方式的数据融合进行学习而得到的模型,因此,基于数据融合模型得到的融合结果足以能够表征基于卡尔曼滤波方式的融合结果,这样不仅能够获得准确度较高的数据融合结果,而且在异常数据或者其他原因导致基于卡尔曼滤波方式的滤波结果不能收敛时,可以借助基于数据融合模型的融合结果获得待融合数据的融合结果。
与上述数据融合方法相对应,本申请实施例还提供了一种数据融合装置。
图4为本申请实施例提供的第一种数据融合装置的结构示意图,该装置包括:
数据获得模块401,用于获得待融合数据;
数据滤除模块402,用于将所述待融合数据输入至预先训练的数据过滤模型,滤除所述待融合数据中的异常数据,获得过滤数据;
数据融合模块403,用于采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果。
本申请的一个实施例中,所述数据过滤模型为:采用第一样本数据和所述第一样本数据的分类标注对预设的第一神经网络模型进行训练得到的模型,所述分类标注为:用于表征所述第一样本数据是否属于异常数据的信息。
由以上可见,应用本实施例提供的方案进行数据融合时,首先采用数据过滤模型滤除待融合数据中的异常数据,然后采用卡尔曼滤波方式对滤除异常数据后的待融合数据进行数据融合,获得待融合数据的融合结果。由于采用卡尔曼滤波方式进行数据融合之前,已经滤除待融合数据中的异常数据,所以能够得到高准确度的数据融合结果,从而提高了数据融合后数据的准确度。
本申请的一个实施例中,参见图5,提供了第二种数据融合装置的结构示意图,与前述图4所示实施例相比,本实施例中,上述数据融合模块403,包括:
第一数据融合单元403A,用于采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得初始融合结果;
补偿信息获得单元403B,用于将所述初始融合结果输入至预先训练的误差补偿模型,获得所述初始融合结果的误差补偿信息;
第一结果获得单元403C,用于根据所述初始融合结果和误差补偿信息,获得所述待融合数据的数据融合结果。
本申请的一个实施例中,所述误差补偿模型为:采用样本融合结果和所述样本融合结果的实际误差对预设的第二神经网络模型进行训练得到的模型,所述样本融合结果为:采用卡尔曼滤波方式对第二样本数据进行数据融合的结果。
由以上可见,应用本实施例提供的方案进行数据融合时,在采用卡尔曼滤波方式对滤除异常数据后的待融合数据进行数据融合,获得初始融合结果后,还通过误差补偿模型获得了初始融合结果的误差补偿,这样可以有效消除数据融合过程中引入的误差,进一步提高了最终得到的数据融合结果的准确度。
本申请的一个实施例中,参见图6,提供了第三种数据融合装置的结构示意图,与前述图4所示实施例相比,本实施例中,上述数据融合模块403,包括:
第二数据融合单元403D,用于采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得第一融合结果;
第三数据融合单元403E,用于将所述过滤数据输入至基于神经网络的数据融合模型,获得所述数据融合模型输出的融合结果,作为第二融合结果;
模型训练单元403F,用于基于第一融合信息和第二融合信息对所述数据融合模型进行训练,其中,所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合而产生的信息,所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合而产生的信息;
第二结果获得单元403G,用于根据所述第一融合结果和第二融合结果,确定所述待融合数据的数据融合结果。
本申请的一个实施例中,上述数据融合装置还可以包括:
训练判断模块,用于在所述模型训练单元对所述数据融合模型进行训练之后,判断所述数据融合模型是否满足预设的训练中止条件,若为是,中止对所述数据融合模型进行训练。
本申请的一个实施例中,所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合的结果;所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合的结果;
和/或
所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合而生成的第一状态信息,其中,所述第一状态信息为:用于表征卡尔曼滤波方式中系统状态的信息;所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合而产生的第二状态信息,其中,所述第二状态信息为:用于表征所述数据融合模型中系统状态的信息。
本申请的一个实施例中,所述第二结果获得单元403G,具体用于判断所述第一融合结果是否收敛;若为是,将所述第一融合结果确定为所述待融合数据的数据融合结果;若为否,将所述第二融合结果确定为所述待融合数据的数据融合结果。
由以上可见,应用本实施例提供的方案进行数据融合时,不仅采用卡尔曼滤波方式对上述过滤数据进行数据融合,而且采用数据融合模型对上述过滤数据进行数据融合,且数据融合模型是采用在线训练的方式对基于卡尔曼滤波方式的数据融合进行学习而得到的模型,因此,基于数据融合模型得到的融合结果足以能够表征基于卡尔曼滤波方式的融合结果,这样不仅能够获得准确度较高的数据融合结果,而且在异常数据或者其他原因导致基于卡尔曼滤波方式的滤波结果不能收敛时,可以借助基于数据融合模型的融合结果获得待融合数据的融合结果。
与前述数据融合方法相对应,本申请实施例中还提供了一种电子设备。
图7为本申请实施例提供的一种电子设备的结构示意图,该电子设备包括:处理器701、通信接口702、存储器703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信,
存储器703,用于存放计算机程序;
处理器701,用于执行存储器703上所存放的程序时,实现本申请实施例提供的数据融合方法。
本申请的一个实施例中,提供了一种数据融合方法,所述方法包括:
获得待融合数据;
将所述待融合数据输入至预先训练的数据过滤模型,滤除所述待融合数据中的异常数据,获得过滤数据;
采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果。
需要说明的是,处理器701执行存储器703上所存放的程序而实现的数据融合方法的其他实施例,与前述方法实施例部分提及的实施例相同,这里不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由以上可见,应用本实施例提供的方案进行数据融合时,电子设备首先采用数据过滤模型滤除待融合数据中的异常数据,然后采用卡尔曼滤波方式对滤除异常数据后的待融合数据进行数据融合,获得待融合数据的融合结果。由于采用卡尔曼滤波方式进行数据融合之前,已经滤除待融合数据中的异常数据,所以能够得到高准确度的数据融合结果,从而提高了数据融合后数据的准确度。
与前述数据融合方法相对应,本申请实施例还提供了一种计算机可读存储介质。该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的数据融合方法。
本申请的一个实施例中,提供了一种数据融合方法,所述方法包括:
获得待融合数据;
将所述待融合数据输入至预先训练的数据过滤模型,滤除所述待融合数据中的异常数据,获得过滤数据;
采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果。
需要说明的是,上述计算机程序被处理器执行而实现的数据融合方法的其他实施例,与前述方法实施例部分提及的实施例相同,这里不再赘述。
由以上可见,应用本实施例提供的方案进行数据融合时,通过执行计算机可读存储介质中存储的计算机程序,首先采用数据过滤模型滤除待融合数据中的异常数据,然后采用卡尔曼滤波方式对滤除异常数据后的待融合数据进行数据融合,获得待融合数据的融合结果。由于采用卡尔曼滤波方式进行数据融合之前,已经滤除待融合数据中的异常数据,所以能够得到高准确度的数据融合结果,从而提高了数据融合后数据的准确度。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备和计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (10)

1.一种数据融合方法,其特征在于,所述方法包括:
获得待融合数据;
将所述待融合数据输入至预先训练的数据过滤模型,滤除所述待融合数据中的异常数据,获得过滤数据;
采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果。
2.根据权利要求1所述的方法,其特征在于,
所述数据过滤模型为:采用第一样本数据和所述第一样本数据的分类标注对预设的第一神经网络模型进行训练得到的模型,所述分类标注为:用于表征所述第一样本数据是否属于异常数据的信息。
3.根据权利要求1或2所述的方法,其特征在于,所述采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果,包括:
采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得初始融合结果;
将所述初始融合结果输入至预先训练的误差补偿模型,获得所述初始融合结果的误差补偿信息;
根据所述初始融合结果和误差补偿信息,获得所述待融合数据的数据融合结果。
4.根据权利要求3所述的方法,其特征在于,
所述误差补偿模型为:采用样本融合结果和所述样本融合结果的实际误差对预设的第二神经网络模型进行训练得到的模型,所述样本融合结果为:采用卡尔曼滤波方式对第二样本数据进行数据融合的结果。
5.根据权利要求1或2所述的方法,其特征在于,所述采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果,包括:
采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得第一融合结果;
将所述过滤数据输入至基于神经网络的数据融合模型,获得所述数据融合模型输出的融合结果,作为第二融合结果,并基于第一融合信息和第二融合信息对所述数据融合模型进行训练,其中,所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合而产生的信息,所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合而产生的信息;
根据所述第一融合结果和第二融合结果,确定所述待融合数据的数据融合结果。
6.根据权利要求5所述的方法,其特征在于,在所述基于第一融合信息和第二融合信息对所述数据融合模型进行训练之后,还包括:
判断所述数据融合模型是否满足预设的训练中止条件;
若为是,中止对所述数据融合模型进行训练。
7.根据权利要求5所述的方法,其特征在于,
所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合的结果;所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合的结果;
和/或
所述第一融合信息为:采用卡尔曼滤波方式对所述过滤数据进行数据融合而生成的第一状态信息,其中,所述第一状态信息为:用于表征卡尔曼滤波方式中系统状态的信息;所述第二融合信息为:采用所述数据融合模型对所述过滤数据进行数据融合而产生的第二状态信息,其中,所述第二状态信息为:用于表征所述数据融合模型中系统状态的信息。
8.一种数据融合装置,其特征在于,所述装置包括:
数据获得模块,用于获得待融合数据;
数据滤除模块,用于将所述待融合数据输入至预先训练的数据过滤模型,滤除所述待融合数据中的异常数据,获得过滤数据;
数据融合模块,用于采用卡尔曼滤波方式对所述过滤数据进行数据融合,获得所述待融合数据的融合结果。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN201810404931.6A 2018-04-28 2018-04-28 一种数据融合方法及装置 Active CN108804528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810404931.6A CN108804528B (zh) 2018-04-28 2018-04-28 一种数据融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810404931.6A CN108804528B (zh) 2018-04-28 2018-04-28 一种数据融合方法及装置

Publications (2)

Publication Number Publication Date
CN108804528A true CN108804528A (zh) 2018-11-13
CN108804528B CN108804528B (zh) 2021-04-09

Family

ID=64093249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810404931.6A Active CN108804528B (zh) 2018-04-28 2018-04-28 一种数据融合方法及装置

Country Status (1)

Country Link
CN (1) CN108804528B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200240A (zh) * 2020-09-30 2021-01-08 重庆长安汽车股份有限公司 一种多传感器目标数据融合方法、系统及计算机可读存储介质
CN112347840A (zh) * 2020-08-25 2021-02-09 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN113449248A (zh) * 2020-03-26 2021-09-28 太原理工大学 集成sins/gnss系统数据融合方法和装置
CN113440369A (zh) * 2021-06-19 2021-09-28 周华林 交互式控制方法、系统、设备及存储介质
CN113901043A (zh) * 2021-12-13 2022-01-07 西安中电环通数字科技有限公司 污染源智能监管和数据融合分析方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101858980A (zh) * 2010-05-18 2010-10-13 东南大学 一种车载基于gps软件接收机的智能超紧组合导航方法
CN102316496A (zh) * 2011-09-07 2012-01-11 上海交通大学 无线传感器网络中基于卡尔曼滤波的数据融合方法
CN102494685A (zh) * 2011-11-14 2012-06-13 东南大学 用于wsn/ins高精度实时组合导航的h无穷信息融合方法
CN104484410A (zh) * 2014-12-16 2015-04-01 芜湖乐锐思信息咨询有限公司 应用于大数据系统的数据融合方法及系统
CN104598704A (zh) * 2013-10-31 2015-05-06 大连智友软件科技有限公司 基于卡尔曼滤波法的检测数据融合方法
CN105094138A (zh) * 2015-07-15 2015-11-25 东北农业大学 一种用于旋翼无人机的低空自主导航系统
US20160162743A1 (en) * 2014-12-05 2016-06-09 Magna Electronics Inc. Vehicle vision system with situational fusion of sensor data
CN106595653A (zh) * 2016-12-08 2017-04-26 南京航空航天大学 一种穿戴式行人自主导航系统及其导航方法
CN107783549A (zh) * 2016-08-25 2018-03-09 大连楼兰科技股份有限公司 基于多传感器信息融合技术的单旋翼植保无人机避障系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101858980A (zh) * 2010-05-18 2010-10-13 东南大学 一种车载基于gps软件接收机的智能超紧组合导航方法
CN102316496A (zh) * 2011-09-07 2012-01-11 上海交通大学 无线传感器网络中基于卡尔曼滤波的数据融合方法
CN102494685A (zh) * 2011-11-14 2012-06-13 东南大学 用于wsn/ins高精度实时组合导航的h无穷信息融合方法
CN104598704A (zh) * 2013-10-31 2015-05-06 大连智友软件科技有限公司 基于卡尔曼滤波法的检测数据融合方法
US20160162743A1 (en) * 2014-12-05 2016-06-09 Magna Electronics Inc. Vehicle vision system with situational fusion of sensor data
CN104484410A (zh) * 2014-12-16 2015-04-01 芜湖乐锐思信息咨询有限公司 应用于大数据系统的数据融合方法及系统
CN105094138A (zh) * 2015-07-15 2015-11-25 东北农业大学 一种用于旋翼无人机的低空自主导航系统
CN107783549A (zh) * 2016-08-25 2018-03-09 大连楼兰科技股份有限公司 基于多传感器信息融合技术的单旋翼植保无人机避障系统
CN106595653A (zh) * 2016-12-08 2017-04-26 南京航空航天大学 一种穿戴式行人自主导航系统及其导航方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡鹤皋 等: ""卡尔曼滤波与多传感器数据融合技术"", 《模式识别与人工智能》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449248A (zh) * 2020-03-26 2021-09-28 太原理工大学 集成sins/gnss系统数据融合方法和装置
CN113449248B (zh) * 2020-03-26 2022-04-12 太原理工大学 集成sins/gnss系统数据融合方法和装置
CN112347840A (zh) * 2020-08-25 2021-02-09 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN112347840B (zh) * 2020-08-25 2022-12-02 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN112200240A (zh) * 2020-09-30 2021-01-08 重庆长安汽车股份有限公司 一种多传感器目标数据融合方法、系统及计算机可读存储介质
CN113440369A (zh) * 2021-06-19 2021-09-28 周华林 交互式控制方法、系统、设备及存储介质
CN113901043A (zh) * 2021-12-13 2022-01-07 西安中电环通数字科技有限公司 污染源智能监管和数据融合分析方法和系统
CN113901043B (zh) * 2021-12-13 2022-03-29 西安中电环通数字科技有限公司 污染源智能监管和数据融合分析方法和系统

Also Published As

Publication number Publication date
CN108804528B (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN108804528A (zh) 一种数据融合方法及装置
CN108764164B (zh) 一种基于可变形卷积网络的人脸检测方法及系统
US10943148B2 (en) Inspection neural network for assessing neural network reliability
CN105469041B (zh) 基于多任务正则化与逐层监督神经网络的人脸点检测系统
CN104538041B (zh) 异常声音检测方法及系统
WO2022221979A1 (zh) 一种自动驾驶场景的生成方法、装置及系统
CN108600212A (zh) 基于多维度可信特征的威胁情报可信性判别方法及装置
CN107577945A (zh) Url攻击检测方法、装置以及电子设备
CN107808098A (zh) 一种模型安全检测方法、装置以及电子设备
CN106022380A (zh) 基于深度学习的个体身份识别方法
WO2021056914A1 (zh) 一种目标检测模型的自动建模方法及装置
Kim et al. Structural recurrent neural network for traffic speed prediction
Nicolescu et al. Experience-based representation construction: learning from human and robot teachers
Yu et al. Human motion based intent recognition using a deep dynamic neural model
CN109387521A (zh) 图像处理系统
CN113065060A (zh) 基于深度学习的教育平台课程推荐方法及系统
CN110688883A (zh) 车辆和行人检测方法及装置
Marvi et al. Barrier-certified learning-enabled safe control design for systems operating in uncertain environments
US10935938B1 (en) Learning from operator data for practical autonomy
Rahman et al. An automated zebra crossing using Arduino-UNO
CN109145821B (zh) 一种对人眼图像中瞳孔图像进行定位的方法及装置
Zhang et al. Set-membership filtering approach for fault detection of systems with unknown-but-bounded noises
CN112149698A (zh) 一种困难样本数据的筛选方法及装置
Say et al. Unmanned aerial vehicle (UAV) attitude estimation using artificial neural network approach
Saleem et al. Obstacle-avoidance algorithm using deep learning based on rgbd images and robot orientation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant