CN116222544A - 一种面向饲养场的投料车自动导航定位方法及装置 - Google Patents
一种面向饲养场的投料车自动导航定位方法及装置 Download PDFInfo
- Publication number
- CN116222544A CN116222544A CN202310511451.0A CN202310511451A CN116222544A CN 116222544 A CN116222544 A CN 116222544A CN 202310511451 A CN202310511451 A CN 202310511451A CN 116222544 A CN116222544 A CN 116222544A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- point cloud
- conversion
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
Abstract
本申请公开了基于一种面向饲养场的投料车自动导航定位方法及装置,通过对获取到的不同类型数据进行处理,得到与至少三种因子所对应的转换特征,并结合构建的车辆运动模型对该转换特征进行优化处理,以根据优化处理后的转换特征生成地图,一方面可采用激光雷达、IMU以及北斗定位等传感器,发挥不同传感器各自的优点,实现优势互补;另一方面结合车辆运动模型提升定位精度,通过对转换特征进行优化处理的方式,充分考虑场景变化以及北斗信号在室内不稳定等问题,不仅提高导航定位的适用性以及精度,还可满足全天候、室内室外变化等使用要求。
Description
技术领域
本申请属于无人移动平台的自主导航与定位技术领域,特别的涉及一种面向饲养场的投料车自动导航定位方法及装置。
背景技术
地面无人移动平台的应用是无人平台技术研究的热点,地面无人平台的自主导航与定位是无人平台遂行任务必须解决的关键问题,性能优越的导航与定位方法不仅能够有效提高车辆的安全性,更能够确保任务准确的完成。目前,无人驾驶车辆广泛采用多传感器融合定位方案,以覆盖不同的行驶工况。在场区内实现自主导航与定位时,常见的传感器有激光雷达、摄像头、双目相机、UWB、GNSS、IMU、车辆码盘等。针对不同的应用场景,研究者提出了多种导航定位方法,如GNSS/IMU、LiDAR/GNSS、GNSS/UWB等。
在众多的自主导航与定位方法中,利用激光雷达构建地图,并基于建立的地图定位的方法被广泛运用在无人移动平台开发中。然而基于激光雷达的定位技术,在面积大、未知以及动态的饲养场应用时,存在计算复杂度高以及定位误差发散等问题;其次,一些基于IMU的惯性导航定位技术的误差会随着时间不断累积,导致位置和姿态的测量结果偏离实际位置,因此无法用来做长时间的高精度定位。综上,针对牲畜饲料投放车的应用需求,现有的相关技术难以应对不同天气,光线、室内室外场地等条件,且导航定位精度无法得到保障。
发明内容
本申请为解决上述提到的基于激光雷达的定位技术,在面积大、未知以及动态的饲养场应用时,存在计算复杂度高以及定位误差发散等问题;其次,一些基于IMU的惯性导航定位技术的误差会随着时间不断累积,导致位置和姿态的测量结果偏离实际位置,因此无法用来做长时间的高精度定位。综上,针对牲畜饲料投放车的应用需求,现有的相关技术难以应对不同天气,光线、室内室外场地等条件,且导航定位精度无法得到保障等技术缺陷,提出一种面向饲养场的投料车自动导航定位方法及装置,其技术方案如下:
第一方面,本申请实施例提供了一种面向饲养场的投料车自动导航定位方法,包括:
获取投料车在多个位置对应的初始点云数据、初始位姿数据以及初始定位数据,并对初始点云数据、初始位姿数据以及初始定位数据进行配准处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据;
根据目标点云数据、目标位姿数据以及目标定位数据,确定出至少三种因子所对应的转换特征;其中,转换特征包括位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征中任意至少一种;
基于所有因子所对应的转换特征建立车辆运动模型,并根据车辆运动模型与每种因子所对应的位置特征之间的位置关系,得到与每种因子对应的目标权重值;
对每种因子所对应的转换特征以及目标权重值进行加权求和计算,得到目标转换特征;
根据目标转换特征生成地图,并当检测到投料车遇到障碍物时,对地图进行更新处理。
在第一方面的一种可选方案中,对初始点云数据、初始位姿数据以及初始定位数据进行配准处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据,包括:
分别对初始点云数据、初始位姿数据以及初始定位数据进行卡尔曼滤波处理,得到第一点云数据、第一位姿数据以及第一定位数据;
按照预设的时间间隔,对初始点云数据以及第一点云数据进行拉格朗日插值处理,得到第二点云数据;
按照预设的时间间隔,对初始位姿数据以及第一位姿数据进行拉格朗日插值处理,得到第二位姿数据;
按照预设的时间间隔,对初始定位数据以及第一定位数据进行拉格朗日插值处理,得到第二定位数据;
根据预设的旋转矩阵以及平移矩阵,对第二点云数据、第二位姿数据以及第二定位数据分别进行坐标转换处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据。
在第一方面的又一种可选方案中,根据目标点云数据、目标位姿数据以及目标定位数据,确定出至少三种因子所对应的转换特征,包括:
分别计算出第n时刻对应的目标位姿数据与第n-1时刻对应的目标位姿数据之间的第一斜率,以及第n-1时刻对应的目标位姿数据与第n-2时刻对应的目标位姿数据之间的第二斜率,并当检测到第一斜率与第二斜率之间的差值超过预设差值阈值时,将与第n时刻对应的目标点云数据、目标位姿数据以及目标定位数据作为关键帧数据;
根据所有关键帧数据确定出至少三种因子所对应的转换特征。
在第一方面的又一种可选方案中,至少三种因子包括预积分因子、激光里程计因子以及北斗定位因子;
根据所有关键帧数据确定出至少三种因子所对应的转换特征,包括:
对任意两个相邻的关键帧数据中的目标位姿数据进行积分计算,得到与预积分因子对应的转换特征;
计算出每个关键帧数据的目标点云数据中每个点的曲率,根据所有点的曲率提取出与每个目标点云数据对应的边缘特征以及平面特征;
对第s个关键帧数据中的目标点云数据所对应的边缘特征以及平面特征,与前s-1个关键帧数据中的目标点云数据所对应的边缘特征以及平面特征进行匹配,得到相似度超过预设相似度阈值的匹配特征,并根据匹配特征得到与激光里程计因子对应的转换特征;
对任意两个相邻的关键帧数据中的目标定位数据构建线性变换函数,得到与北斗定位因子对应的转换特征。
在第一方面的又一种可选方案中,至少三种因子还包括闭环因子;
根据所有关键帧数据确定出至少三种因子所对应的转换特征,还包括:
计算出第m个关键帧数据中的目标位姿数据与前m-1个关键帧数据中的目标位姿数据之间的距离差值,并根据距离差值处于预设距离区间,且时间间隔大于预设间隔区间所对应的关键帧数据,以及第m个关键帧数据得到与闭环因子对应的转换特征。
在第一方面的又一种可选方案中,基于所有因子所对应的转换特征建立车辆运动模型,并根据车辆运动模型与每种因子所对应的位置特征之间的位置关系,得到与每种因子对应的目标权重值,包括:
基于预设权重值对所有因子所对应的转换特征进行加权求和计算,得到第一转换特征;
将第一转换特征代入至预设的表达式中,得到车辆运动模型;
分别计算出相同时间内所述车辆运动模型对应的位置坐标与每种因子所对应的转换特征中位置坐标之间的距离,并根据每种因子所对应的距离之间的比例关系得到与每种因子对应的目标权重值。
在第一方面的又一种可选方案中,根据目标转换特征生成地图,包括:
将与每个目标点云数据对应的边缘特征以及平面特征转换为与世界坐标系对应的目标边缘特征以及目标平面特征;
根据与每个目标点云数据对应的目标边缘特征以及目标平面特征、目标转换特征生成地图。
第二方面,本申请实施例提供了一种面向饲养场的投料车自动导航定位装置,包括:
信息采集模块,用于获取投料车在多个位置对应的初始点云数据、初始位姿数据以及初始定位数据,并对初始点云数据、初始位姿数据以及初始定位数据进行配准处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据;
因子确定模块,用于根据目标点云数据、目标位姿数据以及目标定位数据,确定出至少三种因子所对应的转换特征;其中,转换特征包括位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征中任意至少一种;
模型构建模块,用于基于所有因子所对应的转换特征建立车辆运动模型,并根据车辆运动模型与每种因子所对应的位置特征之间的位置关系,得到与每种因子对应的目标权重值;
特征计算模块,用于对每种因子所对应的转换特征以及目标权重值进行加权求和计算,得到目标转换特征;
地图定位模块,用于根据目标转换特征生成地图,并当检测到投料车遇到障碍物时,对地图进行更新处理。
第三方面,本申请实施例还提供了一种面向饲养场的投料车自动导航定位装置,包括处理器以及存储器;
处理器与存储器连接;
存储器,用于存储可执行程序代码;
处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于实现本申请实施例第一方面或第一方面的任意一种实现方式提供的面向饲养场的投料车自动导航定位方法。
第四方面,本申请实施例提供了一种计算机存储介质,计算机存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,可实现本申请实施例第一方面或第一方面的任意一种实现方式提供的面向饲养场的投料车自动导航定位方法。
在本申请实施例中,可在对养殖场内的投料车进行导航定位时,获取投料车在多个位置对应的初始点云数据、初始位姿数据以及初始定位数据,并对初始点云数据、初始位姿数据以及初始定位数据进行配准处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据;根据目标点云数据、目标位姿数据以及目标定位数据,确定出至少三种因子所对应的转换特征;基于所有因子所对应的转换特征建立车辆运动模型,并根据车辆运动模型与每种因子所对应的位置特征之间的位置关系,得到与每种因子对应的目标权重值;对每种因子所对应的转换特征以及目标权重值进行加权求和计算,得到目标转换特征;根据目标转换特征生成地图,并当检测到投料车遇到障碍物时,对地图进行更新处理。通过对获取到的不同类型数据进行处理,得到与至少三种因子所对应的转换特征,并结合构建的车辆运动模型对该转换特征进行优化处理,以根据优化处理后的转换特征生成地图,一方面可采用激光雷达、IMU以及北斗定位等传感器,发挥不同传感器各自的优点,实现优势互补;另一方面结合车辆运动模型提升定位精度,通过对转换特征进行优化处理的方式,充分考虑场景变化以及北斗信号在室内不稳定等问题,不仅提高导航定位的适用性以及精度,还可满足全天候、室内室外变化等使用要求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种面向饲养场的投料车自动导航定位方法的整体流程图;
图2为本申请实施例提供的一种面向饲养场的投料车自动导航定位系统的架构示意图;
图3为本申请实施例提供的一种面向饲养场的投料车自动导航定位装置的结构示意图;
图4为本申请实施例提供的又一种面向饲养场的投料车自动导航定位装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在下述介绍中,术语“第一”、“第二”仅为用于描述的目的,而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例,不同实施例之间可以替换或者合并组合,因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而,如果一个实施例包含特征A、B、C,另一个实施例包含特征B、D,那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例,尽管该实施例可能并未在以下内容中有明确的文字记载。
下面的描述提供了示例,并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下,对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行,并且可以添加、省略或组合各种步骤。此外,可以将关于一些示例描述的特征组合到其他示例中。
请参阅图1,图1示出了本申请实施例提供的一种面向饲养场的投料车自动导航定位方法的整体流程图。
如图1所示,该面向饲养场的投料车自动导航定位方法至少可以包括以下步骤:
步骤102、获取投料车在多个位置对应的初始点云数据、初始位姿数据以及初始定位数据,并对初始点云数据、初始位姿数据以及初始定位数据进行配准处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据。
在本申请实施例中,面向饲养场的投料车自动导航定位方法可以但不局限于应用在控制终端,该控制终端可与固定设置在投料车上的三维激光雷达、IMU(惯性传感器)以及北斗定位终端(可理解为北斗定位接收机)建立连接,以分别获取由该,该三维激光雷达、IMU以及北斗定位终端所采集到的数据。其中,三维激光雷达可用于投料车在养殖场移动的过程中获取实时的点云数据,且由于该三维激光雷达在投料车上的位置相对固定,与该三维激光雷达对应的雷达坐标系以及与投料车对应的车体坐标系之间的转换关系相对固定(也即雷达坐标系与车体坐标系之间的旋转矩阵以及平移矩阵相对固定);IMU可用于投料车在养殖场移动的过程中获取实时的位姿数据,此处位姿数据可以但不局限于包括加速度、速度、位移、俯仰角、偏航角、横滚角,且由于该IMU在投料车上的位置相对固定,与该IMU对应的惯性坐标系以及与投料车对应的车体坐标系之间的转换关系相对固定(也即惯性坐标系与车体坐标系之间的旋转矩阵以及平移矩阵相对固定);北斗定位终端可用于投料车在养殖场移动的过程中获取实时的定位数据,当然在本申请实施例中该北斗定位终端还可用于获取实时的速度以及加速度等数据,此处不限定于此,且由于该北斗定位终端在投料车上的位置相对固定,与该北斗定位终端对应的北斗坐标系以及与投料车对应的车体坐标系之间的转换关系相对固定(也即北斗坐标系与车体坐标系之间的旋转矩阵以及平移矩阵相对固定)。
可以理解的是,控制终端在分别得到点云数据、位姿数据以及定位数据之后,可通过配准的方式将该点云数据、位姿数据以及定位数据进行处理,并根据与每个时刻对应的点云数据、位姿数据以及定位数据得到至少三种因子所对应的转换特征。其中,至少三种因子至少可以包括预积分因子、激光里程计因子、北斗定位因子以及闭环因子,该预积分因子所对应的转换特征可由与每个时刻对应的位姿数据计算得到,该激光里程计因子所对应的转换特征可由与每个时刻对应的点云数据计算得到,该北斗定位因子所对应的转换特征可由与每个时刻对应的定位数据计算得到,该闭环因子所对应的转换特征可由与每个时刻对应的位姿数据计算得到。可以理解的是,在本申请实施例中转换特征可以但不局限于理解为一种转换矩阵,也即从一个时刻到下一时刻的状态变换关系,其可以包括位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征中任意至少一种,例如与预积分因子所对应的转换特征,具体可以包括位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征,又例如与激光里程计因子所对应的转换特征可以包括位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征,又例如与北斗定位因子所对应的转换特征可以包括位置特征(当然也可以包括速度特征以及加速度特征)。
接着,控制终端在得到至少三种因子所对应的转换特征之后,可以但不局限于通过预设权重值的方式计算出第一转换特征,并根据该第一转换特征构建出车辆运动模型,该车辆运动模型可理解为对该至少三种因子所对应的转换特征进行约束或是优化,以通过该车辆运动模型重新确定出精度更高的目标权重值;或是还可通过常规优化求解的方法依次对每种因子所对应的转换特征进行优化,得到第一转换特征,并根据该第一转换特征构建出车辆运动模型,以通过该车辆运动模型重新确定出精度更高的目标权重值,此处不限定于此。
接着,控制终端可在得到目标权重值之后,根据之前所得到的至少三种因子所对应的转换特征计算出目标转换特征,并根据该目标转换特征以及与每个时刻对应的点云数据,生成最终的导航定位地图。
此处可参阅图2示出的本申请实施例提供的一种面向饲养场的投料车自动导航定位系统的架构示意图,如图2所示,控制终端可分别通过激光雷达、IMU以及北斗终端获取点云数据、位姿数据以及定位数据;接着可通过该点云数据、位姿数据以及定位数据所确定出的转换特征构建车辆运动模型,以通过该车辆运动模型对转换特征进行约束或是优化;接着可由约束或是优化后的转换特征以及点云数据生成最终的导航定位地图。
具体地,可在对养殖场内的投料车进行导航定位的过程中,当检测到投料车开始移动时,可通过三维激光雷达获取该投料车在多个位置对应的初始点云数据,以及通过IMU获取该投料车在多个位置对应的初始位姿数据,以及通过北斗定位终端获取该投料车在多个位置对应的初始定位数据,并可以但不局限于先通过时间配准的方式对该初始点云数据、初始位姿数据以及初始定位数据进行配准处理,以得到与每一时刻对应的点云数据、位姿数据以及定位数据,此处,时间配准方式可以但不局限于为内插外推、曲线拟合、滤波方法以及最小二乘算法等,例如内插外推法,将同一时间片内的高精度数据向低精度数据进行内插外推,得到一系列等间隔的配准数据。接着可通过空间配准的方式对该经过时间配准后的点云数据、位姿数据以及定位数据进行空间转换,以将该点云数据、位姿数据以及定位数据全部转换为与车体坐标系对应的目标点云数据、目标位姿数据以及目标定位数据,可以理解的是,由于三维激光雷达、IMU以及北斗定位终端与投料车的位置相对固定,每个装置对应的坐标系与车体坐标系之间的旋转矩阵以及平移矩阵相对固定。
作为本申请实施例的一种可选,对初始点云数据、初始位姿数据以及初始定位数据进行配准处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据,包括:
分别对初始点云数据、初始位姿数据以及初始定位数据进行卡尔曼滤波处理,得到第一点云数据、第一位姿数据以及第一定位数据;
按照预设的时间间隔,对初始点云数据以及第一点云数据进行拉格朗日插值处理,得到第二点云数据;
按照预设的时间间隔,对初始位姿数据以及第一位姿数据进行拉格朗日插值处理,得到第二位姿数据;
按照预设的时间间隔,对初始定位数据以及第一定位数据进行拉格朗日插值处理,得到第二定位数据;
根据预设的旋转矩阵以及平移矩阵,对第二点云数据、第二位姿数据以及第二定位数据分别进行坐标转换处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据。
具体地,在对初始点云数据、初始位姿数据以及初始定位数据进行配准处理的过程中,可以但不局限于根据预设的卡尔曼滤波器对初始点云数据、初始位姿数据以及初始定位数据分别进行卡尔曼滤波处理,此处可利用卡尔曼滤波器对下一采样时刻的数据进行预测的方式,得到第一点云数据、第一位姿数据以及第一定位数据(也即该第一点云数据、第一位姿数据以及第一定位数据均为预测数据)。可以理解的是,此处进行卡尔曼滤波处理的过程中,可以但不局限于为计算每个类型数据相应的状态和协方差预测矩阵、增益矩阵等,并更新状态方程和协方差方程的方式,以利用卡尔曼滤波器对下一采样时刻的数据进行预测。
接着,在得到第一点云数据、第一位姿数据以及第一定位数据之后,可分别按照预设的时间间隔,对初始点云数据以及第一点云数据进行拉格朗日插值处理,得到第二点云数据;以及按照预设的时间间隔,对初始位姿数据以及第一位姿数据进行拉格朗日插值处理,得到第二位姿数据;以及按照预设的时间间隔,对初始定位数据以及第一定位数据进行拉格朗日插值处理,得到第二定位数据。可以理解的是,此处拉格朗日插值处理为本领域常规的技术手段,此处不过多赘述。
接着,在对初始点云数据、初始位姿数据以及初始定位数据进行时间配准处理之后,为了保障数据的一致性,可根据预设的旋转矩阵以及平移矩阵,对第二点云数据、第二位姿数据以及第二定位数据分别进行坐标转换处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据,其中,点云数据所对应预设的旋转矩阵以及平移矩阵,位姿数据所对应预设的旋转矩阵以及平移矩阵,以及定位数据所对应预设的旋转矩阵以及平移矩阵均不相同,且由于位置关系相对固定,均可预先得到相应的旋转矩阵以及平移矩阵。此处以激光雷达采集到的点云数据为例,设定车体坐标系中某一点的坐标为,激光雷达坐标系中该点的坐标为/>,则该点从激光雷达坐标系转换到车体坐标系之间的变换表达式可以但不局限于参阅如下:
步骤104、根据目标点云数据、目标位姿数据以及目标定位数据,确定出至少三种因子所对应的转换特征。
具体地,在得到目标点云数据、目标位姿数据以及目标定位数据之后,可先计算出第n时刻对应的目标位姿数据与第n-1时刻对应的目标位姿数据之间的第一斜率,其中,可通过第n时刻对应的目标位姿数据中的位置坐标以及第n-1时刻对应的目标位姿数据中的位置坐标,进行斜率计算以得到相应的第一斜率。
进一步的,可计算出第n-1时刻对应的目标位姿数据与第n-2时刻对应的目标位姿数据之间的第二斜率,其中,可通过第n-1时刻对应的目标位姿数据中的位置坐标以及第n-2时刻对应的目标位姿数据中的位置坐标,进行斜率计算以得到相应的第二斜率。可以理解的是,第一斜率与第二斜率不同时,表明第n时刻对应的位置坐标、第n-1时刻对应的位置坐标以及第n-2时刻对应的位置坐标不处于同一直线,也即此时第n时刻对应的位置坐标与之前时刻相比可能发生较大的姿态变化,若检测到该第一斜率与第二斜率之间的差值超过预设差值阈值时,表明第n时刻对应的目标位姿数据相较于之前时刻已发生姿态的变化,进而可将该第n时刻所对应的目标点云数据、目标位姿数据以及目标定位数据作为关键帧数据,并可根据所有的关键帧数据确定出至少三种因子所对应的转换特征,以提高整体处理效率。
在本申请实施例中,n可为大于2的正整数,关键帧数据中可包括至少两个个时刻对应的目标点云数据、目标位姿数据以及目标定位数据。
作为本申请实施例的又一种可选,至少三种因子包括预积分因子、激光里程计因子以及北斗定位因子;
根据所有关键帧数据确定出至少三种因子所对应的转换特征,包括:
对任意两个相邻的关键帧数据中的目标位姿数据进行积分计算,得到与预积分因子对应的转换特征;
计算出每个关键帧数据的目标点云数据中每个点的曲率,根据所有点的曲率提取出与每个目标点云数据对应的边缘特征以及平面特征;
对第s个关键帧数据中的目标点云数据所对应的边缘特征以及平面特征,与前s-1个关键帧数据中的目标点云数据所对应的边缘特征以及平面特征进行匹配,得到相似度超过预设相似度阈值的匹配特征,并根据匹配特征得到与激光里程计因子对应的转换特征;
对任意两个相邻的关键帧数据中的目标定位数据构建线性变换函数,得到与北斗定位因子对应的转换特征。
在本申请实施例中至少三种因子至少可以包括预积分因子、激光里程计因子以及北斗定位因子,其中,预积分因子对应的转换特征可由关键帧数据中的目标位姿数据计算得到,激光里程计因子对应的转换特征可由关键帧数据中的目标点云数据计算得到,北斗定位因子对应的转换特征可由关键帧数据中的目标定位数据计算得到。
具体地,可在所有关键帧数据中将任意两个相邻的关键帧数据中的目标位姿数据进行积分计算,例如但不局限于对目标位姿数据中的加速度数据进行积分计算,得到相应的速度变化特征,以及对得到的速度数据再次进行积分计算,得到相应的位置变化特征。可以理解的是,对于目标位姿数据中的角速度数据也可采用相同积分的方式,以得到相应的速度变化特征以及位置变化特征。
上式中,可对应为预积分因子对应的转换特征中的偏转角特征,可对应为预积分因子对应的转换特征中的速度特征,/>可对应为预积分因子对应的转换特征中的位置特征,/>可理解为加性白噪声,b可理解为缓慢变化的传感器偏置参数,/>为重力加速度。
接着,可计算出每个关键帧数据的目标点云数据中每个点的曲率,根据所有点的曲率提取出与每个目标点云数据对应的边缘特征以及平面特征。可以理解的是,此处从点云数据中提取出相应的边缘特征以及平面特征为本领域的常规技术手段,此处不过多赘述。
接着,可对第s个关键帧数据中的目标点云数据所对应的边缘特征以及平面特征,与前s-1个关键帧数据中的目标点云数据所对应的边缘特征以及平面特征进行匹配,以得到匹配相似度超过预设相似度阈值的匹配特征,该匹配特征可对应为一个或多个关键帧数据,且作为一种优选的,可将相似度最高的匹配特征所对应的关键帧数据中的目标点云数据,与第s个关键帧数据中的目标点云数据进行计算,得到与激光里程计因子对应的转换特征。
可以理解的是,此处在根据匹配特征所对应的关键帧数据中的目标点云数据,与第s个关键帧数据中的目标点云数据进行计算的过程中,可以但不局限于根据两个关键帧数据之间的时间间隔,以及各个关键帧数据的目标点云数据中的位置数据、速度数据以及加速度数据进行优化处理,计算出相应的位置变化特征、速度变化特征以及加速度变化特征。
此处以第i个关键帧的目标点云数据所对应的边缘特征以及平面特征表示为为例,当获取到第i+1个关键帧数据时,可以但不局限于将前i个关键帧的目标点云数据所对应的边缘特征以及平面特征全部转换为在世界坐标系中,以得到,其中/>可对应为世界坐标系中的局部边缘特征,/>可对应为世界坐标系中的局部平面特征,并将第i+1个关键帧数据所对应的边缘特征/>与/>进行匹配,将第i+1个关键帧数据所对应的平面特征/>与/>进行匹配,通过建立点线与点面的距离约束并进行最优化处理,得到相似度最高的匹配特征:
接着,可采用高斯-牛顿法进行求解优化,以得到相似度最高的匹配特征:
接着,可对任意两个相邻的关键帧数据中的目标定位数据构建线性变化函数,以得到该任意两个相邻的关键帧数据中的目标定位数据在相应时间间隔下的位置变化特征。可以理解的是,位置变化特征对应于目标定位数据具体为位置数据的情况下,可以但不局限于当目标定位数据具体包括位置数据、速度数据以及加速度数据时,与北斗定位因子对应的转换特征可为位置变化特征、速度变化特征以及加速度变化特征,此处不限定于此。
作为本申请实施例的又一种可选,至少三种因子还包括闭环因子;
所述根据所有所述关键帧数据确定出至少三种因子所对应的转换特征,还包括:
计算出第m个所述关键帧数据中的目标位姿数据与前m-1个所述关键帧数据中的目标位姿数据之间的距离差值,并根据所述距离差值处于预设距离区间,且时间间隔大于预设间隔区间所对应的所述关键帧数据,以及所述第m个所述关键帧数据得到与闭环因子对应的转换特征。
具体地,还可在得到关键帧数据的过程中,对所有关键帧数据进行闭环检测,例如根据第m个所述关键帧数据的目标位姿数据中的位置坐标以及前m-1个所述关键帧数据的目标位姿数据中的位置坐标之间的距离差值,并可筛选出距离差值处于预设距离区间,且时间间隔大于预设间隔区间所对应的所述关键帧数据,可以理解的是,当筛选出任意一个关键帧数据时,表明该关键帧数据的目标位姿数据中的位置坐标应与第m个所述关键帧数据的目标位姿数据中的位置坐标应保持一致,进而可以但不局限于结合常规的优化求解算法,对该关键帧数据的目标位姿数据以及第m个所述关键帧数据的目标位姿数据进行优化处理,得到与闭环因子对应的转换特征。此处,与闭环因子对应的转换特征可以但不局限于为位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征中任意至少一种。
步骤106、基于所有因子所对应的转换特征建立车辆运动模型,并根据车辆运动模型与每种因子所对应的位置特征之间的位置关系,得到与每种因子对应的目标权重值。
具体地,可在得到所有因子所对应的转换特征之后,基于预设的权重值对该所有因子所对应的转换特征进行加权求和计算,以得到第一转换特征,该第一转换特征至少可以包括位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征。例如当所有因子所对应的转换特征均包括位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征时,该预设的权重值可以但不局限于为与预积分因子对应的转换特征的权重值为0.3,与激光里程计因子对应的转换特征的权重值为0.4,与北斗定位因子对应的转换特征的权重值为0.2,与闭环因子对应的转换特征的权重值为0.1,并通过对同一类型特征加权求和的方式分别得到第一转换特征。
需要说明的是,在本申请实施例中,还可在得到与预积分因子对应的转换特征以及与激光里程计因子对应的转换特征之后,对该与预积分因子对应的转换特征以及与激光里程计因子对应的转换特征进行优化处理,并结合与北斗定位因子对应的转换特征再对经过处理后的转换特征进行优化处理,并结合与闭环因子对应的转换特征在对经过处理后的转换特征进行优化处理,以得到第一转换特征,此处不限定于此。
进一步的,在得到第一转换特征之后,可将该第一转换特征中的速度转换特征、加速度转换特征以及偏转角转换特征代入至预设的表达式中,得到车辆运动模型,其中,预设的表达式可以但不局限于参阅如下:
上式中,V可对应为基于速度转换特征在时刻至/>时刻所计算出的速度,/>可对应为基于偏转角转换特征在/>时刻至/>时刻所计算出的航向角,/>可对应为基于加速度转换特征在/>时刻至/>时刻所计算出的加速度,/>以及/>可对应为在/>时刻至/>时刻的车体位置坐标。
进一步的,在得到车体位置坐标与每种因子对应的位置坐标之间的距离之后,可以但不局限于计算出每种因子所对应的距离之间的比例关系,并以比例关系重新得到每种因子所对应的目标权重值。此处以每种因子所对应的距离之间的比例关系可表示为A(预积分因子):B(激光里程计因子):C(北斗定位因子):D(闭环因子)为例,B<A<C<D,与预积分因子对应的转换特征的目标权重值可以但不局限于为C/(A+B+C+D),与激光里程计因子对应的转换特征的目标权重值可以但不局限于为D/(A+B+C+D),与北斗定位因子对应的转换特征的目标权重值可以但不局限于为A/(A+B+C+D),与闭环因子对应的转换特征的目标权重值可以但不局限于为B/(A+B+C+D)。也即是说,至少三种因子包括预积分因子、激光里程计因子、北斗定位因子以及闭环因子时,与预积分因子对应的目标权重值为北斗定位因子对应的距离与所有因子对应的距离之和的比值,与激光里程计因子对应的目标权重值为闭环因子对应的距离与所有因子对应的距离之和的比值,与北斗定位因子对应的目标权重值为预积分因子对应的距离与所有因子对应的距离之和的比值,与闭环因子对应的目标权重值为激光里程计因子对应的距离与所有因子对应的距离之和的比值。
步骤108、对每种因子所对应的转换特征以及目标权重值进行加权求和计算,得到目标转换特征。
具体地,在得到与每种因子所对应的目标权重值之后,可结合每种因子所对应的转换特征进行加权求和计算,得到目标转换特征。可以理解的是,目标转换特征至少可以包括位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征。
步骤110、根据目标转换特征生成地图,并当检测到投料车遇到障碍物时,对地图进行更新处理。
具体地,在得到目标转换特征之后,可以但不局限于将与关键帧数据中的目标点云数据对应的边缘特征以及平面特征转换为与世界坐标系对应的目标边缘特征以及目标平面特征,并根据该目标边缘特征以及目标平面特征、目标转换特征生成最终的导航定位地图,且随着每个新的关键帧数据的确定,可确定出相应的目标边缘特征以及目标平面特征、目标转换特征,进而不断生成新的导航定位地图。
可以理解的是,当投料车在饲养场内完成初次地图生成之后,再次进入饲养场内时,可根据由三维激光雷达所实时获取的点云数据判断是否出现新的障碍物,或是通过其他的图像识别算法判断是否出现新的障碍物,此处不限定于此。当检测到投料车的前方遇到障碍物时,可结合三维激光雷达所实时获取的点云数据对地图进行更新处理,以在更新后的地图中显示出相应的障碍物。
在本申请一个或多个实施例中,可基于该方法可实现不同动态场区内自主投料车的导航与定位,满足全天候、室内室外变化等使用要求;
其次,采用激光雷达、IMU、北斗定位等传感器,发挥不同传感器的优点,实现优势互补;
其次,根据投料车建立精确的车辆运动学模型,对车辆运动的描述准确,对车辆的运动轨迹估计准确,提高定位过程求解速度,可提升定位的精度;
其次,在定位过程中,充分考虑场景变化以及北斗信号在室内不稳定等问题,并结合定位信息对地图信息进行实时更新,提高了后续导航定位的精度;
其次,本方法能够在未知环境中实现建图与定位。在不同光线条件、室内、室外环境中,具有良好的环境适应性,提升了方法的适用性。方法具有较强的适应动态环境的能力,鲁棒性强。
请参阅图3,图3示出了本申请实施例提供的一种面向饲养场的投料车自动导航定位装置的结构示意图。
如图3所示,该面向饲养场的投料车自动导航定位装置至少可以包括信息采集模块301、因子确定模块302、模型构建模块303、特征计算模块304以及地图定位模块305,其中:
信息采集模块301,用于获取投料车在多个位置对应的初始点云数据、初始位姿数据以及初始定位数据,并对初始点云数据、初始位姿数据以及初始定位数据进行配准处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据;
因子确定模块302,用于根据目标点云数据、目标位姿数据以及目标定位数据,确定出至少三种因子所对应的转换特征;其中,转换特征包括位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征中任意至少一种;
模型构建模块303,用于基于所有因子所对应的转换特征建立车辆运动模型,并根据车辆运动模型与每种因子所对应的位置特征之间的位置关系,得到与每种因子对应的目标权重值;
特征计算模块304,用于对每种因子所对应的转换特征以及目标权重值进行加权求和计算,得到目标转换特征;
地图定位模块305,用于根据目标转换特征生成地图,并当检测到投料车遇到障碍物时,对地图进行更新处理。
在一些可能的实施例中,信息采集模块用于:
分别对初始点云数据、初始位姿数据以及初始定位数据进行卡尔曼滤波处理,得到第一点云数据、第一位姿数据以及第一定位数据;
按照预设的时间间隔,对初始点云数据以及第一点云数据进行拉格朗日插值处理,得到第二点云数据;
按照预设的时间间隔,对初始位姿数据以及第一位姿数据进行拉格朗日插值处理,得到第二位姿数据;
按照预设的时间间隔,对初始定位数据以及第一定位数据进行拉格朗日插值处理,得到第二定位数据;
根据预设的旋转矩阵以及平移矩阵,对第二点云数据、第二位姿数据以及第二定位数据分别进行坐标转换处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据。
在一些可能的实施例中,因子确定模块用于:
分别计算出第n时刻对应的目标位姿数据与第n-1时刻对应的目标位姿数据之间的第一斜率,以及第n-1时刻对应的目标位姿数据与第n-2时刻对应的目标位姿数据之间的第二斜率,并当检测到第一斜率与第二斜率之间的差值超过预设差值阈值时,将与第n时刻对应的目标点云数据、目标位姿数据以及目标定位数据作为关键帧数据;
根据所有关键帧数据确定出至少三种因子所对应的转换特征。
在一些可能的实施例中,至少三种因子包括预积分因子、激光里程计因子以及北斗定位因子;
因子确定模块还用于:
对任意两个相邻的关键帧数据中的目标位姿数据进行积分计算,得到与预积分因子对应的转换特征;
计算出每个关键帧数据的目标点云数据中每个点的曲率,根据所有点的曲率提取出与每个目标点云数据对应的边缘特征以及平面特征;
对第s个关键帧数据中的目标点云数据所对应的边缘特征以及平面特征,与前s-1个关键帧数据中的目标点云数据所对应的边缘特征以及平面特征进行匹配,得到相似度超过预设相似度阈值的匹配特征,并根据匹配特征得到与激光里程计因子对应的转换特征;
对任意两个相邻的关键帧数据中的目标定位数据构建线性变换函数,得到与北斗定位因子对应的转换特征。
在一些可能的实施例中,至少三种因子还包括闭环因子;
因子确定模块还用于:
计算出第m个关键帧数据中的目标位姿数据与前m-1个关键帧数据中的目标位姿数据之间的距离差值,并根据距离差值处于预设距离区间,且时间间隔大于预设间隔区间所对应的关键帧数据,以及第m个关键帧数据得到与闭环因子对应的转换特征。
在一些可能的实施例中,模型构建模块用于:
基于预设权重值对所有因子所对应的转换特征进行加权求和计算,得到第一转换特征;
将第一转换特征代入至预设的表达式中,得到车辆运动模型;
分别计算出相同时间内所述车辆运动模型对应的位置坐标与每种因子所对应的转换特征中位置坐标之间的距离,并根据每种因子所对应的距离之间的比例关系得到与每种因子对应的目标权重值。
在一些可能的实施例中,地图定位模块用于:
将与每个目标点云数据对应的边缘特征以及平面特征转换为与世界坐标系对应的目标边缘特征以及目标平面特征;
根据与每个目标点云数据对应的目标边缘特征以及目标平面特征、目标转换特征生成地图。
本领域的技术人员可以清楚地了解到本申请实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件,其中硬件例如可以是现场可编程门阵列(Field-ProgrammableGate Array,FPGA)、集成电路(IntegratedCircuit,IC)等。
请参阅图4,图4示出了本申请实施例提供的又一种面向饲养场的投料车自动导航定位装置的结构示意图。
如图4所示,该面向饲养场的投料车自动导航定位装置400可以包括至少一个处理器401、至少一个网络接口404、用户接口403、存储器405以及至少一个通信总线402。
其中,通信总线402可用于实现上述各个组件的连接通信。
其中,用户接口403可以包括按键,可选用户接口还可以包括标准的有线接口、无线接口。
其中,网络接口404可以但不局限于包括蓝牙模块、NFC模块、Wi-Fi模块等。
其中,处理器401可以包括一个或者多个处理核心。处理器401利用各种接口和线路连接面向饲养场的投料车自动导航定位装置400内的各个部分,通过运行或执行存储在存储器405内的指令、程序、代码集或指令集,以及调用存储在存储器405内的数据,执行路由面向饲养场的投料车自动导航定位装置400的各种功能和处理数据。可选的,处理器401可以采用DSP、FPGA、PLA中的至少一种硬件形式来实现。处理器401可集成CPU、GPU和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器401中,单独通过一块芯片进行实现。
其中,存储器405可以包括RAM,也可以包括ROM。可选的,该存储器405包括非瞬时性计算机可读介质。存储器405可用于存储指令、程序、代码、代码集或指令集。存储器405可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器405可选的还可以是至少一个位于远离前述处理器401的存储装置。如图4所示,作为一种计算机存储介质的存储器405中可以包括操作系统、网络通信模块、用户接口模块以及面向饲养场的投料车自动导航定位应用程序。
具体地,处理器401可以用于调用存储器405中存储的面向饲养场的投料车自动导航定位应用程序,并具体执行以下操作:
获取投料车在多个位置对应的初始点云数据、初始位姿数据以及初始定位数据,并对初始点云数据、初始位姿数据以及初始定位数据进行配准处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据;
根据目标点云数据、目标位姿数据以及目标定位数据,确定出至少三种因子所对应的转换特征;其中,转换特征包括位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征中任意至少一种;
基于所有因子所对应的转换特征建立车辆运动模型,并根据车辆运动模型与每种因子所对应的位置特征之间的位置关系,得到与每种因子对应的目标权重值;
对每种因子所对应的转换特征以及目标权重值进行加权求和计算,得到目标转换特征;
根据目标转换特征生成地图,并当检测到投料车遇到障碍物时,对地图进行更新处理。
在一些可能的实施例中,对初始点云数据、初始位姿数据以及初始定位数据进行配准处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据,包括:
分别对初始点云数据、初始位姿数据以及初始定位数据进行卡尔曼滤波处理,得到第一点云数据、第一位姿数据以及第一定位数据;
按照预设的时间间隔,对初始点云数据以及第一点云数据进行拉格朗日插值处理,得到第二点云数据;
按照预设的时间间隔,对初始位姿数据以及第一位姿数据进行拉格朗日插值处理,得到第二位姿数据;
按照预设的时间间隔,对初始定位数据以及第一定位数据进行拉格朗日插值处理,得到第二定位数据;
根据预设的旋转矩阵以及平移矩阵,对第二点云数据、第二位姿数据以及第二定位数据分别进行坐标转换处理,得到与投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据。
在一些可能的实施例中,根据目标点云数据、目标位姿数据以及目标定位数据,确定出至少三种因子所对应的转换特征,包括:
分别计算出第n时刻对应的目标位姿数据与第n-1时刻对应的目标位姿数据之间的第一斜率,以及第n-1时刻对应的目标位姿数据与第n-2时刻对应的目标位姿数据之间的第二斜率,并当检测到第一斜率与第二斜率之间的差值超过预设差值阈值时,将与第n时刻对应的目标点云数据、目标位姿数据以及目标定位数据作为关键帧数据;
根据所有关键帧数据确定出至少三种因子所对应的转换特征。
在一些可能的实施例中,至少三种因子包括预积分因子、激光里程计因子以及北斗定位因子;
根据所有关键帧数据确定出至少三种因子所对应的转换特征,包括:
对任意两个相邻的关键帧数据中的目标位姿数据进行积分计算,得到与预积分因子对应的转换特征;
计算出每个关键帧数据的目标点云数据中每个点的曲率,根据所有点的曲率提取出与每个目标点云数据对应的边缘特征以及平面特征;
对第s个关键帧数据中的目标点云数据所对应的边缘特征以及平面特征,与前s-1个关键帧数据中的目标点云数据所对应的边缘特征以及平面特征进行匹配,得到相似度超过预设相似度阈值的匹配特征,并根据匹配特征得到与激光里程计因子对应的转换特征;
对任意两个相邻的关键帧数据中的目标定位数据构建线性变换函数,得到与北斗定位因子对应的转换特征。
在一些可能的实施例中,至少三种因子还包括闭环因子;
根据所有关键帧数据确定出至少三种因子所对应的转换特征,还包括:
计算出第m个关键帧数据中的目标位姿数据与前m-1个关键帧数据中的目标位姿数据之间的距离差值,并根据距离差值处于预设距离区间,且时间间隔大于预设间隔区间所对应的关键帧数据,以及第m个关键帧数据得到与闭环因子对应的转换特征。
在一些可能的实施例中,基于所有因子所对应的转换特征建立车辆运动模型,并根据车辆运动模型与每种因子所对应的位置特征之间的位置关系,得到与每种因子对应的目标权重值,包括:
基于预设权重值对所有因子所对应的转换特征进行加权求和计算,得到第一转换特征;
将第一转换特征代入至预设的表达式中,得到车辆运动模型;
分别计算出相同时间内所述车辆运动模型对应的位置坐标与每种因子所对应的转换特征中位置坐标之间的距离,并根据每种因子所对应的距离之间的比例关系得到与每种因子对应的目标权重值。
在一些可能的实施例中,根据目标转换特征生成地图,包括:
将与每个目标点云数据对应的边缘特征以及平面特征转换为与世界坐标系对应的目标边缘特征以及目标平面特征;
根据与每个目标点云数据对应的目标边缘特征以及目标平面特征、目标转换特征生成地图。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法的步骤。其中,计算机可读存储介质可以包括但不限于任何类型的盘,包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC),或适合于存储指令和/或数据的任何类型的媒介或设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(Read-Only Memory, ROM)、随机存取存储器(RandomAccess Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(Read-Only Memory, ROM)、随机存取器(RandomAccessMemory,RAM)、磁盘或光盘等。
以上者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。
Claims (10)
1.一种面向饲养场的投料车自动导航定位方法,其特征在于,包括:
获取投料车在多个位置对应的初始点云数据、初始位姿数据以及初始定位数据,并对所述初始点云数据、所述初始位姿数据以及所述初始定位数据进行配准处理,得到与所述投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据;
根据所述目标点云数据、所述目标位姿数据以及所述目标定位数据,确定出至少三种因子所对应的转换特征;其中,所述转换特征至少包括位置转换特征、偏转角转换特征、速度转换特征以及加速度转换特征;
基于所有所述因子所对应的转换特征建立车辆运动模型,并根据所述车辆运动模型与每种所述因子所对应的位置特征之间的位置关系,得到与每种所述因子对应的目标权重值;
对每种所述因子所对应的转换特征以及目标权重值进行加权求和计算,得到目标转换特征;
根据所述目标转换特征生成地图,并当检测到所述投料车遇到障碍物时,对所述地图进行更新处理。
2.根据权利要求1所述的方法,其特征在于,所述对所述初始点云数据、所述初始位姿数据以及所述初始定位数据进行配准处理,得到与所述投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据,包括:
分别对所述初始点云数据、所述初始位姿数据以及所述初始定位数据进行卡尔曼滤波处理,得到第一点云数据、第一位姿数据以及第一定位数据;
按照预设的时间间隔,对所述初始点云数据以及所述第一点云数据进行拉格朗日插值处理,得到第二点云数据;
按照所述预设的时间间隔,对所述初始位姿数据以及所述第一位姿数据进行拉格朗日插值处理,得到第二位姿数据;
按照所述预设的时间间隔,对所述初始定位数据以及所述第一定位数据进行拉格朗日插值处理,得到第二定位数据;
根据预设的旋转矩阵以及平移矩阵,对所述第二点云数据、所述第二位姿数据以及所述第二定位数据分别进行坐标转换处理,得到与所述投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标点云数据、所述目标位姿数据以及所述目标定位数据,确定出至少三种因子所对应的转换特征,包括:
分别计算出第n时刻对应的目标位姿数据与第n-1时刻对应的目标位姿数据之间的第一斜率,以及所述第n-1时刻对应的目标位姿数据与第n-2时刻对应的目标位姿数据之间的第二斜率,并当检测到所述第一斜率与所述第二斜率之间的差值超过预设差值阈值时,将与所述第n时刻对应的所述目标点云数据、所述目标位姿数据以及所述目标定位数据作为关键帧数据;
根据所有所述关键帧数据确定出至少三种因子所对应的转换特征。
4.根据权利要求3所述的方法,其特征在于,所述至少三种因子包括预积分因子、激光里程计因子以及北斗定位因子;
所述根据所有所述关键帧数据确定出至少三种因子所对应的转换特征,包括:
对任意两个相邻的所述关键帧数据中的所述目标位姿数据进行积分计算,得到与预积分因子对应的转换特征;
计算出每个所述关键帧数据的所述目标点云数据中每个点的曲率,根据所有点的曲率提取出与每个所述目标点云数据对应的边缘特征以及平面特征;
对第s个所述关键帧数据中的所述目标点云数据所对应的边缘特征以及平面特征,与前s-1个所述关键帧数据中的所述目标点云数据所对应的边缘特征以及平面特征进行匹配,得到相似度超过预设相似度阈值的匹配特征,并根据所述匹配特征得到与激光里程计因子对应的转换特征;
对任意两个相邻的所述关键帧数据中的所述目标定位数据构建线性变换函数,得到与北斗定位因子对应的转换特征。
5.根据权利要求4所述的方法,其特征在于,所述至少三种因子还包括闭环因子;
所述根据所有所述关键帧数据确定出至少三种因子所对应的转换特征,还包括:
计算出第m个所述关键帧数据中的目标位姿数据与前m-1个所述关键帧数据中的目标位姿数据之间的距离差值,并根据所述距离差值处于预设距离区间,且时间间隔大于预设间隔区间所对应的所述关键帧数据,以及所述第m个所述关键帧数据得到与闭环因子对应的转换特征。
6.根据权利要求5所述的方法,其特征在于,所述基于所有所述因子所对应的转换特征建立车辆运动模型,并根据所述车辆运动模型与每种所述因子所对应的位置特征之间的位置关系,得到与每种所述因子对应的目标权重值,包括:
基于预设权重值对所有所述因子所对应的转换特征进行加权求和计算,得到第一转换特征;
将所述第一转换特征代入至预设的表达式中,得到车辆运动模型;
分别计算出相同时间内所述车辆运动模型对应的位置坐标与每种因子所对应的转换特征中位置坐标之间的距离,并根据每种因子所对应的距离之间的比例关系得到与每种所述因子对应的目标权重值。
7.根据权利要求4所述的方法,其特征在于,所述根据所述目标转换特征生成地图,包括:
将与每个所述目标点云数据对应的边缘特征以及平面特征转换为与世界坐标系对应的目标边缘特征以及目标平面特征;
根据与每个所述目标点云数据对应的目标边缘特征以及目标平面特征、所述目标转换特征生成地图。
8.一种面向饲养场的投料车自动导航定位装置,其特征在于,包括:
信息采集模块,用于获取投料车在多个位置对应的初始点云数据、初始位姿数据以及初始定位数据,并对所述初始点云数据、所述初始位姿数据以及所述初始定位数据进行配准处理,得到与所述投料车的车体坐标系所对应的目标点云数据、目标位姿数据以及目标定位数据;
因子确定模块,用于根据所述目标点云数据、所述目标位姿数据以及所述目标定位数据,确定出至少三种因子所对应的转换特征;其中,所述转换特征至少包括位置特征、偏转角特征、速度特征以及加速度特征;
模型构建模块,用于基于所有所述因子所对应的转换特征建立车辆运动模型,并根据所述车辆运动模型与每种所述因子所对应的位置特征之间的位置关系,得到与每种所述因子对应的目标权重值;
特征计算模块,用于对每种所述因子所对应的转换特征以及目标权重值进行加权求和计算,得到目标转换特征;
地图定位模块,用于根据所述目标转换特征生成地图,并当检测到所述投料车遇到障碍物时,对所述地图进行更新处理。
9.一种面向饲养场的投料车自动导航定位装置,其特征在于,包括处理器以及存储器;
所述处理器与所述存储器连接;
所述存储器,用于存储可执行程序代码;
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行如权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在计算机或处理器上运行时,使得所述计算机或处理器执行如权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310511451.0A CN116222544B (zh) | 2023-05-09 | 2023-05-09 | 一种面向饲养场的投料车自动导航定位方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310511451.0A CN116222544B (zh) | 2023-05-09 | 2023-05-09 | 一种面向饲养场的投料车自动导航定位方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116222544A true CN116222544A (zh) | 2023-06-06 |
CN116222544B CN116222544B (zh) | 2023-08-04 |
Family
ID=86587675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310511451.0A Active CN116222544B (zh) | 2023-05-09 | 2023-05-09 | 一种面向饲养场的投料车自动导航定位方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116222544B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150070649A1 (en) * | 2013-09-12 | 2015-03-12 | Garfield Mingo | Range finder and global positioning glasses |
US9501839B1 (en) * | 2015-05-27 | 2016-11-22 | The Boeing Company | Methods and systems for detecting moving objects in a sequence of image frames produced by sensors with inconsistent gain, offset, and dead pixels |
CN107478214A (zh) * | 2017-07-24 | 2017-12-15 | 杨华军 | 一种基于多传感器融合的室内定位方法及系统 |
US20200364883A1 (en) * | 2019-05-15 | 2020-11-19 | HELLA GmbH & Co. KGaA | Localization of a mobile unit by means of a multi-hypothesis kalman filter method |
CN112083726A (zh) * | 2020-09-04 | 2020-12-15 | 湖南大学 | 一种面向园区自动驾驶的双滤波器融合定位系统 |
CN112950781A (zh) * | 2021-03-19 | 2021-06-11 | 中山大学 | 特种场景的多传感器动态加权融合的点云地图构建方法 |
CN113654555A (zh) * | 2021-09-14 | 2021-11-16 | 上海智驾汽车科技有限公司 | 一种基于多传感器数据融合的自动驾驶车辆高精定位方法 |
CN114111775A (zh) * | 2021-12-20 | 2022-03-01 | 国汽(北京)智能网联汽车研究院有限公司 | 一种多传感器融合定位方法、装置、存储介质及电子设备 |
CN114440881A (zh) * | 2022-01-29 | 2022-05-06 | 海南大学 | 一种融合多源传感器信息的无人车定位方法 |
US11450016B1 (en) * | 2021-06-16 | 2022-09-20 | Guangdong University Of Technology | Nearshore real-time positioning and mapping method for unmanned surface vehicle with multiple distance measuring sensors |
CN115265523A (zh) * | 2022-09-27 | 2022-11-01 | 泉州装备制造研究所 | 机器人同时定位与建图方法、装置及可读介质 |
CN115291227A (zh) * | 2022-08-26 | 2022-11-04 | 中国电子科技集团公司第五十四研究所 | 一种室内外无缝定位与3d建图方法及系统 |
CN115728753A (zh) * | 2022-11-18 | 2023-03-03 | 深圳一清创新科技有限公司 | 激光雷达与组合导航的外参标定方法、装置及智能车辆 |
-
2023
- 2023-05-09 CN CN202310511451.0A patent/CN116222544B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150070649A1 (en) * | 2013-09-12 | 2015-03-12 | Garfield Mingo | Range finder and global positioning glasses |
US9501839B1 (en) * | 2015-05-27 | 2016-11-22 | The Boeing Company | Methods and systems for detecting moving objects in a sequence of image frames produced by sensors with inconsistent gain, offset, and dead pixels |
CN107478214A (zh) * | 2017-07-24 | 2017-12-15 | 杨华军 | 一种基于多传感器融合的室内定位方法及系统 |
US20200364883A1 (en) * | 2019-05-15 | 2020-11-19 | HELLA GmbH & Co. KGaA | Localization of a mobile unit by means of a multi-hypothesis kalman filter method |
CN112083726A (zh) * | 2020-09-04 | 2020-12-15 | 湖南大学 | 一种面向园区自动驾驶的双滤波器融合定位系统 |
CN112950781A (zh) * | 2021-03-19 | 2021-06-11 | 中山大学 | 特种场景的多传感器动态加权融合的点云地图构建方法 |
US11450016B1 (en) * | 2021-06-16 | 2022-09-20 | Guangdong University Of Technology | Nearshore real-time positioning and mapping method for unmanned surface vehicle with multiple distance measuring sensors |
CN113654555A (zh) * | 2021-09-14 | 2021-11-16 | 上海智驾汽车科技有限公司 | 一种基于多传感器数据融合的自动驾驶车辆高精定位方法 |
CN114111775A (zh) * | 2021-12-20 | 2022-03-01 | 国汽(北京)智能网联汽车研究院有限公司 | 一种多传感器融合定位方法、装置、存储介质及电子设备 |
CN114440881A (zh) * | 2022-01-29 | 2022-05-06 | 海南大学 | 一种融合多源传感器信息的无人车定位方法 |
CN115291227A (zh) * | 2022-08-26 | 2022-11-04 | 中国电子科技集团公司第五十四研究所 | 一种室内外无缝定位与3d建图方法及系统 |
CN115265523A (zh) * | 2022-09-27 | 2022-11-01 | 泉州装备制造研究所 | 机器人同时定位与建图方法、装置及可读介质 |
CN115728753A (zh) * | 2022-11-18 | 2023-03-03 | 深圳一清创新科技有限公司 | 激光雷达与组合导航的外参标定方法、装置及智能车辆 |
Non-Patent Citations (4)
Title |
---|
CHUNZHAO ZHAO; CHENGLIANG ZHANG; FENGJIANG GUO; YIQUN SHAO: "Research on Path Following Control Method of Agricultural Machinery Autonomous Navigation through LQR-Feed Forward Control", 2021 IEEE INTERNATIONAL CONFERENCE ON DATA SCIENCE AND COMPUTER APPLICATION * |
周绍磊;吴修振;刘刚;张嵘;徐海刚;: "一种单目视觉ORB-SLAM/INS组合导航方法", 中国惯性技术学报, vol. 24, no. 05 * |
周雅婧,曾庆化,刘建业,孙克诚: "因子图发展及其在定位与导航的应用技术", 全球定位系统, vol. 45, no. 1 * |
温熙;郭杭;: "基于Kinect和惯导的组合室内定位", 计算机工程与设计, vol. 37, no. 07 * |
Also Published As
Publication number | Publication date |
---|---|
CN116222544B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112347840B (zh) | 视觉传感器激光雷达融合无人机定位与建图装置和方法 | |
CN110178048B (zh) | 交通工具环境地图生成和更新的方法和系统 | |
JP7086111B2 (ja) | 自動運転車のlidar測位に用いられるディープラーニングに基づく特徴抽出方法 | |
EP4318397A2 (en) | Method of computer vision based localisation and navigation and system for performing the same | |
CN111272165A (zh) | 一种基于特征点标定的智能车定位方法 | |
CN114080547A (zh) | 多组激光雷达外参的标定方法、标定装置和计算机存储介质 | |
CN110675307A (zh) | 基于vslam的3d稀疏点云到2d栅格图的实现方法 | |
JP2021515178A (ja) | 自動運転車両においてrnnとlstmを用いて時間平滑化を行うlidar測位 | |
US11507092B2 (en) | Sequential clustering | |
CN112967392A (zh) | 一种基于多传感器触合的大规模园区建图定位方法 | |
Kealy et al. | Collaborative navigation as a solution for PNT applications in GNSS challenged environments–report on field trials of a joint FIG/IAG working group | |
JP2007322391A (ja) | 自車両位置推定装置 | |
JP2016080460A (ja) | 移動体 | |
KR20230014724A (ko) | 차량 국부화 시스템 및 방법 | |
US11274930B1 (en) | System for assessing an autonomously determined map | |
CN110794434B (zh) | 一种位姿的确定方法、装置、设备及存储介质 | |
CN116222544B (zh) | 一种面向饲养场的投料车自动导航定位方法及装置 | |
KR102368734B1 (ko) | 드론 및 드론 제어 방법 | |
CN115824230A (zh) | 一种基于多传感器主动融合的井下无人驾驶车辆定位方法 | |
US11520332B1 (en) | System for automated exploration by an autonomous mobile device using markers based on image features | |
CN113034538B (zh) | 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备 | |
CN113503883A (zh) | 采集用于构建地图的数据的方法、存储介质及电子设备 | |
CN113433566A (zh) | 地图建构系统以及地图建构方法 | |
Kim et al. | Design and implementation of mobile indoor scanning system | |
CN114353780B (zh) | 姿态优化方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |