CN109239709B - 一种无人船的局部环境地图自主构建方法 - Google Patents

一种无人船的局部环境地图自主构建方法 Download PDF

Info

Publication number
CN109239709B
CN109239709B CN201810869551.XA CN201810869551A CN109239709B CN 109239709 B CN109239709 B CN 109239709B CN 201810869551 A CN201810869551 A CN 201810869551A CN 109239709 B CN109239709 B CN 109239709B
Authority
CN
China
Prior art keywords
local environment
environment map
radar
unmanned ship
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810869551.XA
Other languages
English (en)
Other versions
CN109239709A (zh
Inventor
王博
张磊
庄佳园
陈启贤
张伟
廖煜雷
顾华宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Shuoxing Information Technology Co.,Ltd.
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201810869551.XA priority Critical patent/CN109239709B/zh
Publication of CN109239709A publication Critical patent/CN109239709A/zh
Application granted granted Critical
Publication of CN109239709B publication Critical patent/CN109239709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/203Specially adapted for sailing ships
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/937Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Navigation (AREA)

Abstract

本发明涉及智能船舶技术的数字图像处理与机器视觉领域,具体涉及一种无人船的局部环境地图自主构建方法。本发明实现了无人船的局部环境地图精确自主构建,首先,利用图像差分方法实现了雷达数据更新区域的检测;其次,在雷达数据和局部环境地图精确匹配基础上,利用雷达数据中的空间结构约束对累积误差进行抑制和修正;最后,设计了局部环境地图的更新机制,使其对不确定性因素具有较高的鲁棒性。本发明能够有效消除或抑制惯性导航系统累积误差的影响,提高局部环境地图的精度,有利于实现对运动目标的辨识和跟踪,避免了传统方法需对各目标进行特征匹配和数据关联,准确性、可靠性受限而计算复杂度较高。

Description

一种无人船的局部环境地图自主构建方法
技术领域
本发明涉及智能船舶技术的数字图像处理与机器视觉领域,具体涉及一种无人船的局部环境地图自主构建方法。
背景技术
近年来,随着无人船技术的出现和日趋发展完善,海上交通方式和海洋观测手段面临着重大的变革,将对我国海洋科学研究、国民经济发展和社会进步产生重要而深远的影响。针对实际海洋环境中的应用需求,无人船可配置航海雷达、激光雷达、光电成像系统、声呐等各种类型传感器,用于获取周围一定范围内的环境、目标、障碍物等信息,自主完成障碍检测、目标跟踪、目标识别、环境建模等智能分析行为,为自主决策、路径规划、运动控制等子系统提供必要信息支持,使无人船具备一定程度的智能水平,能够执行海上货物运输、事故人员搜救、水文气象监测、海洋生态研究等各类任务。
由于保障无人船航行过程的安全性是其自主执行各类使命任务的基本前提。为实现这一目标,无人船需要根据传感器信息自主构建局部环境地图,该地图能够实时、精确、可靠地反映局部环境中的目标、障碍物和可通行区域。在无人船可配备的各种类型传感器中,航海雷达具有探测范围广、可靠性高、安装设置方便等优点,是一种较理想的传感器选择方案,结合惯性导航系统提供的信息,能够建立雷达数据与实际海面环境之间的映射关系,通过对雷达数据进行处理分析,能够建立有效的局部环境地图。
目前,通过对搜集到的文献资料进行综合分析,如申请号为CN107193279A的专利,一种基于单目视觉和IMU信息的机器人定位与地图构建系统,以及申请号为CN106646513A的专利,一种基于智能机器人的地图构建系统和地图导航方法。总结出无人船的局部环境地图构建方法存在以下不足:
(a)海洋环境是一种特殊的非结构化动态开放自然环境,无人船可选择的传感器类型比较受限,例如激光雷达探测范围较小且易受波浪反射干扰,光电系统视场小、数据量大、处理算法复杂,声呐受干扰严重、时滞较高、对近海面物体探测性能极差等;
(b)航海雷达一般是无人船的必备传感器,但也存在扫描周期长、回波噪声多、测量误差随机、目标位置跃变等问题,在构建局部环境地图时难以消除或有效抑制误差,通常将雷达数据中提取出的目标信息直接用于构建地图,因此得到的局部环境地图都存在一定程度的误差;
(c)无人船一般直接使用具有较高精度的惯性导航系统提供的经纬度、艏向等信息构建局部环境地图,但惯性导航系统由于各种原因存在累积误差且难以修正,随着无人船运行时间和航程的增加,这种累积误差越来越大,造成局部环境模型中的误差也越来越大,会直接导致无人船可能与障碍物发生碰撞事故;
(d)现有的地图构建方法如果仅利用航海雷达数据和惯性导航信息,难以实现对海面运动目标的辨识和跟踪,一般将其作为静止目标看待,以一定周期更新其位置信息,但这种方式无法准确反映目标的运动状态,可能会导致无人船无法有效避开运动目标。
由于上述各种因素的影响,无人船构建的局部环境地图往往存在一定程度误差,并且会随着运行时间和航程的增加而逐渐增大,当这种误差累积到一定程度时,可能会导致无人船与障碍物发生碰撞事故,并且无法有效反映运动目标的状态信息。
发明内容
本发明的目的在于提供一种无人船的局部环境地图自主构建方法,利用航海雷达数据和惯性导航信息构建高精度的局部环境地图,以提高无人船对不确定性因素的鲁棒性和无人船在长时间航行过程中的安全性。
本发明实施例提供一种无人船的局部环境地图自主构建方法,包括:
步骤一:通过初始化原始局部环境地图M0得到一个实数矩阵,并设置所述的实数矩阵的中心为通过航海雷达采集的初始时刻0时无人船的位置l0
步骤二:通过惯性导航系统接收惯性导航系统信息并进行解码,得到其中的标志位信息,通过判断所述的其中的标志位信息是否有效,决定下一个步骤的顺序,若是转至步骤三,若否转至步骤八;
步骤三:通过航海雷达采集当前时刻t时的航海雷达数据,通过采用形态学开操作方法对所述的当前时刻t时的航海雷达数据进行去除噪声处理,转换得到当前时刻t时的8位灰度雷达图像Rt
步骤四:通过航海雷达采集无人船当前时刻位置lt和上一时刻位置lt-1,通过公式计算得到平移矢量pt,通过所述的平移矢量pt对t-1时刻的局部环境地图Mt-1进行平移,得到平移后的局部环境地图M′t,并设置所述的平移后的局部环境地图M′t的中心为通过航海雷达采集的当前时刻t时无人船的位置lt
步骤五:通过将步骤三所述的当前时刻t时的8位灰度雷达图像Rt与上一时刻的8位灰度雷达图像Rt-1进行差分,得到差分图像|Rt-Rt-1|,通过将所述的差分图像|Rt-Rt-1|变换至极坐标系中,计算得到雷达数据更新的扇形区域At
步骤六:通过将步骤五所述的扇形区域At内的8位灰度雷达图像Rt(At)进行顺时针旋转处理,得到过程雷达图像
Figure BDA0001751794730000031
步骤七:通过检测步骤六所述的过程雷达图像
Figure BDA0001751794730000032
和步骤四所述的平移后的局部环境地图Mt′中的闭合区域,得到步骤六所述的过程雷达图像
Figure BDA0001751794730000033
和步骤四所述的平移后的局部环境地图Mt′中的闭合区域的重心集合;根据位置约束关系对所述的闭合区域的重心集合采用RANSAC算法,即随机抽样一致性算法,得到步骤六所述的过程雷达图像
Figure BDA0001751794730000034
和步骤四所述的平移后的局部环境地图M′t之间的重心匹配集合;通过对所述的重心匹配集合采用最小二乘法计算,得到仿射变换矩阵Tt;通过利用所述的仿射变换矩阵Tt对步骤六所述的过程雷达图像
Figure BDA0001751794730000035
进行空间变换得到最终雷达图像
Figure BDA0001751794730000036
步骤八:根据步骤七所述的最终雷达图像
Figure BDA0001751794730000037
与步骤四所述的平移后的局部环境地图M′t的坐标系完全一致的关系,通过遍历步骤七所述的最终雷达图像
Figure BDA0001751794730000038
中的每个元素,当其元素值
Figure BDA0001751794730000039
大于预先设定的阈值g0时,表明该位置处有目标存在,则将步骤四所述的平移后的局部环境地图M′t中与之坐标相同的元素g(M′t)增加幅值Δg+,否则减少幅值Δg-,通过更新步骤四所述的平移后的局部环境地图M′t中的每个元素,得到当前时刻t的局部环境地图Mt
步骤九:根据接收到的任务控制指令,判断是否结束地图构建,若是流程运行结束,若否转至步骤二;
所述步骤一,包括:
通过初始化原始局部环境地图M0得到一个实数矩阵,并设置所述的实数矩阵的中心为通过航海雷达采集的初始时刻0时无人船的位置l0
其中,所述的无人船组成结构包括:航海雷达,获取指定量程内的各类目标的雷达回波,并转换为可传输的传感器信号;惯性导航系统,周期性地提供无人船的位置、艏向等信息,同时向数据采集设备发送同步控制信号,雷达数据和惯性导航信息的时间同步性;数据采集设备,将雷达信号转换为易于存储、处理的数字信号,并传输至数据处理设备,其数据采集行为受同步控制信号触发;数据处理设备,利用航海雷达数据和惯性导航信息构建数字化的局部环境地图,按照数据采集周期进行动态更新,将其发送至决策、规划子系统;
其中,所述的实数矩阵,其尺寸为m×n,且各元素均为0.0,矩阵中心对应通过航海雷达采集的初始时刻0时无人船的位置l0=(x0,y0),其中x和y分别是大地坐标系中的经度值和纬度值,矩阵列方向与大地坐标系中正北方向一致;
所述步骤二,包括:
通过惯性导航系统接收惯性导航系统信息并进行解码,得到其中的标志位信息,通过判断所述的其中的标志位信息是否有效,决定下一个步骤的顺序,若是转至步骤三,若否转至步骤八;
其中,所述的标志位信息有效情况下,首先读取其中包含的当前时刻t无人船的位置lt=(xt,yt),然后转至步骤三;
所述步骤四,包括:
通过航海雷达采集无人船当前时刻位置lt和上一时刻位置lt-1,通过公式计算得到平移矢量pt,通过所述的平移矢量pt对t-1时刻的局部环境地图Mt-1进行平移,得到平移后的局部环境地图M′t,并设置所述的平移后的局部环境地图M′t的中心为通过航海雷达采集的当前时刻t时无人船的位置lt
其中,所述的通过公式计算得到平移矢量pt的具体计算方法为:
Figure BDA0001751794730000041
Figure BDA0001751794730000042
Figure BDA0001751794730000043
式中参数设置为:
dt和αt分别是平移矢量pt的长度和方向角;r是地球的平均半径;kradar是与航海雷达量程有关的比例系数;
其中,所述的对t-1时刻的局部环境地图Mt-1进行平移过程中,移出矩阵表示范围的元素直接丢弃,而矩阵中未预先定义的元素置为0.0;
所述步骤五,包括:
通过将步骤三所述的当前时刻t时的8位灰度雷达图像Rt与上一时刻的8位灰度雷达图像Rt-1进行差分,得到差分图像|Rt-Rt-1|,通过将所述的差分图像|Rt-Rt-1|变换至极坐标系中,计算得到雷达数据更新的扇形区域At
其中,所述的将差分图像|Rt-Rt-1|变换至极坐标系中的具体过程为:将差分图像|Rt-Rt-1|变换至极坐标系中,遍历极坐标系下差分图像中非零元素所占据的连续角度范围
Figure BDA0001751794730000051
式中
Figure BDA0001751794730000052
Figure BDA0001751794730000053
分别表示起始角度和终止角度;
所述步骤六,包括:
通过将步骤五所述的扇形区域At内的8位灰度雷达图像Rt(At)进行顺时针旋转处理,得到过程雷达图像
Figure BDA0001751794730000054
其中,所述的顺时针旋转处理的旋转角度为无人船当前时刻t的艏向角θt
所述步骤七,包括:
通过检测步骤六所述的过程雷达图像
Figure BDA0001751794730000055
和步骤四所述的平移后的局部环境地图M′t中的闭合区域,得到步骤六所述的过程雷达图像
Figure BDA0001751794730000056
和步骤四所述的平移后的局部环境地图M′t中的闭合区域的重心集合;根据位置约束关系对所述的闭合区域的重心集合采用RANSAC算法,即随机抽样一致性算法,得到步骤六所述的过程雷达图像
Figure BDA0001751794730000057
和步骤四所述的平移后的局部环境地图M′t之间的重心匹配集合;通过对所述的重心匹配集合采用最小二乘法计算,得到仿射变换矩阵Tt;通过利用所述的仿射变换矩阵Tt对步骤六所述的过程雷达图像
Figure BDA0001751794730000058
进行空间变换得到最终雷达图像
Figure BDA0001751794730000059
其中,所述的过程雷达图像
Figure BDA00017517947300000510
和平移后的局部环境地图Mt′中的闭合区域分别表示为:集合
Figure BDA00017517947300000511
Figure BDA00017517947300000512
式中
Figure BDA00017517947300000513
Figure BDA00017517947300000514
分别是
Figure BDA00017517947300000515
和Mt′中索引号为p和q的闭合区域;
其中,所述的闭合区域的重心集合的具体计算方法为:计算
Figure BDA00017517947300000516
Figure BDA00017517947300000517
的重心
Figure BDA00017517947300000518
Figure BDA00017517947300000519
Figure BDA00017517947300000520
为例:
Figure BDA00017517947300000521
Figure BDA00017517947300000522
式中参数设置为:
Figure BDA0001751794730000061
是闭合区域
Figure BDA0001751794730000062
的重心坐标;
Figure BDA0001751794730000063
是闭合区域
Figure BDA0001751794730000064
中任意元素的坐标,且
Figure BDA0001751794730000065
是该元素的值;
其中,所述的重心匹配集合表示为:合
Figure BDA0001751794730000066
式中i是匹配重心对的索引号;
其中,所述的采用最小二乘法计算得到仿射变换矩阵Tt的具体计算方法为:
Figure BDA0001751794730000067
D=(CTC)-1CTB
式中参数设置为:
C是对
Figure BDA0001751794730000068
中重心
Figure BDA0001751794730000069
的坐标按顺序重新排列后得到的矩阵;B是对
Figure BDA00017517947300000610
中重心
Figure BDA00017517947300000611
的坐标按顺序重新排列后得到的向量;D是仿射变换矩阵Tt的列向量形式,其各元素t11,t12,t13,t21,t22,t23即为变换系数;CT和(CTC)-1分别表示矩阵C的转置和CTC的逆矩阵;
所述步骤八,包括:
根据步骤七所述的最终雷达图像
Figure BDA00017517947300000612
与步骤四所述的平移后的局部环境地图M′t的坐标系完全一致的关系,通过遍历步骤七所述的最终雷达图像
Figure BDA00017517947300000613
中的每个元素,当其元素值
Figure BDA00017517947300000614
大于预先设定的阈值g0时,表明该位置处有目标存在,则将步骤四所述的平移后的局部环境地图M′t中与之坐标相同的元素g(M′t)增加幅值Δg+,否则减少幅值Δg-,通过更新步骤四所述的平移后的局部环境地图M′t中的每个元素,得到当前时刻t的局部环境地图Mt
其中,所述的幅值Δg+是与航海雷达性能有关的常数,而Δg-设定为:
Figure BDA00017517947300000615
式中参数设置为:
kfreq表示航海雷达数据在其一个扫描周期内的采集频率;
其中,所述的当前时刻t的局部环境地图Mt的每个元素值表征了该位置存在目标的置信概率,当目标在航海雷达数据中连续出现时,Mt中对应元素值会迅速增加,反之当目标不再出现时,Mt中对应元素值会逐渐衰减,反映目标精确的方位信息,实现对运动目标的辨识和跟踪;
本发明的有益效果在于:
1.本发明中,无人船利用航海雷达数据中的空间结构关系对局部环境地图进行匹配和修正,能够有效消除或抑制惯性导航系统累积误差的影响,提高局部环境地图的精度;
2.本发明中,设计了局部环境地图的增长和衰减机制,使其对航海雷达的回波噪声、测量误差、位置跃变等不确定性因素具有较高的鲁棒性,能够反映更加精确的目标方位信息;
3.本发明中,局部环境地图的实时动态更新有利于实现对运动目标的辨识和跟踪,避免了传统方法需对各目标进行特征匹配和数据关联,准确性、可靠性受限而计算复杂度较高。
附图说明
图1为具备局部环境地图自主构建能力的无人船组成结构图;
图2为一种无人船的局部环境地图自主构建方法的流程图;
图3为本发明局部环境地图更新方法示意图;
图4为本发明航海雷达更新区域检测方法示意图;
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明做进一步描述:.
一种无人船的局部环境地图自主构建方法,包括以下步骤:
第一步,初始化局部环境地图M0为一实数矩阵,以初始时刻0无人船的位置l0为中心;
第二步,接收惯性导航系统发送的信息,根据其标志位判断该信息是否精确有效,若是转至第三步,若否转至第八步;
第三步,采集当前时刻t的航海雷达数据,去除噪声后将其转换为8位灰度图像Rt
第四步,根据无人船当前时刻位置lt和上一时刻位置lt-1计算平移矢量pt,平移t-1时刻的局部环境地图Mt-1得到局部环境地图M′t,其中心为无人船当前时刻位置lt
第五步,将当前时刻的雷达图像Rt与上一时刻的雷达图像Rt-1进行差分,将差分图像|Rt-Rt-1|变换至极坐标系中,计算出雷达数据更新的扇形区域At
第六步,将扇形区域At内的雷达图像Rt(At)顺时针旋转,旋转角度为无人船当前时刻t的艏向角θt,得到雷达图像
Figure BDA0001751794730000071
第七步,分别计算雷达图像
Figure BDA0001751794730000081
和局部环境地图M′t中闭合区域的重心,采用随机抽样一致性算法根据位置约束关系完成
Figure BDA0001751794730000082
和M′t之间重心的匹配,利用最小二乘法根据匹配点对计算出修正误差的仿射变换矩阵Tt,并对
Figure BDA0001751794730000083
进行空间变换得到雷达图像
Figure BDA0001751794730000084
第八步,雷达图像
Figure BDA0001751794730000085
与局部环境地图M′t的坐标系完全一致,当
Figure BDA0001751794730000086
中任一元素值
Figure BDA0001751794730000087
大于阈值g0时,M′t中与之坐标相同的元素g(M′t)增加幅值Δg+,否则减少幅值Δg-,更新得到当前时刻t的局部环境地图Mt
第九步,根据接收到的任务控制指令判断是否结束地图构建,若否转至第二步,若是则本流程运行结束。
所述的具备局部环境地图自主构建能力的无人船的组成结构包括航海雷达、惯性导航系统、数据采集设备和数据处理设备。
本发明的目的是提供一种无人船的局部环境地图自主构建方法,以探测范围广、可靠性高、安装设置方便的航海雷达作为无人船的环境感知传感器,利用惯性导航系统提供的无人船的位置、艏向信息构建局部环境地图,通过雷达数据与局部环境地图的精确匹配,利用雷达数据中的空间结构约束有效消除或抑制了惯性导航信息的累积误差,设计了局部环境地图的增长和衰减机制,使其对航海雷达的回波噪声、测量误差、位置跃变等不确定性因素具有较高的鲁棒性,不仅能够反映更加精确的目标方位信息,还有利于实现对运动目标的辨识和跟踪,因此能够构建高精度的局部环境地图,保障无人船在长时间航行过程中的安全性。
结合图1,具备局部环境地图自主构建能力的无人船的组成结构应包括:
航海雷达1,主要用于获取指定量程内的各类目标的雷达回波,并转换为可传输和处理的雷达信号;
惯性导航系统2,主要用于连续或周期性地提供无人船的位置、艏向等信息,同时为了保证雷达数据和惯性导航信息在时间上的同步性,还需要向数据采集设备3发送同步控制信号;
数据采集设备3,其采集行为受到惯性导航系统2的同步控制信号触发,主要用于将雷达信号转换为易于存储、处理的数字信号,并传输至数据处理设备;
数据处理设备4,主要利用数据采集设备3获取的雷达数据和惯性导航系统2提供的惯性导航信息构建数字化的局部环境地图,并按照数据采集周期进行动态更新,在需要时可将其发送至决策、规划等子系统。
结合图2,实现本发明目的的具体实施步骤如下:
第一步,初始化局部环境地图M0为一实数矩阵,其尺寸为m×n且各元素均为0.0,矩阵中心对应初始时刻0无人船的位置l0=(x0,y0),其中x和y分别是大地坐标系中的经度值和纬度值,矩阵列方向与大地坐标系中正北方向一致;
第二步,接收惯性导航系统的信息并进行解码,根据其中的标志位判断该信息是否有效,若是,读取其中包含的当前时刻t无人船的位置lt=(xt,yt)并转至第三步,若否转至第八步;
第三步,采集当前时刻t的航海雷达数据,对其进行形态学开操作去除噪声,然后将其转换为8位灰度图像Rt
第四步,根据无人船当前时刻位置lt和上一时刻位置lt-1计算平移矢量pt,具体计算方法如下(如图3所示):
Figure BDA0001751794730000091
Figure BDA0001751794730000092
Figure BDA0001751794730000093
其中:
dt和αt分别是平移矢量pt的长度和方向角;
Figure BDA0001751794730000094
是地球的平均半径;
kradar是与航海雷达量程有关的比例系数。
根据平移矢量pt对t-1时刻的局部环境地图Mt-1进行平移,移出矩阵表示范围的元素被直接丢弃,而矩阵中未预先定义的元素则置为0.0,得到平移后的局部环境地图M′t,其中心将对应无人船当前时刻位置lt
第五步,将当前时刻的雷达图像Rt与上一时刻的雷达图像Rt-1进行差分,将差分图像|Rt-Rt-1|变换至极坐标系中(如图4所示),遍历极坐标系下差分图像中非零元素所占据的连续角度范围
Figure BDA0001751794730000095
其中
Figure BDA0001751794730000096
Figure BDA0001751794730000097
分别表示起始角度和终止角度,即对应雷达数据更新的扇形区域At
第六步,将扇形区域At内的雷达图像Rt(At)顺时针旋转,旋转角度为无人船当前时刻t的艏向角θt,得到雷达图像
Figure BDA0001751794730000098
第七步,检测雷达图像
Figure BDA0001751794730000099
和局部环境地图M′t中的闭合区域,分别表示为集合
Figure BDA00017517947300000910
Figure BDA00017517947300000911
其中
Figure BDA00017517947300000912
Figure BDA00017517947300000913
分别是
Figure BDA00017517947300000914
和M′t中索引号为p和q的闭合区域,分别计算
Figure BDA00017517947300000915
Figure BDA00017517947300000916
的重心
Figure BDA0001751794730000101
Figure BDA0001751794730000102
Figure BDA0001751794730000103
为例,其计算方法如下:
Figure BDA0001751794730000104
Figure BDA0001751794730000105
其中:
Figure BDA0001751794730000106
是闭合区域
Figure BDA0001751794730000107
的重心坐标;
Figure BDA0001751794730000108
是闭合区域
Figure BDA0001751794730000109
中任意元素的坐标,且
Figure BDA00017517947300001010
是该元素的值。
计算得到
Figure BDA00017517947300001011
和M′t中闭合区域的重心集合
Figure BDA00017517947300001012
Figure BDA00017517947300001013
采用RANSAC算法(随机抽样一致性算法)根据位置约束关系得到重心匹配集合
Figure BDA00017517947300001014
其中i是匹配重心对的索引号,利用最小二乘法计算仿射变换矩阵Tt的方法如下:
Figure BDA00017517947300001015
D=(CTC)-1CTB
其中:
C是对
Figure BDA00017517947300001016
中重心
Figure BDA00017517947300001017
的坐标按顺序重新排列后得到的矩阵;
B是对
Figure BDA00017517947300001018
中重心
Figure BDA00017517947300001019
的坐标按顺序重新排列后得到的向量;
D是仿射变换矩阵Tt的列向量形式,其各元素t11,t12,t13,t21,t22,t23即为变换系数;
CT和(CTC)-1分别表示矩阵C的转置和CTC的逆矩阵。
利用仿射变换矩阵Tt对雷达图像
Figure BDA00017517947300001020
进行空间变换,得到雷达图像
Figure BDA00017517947300001021
第八步,雷达图像
Figure BDA00017517947300001022
与局部环境地图M′t的坐标系完全一致,遍历
Figure BDA00017517947300001023
中的每个元素,当其元素值
Figure BDA00017517947300001024
大于预先设定的阈值g0时,表明该位置处有目标存在,M′t中与之坐标相同的元素g(M′t)增加幅值Δg+,否则减少幅值Δg-,其中Δg+是与航海雷达性能有关的常数,而Δg-可设定为:
Figure BDA0001751794730000111
其中:
kfreq表示航海雷达数据在其一个扫描周期内的采集频率。
更新M′t中的每个元素得到当前时刻t的局部环境地图Mt,其每个元素值表征了该位置存在目标的置信概率,当目标在航海雷达数据中连续出现时,Mt中对应元素值会迅速增加,反之当目标不再出现时,Mt中对应元素值会逐渐衰减,从而能够反映目标精确的方位信息,并有利于实现对运动目标的辨识和跟踪;
第九步,根据接收到的任务控制指令判断是否结束地图构建,若否转至第二步,若是则本流程运行结束。

Claims (8)

1.一种无人船的局部环境地图自主构建方法,其特征在于,包括:
步骤一:通过初始化原始局部环境地图M0得到一个实数矩阵,并设置所述的实数矩阵的中心为通过航海雷达采集的初始时刻0时无人船的位置l0
步骤二:通过惯性导航系统接收惯性导航系统信息并进行解码,得到其中的标志位信息,通过判断所述的其中的标志位信息是否有效,决定下一个步骤的顺序,若是转至步骤三,若否转至步骤八;
步骤三:通过航海雷达采集当前时刻t时的航海雷达数据,通过采用形态学开操作方法对所述的当前时刻t时的航海雷达数据进行去除噪声处理,转换得到当前时刻t时的8位灰度雷达图像Rt
步骤四:通过航海雷达采集无人船当前时刻位置lt和上一时刻位置lt-1,通过公式计算得到平移矢量pt,通过所述的平移矢量pt对t-1时刻的局部环境地图Mt-1进行平移,得到平移后的局部环境地图M′t,并设置所述的平移后的局部环境地图M′t的中心为通过航海雷达采集的当前时刻t时无人船的位置lt
步骤五:通过将步骤三所述的当前时刻t时的8位灰度雷达图像Rt与上一时刻的8位灰度雷达图像Rt-1进行差分,得到差分图像|Rt-Rt-1|,通过将所述的差分图像|Rt-Rt-1|变换至极坐标系中,计算得到雷达数据更新的扇形区域At
步骤六:通过将步骤五所述的扇形区域At内的8位灰度雷达图像Rt(At)进行顺时针旋转处理,得到过程雷达图像
Figure FDA0001751794720000011
步骤七:通过检测步骤六所述的过程雷达图像
Figure FDA0001751794720000012
和步骤四所述的平移后的局部环境地图M′t中的闭合区域,得到步骤六所述的过程雷达图像
Figure FDA0001751794720000013
和步骤四所述的平移后的局部环境地图M′t中的闭合区域的重心集合;根据位置约束关系对所述的闭合区域的重心集合采用RANSAC算法,即随机抽样一致性算法,得到步骤六所述的过程雷达图像
Figure FDA0001751794720000014
和步骤四所述的平移后的局部环境地图M′t之间的重心匹配集合;通过对所述的重心匹配集合采用最小二乘法计算,得到仿射变换矩阵Tt;通过利用所述的仿射变换矩阵Tt对步骤六所述的过程雷达图像
Figure FDA0001751794720000015
进行空间变换得到最终雷达图像
Figure FDA0001751794720000016
步骤八:根据步骤七所述的最终雷达图像
Figure FDA0001751794720000021
与步骤四所述的平移后的局部环境地图M′t的坐标系完全一致的关系,通过遍历步骤七所述的最终雷达图像
Figure FDA0001751794720000022
中的每个元素,当其元素值
Figure FDA0001751794720000023
大于预先设定的阈值g0时,表明该位置处有目标存在,则将步骤四所述的平移后的局部环境地图M′t中与之坐标相同的元素g(M′t)增加幅值Δg+,否则减少幅值Δg-,通过更新步骤四所述的平移后的局部环境地图M′t中的每个元素,得到当前时刻t的局部环境地图Mt
步骤九:根据接收到的任务控制指令,判断是否结束地图构建,若是流程运行结束,若否转至步骤二。
2.根据权利要求1所述的一种无人船的局部环境地图自主构建方法,其特征在于,所述步骤一,包括:
通过初始化原始局部环境地图M0得到一个实数矩阵,并设置所述的实数矩阵的中心为通过航海雷达采集的初始时刻0时无人船的位置l0
其中,所述的无人船组成结构包括:航海雷达,获取指定量程内的各类目标的雷达回波,并转换为可传输的传感器信号;惯性导航系统,周期性地提供无人船的位置、艏向等信息,同时向数据采集设备发送同步控制信号,雷达数据和惯性导航信息的时间同步性;数据采集设备,将雷达信号转换为易于存储、处理的数字信号,并传输至数据处理设备,其数据采集行为受同步控制信号触发;数据处理设备,利用航海雷达数据和惯性导航信息构建数字化的局部环境地图,按照数据采集周期进行动态更新,将其发送至决策、规划子系统;
其中,所述的实数矩阵,其尺寸为m×n,且各元素均为0.0,矩阵中心对应通过航海雷达采集的初始时刻0时无人船的位置l0=(x0,y0),其中x和y分别是大地坐标系中的经度值和纬度值,矩阵列方向与大地坐标系中正北方向一致。
3.根据权利要求1所述的一种无人船的局部环境地图自主构建方法,其特征在于:所述步骤二,包括:
通过惯性导航系统接收惯性导航系统信息并进行解码,得到其中的标志位信息,通过判断所述的其中的标志位信息是否有效,决定下一个步骤的顺序,若是转至步骤三,若否转至步骤八;
其中,所述的标志位信息有效情况下,首先读取其中包含的当前时刻t无人船的位置lt=(xt,yt),然后转至步骤三。
4.根据权利要求1所述的一种无人船的局部环境地图自主构建方法,其特征在于:所述步骤四,包括:
通过航海雷达采集无人船当前时刻位置lt和上一时刻位置lt-1,通过公式计算得到平移矢量pt,通过所述的平移矢量pt对t-1时刻的局部环境地图Mt-1进行平移,得到平移后的局部环境地图M′t,并设置所述的平移后的局部环境地图M′t的中心为通过航海雷达采集的当前时刻t时无人船的位置lt
其中,所述的通过公式计算得到平移矢量pt的具体计算方法为:
Figure FDA0001751794720000031
Figure FDA0001751794720000032
Figure FDA0001751794720000033
式中参数设置为:
dt和αt分别是平移矢量pt的长度和方向角;
Figure FDA0001751794720000037
是地球的平均半径;kradar是与航海雷达量程有关的比例系数;
其中,所述的对t-1时刻的局部环境地图Mt-1进行平移过程中,移出矩阵表示范围的元素直接丢弃,而矩阵中未预先定义的元素置为0.0。
5.根据权利要求1所述的一种无人船的局部环境地图自主构建方法,其特征在于:所述步骤五,包括:
通过将步骤三所述的当前时刻t时的8位灰度雷达图像Rt与上一时刻的8位灰度雷达图像Rt-1进行差分,得到差分图像|Rt-Rt-1|,通过将所述的差分图像|Rt-Rt-1|变换至极坐标系中,计算得到雷达数据更新的扇形区域At
其中,所述的将差分图像|Rt-Rt-1|变换至极坐标系中的具体过程为:将差分图像|Rt-Rt-1|变换至极坐标系中,遍历极坐标系下差分图像中非零元素所占据的连续角度范围
Figure FDA0001751794720000034
式中
Figure FDA0001751794720000035
Figure FDA0001751794720000036
分别表示起始角度和终止角度。
6.根据权利要求1所述的一种无人船的局部环境地图自主构建方法,其特征在于:所述步骤六,包括:
通过将步骤五所述的扇形区域At内的8位灰度雷达图像Rt(At)进行顺时针旋转处理,得到过程雷达图像
Figure FDA0001751794720000041
其中,所述的顺时针旋转处理的旋转角度为无人船当前时刻t的艏向角θt
7.根据权利要求1所述的一种无人船的局部环境地图自主构建方法,其特征在于:所述步骤七,包括:
通过检测步骤六所述的过程雷达图像
Figure FDA0001751794720000042
和步骤四所述的平移后的局部环境地图M′t中的闭合区域,得到步骤六所述的过程雷达图像
Figure FDA0001751794720000043
和步骤四所述的平移后的局部环境地图M′t中的闭合区域的重心集合;根据位置约束关系对所述的闭合区域的重心集合采用RANSAC算法,即随机抽样一致性算法,得到步骤六所述的过程雷达图像
Figure FDA0001751794720000044
和步骤四所述的平移后的局部环境地图M′t之间的重心匹配集合;通过对所述的重心匹配集合采用最小二乘法计算,得到仿射变换矩阵Tt;通过利用所述的仿射变换矩阵Tt对步骤六所述的过程雷达图像
Figure FDA0001751794720000045
进行空间变换得到最终雷达图像
Figure FDA0001751794720000046
其中,所述的过程雷达图像
Figure FDA0001751794720000047
和平移后的局部环境地图M′t中的闭合区域分别表示为:集合
Figure FDA0001751794720000048
Figure FDA0001751794720000049
式中
Figure FDA00017517947200000410
Figure FDA00017517947200000411
分别是
Figure FDA00017517947200000412
和M′t中索引号为p和q的闭合区域;
其中,所述的闭合区域的重心集合的具体计算方法为:计算
Figure FDA00017517947200000413
Figure FDA00017517947200000414
的重心
Figure FDA00017517947200000415
Figure FDA00017517947200000416
Figure FDA00017517947200000417
为例:
Figure FDA00017517947200000418
Figure FDA00017517947200000419
式中参数设置为:
Figure FDA00017517947200000420
是闭合区域
Figure FDA00017517947200000421
的重心坐标;
Figure FDA00017517947200000422
是闭合区域
Figure FDA00017517947200000423
中任意元素的坐标,且
Figure FDA00017517947200000424
是该元素的值;
其中,所述的重心匹配集合表示为:合
Figure FDA00017517947200000425
式中i是匹配重心对的索引号;
其中,所述的采用最小二乘法计算得到仿射变换矩阵Tt的具体计算方法为:
Figure FDA0001751794720000051
D=(CTC)-1CTB
式中参数设置为:
C是对
Figure FDA0001751794720000052
中重心
Figure FDA0001751794720000053
的坐标按顺序重新排列后得到的矩阵;B是对
Figure FDA0001751794720000054
中重心
Figure FDA0001751794720000055
的坐标按顺序重新排列后得到的向量;D是仿射变换矩阵Tt的列向量形式,其各元素t11,t12,t13,t21,t22,t23即为变换系数;CT和(CTC)-1分别表示矩阵C的转置和CTC的逆矩阵。
8.根据权利要求1所述的一种无人船的局部环境地图自主构建方法,其特征在于:所述步骤八,包括:
根据步骤七所述的最终雷达图像
Figure FDA0001751794720000056
与步骤四所述的平移后的局部环境地图M′t的坐标系完全一致的关系,通过遍历步骤七所述的最终雷达图像
Figure FDA0001751794720000057
中的每个元素,当其元素值
Figure FDA0001751794720000058
大于预先设定的阈值g0时,表明该位置处有目标存在,则将步骤四所述的平移后的局部环境地图M′t中与之坐标相同的元素g(M′t)增加幅值Δg+,否则减少幅值Δg-,通过更新步骤四所述的平移后的局部环境地图M′t中的每个元素,得到当前时刻t的局部环境地图Mt
其中,所述的幅值Δg+是与航海雷达性能有关的常数,而Δg-设定为:
Figure FDA0001751794720000059
式中参数设置为:
kfreq表示航海雷达数据在其一个扫描周期内的采集频率;
其中,所述的当前时刻t的局部环境地图Mt的每个元素值表征了该位置存在目标的置信概率,当目标在航海雷达数据中连续出现时,Mt中对应元素值会迅速增加,反之当目标不再出现时,Mt中对应元素值会逐渐衰减。
CN201810869551.XA 2018-08-02 2018-08-02 一种无人船的局部环境地图自主构建方法 Active CN109239709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810869551.XA CN109239709B (zh) 2018-08-02 2018-08-02 一种无人船的局部环境地图自主构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810869551.XA CN109239709B (zh) 2018-08-02 2018-08-02 一种无人船的局部环境地图自主构建方法

Publications (2)

Publication Number Publication Date
CN109239709A CN109239709A (zh) 2019-01-18
CN109239709B true CN109239709B (zh) 2022-06-17

Family

ID=65072716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810869551.XA Active CN109239709B (zh) 2018-08-02 2018-08-02 一种无人船的局部环境地图自主构建方法

Country Status (1)

Country Link
CN (1) CN109239709B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109932701B (zh) * 2019-04-02 2022-07-15 哈尔滨工程大学 一种模拟船用雷达的目标船回波2d成像方法
CN110231624B (zh) * 2019-06-06 2021-08-10 Oppo广东移动通信有限公司 物体的检测方法及相关产品
CN111679669B (zh) * 2020-06-01 2023-08-08 陕西欧卡电子智能科技有限公司 一种无人船自主精准停靠方法及系统
CN112051574A (zh) * 2020-08-05 2020-12-08 华友天宇科技(武汉)股份有限公司 一种基于高精度地图的自动化旋耕船
CN112414417B (zh) * 2020-11-17 2021-11-26 智邮开源通信研究院(北京)有限公司 自动驾驶地图生成方法、装置、电子设备及可读存储介质
CN112762957B (zh) * 2020-12-29 2022-12-30 西北工业大学 一种基于多传感器融合的环境建模及路径规划方法
CN112857360B (zh) * 2021-03-22 2022-06-17 哈尔滨工程大学 一种船舶航行多信息融合方法
CN113917930A (zh) * 2021-11-11 2022-01-11 中国船舶重工集团公司第七一九研究所 一种基于感知数据的无人船航行状态控制方法
CN114216465B (zh) * 2021-12-08 2022-11-01 哈尔滨工程大学 一种海底地形导航并行匹配方法
CN114894187B (zh) * 2022-05-27 2024-04-19 哈尔滨工程大学 一种无人艇导航方法
CN116448115B (zh) * 2023-04-07 2024-03-19 连云港杰瑞科创园管理有限公司 基于导航雷达和光电的无人艇概率距离地图构建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002350156A (ja) * 2001-03-15 2002-12-04 Matsushita Electric Ind Co Ltd 描画装置および描画方法
US8154438B1 (en) * 2009-09-08 2012-04-10 The United States Of America As Represented By The Secretary Of The Navy Registration of latitude/longitude coordinates using range detection sensors and digital nautical charts
CN102508251A (zh) * 2011-10-18 2012-06-20 哈尔滨工程大学 多波束图像声纳中扇形变换的快速实现方法
CN102750537A (zh) * 2012-05-08 2012-10-24 中国矿业大学 一种高精度图像自动配准方法
JP2013109773A (ja) * 2013-01-07 2013-06-06 Olympus Corp 特徴マッチング方法及び商品認識システム
CN103389103A (zh) * 2013-07-03 2013-11-13 北京理工大学 一种基于数据挖掘的地理环境特征地图构建与导航方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002350156A (ja) * 2001-03-15 2002-12-04 Matsushita Electric Ind Co Ltd 描画装置および描画方法
US8154438B1 (en) * 2009-09-08 2012-04-10 The United States Of America As Represented By The Secretary Of The Navy Registration of latitude/longitude coordinates using range detection sensors and digital nautical charts
CN102508251A (zh) * 2011-10-18 2012-06-20 哈尔滨工程大学 多波束图像声纳中扇形变换的快速实现方法
CN102750537A (zh) * 2012-05-08 2012-10-24 中国矿业大学 一种高精度图像自动配准方法
JP2013109773A (ja) * 2013-01-07 2013-06-06 Olympus Corp 特徴マッチング方法及び商品認識システム
CN103389103A (zh) * 2013-07-03 2013-11-13 北京理工大学 一种基于数据挖掘的地理环境特征地图构建与导航方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Local reactive obstacle avoidance approach for high-speed unmanned surface vehicle;Pingpeng Tang;《ELSEVIER》;20150915;第16卷;全文 *
基于特征快速配准的图像拼接技术的研究与实现;张婷;《中国优秀硕士学位论文全文数据库信息科技辑》;20161015;全文 *
小型水面无人船航行状态感知系统研究;李梓龙;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20151215;全文 *

Also Published As

Publication number Publication date
CN109239709A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109239709B (zh) 一种无人船的局部环境地图自主构建方法
CN110850403B (zh) 一种多传感器决策级融合的智能船水面目标感知识别方法
CN110414396B (zh) 一种基于深度学习的无人艇感知融合算法
CN111486845B (zh) 基于海底地形匹配的auv多策略导航方法
CN113340295B (zh) 一种多个测距传感器的无人艇近岸实时定位与建图方法
Ribas et al. SLAM using an imaging sonar for partially structured underwater environments
Ribas et al. Underwater SLAM in man‐made structured environments
KR20220155559A (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
Adams et al. SLAM gets a PHD: New concepts in map estimation
CN113627473B (zh) 基于多模态传感器的水面无人艇环境信息融合感知方法
CN112146654B (zh) 基于关键约束帧的前视成像声呐水下定位与导航方法
CN110082753A (zh) 确定车辆位置的方法
Callmer et al. Radar SLAM using visual features
Ribas et al. Underwater SLAM in a marina environment
CN114488164B (zh) 水下航行器同步定位与建图方法及水下航行器
CN109001725B (zh) 一种海上无人艇海上多目标跟踪方法
Thompson et al. Efficient lidar-based object segmentation and mapping for maritime environments
CN113657256A (zh) 一种无人艇载无人机海空协同视觉跟踪与自主回收方法
KR102466804B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
Cui et al. Research on simultaneous localization and mapping for AUV by an improved method: Variance reduction FastSLAM with simulated annealing
CN115031726A (zh) 一种数据融合导航定位方法
Loebis et al. Review of multisensor data fusion techniques and their application to autonomous underwater vehicle navigation
VanMiddlesworth Toward autonomous underwater mapping in partially structured 3D environments
CN112802195A (zh) 一种基于声呐的水下机器人连续占据建图方法
CN109459046B (zh) 悬浮式水下自主航行器的定位和导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231018

Address after: 710000, Room 501, 5th Floor, Building G3, Zijun City, South Section of Zhuque Street, Yanta District, Xi'an City, Shaanxi Province

Patentee after: Xi'an Shuoxing Information Technology Co.,Ltd.

Address before: 150001 Intellectual Property Office, Harbin Engineering University science and technology office, 145 Nantong Avenue, Nangang District, Harbin, Heilongjiang

Patentee before: HARBIN ENGINEERING University