CN114489046B - 水下巡检机器人导航方法、装置、系统及存储介质 - Google Patents
水下巡检机器人导航方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN114489046B CN114489046B CN202111625080.6A CN202111625080A CN114489046B CN 114489046 B CN114489046 B CN 114489046B CN 202111625080 A CN202111625080 A CN 202111625080A CN 114489046 B CN114489046 B CN 114489046B
- Authority
- CN
- China
- Prior art keywords
- information
- expected
- observation
- inspection robot
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 57
- 238000009360 aquaculture Methods 0.000 claims abstract description 39
- 244000144974 aquaculture Species 0.000 claims abstract description 39
- 238000001914 filtration Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000015654 memory Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 18
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000001788 irregular Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种水下巡检机器人导航方法、装置、系统及存储介质,该水下巡检机器人导航方法应用于水下养殖设备,包括以下步骤:在水下巡检机器人对养殖网衣进行巡检的过程中,通过水下巡检机器人搭载的定位装置持续获取水下巡检机器人的观测航姿信息,并持续获取养殖网衣的运动信息;基于观测航姿信息和运动信息,通过全局路径规划算法得出水下巡检机器人的期望航姿信息;基于观测航姿信息与期望航姿信息的偏差,通过卡尔曼滤波算法框架对水下巡检机器人的航行参数进行校正。本发明公开的水下巡检机器人导航方法可解决目前针对水下巡检机器人的路径跟踪方式难以适应渔业养殖装备的不规则运动情况,从而无法实现高精度导航的技术问题。
Description
技术领域
本发明属于水下巡检技术领域,具体涉及一种水下巡检机器人导航方法、水下巡检机器人导航装置、水下巡检机器人导航系统及计算机可读存储介质。
背景技术
深海养殖已成为海洋渔业养殖的主要发展方向,随着渔业养殖装备往大型化、工业化、智能化发展,对其日常运维亦提出了更高的要求。当选择机动性更好、安全性更高的水下巡检机器人(AUV)对渔业养殖装备进行日常巡检运维时,需要解决的一个重要问题是如何实现对水下巡检机器人的路径跟踪导航。
由于水下环境对电磁波的影响,GPS导航并不适用于水下巡检机器人的水下导航作业。另外,由于渔业养殖装备的桁架式框架和柔性养殖网衣会随水流作用产生不规则的运动,这种不规则的运动会对水下巡检机器人的运动学和动力学模型产生影响,传统的基于静态参量设置的导航程序难以适应该情况,从而导致无法在导航过程中对路径跟踪误差进行准确纠偏,无法实现水下巡检机器人的高精度导航。
发明内容
为了克服现有技术的上述缺点,本发明的目的在于提供一种水下巡检机器人导航方法,旨在解决目前针对水下巡检机器人的路径跟踪导航方式难以适应渔业养殖装备的不规则运动情况,从而无法实现高精度导航的技术问题。
本发明为达到其目的,所采用的技术方案如下:
一种水下巡检机器人导航方法,应用于水下养殖设备,所述水下养殖设备包括支撑桁架和养殖网衣,所述养殖网衣固定于所述支撑桁架上;所述水下巡检机器人导航方法包括以下步骤:
在水下巡检机器人对所述养殖网衣进行巡检的过程中,通过所述水下巡检机器人搭载的定位装置持续获取所述水下巡检机器人的观测航姿信息,并持续获取所述养殖网衣的运动信息;
基于所述观测航姿信息和所述运动信息,通过全局路径规划算法得出所述水下巡检机器人的期望航姿信息;
基于所述观测航姿信息与所述期望航姿信息的偏差,通过卡尔曼滤波算法框架对所述水下巡检机器人的航行参数进行校正。
进一步地,所述支撑桁架包括多个边立柱,多个所述边立柱环绕形成环形结构,所述边立柱上设置有竖直方向的固定水尺;所述通过所述水下巡检机器人搭载的定位装置持续获取所述水下巡检机器人的观测航姿信息的步骤,包括:
基于所述水下养殖设备建立非惯性坐标系;其中,所述非惯性坐标系的坐标原点设于所述固定水尺的零点位置,所述非惯性坐标系的第一轴始终指向所述环形结构的水平切线方向,所述非惯性坐标系的第二轴始终指向所述环形结构的中心位置,所述非惯性坐标系的第三轴始终指向所述边立柱的竖直方向;
基于所述非惯性坐标系,通过所述定位装置确定所述水下巡检机器人经过的所述养殖网衣上的网孔数量,以确定所述水下巡检机器人的第一轴向观测坐标、第三轴向观测坐标和观测艏向角,并通过测距装置确定所述水下巡检机器人的第二轴向观测坐标;
以所述第一轴向观测坐标、所述第二轴向观测坐标、所述第三轴向观测坐标和所述观测艏向角作为所述观测航姿信息。
进一步地,所述基于所述观测航姿信息和所述运动信息,通过全局路径规划算法得出所述水下巡检机器人的期望航姿信息的步骤,包括:
基于所述观测航姿信息和所述运动信息,将通过全局规划路径算法获得的规划路径映射到所述非惯性坐标系下,得到所述水下巡检机器人在所述非惯性坐标系下的第一轴向期望坐标、第二轴向期望坐标、第三轴向期望坐标和期望艏向角;
以所述第一轴向期望坐标、所述第二轴向期望坐标、所述第三轴向期望坐标和所述期望艏向角作为所述期望航姿信息。
进一步地,所述基于所述观测航姿信息与所述期望航姿信息的偏差,通过卡尔曼滤波算法框架对所述水下巡检机器人的航行参数进行校正的步骤,包括:
将所述观测航姿信息、所述期望航姿信息分别解耦至第一平面上,以分别得到第一观测子信息和第一期望子信息;
将所述观测航姿信息、所述期望航姿信息分别解耦至第二平面上,以分别得到第二观测子信息和第二期望子信息;
基于所述第一观测子信息与所述第一期望子信息的偏差,通过卡尔曼滤波算法框架得出第一平面调整参数;
基于所述第二观测子信息与所述第二期望子信息的偏差,通过卡尔曼滤波算法框架得出第二平面调整参数;
基于所述第一平面调整参数和所述第二平面调整参数,对所述水下巡检机器人的航行参数进行校正。
进一步地,所述将所述观测航姿信息、所述期望航姿信息分别解耦至第一平面上,以分别得到第一观测子信息和第一期望子信息的步骤,包括:
以所述第一轴向观测坐标、所述第二轴向观测坐标以及所述观测艏向角在所述第一平面上的投影角作为所述第一观测子信息,以所述第一轴向期望坐标、所述第二轴向期望坐标以及所述期望艏向角在所述第一平面上的投影角作为所述第一期望子信息;
所述基于所述第一观测子信息与所述第一期望子信息的偏差,通过卡尔曼滤波算法框架得出第一平面调整参数的步骤,包括:
判断所述第一观测子信息与所述第一期望子信息的偏差量是否大于第一偏差阈值;
若是,则基于所述第一观测子信息与所述第一期望子信息的偏差量,通过卡尔曼滤波算法框架得出可令所述第一观测子信息收敛至所述第一期望子信息的第一增益矩阵。
进一步地,所述将所述观测航姿信息、所述期望航姿信息分别解耦至第二平面上,以分别得到第二观测子信息和第二期望子信息的步骤,包括:
以所述第二轴向观测坐标、所述第三轴向观测坐标以及所述观测艏向角在所述第二平面上的投影角作为所述第二观测子信息,以所述第二轴向期望坐标、所述第三轴向期望坐标以及所述期望艏向角在所述第二平面上的投影角作为所述第二期望子信息;
所述基于所述第二观测子信息与所述第二期望子信息的偏差,通过卡尔曼滤波算法框架得出第二平面调整参数的步骤,包括:
判断所述第二观测子信息与所述第二期望子信息的偏差量是否大于第二偏差阈值;
若是,则基于所述第二观测子信息与所述第二期望子信息的偏差量,通过卡尔曼滤波算法框架得出可令所述第二观测子信息收敛至所述第二期望子信息的第二增益矩阵。
进一步地,所述基于所述第一平面调整参数和所述第二平面调整参数,对所述水下巡检机器人的航行参数进行校正的步骤,包括:
基于所述第一平面调整参数和所述第二平面调整参数,通过PID算法得出所述水下巡检机器人的推进力参数;
根据所述推进力参数调整所述水下巡检机器人的航向及航速。
对应地,本发明还提出一种水下巡检机器人导航装置,所述水下巡检机器人导航装置包括:
量测模块,用于在水下巡检机器人对养殖网衣进行巡检的过程中通过所述水下巡检机器人搭载的定位装置持续获取所述水下巡检机器人的观测航姿信息,以及用于持续获取养殖网衣的运动信息;
模拟模块,用于基于所述观测航姿信息和所述运动信息,通过全局路径规划算法得出所述水下巡检机器人的期望航姿信息;
校正模块,用于基于所述观测航姿信息与所述期望航姿信息的偏差,通过卡尔曼滤波算法框架对所述水下巡检机器人的航行参数进行校正。
对应地,本发明还提出一种水下巡检机器人导航系统,所述水下巡检机器人导航系统包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如前述的水下巡检机器人导航方法的步骤。
对应地,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有水下巡检机器人导航程序,所述水下巡检机器人导航程序被处理器执行时实现如前述的水下巡检机器人导航方法的步骤。
与现有技术相比,本发明的有益效果是:
本发明提出的水下巡检机器人导航方法,通过水下巡检机器人搭载的定位装置持续获取水下巡检机器人的观测航姿信息,以及持续获取养殖网衣的运动信息,并基于观测航姿信息和运动信息,通过全局路径规划算法得出水下巡检机器人的期望航姿信息,最终基于观测航姿信息与期望航姿信息的偏差,通过卡尔曼滤波算法框架对水下巡检机器人的航行参数进行校正,从而实现了水下巡检机器人在复杂水下环境中的高精度导航,解决了当前水下巡检机器人的路径跟踪导航方式难以适应在水体中作不规则运动的渔业养殖装备、无法在导航过程中对路径跟踪误差进行准确纠偏的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明水下巡检机器人导航方法一实施例的流程示意图;
图2为本发明水下巡检机器人导航方法一实施例的细化流程示意图;
图3为本发明实施例方案所应用的水下养殖设备结构示意图;
图4为本发明实施例方案涉及的装置结构示意图;
图5为本发明实施例方案涉及的硬件运行环境的系统结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图5所示,图5是本发明实施例方案涉及的水下巡检机器人导航系统的结构示意图。
如图5所示,该水下巡检机器人导航系统可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,该水下巡检机器人导航系统还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器可包括光传感器、运动传感器、红外线传感器以及其他传感器,在此不再赘述。
本领域技术人员可以理解,图5中示出的具体结构并不构成对该水下巡检机器人导航系统的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图5所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及水下巡检机器人导航程序。
在图5所示的水下巡检机器人导航系统中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的水下巡检机器人导航程序,并执行以下操作:
在水下巡检机器人对养殖网衣进行巡检的过程中,通过水下巡检机器人搭载的定位装置持续获取水下巡检机器人的观测航姿信息,并持续获取养殖网衣的运动信息;
基于观测航姿信息和运动信息,通过全局路径规划算法得出水下巡检机器人的期望航姿信息;
基于观测航姿信息与期望航姿信息的偏差,通过卡尔曼滤波算法框架对水下巡检机器人的航行参数进行校正。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
基于所述水下养殖设备建立非惯性坐标系;其中,所述非惯性坐标系的坐标原点设于所述固定水尺的零点位置,所述非惯性坐标系的第一轴始终指向所述环形结构的水平切线方向,所述非惯性坐标系的第二轴始终指向所述环形结构的中心位置,所述非惯性坐标系的第三轴始终指向所述边立柱的竖直方向;
基于所述非惯性坐标系,通过所述定位装置确定所述水下巡检机器人经过的所述养殖网衣上的网孔数量,以确定所述水下巡检机器人的第一轴向观测坐标、第三轴向观测坐标和观测艏向角,并通过测距装置确定所述水下巡检机器人的第二轴向观测坐标;
以所述第一轴向观测坐标、所述第二轴向观测坐标、所述第三轴向观测坐标和所述观测艏向角作为所述观测航姿信息。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
基于观测航姿信息和运动信息,将通过全局路径规划算法获得的规划路径映射到非惯性坐标系下,得到水下巡检机器人在非惯性坐标系下的第一轴向期望坐标、第二轴向期望坐标、第三轴向期望坐标和期望艏向角;
以第一轴向期望坐标、第二轴向期望坐标、第三轴向期望坐标和期望艏向角作为期望航姿信息。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
将观测航姿信息、期望航姿信息分别解耦至第一平面上,以分别得到第一观测子信息和第一期望子信息;
将观测航姿信息、期望航姿信息分别解耦至第二平面上,以分别得到第二观测子信息和第二期望子信息;
基于第一观测子信息与第一期望子信息的偏差,通过卡尔曼滤波算法框架得出第一平面调整参数;
基于第二观测子信息与第二期望子信息的偏差,通过卡尔曼滤波算法框架得出第二平面调整参数;
基于第一平面调整参数和第二平面调整参数,对水下巡检机器人的航行参数进行校正。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
以第一轴向观测坐标、第二轴向观测坐标以及观测艏向角在第一平面上的投影角作为第一观测子信息,以第一轴向期望坐标、第二轴向期望坐标以及期望艏向角在第一平面上的投影角作为第一期望子信息。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
判断第一观测子信息与第一期望子信息的偏差量是否大于第一偏差阈值;
若是,则基于第一观测子信息与第一期望子信息的偏差量,通过卡尔曼滤波算法框架得出可令第一观测子信息收敛至第一期望子信息的第一增益矩阵。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
以第二轴向观测坐标、第三轴向观测坐标以及观测艏向角在第二平面上的投影角作为第二观测子信息,以第二轴向期望坐标、第三轴向期望坐标以及期望艏向角在第二平面上的投影角作为第二期望子信息。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
判断第二观测子信息与第二期望子信息的偏差量是否大于第二偏差阈值;
若是,则基于第二观测子信息与第二期望子信息的偏差量,通过卡尔曼滤波算法框架得出可令第二观测子信息收敛至第二期望子信息的第二增益矩阵。
进一步地,处理器1001可以调用存储器1005中存储的网络操作控制应用程序,还执行以下操作:
基于第一平面调整参数和第二平面调整参数,通过PID算法得出水下巡检机器人的推进力参数;
根据推进力参数调整水下巡检机器人的航向及航速。
参照图1至图3,本发明一实施例提供一种水下巡检机器人导航方法,应用于水下养殖设备,水下养殖设备包括支撑桁架和养殖网衣,养殖网衣固定于支撑桁架上;该水下巡检机器人导航方法包括:
S1,在水下巡检机器人对养殖网衣进行巡检的过程中,通过水下巡检机器人搭载的定位装置持续获取水下巡检机器人的观测航姿信息,并持续获取养殖网衣的运动信息;
养殖网衣为通过网线编织而成、具有多个网孔的柔性件,如图3所示,养殖网衣通过支撑桁架固定于水下并围合成用于鱼类养殖的养殖区域。
定位装置可包括多个激光传感器,激光传感器用于持续发射激光至养殖网衣上并持续接收激光反射信号。具体地,激光传感器发射的激光若打网线上,将被网线反射回同一激光传感器上,而若打在网孔位置,激光将穿过网孔而不发生反射;激光传感器接收到反射激光的时间点即为回波信号点,对回波信号点进行采集后可得到回波信号图。通过分析回波信号图上多个回波信号点的分布,可估算出水下巡检机器人的航行方向及相对出发点走过的距离,从而可推算出水下巡检机器人的当前位置并以此作为其观测航姿信息。
另外,定位装置可包括视觉传感装置(具体可为配备有相应图像处理功能的水下摄像机),视觉传感装置可在水下巡检机器人航行过程中持续获取养殖网衣的网衣图像,从而生成养殖网衣的运动信息。
S2,基于观测航姿信息和运动信息,通过全局路径规划算法得出水下巡检机器人的期望航姿信息;
S3,基于观测航姿信息与期望航姿信息的偏差,通过卡尔曼滤波算法框架对水下巡检机器人的航行参数进行校正。
在水下巡检机器人航行巡检前,需进行全局路径规划,以确定水下巡检机器人的预定航行路线,如建立水下养殖设备的三维模型,并基于该三维模型及水下巡检机器人的航行参数模拟出水下巡检机器人的航行路线,全局路径规划算法包括进行上述全局路径规划过程中所使用的各类算法。基于该规划得出的预定航行路线,再参照水下巡检机器人实际航行过程中的观测航姿信息和养殖网衣的运动信息进行映射,即可得到水下巡检机器人的期望航姿信息。期望航姿信息对应的是水下巡检机器人对养殖网衣进行巡检过程中的理想航行路径。
已知水下巡检机器人在某一时刻的观测航姿信息和期望航姿信息的情况下,可采用卡尔曼滤波算法框架对水下巡检机器人的航行参数进行校正,具体可采用扩展卡尔曼滤波器(EKF)。当状态值(即期望航姿信息)为理想值时,应用扩展卡尔曼滤波器的理论框架,可认为量测值(即观测航姿信息)和状态值(即期望航姿信息)之间的增益矩阵是收敛的,且该增益矩阵可驱动水下巡检机器人向理想的状态值(即期望航姿信息)靠近。基于上述原理,在某一时刻量测值(即观测航姿信息)和状态值(即期望航姿信息)均为已知的条件下,可求出一个确定收敛的增益矩阵作为水下巡检机器人需要调整的导航参量,以作为下一时刻路径跟随导航控制的基础,使得经调整后的水下巡检机器人的实际航行路径可逐渐往理想航行路径收敛。
由此可见,本实施例提供的水下巡检机器人导航方法,通过水下巡检机器人搭载的定位装置持续获取水下巡检机器人的观测航姿信息,以及持续获取养殖网衣的运动信息,并基于观测航姿信息和运动信息,通过全局路径规划算法得出水下巡检机器人的期望航姿信息,最终基于观测航姿信息与期望航姿信息的偏差,通过卡尔曼滤波算法框架对水下巡检机器人的航行参数进行校正,从而实现了水下巡检机器人在复杂水下环境中的高精度导航,解决了当前水下巡检机器人的路径跟踪导航方式难以适应在水体中作不规则运动的渔业养殖装备、无法在导航过程中对路径跟踪误差进行准确纠偏的问题。
具体地,参照图1至图3,支撑桁架包括多个边立柱,多个边立柱环绕形成环形结构,边立柱上设置有竖直方向的固定水尺;
步骤S1包括:
S11,基于水下养殖设备建立非惯性坐标系;其中,非惯性坐标系的坐标原点设于固定水尺的零点位置,非惯性坐标系的第一轴始终指向环形结构的水平切线方向,非惯性坐标系的第二轴始终指向环形结构的中心位置,非惯性坐标系的第三轴始终指向边立柱的竖直方向;
S12,基于非惯性坐标系,通过定位装置确定水下巡检机器人经过的养殖网衣上的网孔数量,以确定水下巡检机器人的第一轴向观测坐标、第三轴向观测坐标和观测艏向角,并通过测距装置确定水下巡检机器人的第二轴向观测坐标;
S13,以第一轴向观测坐标、第二轴向观测坐标、第三轴向观测坐标和观测艏向角作为观测航姿信息。
水下巡检机器人所处的水下作业环境存在多扰动、强耦合等复杂情况,支撑桁架和养殖网衣会随水流作用产生不规则的运动,基于大地坐标系建立的运动模型难以适应该情况,可能导致航行参数的校正失效。基于此,现将参考坐标系由大地坐标系变更为以水下养殖设备为参考的非惯性坐标系,该非惯性坐标系充分考虑了水下巡检机器人的巡检视距、覆盖范围、回转特性等约束条件,可用于更准确地确定水下巡检机器人的观测航姿信息和期望航姿信息。
具体地,非惯性坐标系中各轴的指向可参照图3,在该非惯性坐标系下,可通过视觉传感装置构建养殖网衣的几何模型以及激光传感器接收到的反射激光的几何模型,并可基于二者的偏差角度校正激光传感器接收到反射激光的时间节点,最终等效变换为回波信号点相对集中的校正后的回波信号图。可通过校正后的回波信号图上多个回波信号点的分布,估算出水下巡检机器人在沿养殖网衣切向的两个坐标轴方向上相对出发点走过的网孔数量,从而可根据网孔尺寸推算出水下巡检机器人在该两个坐标轴方向上的当前坐标(即第一轴向观测坐标和第三轴向观测坐标)。同时可通过激光传感器的测距功能获取水下巡检机器人相对养殖网衣的法向距离,从而可得到水下巡检机器人在第三坐标轴上的当前坐标(即第二轴向观测坐标)。当三个坐标轴方向上的航行距离及当前坐标均确定后,可通过反三角函数计算出水下巡检机器人的观测艏向角(艏向角为水下巡检机器人头部的朝向与基准方向之间的夹角)。
具体地,参照图1至图3,步骤S2包括:
S21,基于观测航姿信息和运动信息,将通过全局路径规划算法获得的规划路径映射到非惯性坐标系下,得到水下巡检机器人在非惯性坐标系下的第一轴向期望坐标、第二轴向期望坐标、第三轴向期望坐标和期望艏向角;
S22,以第一轴向期望坐标、第二轴向期望坐标、第三轴向期望坐标和期望艏向角作为期望航姿信息。
由于非惯性坐标系充分考虑了水下巡检机器人的巡检视距、覆盖范围、回转特性等约束条件,因此将通过全局路径规划算法获得的规划路径映射到非惯性坐标系下可获得更准确的期望航姿信息。其中,第一轴向期望坐标与第一轴向观测坐标、第二轴向期望坐标与第二轴向观测坐标、第三轴向期望坐标第三轴向观测坐标、期望艏向角与观测艏向角均一一对应。获取期望航姿信息的具体过程可参照上述实施例,此处不再赘述。
具体地,参照图1至图3,步骤S3包括:
S31,将观测航姿信息、期望航姿信息分别解耦至第一平面上,以分别得到第一观测子信息和第一期望子信息;
S32,将观测航姿信息、期望航姿信息分别解耦至第二平面上,以分别得到第二观测子信息和第二期望子信息;
S33,基于第一观测子信息与第一期望子信息的偏差,通过卡尔曼滤波算法框架得出第一平面调整参数;
S34,基于第二观测子信息与第二期望子信息的偏差,通过卡尔曼滤波算法框架得出第二平面调整参数;
S35,基于第一平面调整参数和第二平面调整参数,对水下巡检机器人的航行参数进行校正。
具体地,步骤S31包括:
S311,以第一轴向观测坐标、第二轴向观测坐标以及观测艏向角在第一平面上的投影角作为第一观测子信息,以第一轴向期望坐标、第二轴向期望坐标以及期望艏向角在第一平面上的投影角作为第一期望子信息;
具体地,步骤S33包括:
S331,判断第一观测子信息与第一期望子信息的偏差量是否大于第一偏差阈值;
S332,若是,则基于第一观测子信息与第一期望子信息的偏差量,通过卡尔曼滤波算法框架得出可令第一观测子信息收敛至第一期望子信息的第一增益矩阵。
具体地,步骤S32包括:
S321,以第二轴向观测坐标、第三轴向观测坐标以及观测艏向角在第二平面上的投影角作为第二观测子信息,以第二轴向期望坐标、第三轴向期望坐标以及期望艏向角在第二平面上的投影角作为第二期望子信息;
具体地,步骤S34包括:
S341,判断第二观测子信息与第二期望子信息的偏差量是否大于第二偏差阈值;
S342,若是,则基于第二观测子信息与第二期望子信息的偏差量,通过卡尔曼滤波算法框架得出可令第二观测子信息收敛至第二期望子信息的第二增益矩阵。
第一平面具体可为如图3所示非惯性坐标系下的水平面xOy,第一观测子信息其中x为第一轴向观测坐标,y为第二轴向观测坐标,/>为观测艏向角在水平面xOy上的投影角;第一期望子信息/>其中xt为第一轴向期望坐标,yt为第二轴向观测坐标,/>为观测艏向角在水平面xOy上的投影角。
第二平面具体可为如图3所示非惯性坐标系下的垂直面yOz,第二观测子信息其中y为第二轴向观测坐标,z为第三轴向观测坐标,/>为观测艏向角在垂直面yOz上的投影角;第二期望子信息/>其中yt为第二轴向期望坐标,zt为第三轴向观测坐标,/>为观测艏向角在垂直面yOz上的投影角。
设定第一观测子信息与第一期望子信息之间的偏差量为error,设定第一偏差阈值threshold,若error≤threshold,则认为水下巡检机器人按预设轨迹航行,无需进行校正;若error>threshold,则需要通过第一平面调整参数(即第一增益矩阵)校正水下巡检机器人当前的航行参数。
获取第一增益矩阵的具体过程如下:
已知t时刻的期望估计值和估计方差Pt|t,将非线性函数f(xt)在/>处进行一阶泰勒展开可得:
假设忽略余项,状态方程可化简为:
一步期望预测可以表示为:
一步期望预测协方差为:
同理地,化简后的观测方程为:
一步观测预测为:
观测预测误差协方差为:
期望与观测间的互协方差矩阵为:
根据上述两式,即可计算出第一增益矩阵为:
判断第二观测子信息与第二期望子信息的偏差量是否大于第二偏差阈值、以及获取第二平面调整参数(即第二增益矩阵)的方法同理,具体可参照上述计算过程,此处不再赘述。
具体地,步骤S35包括:
S351,基于第一平面调整参数和第二平面调整参数,通过PID算法得出水下巡检机器人的推进力参数;
S352,根据推进力参数调整水下巡检机器人的航向及航速。
第一增益矩阵、第二增益矩阵可作为自适应PID算法的输入值,经计算后可输出水下巡检机器人中对应驱动装置(具体可为推进器)需要提供的推进力参数。而推进力参数与水下巡检机器人螺旋桨转速、航行方向之间的映射关系可预先设置,如此,根据推进力参数即可得到水下巡检机器人的航行参数,并可基于此调整水下巡检机器人的航向及航速,直至满足期望航姿信息的要求并维持不变。
对应地,参照图4,本发明实施例还提供一种水下巡检机器人导航装置,该水下巡检机器人导航装置包括:
量测模块10,用于在水下巡检机器人对养殖网衣进行巡检的过程中通过水下巡检机器人搭载的定位装置持续获取水下巡检机器人的观测航姿信息,以及用于持续获取养殖网衣的运动信息;
模拟模块20,用于基于观测航姿信息和运动信息,通过全局路径规划算法得出水下巡检机器人的期望航姿信息;
校正模块30,用于基于观测航姿信息与期望航姿信息的偏差,通过卡尔曼滤波算法框架对水下巡检机器人的航行参数进行校正。
本实施例的水下巡检机器人导航装置用于实现前述的水下巡检机器人导航方法,因此该水下巡检机器人导航装置中的具体实施方式可见前文中的水下巡检机器人导航方法的实施例部分,例如,量测模块10、模拟模块20、校正模块30分别用于实现上述水下巡检机器人导航方法中的步骤S1、S2、S3,所以,其具体实施方式可以参照上述实施例的描述,在此不再赘述。
对应地,本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有水下巡检机器人导航程序,该水下巡检机器人导航程序被处理器执行时实现上述任一实施例中的水下巡检机器人导航方法的步骤。
在本实施例中,上述计算机可读存储介质可以包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(RandomAccessMemory,随机存储器)、EPROM(Erasable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片等各种可以存储程序代码的介质。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种水下巡检机器人导航方法,应用于水下养殖设备,所述水下养殖设备包括支撑桁架和养殖网衣,所述养殖网衣固定于所述支撑桁架上,其特征在于,所述支撑桁架包括多个边立柱,多个所述边立柱环绕形成环形结构,所述边立柱上设置有竖直方向的固定水尺;
所述水下巡检机器人导航方法包括以下步骤:
在水下巡检机器人对所述养殖网衣进行巡检的过程中,通过所述水下巡检机器人搭载的定位装置持续获取所述水下巡检机器人的观测航姿信息,并持续获取所述养殖网衣的运动信息;
基于所述观测航姿信息和所述运动信息,通过全局路径规划算法得出所述水下巡检机器人的期望航姿信息;
基于所述观测航姿信息与所述期望航姿信息的偏差,通过卡尔曼滤波算法框架对所述水下巡检机器人的航行参数进行校正;
其中,所述通过所述水下巡检机器人搭载的定位装置持续获取所述水下巡检机器人的观测航姿信息的步骤,包括:
基于所述水下养殖设备建立非惯性坐标系;所述非惯性坐标系的坐标原点设于所述固定水尺的零点位置,所述非惯性坐标系的第一轴始终指向所述环形结构的水平切线方向,所述非惯性坐标系的第二轴始终指向所述环形结构的中心位置,所述非惯性坐标系的第三轴始终指向所述边立柱的竖直方向;
基于所述非惯性坐标系,通过所述定位装置确定所述水下巡检机器人经过的所述养殖网衣上的网孔数量,以确定所述水下巡检机器人的第一轴向观测坐标、第三轴向观测坐标和观测艏向角,并通过测距装置确定所述水下巡检机器人的第二轴向观测坐标;
以所述第一轴向观测坐标、所述第二轴向观测坐标、所述第三轴向观测坐标和所述观测艏向角作为所述观测航姿信息;
其中,所述基于所述观测航姿信息和所述运动信息,通过全局路径规划算法得出所述水下巡检机器人的期望航姿信息的步骤,包括:
基于所述观测航姿信息和所述运动信息,将通过全局规划路径算法获得的规划路径映射到所述非惯性坐标系下,得到所述水下巡检机器人在所述非惯性坐标系下的第一轴向期望坐标、第二轴向期望坐标、第三轴向期望坐标和期望艏向角;
以所述第一轴向期望坐标、所述第二轴向期望坐标、所述第三轴向期望坐标和所述期望艏向角作为所述期望航姿信息。
2.根据权利要求1所述的水下巡检机器人导航方法,其特征在于,所述基于所述观测航姿信息与所述期望航姿信息的偏差,通过卡尔曼滤波算法框架对所述水下巡检机器人的航行参数进行校正的步骤,包括:
将所述观测航姿信息、所述期望航姿信息分别解耦至第一平面上,以分别得到第一观测子信息和第一期望子信息;
将所述观测航姿信息、所述期望航姿信息分别解耦至第二平面上,以分别得到第二观测子信息和第二期望子信息;
基于所述第一观测子信息与所述第一期望子信息的偏差,通过卡尔曼滤波算法框架得出第一平面调整参数;
基于所述第二观测子信息与所述第二期望子信息的偏差,通过卡尔曼滤波算法框架得出第二平面调整参数;
基于所述第一平面调整参数和所述第二平面调整参数,对所述水下巡检机器人的航行参数进行校正。
3.根据权利要求2所述的水下巡检机器人导航方法,其特征在于,所述将所述观测航姿信息、所述期望航姿信息分别解耦至第一平面上,以分别得到第一观测子信息和第一期望子信息的步骤,包括:
以所述第一轴向观测坐标、所述第二轴向观测坐标以及所述观测艏向角在所述第一平面上的投影角作为所述第一观测子信息,以所述第一轴向期望坐标、所述第二轴向期望坐标以及所述期望艏向角在所述第一平面上的投影角作为所述第一期望子信息;
所述基于所述第一观测子信息与所述第一期望子信息的偏差,通过卡尔曼滤波算法框架得出第一平面调整参数的步骤,包括:
判断所述第一观测子信息与所述第一期望子信息的偏差量是否大于第一偏差阈值;
若是,则基于所述第一观测子信息与所述第一期望子信息的偏差量,通过卡尔曼滤波算法框架得出可令所述第一观测子信息收敛至所述第一期望子信息的第一增益矩阵。
4.根据权利要求2所述的水下巡检机器人导航方法,其特征在于,所述将所述观测航姿信息、所述期望航姿信息分别解耦至第二平面上,以分别得到第二观测子信息和第二期望子信息的步骤,包括:
以所述第二轴向观测坐标、所述第三轴向观测坐标以及所述观测艏向角在所述第二平面上的投影角作为所述第二观测子信息,以所述第二轴向期望坐标、所述第三轴向期望坐标以及所述期望艏向角在所述第二平面上的投影角作为所述第二期望子信息;
所述基于所述第二观测子信息与所述第二期望子信息的偏差,通过卡尔曼滤波算法框架得出第二平面调整参数的步骤,包括:
判断所述第二观测子信息与所述第二期望子信息的偏差量是否大于第二偏差阈值;
若是,则基于所述第二观测子信息与所述第二期望子信息的偏差量,通过卡尔曼滤波算法框架得出可令所述第二观测子信息收敛至所述第二期望子信息的第二增益矩阵。
5.根据权利要求2所述的水下巡检机器人导航方法,其特征在于,所述基于所述第一平面调整参数和所述第二平面调整参数,对所述水下巡检机器人的航行参数进行校正的步骤,包括:
基于所述第一平面调整参数和所述第二平面调整参数,通过PID算法得出所述水下巡检机器人的推进力参数;
根据所述推进力参数调整所述水下巡检机器人的航向及航速。
6.一种水下巡检机器人导航装置,其特征在于,所述水下巡检机器人导航装置包括:
量测模块,用于在水下巡检机器人对养殖网衣进行巡检的过程中通过所述水下巡检机器人搭载的定位装置持续获取所述水下巡检机器人的观测航姿信息,以及用于持续获取养殖网衣的运动信息;其中,所述通过所述水下巡检机器人搭载的定位装置持续获取所述水下巡检机器人的观测航姿信息,包括:基于水下养殖设备建立非惯性坐标系;基于所述非惯性坐标系,通过所述定位装置确定所述水下巡检机器人经过的所述养殖网衣上的网孔数量,以确定所述水下巡检机器人的第一轴向观测坐标、第三轴向观测坐标和观测艏向角,并通过测距装置确定所述水下巡检机器人的第二轴向观测坐标;以所述第一轴向观测坐标、所述第二轴向观测坐标、所述第三轴向观测坐标和所述观测艏向角作为所述观测航姿信息;
模拟模块,用于基于所述观测航姿信息和所述运动信息,将通过全局规划路径算法获得的规划路径映射到所述非惯性坐标系下,得到所述水下巡检机器人在所述非惯性坐标系下的第一轴向期望坐标、第二轴向期望坐标、第三轴向期望坐标和期望艏向角,并以所述第一轴向期望坐标、所述第二轴向期望坐标、所述第三轴向期望坐标和所述期望艏向角作为期望航姿信息;
校正模块,用于基于所述观测航姿信息与所述期望航姿信息的偏差,通过卡尔曼滤波算法框架对所述水下巡检机器人的航行参数进行校正。
7.一种水下巡检机器人导航系统,其特征在于,所述水下巡检机器人导航系统包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的水下巡检机器人导航方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有水下巡检机器人导航程序,所述水下巡检机器人导航程序被处理器执行时实现如权利要求1至5中任一项所述的水下巡检机器人导航方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111625080.6A CN114489046B (zh) | 2021-12-27 | 2021-12-27 | 水下巡检机器人导航方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111625080.6A CN114489046B (zh) | 2021-12-27 | 2021-12-27 | 水下巡检机器人导航方法、装置、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114489046A CN114489046A (zh) | 2022-05-13 |
CN114489046B true CN114489046B (zh) | 2024-04-19 |
Family
ID=81495841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111625080.6A Active CN114489046B (zh) | 2021-12-27 | 2021-12-27 | 水下巡检机器人导航方法、装置、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114489046B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5777188B1 (ja) * | 2014-11-07 | 2015-09-09 | 国立大学法人 岡山大学 | 水中航走体制御システム |
CN111007518A (zh) * | 2019-12-11 | 2020-04-14 | 南京工程学院 | 基于声纳图像处理的水下机器人水下定位和路径规划方法 |
KR20200067743A (ko) * | 2018-11-02 | 2020-06-12 | 광주과학기술원 | 수중드론을 이용하는 어망감시장치, 및 그 장치의 제어방법 |
CN111897350A (zh) * | 2020-07-28 | 2020-11-06 | 谈斯聪 | 一种水下机器人装置、水下调控管理最优化系统及方法 |
CN112526524A (zh) * | 2020-12-09 | 2021-03-19 | 青岛澎湃海洋探索技术有限公司 | 一种基于前视声纳图像和auv平台的水下渔网检测方法 |
CN112977770A (zh) * | 2021-02-22 | 2021-06-18 | 中国船舶科学研究中心 | 一种深海养殖网箱巡检装置及巡检方法 |
CN214413052U (zh) * | 2020-12-31 | 2021-10-15 | 华中科技大学 | 一种深远海渔场无人一体化异构清洗系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8229163B2 (en) * | 2007-08-22 | 2012-07-24 | American Gnc Corporation | 4D GIS based virtual reality for moving target prediction |
-
2021
- 2021-12-27 CN CN202111625080.6A patent/CN114489046B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5777188B1 (ja) * | 2014-11-07 | 2015-09-09 | 国立大学法人 岡山大学 | 水中航走体制御システム |
KR20200067743A (ko) * | 2018-11-02 | 2020-06-12 | 광주과학기술원 | 수중드론을 이용하는 어망감시장치, 및 그 장치의 제어방법 |
CN111007518A (zh) * | 2019-12-11 | 2020-04-14 | 南京工程学院 | 基于声纳图像处理的水下机器人水下定位和路径规划方法 |
CN111897350A (zh) * | 2020-07-28 | 2020-11-06 | 谈斯聪 | 一种水下机器人装置、水下调控管理最优化系统及方法 |
CN112526524A (zh) * | 2020-12-09 | 2021-03-19 | 青岛澎湃海洋探索技术有限公司 | 一种基于前视声纳图像和auv平台的水下渔网检测方法 |
CN214413052U (zh) * | 2020-12-31 | 2021-10-15 | 华中科技大学 | 一种深远海渔场无人一体化异构清洗系统 |
CN112977770A (zh) * | 2021-02-22 | 2021-06-18 | 中国船舶科学研究中心 | 一种深海养殖网箱巡检装置及巡检方法 |
Non-Patent Citations (2)
Title |
---|
AUV实时避障算法研究进展;郭银景;鲍建康;刘琦;屈衍玺;吕文红;;水下无人系统学报(第04期);全文 * |
基于自抗扰的自主水下航行器地形跟踪控制;万磊;张英浩;孙玉山;李岳明;;兵工学报(第10期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114489046A (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111208492B (zh) | 车载激光雷达外参标定方法及装置、计算机设备及存储介质 | |
EP3540464B1 (en) | Ranging method based on laser radar system, device and readable storage medium | |
US10677921B2 (en) | Casting guidance systems and methods | |
US20190170865A1 (en) | Surveying device, and calibration method and calibration program for surveying device | |
CN108827306A (zh) | 一种基于多传感器融合的无人机slam导航方法及系统 | |
GB2569864A (en) | Low cost high precision GNSS systems and methods | |
CN110254722B (zh) | 一种飞行器系统及其方法、计算机可读存储介质 | |
US8868344B2 (en) | Systems and methods for combining a priori data with sensor data | |
CN111338383B (zh) | 基于gaas的自主飞行方法及系统、存储介质 | |
CN111077907A (zh) | 一种室外无人机的自主定位方法 | |
EP4220086A1 (en) | Combined navigation system initialization method and apparatus, medium, and electronic device | |
CN115855062A (zh) | 一种室内移动机器人自主建图与路径规划方法 | |
CN114994649A (zh) | 一种多波束探头校正方法和多波束测深数据校正方法 | |
KR101763911B1 (ko) | 자기장 외란이 심한 환경에서 수중체의 선수각 추정 장치 및 그 방법 | |
CN107941167A (zh) | 一种基于无人机载具和结构光扫描技术的空间扫描系统及其工作方法 | |
CN114489046B (zh) | 水下巡检机器人导航方法、装置、系统及存储介质 | |
CN109848988A (zh) | 一种基于历史多帧点云信息融合的扫描匹配方法及系统 | |
JP2019191888A (ja) | 無人飛行体、無人飛行方法及び無人飛行プログラム | |
CN111413886B (zh) | 一种基于系统辨识的实船操纵性指数辨识方法及装置 | |
CN116164747B (zh) | 一种水下机器人的定位与导航方法及系统 | |
CN112009453A (zh) | 果园作业车辆的行走控制方法及装置 | |
JP2018181116A (ja) | 無人航空機、位置推定装置、飛行制御装置、位置推定方法、制御方法及びプログラム | |
CN115683170A (zh) | 基于雷达点云数据融合误差的校准方法 | |
US20220018950A1 (en) | Indoor device localization | |
CN115112115A (zh) | 一种机器人果园高精度实时定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |