CN104932001A - 一种实时3d核辐射环境重建监测系统 - Google Patents
一种实时3d核辐射环境重建监测系统 Download PDFInfo
- Publication number
- CN104932001A CN104932001A CN201510397553.XA CN201510397553A CN104932001A CN 104932001 A CN104932001 A CN 104932001A CN 201510397553 A CN201510397553 A CN 201510397553A CN 104932001 A CN104932001 A CN 104932001A
- Authority
- CN
- China
- Prior art keywords
- nuclear radiation
- environment
- monitored
- radiation environment
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种实时3D核辐射环境重建监测系统,其用于实时建立被监测核辐射环境的3D核辐射剂量分布,并包括:在参考坐标系下建立所述被监测核辐射环境的具有真实感的3D环境模型;通过移动机器人装载的核辐射传感器在所述参考坐标系下采集被监测核辐射环境不同空间位置的核辐射剂量数据,并将所述核辐射剂量数据在参考坐标系下建立起被监测核辐射环境的核辐射剂量模型;将被监测核辐射环境的核辐射剂量模型与3D环境模型在所述参考坐标系下进行点对点的数据融合,建立出被监测核辐射环境的3D核辐射剂量分布。本发明所述监测系统实现了实时重建辐射剂量的3D空间分布,并具有可视化性,让工作人员能对被监测核辐射环境各处的核辐射情况一目了然。
Description
技术领域
本发明是一种将机器人学、核辐射技术、核辐射检测技术和三维环境重建技术结合而实现的实时3D核辐射环境重建监测系统,属于计算机视觉和核辐射监测领域。
背景技术
基于移动机器人平台的三维激光雷达环境重建技术是涵盖了机器人运动控制、多传感器信息融合、计算机视觉、模式识别等方向的综合技术。
三维激光雷达能够快速、大面积的获取被扫描对象的三维点云数据,从而进行三维几何重建。具体来说通过包括三维激光雷达在内的光学设备可以得到表征物体表面的大量三维点云,即物体的三维图形。但是由于光的线性传播特性,光学设备每次只能测量到物体局部坐标系下的部分表面,并且出现平移错位和旋转错位。为了得到基准坐标系下的物体完整表面的点云数据,需要对这些部分表面点云进行整合配准。点云配准就是寻找一种三维空间变换使在不同视角下的三维坐标点云共同部分能够正确地匹配和搭接,进而获得较好的三维重建效果。目前,点云数据配准的方式有三种:手动配准技术、依赖仪器的配准技术和自动配准技术。通常所说的点云配准技术即是指最后一种自动配准技术。它包括初始配准和精确配准两步。如果初始配准不精确,就不能够给精确配准提供良好的初值;如果精确配准不精确,将会影响后续的三维重建效果。
德国Andreas教授等开发了一系列移动机器人平台用来进行室内外环境三维重建方面的研究。其中Irma3D轮式移动机器人通过Riegl VZ-400三维激光扫描仪获取室外环境的三维激光点云数据,提出一种6D SLAM算法实现大量激光测距值的注册,采用octree的数据存储压缩方式,并通过三维hough变换从大量点云中提取平面特征。这一移动机器人平台已在一座古建筑群内进行实际实验,实现了高精度的三维场景重建。Kurt3D移动机器人搭载了一台经过改造的SICK三维激光扫描仪,利用机器人的六自由度位姿变化来构建三维环境地图。美国CMU机器人研究中心的S.Thrun教授带领团队在移动机器人三维环境建模方面开展了大量工作。他们在一台Pioneer移动机器上安装了两台激光测距仪,前视激光用于二维平面上的定位与地图创建,向上放置的激光在竖直平面内扫描,据此提出一种实时的室内环境三维地图创建方法。他们还提出了基于立体视觉和三维栅格地阁的室内环境感知,在研发的Groundhog井下探测机器人平台上,配备了激光测距传感器、夜视相机、气体检测仪和陀螺仪等,用以实现基于激光测距和图像融合的三维环境建模,为机器人在复杂井下场景的探测和操作提供了准确实时的导航信息。德国Tubingen大学的Peter Biber等利用ActivMedia Peoplebot机器人平台,给二维激光扫描仪增加了上下平移装置,并结合全景相机实现了室内三维环境模型的重建。美国Columbia大学在街区项目(AVENUE project)中开发了一款导航机器人,配备了彩色相机、激光测距仪和GPS,在移动过程中可以生成具有真实感的室外场景三维地图。韩国Sangwoo Jo等构建了一个基于虚拟现实的三维模型漫游系统,可以在电脑、网页浏览器、移动设备上实时显示移动机器人构建的三维室内环境模型。
核辐射技术是一门以原子核物理学和核化学为基础,以反应堆、加速器和核辐射探测为工具的综合性强、应用面广的现代科学技术。核辐射环境监测系统是辐射防护应急及核安全的一个重要环节,建立实时的核辐射环境监测系统,能够及时准确的向工作人员提供环境辐射情况。目前,核辐射环境监测系统可分为以下两大类:
核辐射环境固定监测系统和核辐射环境移动监测系统;
其中,核辐射环境固定监测系统一般建立在核电厂或者大型核设施的周围。全国已有三套针对核电厂核辐射环境固定监测系统,分别分布在广东大亚湾/岭澳核电站、秦山核电基地和田湾核电站。秦山核电外围环境γ辐射固定监测系统于2002年将投放使用。该系统是一个分布式的数据采集、传送、存储、处理和分析的信息系统,整个系统分为三个部分:现场监测站、秦山现场汇总站和杭州数据处理中心。广东大亚湾核电站固定监测系统主要由γ辐射监测站和厂区自动气象站组成,该系统主要功能是对核电站正常运行和应急状态下的环境中γ辐射进行连续监测。
核辐射环境移动监测系统是指核辐射探测仪器安装在移动搭载平台(车载、船载、机载)上,可快速完成实时监测,获取核辐射环境的剂量分布数据。美国是建立核应急航空监测系统最早的国家,该系统由美国能源部以委托契约的方式委托给EG&G公司实际运行。法国的核事故应急监测系统是由Valduc核研究中心开发成功的,核应急航空检测任务也是由该中心承担,使用的是直升飞机。加拿大和瑞典的核事故应急航空监测认为分别是由各自国家的地质调查所或地质公司承担的。车载核事故应急监测系统是目前使用较多的一种移动监测方式,相比于航空应急监测系统成本降低很多。中国防化研究院自行设计、研制和生产的具有知识产权的移动辐射检测车应用于路面本底γ污染,由电力驱动,利用GPS精确定位测量点坐标,对不同等级的热点实施喷黄、红警戒色剂。德国Target公司生产的环境辐射检测车,安装配备了多种不同检测器的便携式或实验室辐射监测系统,可随时随地快速准确的进行放射性检测和能谱分析。
但是,尽管核辐射监测系统在核辐射环境中已开始应用,但要实时的重建辐射剂量的3D空间分布,指导移动机器人完成安全地自主导航和高效地实现核任务的完成,还没有一个具体实际应用和合适解决方案。同时移动机器人在结构化的室内环境和非结构化的室外环境进行三维环境建模很常见,但在核环境中进行三维环境建模就很少了。而核辐射环境中基于移动机器人的3D环境建模技术和核辐射检测技术的结合基本没有。所以对机器人在核辐射环境中辐射剂量的监测与核辐射环境重建是本发明要解决的主要问题。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷,并提供至少后面将说明的优点。
本发明还有一个目的是提供一种实时3D核辐射环境重建监测系统,其采用计算机视觉技术、光学技术、核探测技术和传感器技术等,为被监测核辐射环境建立具有剂量分布的3D重建模型,实现了核辐射剂量分布的实时监测与可视化,让工作人员能对被监测核辐射环境各处的核辐射情况一目了然。
为了实现根据本发明的这些目的和其它优点,提供了以下技术方案:
一种实时3D核辐射环境重建监测系统,其用于实时建立被监测核辐射环境的3D核辐射剂量分布,该系统包括:
在参考坐标系下建立所述被监测核辐射环境的具有真实感的3D环境模型;
通过移动机器人装载的核辐射传感器在所述参考坐标系下采集被监测核辐射环境不同空间位置的核辐射剂量数据,并将所述核辐射剂量数据在参考坐标系下建立起被监测核辐射环境的核辐射剂量模型;
将被监测核辐射环境的核辐射剂量模型与被监测核辐射环境的3D环境模型在所述参考坐标系下进行点对点的数据融合,建立出被监测核辐射环境的3D核辐射剂量分布。
优选的是,所述建立所述被监测核辐射环境的具有真实感的3D环境模型包括:
通过移动机器人装载的单目摄像机和三维激光雷达分别获取被监测核辐射环境的多张近景摄影图像和激光点云数据,并分别对单目摄像机和三维激光雷达进行标定使获得的多张近景摄影图像对激光点云数据进行染色,然后对染色后的激光点云数据进行初始配准和精确配准。
优选的是,所述通过移动机器人装载的核辐射传感器在所述参考坐标系下采集被监测核辐射环境不同空间位置的核辐射剂量数据中包括:先对核辐射传感器进行标定得到核辐射传感器坐标系与所述参考坐标系之间的转换关系。
优选的是,所述实时3D核辐射环境重建监测系统还包括:通过移动机器人装载的热红外成像仪采集被监测核辐射环境的热图像,并对所述热红外成像仪进行标定得到热红外成像仪坐标系与所述参考坐标系之间的转换关系。
优选的是,所述核辐射传感器设置在所述热红外成像仪的正上方,对所述核辐射传感器进行标定的过程为:
利用对所述热红外成像仪的标定结果以及核辐射传感器与热红外成像仪在参考坐标系上的高度差,求得核辐射传感器坐标系与参考坐标系之间的转换关系。
优选的是,在进行点对点的数据融合后,还包括将核辐射剂量场中的不同核辐射剂量数据按大小分段,并给每段取值大小的核辐射剂量在3D环境模型中以不同颜色进行显示区分。
优选的是,所述移动机器人上设置有计算机,所述计算机一侧与所述单目摄像机、所述三维激光雷达、所述核辐射传感器、和所述热红外成像仪通讯连接,另一侧通过无线通信单元通信连接至远程控制站。
优选的是,所述移动机器人上还配备有电源供电系统,给所述计算机、单目摄像机、三维激光雷达、核辐射传感器、和热红外成像仪供电。
本发明至少包括以下有益效果:
本发明所述实时3D核辐射环境重建监测系统最具优势的有益效果是建立了被监测核辐射环境的3D核辐射剂量分布,其通过在同一参考坐标系下分别建立被监测核辐射环境具有真实感的3D环境模型和辐射剂量模型,然后将两个模型进行点对点的实时映射并进行数据融合,且对不同区间的辐射剂量采用不同的颜色标注显示,使得工作人员可以快速了解到被监测核辐射环境的辐射剂量情况,这为工作人员的作业和移动机器人的路径规划起着关键性的作用。
本发明提供的系统解决了3D核辐射环境剂量分布的实时监测,具体来说:首先基于单目摄像机和三维激光雷达的标定结果使激光点云数据进行染色,并基于三个基准点的初始配准方法和基于曲率特征点的ICP改进算法的精确配准方法,实现对染色后的点云数据的高精度配准,重建出3D核辐射环境模型;其次通过对热红外成像仪的标定间接确定核辐射传感器坐标系与参考坐标系之间的转换关系,基于该转换关系就可获得核辐射传感器坐标系下的检测到的核辐射数据点在参考坐标系下的位置,进而便实现了参考坐标系下核辐射剂量模型的建立;最后将在同一参考坐标系下的3D核辐射环境模型和核辐射剂量模型进行点对点一一映射,并进行数据融合,建立起被监测核辐射环境的3D核辐射剂量分布。
与现有技术相比,本发明有益效果体现在以下三个方面:
其一、本发明提出的以不同颜色划分区域等级的核辐射剂量场映射到真实感3D环境模型上,从而得到的真实感3D环境模型不仅能够真实的再现被监测的核辐射环境,而且还能够实时的显示出剂量分布情况,该发明较之目前的3D环境建模技术更具有创新性;
其二、本发明在确定核辐射传感器坐标系与参考坐标系的转换关系上,巧妙借用和其固定的热红外成像仪,进而获得核辐射传感器坐标系下的检测到的数据点在世界坐标系下的位置;而通过所述热红外成像仪采集到被监测核辐射环境的热图像,规划移动机器人的移动路径,使其不进入超过单目摄像机、三维激光雷达、核辐射传感器和热红外成像仪任一个可工作的温度范围的地方;
其三、本发明在全景彩色激光数据配准上采用了基于三个基准点的初始配准方法和基于曲率特征点的ICP改进算法的精确配准方法,实现了该点云数据的高精度配准,该发明较之目前的点云数据的匹配,大大的提高了匹配的精度和效率。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明提供的实时3D核辐射环境重建监测系统总框图;
图2为本发明其中一种实施例的实时3D核辐射环境重建监测硬件系统原型框图;
图3为本发明提供的系统坐标图;
图4为本发明其中一种实施例的热红外成像仪和单目摄像机组成的双目视觉传感器测量模型;
图5为本发明提供的平面标定板与激光雷达和摄像机位置示意图;
图6为本发明提供的全景彩色激光数据的精确配准流程图;
图7为本发明提供的基于三个基准点的初始配准时用到的三个基准点坐标变换示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
三维激光雷达通过扫描的方式获取被监测的核辐射环境的三维信息,进行场景重建。为了实现全景重建并使重建具有真实感,需要多张近景图像和激光点的染色。但因为激光雷达扫描位置及有效距离等因素的限制,实际应用中仍会有很多场景无法重建出来,并且重建的场景没有核辐射剂量分布情况。所以本发明针对不同场景的场景重建进行研究,用改进的ICP算法实现多场景重建,并通过以不同颜色划分区域等级的核辐射剂量场和真实感3D环境模型的实时映射,完成实时3D核辐射环境重建监测工作。
基于上述要实现的目的,本发明提供了一种实时3D核辐射环境重建监测系统,其用于实时建立被监测核辐射环境的3D核辐射剂量分布,该系统主要包括:
在参考坐标系下建立被监测核辐射环境的具有真实感的3D环境模型;
通过移动机器人装载的核辐射传感器在所述参考坐标系下采集被监测核辐射环境不同空间位置的核辐射剂量数据,并将所述核辐射剂量数据在参考坐标系下建立起被监测核辐射环境的核辐射剂量模型;
将被监测核辐射环境的核辐射剂量模型与被监测核辐射环境的3D环境模型在所述参考坐标系下进行点对点的数据融合,建立出被监测核辐射环境的3D核辐射剂量分布。
上述技术方案中,所述参考坐标系可以是依照被监测核辐射环境建立的世界坐标系,也可以是不变的其他坐标系,只要满足真实感的3D环境模型和核辐射剂量模型是在同一参考坐标系下建立的即可,因为只有二者在同一参考坐标系下时,才能实现点对点的准确实时映射,才能进行数据融合,建立起准确的3D核辐射剂量分布。
本发明接下来以依照被监测核辐射环境建立的世界坐标系为参考坐标系系详细介绍具体技术实现方案。
参见图3,其示出了本发明提供的系统坐标图,并展示了接下来提到的四个传感器在移动机器人上的安装位置及相对坐标。在整个系统中,单目摄像机坐标系OcXcYcZc、三维激光雷达坐标系OlXlYlZl、核辐射传感器坐标系OnXnYnZn、热红外成像仪坐标系OmXmYmZm会随着移动机器人(坐标系是OrXrYrZr)的移动而改变,这里唯一不变的坐标系是世界坐标系OwXwYwZw,因此后续提到的“标定”的目的是寻找变化的坐标系和不变的坐标系(世界坐标系)之间的坐标变换矩阵,建立坐标系之间的映射关系。
首先,对于上述方案中的所说的“在参考坐标系下建立被监测核辐射环境的具有真实感的3D环境模型”具体来说是这样的:
参见图1和图2,本发明通过移动机器人装载的单目摄像机和三维激光雷达分别获取被监测核辐射环境的多张近景摄影图像(从不同角度和位置获取的多张近景摄影图像)和激光点云数据,并分别对单目摄像机和三维激光雷达进行标定使获得的多张近景摄影图像对激光点云数据进行染色,然后对染色后的激光点云数据进行初始配准和精确配准,配准后即可建立起被监测核辐射环境的具有真实感的3D环境模型。这里,三维激光雷达可以采用二维激光雷达与云台组合的方式代替。
这里之所以要对单目摄像机进行标定,是因为单目摄像机是随着移动机器人的移动而移动的,因此单目摄像机在移动过程中所拍摄的物体空间点仅仅只能确定它相对于单目摄像机坐标系而言的坐标位置,而不能确定出它在参考坐标系下的位置关系,因此需要通过标定来建立起单目摄像机坐标系与参考坐标系的转换关系,即寻找变化的单目摄像机坐标系OcXcYcZc和相对单目摄像机坐标系而言不变的参考坐标系(这里优选世界坐标系OwXwYwZw)之间的坐标变换矩阵,建立坐标系之间的映射关系。
同理,这里之所以要三维激光雷达进行标定,是因为三维激光雷达是随着移动机器人的移动而移动的,因此三维激光雷达在移动过程中所扫描的物体空间点仅仅只能确定它相对于激光雷达坐标系而言的坐标,而不能确定出它在参考坐标系下的位置关系,因此需要通过标定来建立起激光雷达坐标系与参考坐标系的转换关系,即寻找变化的激光雷达坐标系OlXlYlZl和相对于激光雷达坐标系而言不变的参考坐标系(这里指代世界坐标系OwXwYwZw)之间的坐标变换矩阵,建立坐标系之间的映射关系。
上述方案中,分别对单目摄像机和三维激光雷达进行标定可以这样操作:
首先求解出激光雷达坐标系OlXlYlZl在世界坐标系OwXwYwZw下的变换矩阵:wTl=wTr rTl,然后通过再对单目摄像机和激光雷达二者进行标定,得到单目摄像机坐标系OcXcYcZc和激光雷达坐标系OlXlYlZl的变换矩阵Tc,那么单目摄像机坐标系OcXcYcZc在世界坐标系OwXwYwZw的变换矩阵就可以得到:wTc=Tc wTl。
因为三维激光雷达固定在机器人上,所以其原点在机器人坐标系OrXrYrZr中的坐标(xl,yl,zl)(用向量pl表示)是可以测量的,而移动机器人原点在世界坐标系下的坐标(xr,yr,zr)(用向量pr表示)是可以通过定位获取的,所以三维激光雷达坐标到世界坐标的齐次变换矩阵为:
wTl=wTr rTl (1)
其中wTr和rTl分别表示移动机器人坐标系到世界坐标系和激光雷达坐标系到移动机器人坐标系的齐次坐标变换
其中R1和R2为旋转矩阵,可根据移动机器人的姿态角来定义。
如图5所示为本发明提供的平面标定板与激光雷达和摄像机位置示意图,对单目摄像机和三维激光雷达二者进行外标定,求出旋转矩阵R和平移矩阵t,最后得到的摄像机坐标系和激光雷达坐标系【通过上述计算,将激光雷达坐标系转换为世界坐标系,则点(Xl,Yl,Zl)变为(wXl,wYl,wZl)】关系为:
在已知单目摄像机内参数的前提下,可采用手动点选的方式获取图像和激光数据点的对应点对,然后利用最大似然估计的方法来优化计算旋转矩阵R和平移矩阵t(王升杰,2010)。可见,单目摄像机和三维激光雷达之间的外标定方法是基于现有的标定方法,通过手动点选的方式获取图像和激光数据间的对应点对,然后采用最大似然估计的方法来优化计算旋转矩阵和平移矩阵,即实现了单目摄像机和激光雷达之间的坐标变换。
在对单目摄像机和三维激光雷达标定完成后,利用单目摄像机获取的多张彩色图像、三维激光雷达获取的激光点云数据,就可实现全景激光点云的染色,使在参考坐标系下的空间坐标点不仅具有三维空间坐标信息还具有像素亮度信息(因为单目摄像机视角受限,单幅图像只能对部分场景染色,所以需要从不同角度和位置获取多张图像对全景激光进行染色)。然后再对全景激光点云进行配准,不需要额外的建模过程,真彩色的点云就可保证被监测环境中的物体具有足够的几何精度,即可得到具有真实感3D环境模型。
上述所说的配准包括初始配准和精确配准两步。具体配准过程参见图6,图6示出了本发明提供的全景彩色激光数据的精确配准流程图:
第一步、采用“基于三个基准点的初始配准方法”,为精确配准提供良好的初值。参照图6并结合图7(图7为本发明提供的基于三个基准点的初始配准时用到的三个基准点坐标变换示意图),首先分别在数据点云和模型点云上提取特征点(例:跳跃点、尖点等),若在数据点云上取到的三点分别为M1、M2、M3,在模型点云上取到的三点分别为N1、N2、N3。由于三点可以建立一个坐标系,将不同激光点云中选取出三个特征点作为配准的三个基准点来对激光点云进行初始配准,只考虑变换矢量的方向,寻求坐标变换关系,为后期的精确配准提供良好的初值;
第二步、采用“基于曲率特征点的ICP改进算法进行精确配准”。通过图6可看到,该精确配准首先需要计算方向矢量,再计算曲率,根据二者寻找最近点。对于点云中的一个点pi,其方向矢量等价于该点与其邻域Nbhd(pi)的最小二乘拟合平面的法向量n(pi),则点pi与拟合平面的误差可以由点pi和平面内点的连线与点pi的点积求得,即误差矩阵:
其中,pi为点云中的一个点,Nbhd(pi)表示为该点的邻域,o是Nbhd(pi)的质心,
当Err最小化时n(pi)的值为拟合平面的法向量,此优化问题可以转化为求协方差矩阵的最小特征值对应的特征向量问题:
E=Σp∈Nbhd(pi-o)(pi-o)T。
矩阵E是一个是对称矩阵,其最小特征值对应的特征向量就是所求点的方向矢量n(pi)。这样直接得到的方向矢量方向需要进行调整,使其指向曲面的同一侧。
接下来进行曲率计算。这里对离散数据进行曲率估计,采用基于MLS面(movingleastsquares surfaces)的曲率算法来计算曲率,可在相当噪声水平下快速有效的计算出离散点云的每一点的高斯曲率和平均曲率值。高斯曲率和平均曲率的计算如(4)式和(5)式:
其中,
本发明采用kd-tree邻域搜索算法,将数据点云的特征点的配准搜索局限在k邻域中,可大大减少算法的搜索复杂度,在邻域中寻找和该特征点高斯曲率和平均曲率最匹配的点,就可以找到n组有效配准对应点。
参照图6,接下来利用单位四元数法求解旋转矩阵R和平移矩阵t,将得到的旋转矩阵R和平移矩阵t作用于数据点云进行旋转和平移,转换为模型点云参考坐标系下,当达到所设阈值时,程序结束;没有达到所设阈值时看是否超过迭代次数,超过了程序就结束,没超过就返回从计算方向矢量及计算曲率开始。这样就将数据点云统一到模型点云参考坐标系下,实现两点云间的精确配准。
其次,对于上述方案中的所说的“通过移动机器人装载的核辐射传感器在所述参考坐标系下采集被监测核辐射环境不同空间位置的核辐射剂量数据,并将所述核辐射剂量数据在参考坐标系下建立起被监测核辐射环境的核辐射剂量模型”具体来说是这样的:
本发明通过移动机器人装载的核辐射传感器在所述参考坐标系下采集被监测核辐射环境不同空间位置的核辐射剂量数据,即让核辐射传感器在参考坐标系下探测各点辐射剂量,获得参考坐标系下被监测核辐射环境各点的核辐射剂量数据,以此建立核辐射剂量模型。这里核辐射传感器采集到的被监测核辐射环境不同空间位置的核辐射剂量数据可以是辐射剂量值或辐射剂量率。
但是,由于核辐射传感器装载在移动机器人上,其随移动机器人在参考坐标系下的移动而移动,而核辐射传感器采集的空间某点的核辐射剂量值仅仅可确定它在核辐射传感器坐标系中的坐标位置,并无法确定它在参考坐标系下的坐标位置,因此需要通过标定来建立起核辐射传感器坐标系OnXnYnZn与参考坐标系OwXwYwZw的转换关系,标定完成后才能确定核辐射传感器坐标系下的检测到的数据点在参考坐标系下的位置,即得到参考坐标系下空间不同点的辐射剂量数据,才能在参考坐标系下建立核辐射剂量模型。
这里,本发明对核辐射传感器的标定是借助于热红外成像仪来完成的。具体来说,优选的是,所述实时3D核辐射环境重建监测系统还包括:通过移动机器人装载的热红外成像仪采集被监测核辐射环境的热图像,并对所述热红外成像仪进行标定得到热红外成像仪坐标系与所述参考坐标系之间的转换关系。然后将所述核辐射传感器设置在所述热红外成像仪的正上方,因此对所述核辐射传感器进行标定的过程为:利用对所述热红外成像仪的标定结果以及核辐射传感器与热红外成像仪在参考坐标系上的高度差,求得核辐射传感器坐标系与参考坐标系之间的转换关系。
由于热红外成像仪也属于摄像机类别,因此对所述热红外成像仪的标定可以采用热红外成像仪和单目摄像机之间的双目视觉标定方法,得到热红外成像仪坐标系和单目摄像机进坐标系的变换矩阵,然后再基于单目摄像机与参考坐标系的转换关系,就能获得热红外成像仪坐标系OmXmYmZm(参见图3)在参考坐标系的变换矩阵。这里的参考坐标系选用世界坐标系OwXwYwZw。
如图4,对固定在同一水平线上的热红外成像仪和单目摄像机进行双目传感器的标定,用以确定两者的相对位置。基于张正友对单个摄像机标定的参数,再通过世界坐标系中一组表定点,就可确定它们之间的位置。若热红外成像仪和单目摄像机的外参数分别用R1,t1和R2,t2表示,对于任一点M,设它在世界坐标系、热红外成像仪坐标系和单目摄像机坐标系下的坐标分别为Xw,X1,X2,则有
X1=R1Xw+t1 (6)
X2=R2Xw+t2
消去Xw后得:
X1=R1R2 -1X2+t1-R2 -1t2 (7)
可以看出,热红外成像仪和单目摄像机之间的几何位置关系可用R,t表示:
R=R1R2 -1
t=t1-R2 -1t2 (8)
如图4所示为本发明其中一种实施例的热红外成像仪和单目摄像机组成的双目视觉传感器测量模型。这里热红外成像仪坐标系OmXmYmZm,图像坐标系O1u1v1;单目摄像机坐标系OcXcYcZc,图像坐标系O2u2v2。通过上述的单个标定和双目标定结果,是可以得到M点的空间三维坐标。
当热红外成像仪相对于世界坐标系的变换关系确定后,核辐射传感器坐标系到世界坐标系的变换关系也就可以确定了,随及便知道了核辐射传感器坐标系下的检测到的数据点在世界坐标系下的位置,实现坐标变换即实现映射。进一步的是,通过所述热红外成像仪采集到被监测核辐射环境的热图像,规划移动机器人的移动路径,使其不进入超过单目摄像机、三维激光雷达、核辐射传感器和热红外成像仪任一个可工作的温度范围的地方。
需要注意的是,本发明所述的参考坐标系是同一个坐标系,一旦选定就固定不变了,上述提到本发明优选采用相对所有传感器坐标系不变的世界坐标系作为参考坐标系,同时也可以采用机器人坐标系OrXrYrZr作为参考坐标系,因为所有传感器都是固定在移动机器人上的,所以移动机器人坐标系OrXrYrZr相对于单目摄像机坐标系OcXcYcZc、激光雷达坐标系OlXlYlZl、核辐射传感器坐标系OnXnYnZn、热红外成像仪坐标系OmXmYmZm是不变的。
最后,对于上述方案中的所说的“将被监测核辐射环境的核辐射剂量模型与被监测核辐射环境的3D环境模型在所述参考坐标系下进行点对点的数据融合,建立出被监测核辐射环境的3D核辐射剂量分布”具体来说这样的:
由于前两步得到的被监测核辐射环境的3D环境模型和被监测核辐射环境的核辐射剂量模型均在在参考坐标系下建立的,因此最后这一步可以将被监测核辐射环境的核辐射剂量模型与被监测核辐射环境的3D环境模型在所述参考坐标系下进行点对点的数据融合实现实时映射,以使得被监测核辐射环境中的每个空间点均具有三维空间坐标信息、像素亮度信息和核辐射剂量数据信息。这样便建立出了被监测核辐射环境的3D核辐射剂量分布。
对于数据融合,可以利用卡尔曼滤波算法实现多传感器间的数据融合。
本发明为了使得上述3D核辐射剂量分布实现可视化,便于工作人员快速了解辐射情况,优选的是,在进行点对点的数据融合后,还包括将核辐射剂量场中的不同核辐射剂量数据按大小分段,并给每段取值大小的核辐射剂量在3D环境模型中以不同颜色进行显示区分,参见下表1。
下表1为本发明其中一种实施例的核辐射环境剂量数据区域等级划分表,依据表中对核辐射环境剂量数据区域等级划分,我们可以看到真实感3D环境模型上标注有不同颜色以区分辐射剂量数据大小,由此核电站的工作人员便可针对不同区域进行不同的工作。
表1
本发明对于移动机器人而言,参见图2,所述移动机器人上设置有计算机,所述计算机一侧与所述单目摄像机、所述三维激光雷达、所述核辐射传感器、和所述热红外成像仪通讯连接,另一侧通过无线通信单元通信连接至远程控制站。同时所述移动机器人上还配备有电源供电系统,给所述计算机、单目摄像机、三维激光雷达、核辐射传感器、和热红外成像仪供电。
具体来说,本发明各个传感器采集得到的数据通过移动机器人上的计算机以无线通信方式(连接USB无线网卡)实现和控制站之间的数据通信,便于后期通过控制站实现数据处理和显示;这里,所述USB无线网卡可选用TL-WN321G+,它兼容内置全向智能天线,可适应不同的工作环境,使用台式计算机或笔记本的用户可方便接入无线网络,同时支持无缝漫游功能,还可方便的与其他无线设备连接。其带宽最大可达54Mbps,距离最远可达300m。基于上述详细方案,图2示出了本发明其中一种实施例的实时3D核辐射环境重建监测硬件系统原型框图,单目摄像机、三维激光雷达、核辐射传感器和热红外成像仪用以采集环境数据,这些传感器供电及端口连接都是在机器人电力单元上完成。GPS接收器用以进行移动机器人室外定位,室内定位是由单目摄像机和里程计组成的视觉里程计来完成的。移动机器人的运动控制由其底层控制模块来控制。通过无线通信,可将传感器系统采集到的环境数据实时的传输到控制站上。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的实时3D核辐射环境重建监测系统的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言,可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (8)
1.一种实时3D核辐射环境重建监测系统,其用于实时建立被监测核辐射环境的3D核辐射剂量分布,其特征在于,包括:
在参考坐标系下建立所述被监测核辐射环境的具有真实感的3D环境模型;
通过移动机器人装载的核辐射传感器在所述参考坐标系下采集被监测核辐射环境不同空间位置的核辐射剂量数据,并将所述核辐射剂量数据在参考坐标系下建立起被监测核辐射环境的核辐射剂量模型;
将被监测核辐射环境的核辐射剂量模型与被监测核辐射环境的3D环境模型在所述参考坐标系下进行点对点的数据融合,建立出被监测核辐射环境的3D核辐射剂量分布。
2.如权利要求1所述的实时3D核辐射环境重建监测系统,其特征在于,所述建立所述被监测核辐射环境的具有真实感的3D环境模型包括:
通过移动机器人装载的单目摄像机和三维激光雷达分别获取被监测核辐射环境的多张近景摄影图像和激光点云数据,并分别对单目摄像机和三维激光雷达进行标定使获得的多张近景摄影图像对激光点云数据进行染色,然后对染色后的激光点云数据进行初始配准和精确配准。
3.如权利要求1所述的实时3D核辐射环境重建监测系统,其特征在于,所述通过移动机器人装载的核辐射传感器在所述参考坐标系下采集被监测核辐射环境不同空间位置的核辐射剂量数据中包括:先对核辐射传感器进行标定得到核辐射传感器坐标系与所述参考坐标系之间的转换关系。
4.如权利要求3所述的实时3D核辐射环境重建监测系统,其特征在于,还包括:通过移动机器人装载的热红外成像仪采集被监测核辐射环境的热图像,并对所述热红外成像仪进行标定得到热红外成像仪坐标系与所述参考坐标系之间的转换关系。
5.如权利要求4所述的实时3D核辐射环境重建监测系统,其特征在于,所述核辐射传感器设置在所述热红外成像仪的正上方,对所述核辐射传感器进行标定的过程为:
利用对所述热红外成像仪的标定结果以及核辐射传感器与热红外成像仪在参考坐标系上的高度差,求得核辐射传感器坐标系与参考坐标系之间的转换关系。
6.如权利要求1所述的实时3D核辐射环境重建监测系统,其特征在于,在进行点对点的数据融合后,还包括将核辐射剂量场中的不同核辐射剂量数据按大小分段,并给每段取值大小的核辐射剂量在3D环境模型中以不同颜色进行显示区分。
7.如权利要求4所述的实时3D核辐射环境重建监测系统,其特征在于,所述移动机器人上设置有计算机,所述计算机一侧与所述单目摄像机、所述三维激光雷达、所述核辐射传感器、和所述热红外成像仪通讯连接,另一侧通过无线通信单元通信连接至远程控制站。
8.如权利要求7所述的实时3D核辐射环境重建监测系统,其特征在于,所述移动机器人上还配备有电源供电系统,给所述计算机、单目摄像机、三维激光雷达、核辐射传感器、和热红外成像仪供电。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510397553.XA CN104932001B (zh) | 2015-07-08 | 2015-07-08 | 一种实时3d核辐射环境重建监测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510397553.XA CN104932001B (zh) | 2015-07-08 | 2015-07-08 | 一种实时3d核辐射环境重建监测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104932001A true CN104932001A (zh) | 2015-09-23 |
CN104932001B CN104932001B (zh) | 2018-01-30 |
Family
ID=54119252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510397553.XA Active CN104932001B (zh) | 2015-07-08 | 2015-07-08 | 一种实时3d核辐射环境重建监测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104932001B (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105973229A (zh) * | 2016-06-29 | 2016-09-28 | 广东核电合营有限公司 | 核电站辐射剂量场操作路径的确定方法和系统 |
CN106611072A (zh) * | 2015-10-26 | 2017-05-03 | 中广核工程有限公司 | 核电站辐射剂量场的模拟方法和系统 |
CN106872953A (zh) * | 2015-12-10 | 2017-06-20 | 南京智慧魔方电子科技有限公司 | 一种船用导航雷达目标回波的三维建模方法 |
CN107749056A (zh) * | 2017-11-30 | 2018-03-02 | 苏州大学 | 对放射性物质三维定位追踪方法及装置 |
CN107862736A (zh) * | 2017-10-25 | 2018-03-30 | 广东核电合营有限公司 | 辐射场的三维动态显示方法和装置 |
CN109241584A (zh) * | 2018-08-17 | 2019-01-18 | 深圳中广核工程设计有限公司 | 一种核电站三维剂量场模拟系统及其方法 |
CN109410426A (zh) * | 2017-01-23 | 2019-03-01 | 合肥智慧龙图腾知识产权股份有限公司 | 安装物联网交互终端设备的巴士 |
CN109507710A (zh) * | 2018-10-31 | 2019-03-22 | 深圳中广核工程设计有限公司 | 核电站辐射监测方法、装置、计算机设备及存储介质 |
CN109583604A (zh) * | 2018-12-10 | 2019-04-05 | 国网浙江义乌市供电有限公司 | 一种基于slam技术的变电设备故障标记方法 |
CN109974707A (zh) * | 2019-03-19 | 2019-07-05 | 重庆邮电大学 | 一种基于改进点云匹配算法的室内移动机器人视觉导航方法 |
CN110111374A (zh) * | 2019-04-29 | 2019-08-09 | 上海电机学院 | 基于分组阶梯式阈值判断的激光点云匹配方法 |
JP2019158810A (ja) * | 2018-03-16 | 2019-09-19 | 株式会社東芝 | 放射線量分布表示装置及び放射線量分布表示方法 |
CN110954963A (zh) * | 2019-12-09 | 2020-04-03 | 北京航星机器制造有限公司 | 一种针对射线源在开放空间的辐射防护系统及方法 |
CN111105465A (zh) * | 2019-11-06 | 2020-05-05 | 京东数字科技控股有限公司 | 一种摄像装置校准方法、装置、系统电子设备及存储介质 |
CN112241990A (zh) * | 2019-07-18 | 2021-01-19 | 国际商业机器公司 | 无人机弹性地图 |
CN112465987A (zh) * | 2020-12-17 | 2021-03-09 | 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) | 一种视觉融合信息三维重建的导航地图构建方法 |
WO2021115315A1 (zh) * | 2020-01-10 | 2021-06-17 | 中广核工程有限公司 | 核电厂辐射剂量分布的测量方法和测量系统 |
CN114063135A (zh) * | 2021-11-18 | 2022-02-18 | 中国核动力研究设计院 | 一种核活动相关区域内的辐射调查装置及调查方法 |
CN114765781A (zh) * | 2022-06-14 | 2022-07-19 | 西南科技大学 | 面向应急机器人的通信感知地图构建方法 |
CN115054279A (zh) * | 2022-08-17 | 2022-09-16 | 深圳市信润富联数字科技有限公司 | 射线辐射剂量的预测方法、装置、电子装置和存储介质 |
CN115267872A (zh) * | 2022-07-22 | 2022-11-01 | 西北核技术研究所 | 辐射区域内空间γ辐射剂量及表面β放射性的测量方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101782933A (zh) * | 2009-12-15 | 2010-07-21 | 中广核工程有限公司 | 核电站控制室的虚拟漫游设计方法及系统 |
CN101984411A (zh) * | 2010-11-10 | 2011-03-09 | 中广核工程有限公司 | 一种核电站生成虚拟数字控制系统组态文件的方法及装置 |
CN102692637A (zh) * | 2012-05-25 | 2012-09-26 | 西南科技大学 | 基于遥操作装置的核辐射环境虚拟重建系统及方法 |
CN102689310A (zh) * | 2012-05-29 | 2012-09-26 | 华北电力大学 | 一种基于核辐射的核电站机器人定位方法 |
EP2700978A2 (de) * | 2012-08-21 | 2014-02-26 | KUKA Laboratories GmbH | Messvorrichtung zur Dosismessung in der Strahlentherapie und Verfahren zum Überprüfen einer Strahlentherapievorrichtung |
CN104240359A (zh) * | 2014-08-20 | 2014-12-24 | 中广核核电运营有限公司 | 核辐射环境中非数字化传输仪表的读数方法和系统 |
-
2015
- 2015-07-08 CN CN201510397553.XA patent/CN104932001B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101782933A (zh) * | 2009-12-15 | 2010-07-21 | 中广核工程有限公司 | 核电站控制室的虚拟漫游设计方法及系统 |
CN101984411A (zh) * | 2010-11-10 | 2011-03-09 | 中广核工程有限公司 | 一种核电站生成虚拟数字控制系统组态文件的方法及装置 |
CN102692637A (zh) * | 2012-05-25 | 2012-09-26 | 西南科技大学 | 基于遥操作装置的核辐射环境虚拟重建系统及方法 |
CN102689310A (zh) * | 2012-05-29 | 2012-09-26 | 华北电力大学 | 一种基于核辐射的核电站机器人定位方法 |
EP2700978A2 (de) * | 2012-08-21 | 2014-02-26 | KUKA Laboratories GmbH | Messvorrichtung zur Dosismessung in der Strahlentherapie und Verfahren zum Überprüfen einer Strahlentherapievorrichtung |
CN104240359A (zh) * | 2014-08-20 | 2014-12-24 | 中广核核电运营有限公司 | 核辐射环境中非数字化传输仪表的读数方法和系统 |
Non-Patent Citations (2)
Title |
---|
刘明哲等: "机器人在核应急辐射环境综合监测中的应用研究", 《机器人技术与应用》 * |
钱夔等: "基于高斯模型的核探测机器人寻找核辐射源方法", 《高技术通讯》 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106611072A (zh) * | 2015-10-26 | 2017-05-03 | 中广核工程有限公司 | 核电站辐射剂量场的模拟方法和系统 |
CN106872953A (zh) * | 2015-12-10 | 2017-06-20 | 南京智慧魔方电子科技有限公司 | 一种船用导航雷达目标回波的三维建模方法 |
CN105973229A (zh) * | 2016-06-29 | 2016-09-28 | 广东核电合营有限公司 | 核电站辐射剂量场操作路径的确定方法和系统 |
CN109410426A (zh) * | 2017-01-23 | 2019-03-01 | 合肥智慧龙图腾知识产权股份有限公司 | 安装物联网交互终端设备的巴士 |
CN107862736A (zh) * | 2017-10-25 | 2018-03-30 | 广东核电合营有限公司 | 辐射场的三维动态显示方法和装置 |
CN107862736B (zh) * | 2017-10-25 | 2021-08-03 | 广东核电合营有限公司 | 辐射场的三维动态显示方法和装置 |
CN107749056A (zh) * | 2017-11-30 | 2018-03-02 | 苏州大学 | 对放射性物质三维定位追踪方法及装置 |
JP2019158810A (ja) * | 2018-03-16 | 2019-09-19 | 株式会社東芝 | 放射線量分布表示装置及び放射線量分布表示方法 |
CN109241584A (zh) * | 2018-08-17 | 2019-01-18 | 深圳中广核工程设计有限公司 | 一种核电站三维剂量场模拟系统及其方法 |
CN109507710A (zh) * | 2018-10-31 | 2019-03-22 | 深圳中广核工程设计有限公司 | 核电站辐射监测方法、装置、计算机设备及存储介质 |
CN109583604B (zh) * | 2018-12-10 | 2021-08-24 | 国网浙江义乌市供电有限公司 | 一种基于slam技术的变电设备故障标记方法 |
CN109583604A (zh) * | 2018-12-10 | 2019-04-05 | 国网浙江义乌市供电有限公司 | 一种基于slam技术的变电设备故障标记方法 |
CN109974707A (zh) * | 2019-03-19 | 2019-07-05 | 重庆邮电大学 | 一种基于改进点云匹配算法的室内移动机器人视觉导航方法 |
CN110111374A (zh) * | 2019-04-29 | 2019-08-09 | 上海电机学院 | 基于分组阶梯式阈值判断的激光点云匹配方法 |
CN112241990A (zh) * | 2019-07-18 | 2021-01-19 | 国际商业机器公司 | 无人机弹性地图 |
CN111105465A (zh) * | 2019-11-06 | 2020-05-05 | 京东数字科技控股有限公司 | 一种摄像装置校准方法、装置、系统电子设备及存储介质 |
CN111105465B (zh) * | 2019-11-06 | 2022-04-12 | 京东科技控股股份有限公司 | 一种摄像装置校准方法、装置、系统电子设备及存储介质 |
CN110954963A (zh) * | 2019-12-09 | 2020-04-03 | 北京航星机器制造有限公司 | 一种针对射线源在开放空间的辐射防护系统及方法 |
WO2021115315A1 (zh) * | 2020-01-10 | 2021-06-17 | 中广核工程有限公司 | 核电厂辐射剂量分布的测量方法和测量系统 |
CN112465987A (zh) * | 2020-12-17 | 2021-03-09 | 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) | 一种视觉融合信息三维重建的导航地图构建方法 |
CN114063135A (zh) * | 2021-11-18 | 2022-02-18 | 中国核动力研究设计院 | 一种核活动相关区域内的辐射调查装置及调查方法 |
CN114765781A (zh) * | 2022-06-14 | 2022-07-19 | 西南科技大学 | 面向应急机器人的通信感知地图构建方法 |
CN114765781B (zh) * | 2022-06-14 | 2022-08-19 | 西南科技大学 | 面向应急机器人的通信感知地图构建方法 |
CN115267872A (zh) * | 2022-07-22 | 2022-11-01 | 西北核技术研究所 | 辐射区域内空间γ辐射剂量及表面β放射性的测量方法 |
CN115054279A (zh) * | 2022-08-17 | 2022-09-16 | 深圳市信润富联数字科技有限公司 | 射线辐射剂量的预测方法、装置、电子装置和存储介质 |
CN115054279B (zh) * | 2022-08-17 | 2022-12-09 | 深圳市信润富联数字科技有限公司 | 射线辐射剂量的预测方法、装置、电子装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104932001B (zh) | 2018-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104932001A (zh) | 一种实时3d核辐射环境重建监测系统 | |
US20220124303A1 (en) | Methods and systems for selective sensor fusion | |
CN110446159B (zh) | 一种室内无人机精确定位与自主导航的系统及方法 | |
CN110503080B (zh) | 基于无人机倾斜摄影辅助排污口的调查方法 | |
CN108983248A (zh) | 一种基于3d激光雷达及v2x的网联车定位方法 | |
CN104460671B (zh) | 三维空间中的放射源交叉定位方法及系统 | |
CN109737981B (zh) | 基于多传感器的无人车目标搜索装置及方法 | |
Ibrahim et al. | BIM-driven mission planning and navigation for automatic indoor construction progress detection using robotic ground platform | |
CN115597659B (zh) | 一种变电站智能安全管控方法 | |
CN109376587A (zh) | 基于物联网的检测查勘通信铁塔智能巡检系统和方法 | |
McLeod et al. | Using video acquired from an unmanned aerial vehicle (UAV) to measure fracture orientation in an open-pit mine | |
CN104714555A (zh) | 一种基于边缘的三维自主探索方法 | |
CN115793649B (zh) | 一种电缆沟自动巡检装置及巡检方法 | |
CN113075686B (zh) | 一种基于多传感器融合的电缆沟智能巡检机器人建图方法 | |
CN104765376A (zh) | 一种用于三维空间重建的旋翼无人机控制系统 | |
Jiang et al. | UAV-based oblique photogrammetry for 3D reconstruction of transmission line: Practices and applications | |
Fanta-Jende et al. | A versatile UAV near real-time mapping solution for disaster response–concept, ideas and implementation | |
Hu et al. | A small and lightweight autonomous laser mapping system without GPS | |
CN116957360A (zh) | 一种基于无人机的空间观测与重建方法及系统 | |
Keyvanfar et al. | Emerging dimensions of unmanned aerial vehicle’s (uav) 3d reconstruction modeling and photogrammetry in architecture and construction management | |
CN116352722A (zh) | 多传感器融合的矿山巡检救援机器人及其控制方法 | |
Hu et al. | Three-dimensional mapping based on SIFT and RANSAC for mobile robot | |
Chen et al. | Low cost multi-sensor robot laser scanning system and its accuracy investigations for indoor mapping application | |
Sabo et al. | Practical application of the drone technology in civil engineering | |
Ryde et al. | Mutual Localization and 3D Mapping by Cooperative Mobile Robots. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |