CN102692637B - 基于遥操作装置的核辐射环境虚拟重建系统及方法 - Google Patents

基于遥操作装置的核辐射环境虚拟重建系统及方法 Download PDF

Info

Publication number
CN102692637B
CN102692637B CN201210182735.1A CN201210182735A CN102692637B CN 102692637 B CN102692637 B CN 102692637B CN 201210182735 A CN201210182735 A CN 201210182735A CN 102692637 B CN102692637 B CN 102692637B
Authority
CN
China
Prior art keywords
gamma
radioactive source
module
data
location survey
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210182735.1A
Other languages
English (en)
Other versions
CN102692637A (zh
Inventor
张华�
肖宇峰
刘满禄
李磊民
杨涛
王姮
张江梅
张静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN201210182735.1A priority Critical patent/CN102692637B/zh
Publication of CN102692637A publication Critical patent/CN102692637A/zh
Application granted granted Critical
Publication of CN102692637B publication Critical patent/CN102692637B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Radiation (AREA)

Abstract

本发明公开了一种基于遥操作装置的核辐射环境虚拟重建系统及方法,该核辐射环境虚拟重建系统包括安装在可移动装置上的前端子系统;前端子系统通过通信线缆与后台子系统连接。该核辐射环境虚拟重建系统通过前端子系统设置的定位测量设备、伽玛图像采集设备和伽玛能谱仪采集核辐射环境信息并通过前端通信设备经通信线缆传送给后台子系统进行处理创建核辐射环境的虚拟场景,能够对核辐射环境现场进行实时测量,并实现在线重建虚拟场景,集核辐射环境测量和核辐射环境重建于一体,提高重建效率;将放射源的三维模型、放射源属性关联在一起,能够为工作人员提供丰富的可视化信息,减少工作人员在辐射现场的工作时间,尽可能降低工作人员遭受核辐射的剂量。

Description

基于遥操作装置的核辐射环境虚拟重建系统及方法
技术领域
本发明属于核辐射环境探测技术领域,具体涉及一种基于遥操作装置的核辐射环境虚拟重建系统及方法。
背景技术
虚拟重建系统通过测量真实环境并把数字化处理结果输入到计算机,将环境对象重新于计算机平台。该技术在考古勘测、工程建设、城市规划、灾害救援等领域有着重要的应用,具有广阔的应用背景和实用价值。虚拟重建所具有的交互性、沉浸性和想象性非常适用于核工程领域,在计算机中重现的核辐射环境作业现场具备安全性和可重复性,可被应用于:核事故处理过程中的源项分析、核退役过程中的作业规划、核辐射环境下高危险高成本作业人员的培训、核设施维护检查前的工作计划等等。这一技术的应用不但可以降低现场人员承受剂量、节省施工经费,还能丰富作业现场的信息、扩大作业人员视野,并且以生动形象的视觉感受加深作业人员的操作体验。
现有的虚拟重建研究和产品主要应用光学设备(比如,相机、激光扫描仪等)对环境进行测量,再结合三维重建模型在计算机平台上还原环境中对象。对于核工程领域的应用存在两大不足:一是,重建效率低下,需要长时间扫描各环境对象后才能进行重建;二是,不能有效描述作业现场的核辐射特征。在国外,已经出现了不少应用虚拟现实技术对核辐射环境进行虚拟重建的研究和应用。西班牙的CIPRES项目开发了一套虚拟现实系统,可模拟核电站换料过程并计算剂量;比利时核能研究中心开发的VISIPLAN 3D ALARA工具采用三维可视化方法对现实场景建模,模拟计算剂量分布情况;在韩国,Kim开发的核电站剂量预测技术可在虚拟的核辐射环境中模拟作业过程,并以图形可视化方式显示辐射危险区域,减少人员作业时遭受的辐照剂量;美国西屋汉福德公司开发了描述三维辐射环境的可视化软件,可形象地显示辐射源和屏蔽体内部的辐射剂量。这些成果侧重于对辐射环境的三维建模和可视化,并未深入讨论如何结合施工需求对现场进行及时测量与高效在线重建。在国内,该领域的研究开发工作相对较少。武汉核动力运行研究院为核电站开发了虚拟现实系统,用于工作人员操作培训。由于没有涉及现场剂量和辐射防护方面的内容,其实用性受到一定程度限制。国内近期代表性成果是中广核集团的两个专利,其申请号分别是200910188852.7和201010546308.8:前者提出了一套核电站控制室的虚拟漫游设计方法及系统,同样没有考虑核辐射环境的特殊性;后者采用组态软件方式实现虚拟的核电站数字化控制系统,跟真实环境的虚拟重建还有一定差距。
发明内容
本发明的目的在于针对上述现有技术的不足,提供一种基于遥操作装置的核辐射环境虚拟重建系统及方法,集核辐射环境测量和重建于一体,能够实现在线重建,能够描述现场的核辐射特征,适合于核辐射环境下的施工需求。
为达到上述目的,本发明采用的技术方案是:一种基于遥操作装置的核辐射环境虚拟重建系统,其特征在于:包括安装在可移动装置上的前端子系统;所述前端子系统通过通信线缆与后台子系统连接;
所述前端子系统包括定位测量设备、伽玛图像采集设备和伽玛能谱仪;所述定位测量设备、伽玛图像采集设备和伽玛能谱仪均与前端通信设备连接;所述定位测量设备用于采集图像和环境几何信息;所述伽玛图像采集设备采集放射源的分布信息并提供伽玛图像数据;所述伽玛能谱仪测量伽玛射线能谱;所述前端通信设备将定位测量设备、伽玛图像采集设备和伽玛能谱仪采集的数据转换后通过通信线缆传输给后台子系统;
所述后台子系统包括工作站、测量装置控制手柄、环境测量模块和虚拟重建模块;所述工作站、测量装置控制手柄、环境测量模块和虚拟重建模块均与后台通信设备连接;所述工作站负责运行环境测量模块和虚拟重建模块;所述测量装置控制手柄用于控制定位测量设备、伽玛图像采集设备和伽玛能谱仪;所述环境测量模块实时记录并处理定位测量设备、伽玛图像采集设备和伽玛能谱仪采集的数据,将处理好的数据保存到测量数据库;所述虚拟重建模块根据测量数据库中的数据再现含有放射源信息的虚拟场景。
所述定位测量设备包括图像采集单元、激光测距单元、云台和补光单元;所述图像采集单元和激光测距单元安装在云台上;所述图像采集单元窗口的轴线与激光测距单元窗口的轴线平行;所述补光单元设置在图像采集单元的前方;所述图像采集单元、激光测距单元和补光单元设置在铅屏蔽罩内。
所述前端通信设备包括交换机;所述交换机分别与视频服务器、串口服务器、伽玛图像采集器、USB服务器连接;所述视频服务器与图像采集设备连接;所述串口服务器分别与激光测距单元和云台连接;所述伽玛图像采集器与伽玛图像采集设备连接;所述USB服务器与伽玛能谱仪连接;所述后台通信设备包括交换机;所述前端通信设备的交换机与后台通信设备的交换机通过通信线缆连接;所述伽玛能谱仪包括探测器和信号处理单元;所述信号处理单元外面设置有铅屏蔽罩。
所述环境测量模块包括定位测量模块、伽玛成像模块和伽玛能谱分析模块;所述定位测量模块实时采集定位测量设备采集的图像数据和环境几何信息,并将环境几何信息进行处理后与图像数据一起保存到测量数据库中;所述伽玛成像模块实时显示伽玛图像采集设备采集的伽玛图像,并将伽玛图像数据保存到测量数据库中;所述伽玛能谱分析模块实时采集伽玛能谱仪采集的伽玛射线能谱数据,并对伽玛射线能谱数据处理获取放射源的核素、剂量、伽玛射线能谱分析报告数据并保存到测量数据库中。
所述虚拟重建模块包括虚拟场景图模块、环境数据导入模块、放射源数据融合模块和OGRE模块;所述虚拟场景图模块用于导入建模软件创建好的环境三维模型;所述环境数据导入模块用于导入测量数据库中的图像数据和经定位测量模块处理后的环境几何信息;所述放射源数据融合模块将放射源的空间信息、伽玛图像、核素、剂量和伽玛摄像能谱分析报告关联在一起;所述OGRE模块用于三维图形渲染;所述放射源数据融合模块包括放射源对象管理模块;所述放射源对象管理模块用于放射源信息的编辑,包括放射源空间信息、伽玛图像、核素、剂量和伽玛射线能谱分析报告。
还包括前端控制箱;所述前端控制箱外层为铅屏蔽层;所述前端控制箱内部由屏蔽板分为两个空腔,一个空腔内装载有开关电源和隔离变压器,另一个空腔内装载有前端通信设备;所述开关电源为定位测量设备、伽玛图像采集设备、伽玛能谱仪、前端通信设备供电;所述开关电源与隔离变压器连接;所述可移动装置的通信线缆和电源线缆接入前端控制箱内,可移动装置通信线缆与前端通信设备的交换机连接,可移动装置电源线缆接入隔离变压器。
所述前端控制箱、定位测量设备、伽玛图像采集设备和伽玛能谱仪均设置在可移动装置身上。
一种基于遥操作装置的核辐射环境虚拟重建方法,包括环境测量过程和虚拟场景重建过程;其特征在于:所述环境测量过程包括以下步骤:
a、启动定位测量模块,通过工作站启动定位测量模块,通过测量装置控制手柄控制图像采集单元观察环境,寻找特征对象;
b、特征对象定位测量,利用图像采集单元、激光测距单元和云台对核辐射环境中的环境特征对象分别进行图像采集、相对于定位测量设备几何中心的距离测量和转角测量,并将环境特征对象的图像采集数据、相对于定位测量设备几何中心的距离测量数据和转角测量数据通过视频服务器和串口服务器传送给前端通信设备的交换机进行数据转换后通过通信线缆传送给后台通信设备;定位测量模块将从后台通信设备接收到的环境特征对象相对于定位测量设备几何中心的距离测量数据和转角测量数据转换成环境特征对象的空间位置和几何尺寸数据与接收到的图像采集数据一起保存到测量数据库中;
c、放射源定位测量,启动伽玛成像模块,利用伽玛相机、定位测量设备获得放射源的剂量分布信息、图像信息、放射源的空间位置和几何尺寸数据,并由伽玛成像模块和定位测量模块把放射源的剂量分布信息、图像信息、放射源的空间位置和几何尺寸数据保存到测量数据库;
d、源项分析,启动伽玛能谱分析模块,利用伽玛谱仪获取放射源的核素、剂量和伽玛射线能谱分析报告数据,并由伽玛能谱分析模块把放射源的核素、剂量和伽玛射线能谱分析报告数据保存到测量数据库;
e、退出定位测量模块,完成环境测量;
所述虚拟场景重建过程包括以下步骤:
f、启动虚拟重建模块,判断现场的虚拟场景是否存在,若存在,打开虚拟场景文件,进入步骤i;若不存在,进入步骤g;
g、导入环境三维模型,通过虚拟场景图模块导入建模软件创建好的环境三维模型;
h、导入环境特征对象和放射源信息,通过环境数据导入模块打开测量数据库,导入环境特征对象的三维模型、放射源的三维模型和放射源属性,获得初始虚拟场景;所述环境特征对象的三维模型由OGRE模块的三维图形渲染模块根据测量数据库中的环境特征对象的图像采集数据、空间位置和几何尺寸数据直接生成;所述放射源的三维模型和放射源属性由放射源数据融合模块根据放射源的图像信息、放射源的空间位置数据、几何尺寸数据、伽玛图像、核素、剂量、伽玛射线能谱分析报告数据关联在一起;所述放射源的三维模型由放射源数据融合模块利用OGRE模块的三维图像渲染模块根据放射源的图像信息、空间位置和几何尺寸数据生成;所述放射源属性包括放射源的几何形体、空间位置、伽玛图像、伽玛射线能谱分析报告、核素和剂量;所述放射源属性由放射源数据融合模块设置的放射源对象管理模块根据放射源的图像信息、空间位置数据、几何尺寸数据、伽玛图像、核素、剂量和伽玛射线能谱分析报告数据编辑生成;
i、编辑场景,根据步骤b和步骤c获得的环境特征对象的图像采集数据和放射源的图像信息判断是否需要对初始虚拟场景进行编辑,获得与环境测量过程匹配的虚拟场景;若需要编辑场景,根据环境特征对象的图像采集数据和放射源的图像信息,修改初始虚拟场景;若不需要编辑场景,进入步骤j;
j、保存场景、退出虚拟重建模块,将步骤i得到的虚拟场景以虚拟场景文件的形式保存到工作站中,并退出虚拟重建模块。
所述步骤c包括以下分步骤:
c1、启动伽玛成像模块,通过工作站启动伽玛成像模块;
c2、是否有放射源,通过伽玛图像采集设备观察核辐射环境,是否有放射源,若有放射源进入步骤c3;若没有放射源,继续通过伽玛相机观察核辐射环境;
c3、放射源定位测量,利用定位测量设备采集放射源所在特征物的图像信息和相对于定位测量设备几何中心的空间信息作为放射源的图像信息和相对于定位测量设备几何中心位置的空间位置数据;利用伽玛图像采集设备采集放射源的剂量分布信息,并将放射源的剂量分布信息处理成伽玛图像数据;并将放射源的伽玛图像数据、图像信息和放射源相对于定位测量设备几何中心的空间信息通过伽玛图像采集器、视频服务器和串口服务器传送给前端通信设备的交换机进行数据转换后通过通信线缆传送给后台通信设备;定位测量模块将从后台通信设备接收到放射源相对于定位测量设备几何中心的空间信息转换成放射源的空间位置和几何尺寸数据同接收到的放射源的图像信息保存到测量数据库中;伽玛成像模块将从后台通信设备接收到的伽玛图像数据以伽玛图像的形式显示出来,并将伽玛图像数据保存到测量数据库中;
c4、是否继续,根据图像采集单元观察到的核辐射环境,判断是否继续寻找放射源,若继续寻找放射源,返回步骤c2,寻找下一个放射源;若不继续寻找放射源,退出伽玛成像模块,进入步骤d。
所述步骤d包括以下分步骤:
d1、启动伽玛能谱分析模块,通过工作站启动伽玛能谱分析模块;
d2、能谱分析,利用伽玛能谱仪采集放射源的伽玛射线能谱信息并对采集的伽玛射线能谱信息进行信号处理,信号处理后得到的数据通过USB服务器传送给前端通信设备的交换机进行数据转换后通过通信线缆传送给后台通信设备;伽玛能谱分析模块将从后台通信设备接收到的伽玛射线能谱信息处理获取放射源的核素、剂量和伽玛射线能谱分析报告数据并保存到测量数据库中;
d3、是否继续,根据步骤c3放射源定位测量过程的记录判断是否继续对放射源进行能谱分析,若继续返回步骤d2;若不继续,退出伽玛能谱分析模块,进入步骤e。
本发明中的环境特征对象是指环境中几何特征明显的参考物,能够辅助遥操作人员确定可移动装置行进位置。
本发明采用的工作站包括电脑主机和显示屏,环境测量模块和虚拟重建模块均设置在工作站的电脑主机内。
本发明提供的基于遥操作装置的核辐射环境虚拟重建系统及方法具有以下有益效果:
1、通过设置的虚拟场景图模块、环境数据导入模块、放射源数据融合模块和OGRE模块,不仅再现了核辐射环境的三维场景,更重要的是该核辐射环境的三维场景中还有放射源信息,将放射源的三维模型、放射源属性关联在一起,能够为工作人员提供可靠的数据支持,减少工作人员在现场的工作时间,进而尽可能的降低工作人员的危险性;
2、将前端子系统通过通信线缆与后台子系统连接,能够对核辐射环境现场进行实时测量,并实现在线重建虚拟场景,集核辐射环境测量和核辐射环境重建于一体,提高重建效率。
附图说明
图1为本发明实施例提供的基于遥操作装置的核辐射环境虚拟重建系统结构框图;
图2为前端控制箱的结构框图;
图3为环境测量过程流程图;
图4为虚拟重建过程流程图;
图5为放射源定位测量过程流程图;
图6为源项分析过程流程图。
具体实施方式
下面结合附图及实施例对本发明进行详细的描述,但它们不是对本发明的进一步限制。
本发明提供的实施例中,图像采集单元采用的是探测相机;激光测距单元采用的是激光测距仪;伽玛图像采集设备采用的是伽玛相机;补光单元为至少一个LED灯,优选的实施方式为两个白光LED灯;可移动装置是指能承载前端子系统和前端控制箱、并能通过遥操作在核辐射环境中移动的装置,优选的可移动装置具有自动定位功能,更优选的可移动装置为机器人,本发明给出的实施例中采用的是机器人;当然,上述图像采集单元、激光测距单元、伽玛图像采集设备和补光单元不限于以上设备,凡是与探测相机、激光测距仪、伽玛相机、LED灯具有相同或者相近功能的设备均可用于本发明提供的核辐射环境虚拟重建系统。
如图1所示,该基于遥操作装置的核辐射环境虚拟重建系统,包括安装在可移动装置上的前端子系统;前端子系统通过通信线缆与后台子系统连接。这里的通信线缆包括可移动装置通信线缆(即机器人通信线缆)。
前端子系统包括定位测量设备、伽玛相机和伽玛能谱仪;定位测量设备、伽玛相机和伽玛能谱仪均与前端通信设备;定位测量设备用于采集图像和环境几何信息(在该实施例中,环境几何信息包括环境特征对象和放射源的空间位置);伽玛相机图像采集设备采集放射源的分布信息并提供伽玛图像数据;伽玛能谱仪测量伽玛射线能谱;前端通信设备将定位测量设备、伽玛图像采集设备和伽玛能谱仪采集的数据转换后通过通信线缆传输给后台子系统;定位测量设备包括探测相机、激光测距仪、云台和两个白光LED灯;探测相机和激光测距仪设置在云台上;探测相机窗口的轴线与激光测距仪窗口的轴线平行;两个白光LED灯设置在探测相机的前方;探测相机、激光测距仪和两个白光LED灯设置在铅屏蔽罩内。
后台子系统包括工作站、测量装置控制手柄、环境测量模块和虚拟重建模块;工作站、测量装置控制手柄、环境测量模块和虚拟重建模块均与后台通信设备连接;工作站负责运行环境测量模块和虚拟重建模块;测量装置控制手柄用于控制定位测量设备、伽玛相机和伽玛能谱仪的动作;环境测量模块实时记录并处理定位测量设备、伽玛相机和伽玛能谱仪采集的数据,将处理好的数据保存到测量数据库;虚拟重建模块根据测量数据库中的数据再现含有放射源信息的虚拟场景。环境测量模块实时记录的数据包括图像数据、环境特征对象空间位置数据、放射源空间位置数据、放射源的伽玛图像数据、伽玛射线能谱数据;环境测量模块对采集到的数据进行处理获取环境特征对象的空间信息(包括环境特征对象的图像、空间位置数据和几何尺寸数据)、放射源的空间信息(包括放射源的图像、空间位置数据和几何尺寸数据)、放射源的伽玛图像、核素、剂量、伽玛射线能谱分析报告数据,并将上述环境特征对象的空间信息、放射源的空间信息、放射源的伽玛图像、核素、剂量、伽玛射线能谱分析报告数据保存到测量数据库;虚拟重建模块根据上述环境特征对象的空间信息、放射源的空间信息、放射源的伽玛图像、核素、剂量、伽玛射线能谱分析报告数据再现含有放射源信息的三维场景。
前端通信设备包括交换机;交换机分别与视频服务器、串口服务器、伽玛图像采集器、USB服务器连接;视频服务器与探测相机连接;串口服务器分别与激光测距仪和云台连接;伽玛图像采集器与伽玛图像采集设备连接;USB服务器与伽玛能谱仪连接;后台通信设备包括交换机;前端通信设备的交换机与后台通信设备的交换机通过通信线缆连接;伽玛能谱仪包括探测器和信号处理单元;信号处理单元外面设置有铅屏蔽罩。
环境测量模块包括定位测量模块、伽玛成像模块和伽玛能谱分析模块;定位测量模块实时采集定位测量设备采集的图像数据和环境几何信息,并将环境几何信息进行处理后与图像数据一起保存到测量数据库中;伽玛成像模块实时显示伽玛图像采集设备采集的伽玛图像,并将伽玛图像数据保存到测量数据库中;伽玛能谱分析模块实时采集伽玛能谱仪采集的伽玛射线能谱数据,并对伽玛射线能谱数据处理获取放射源的核素、剂量、伽玛射线能谱分析报告数据并保存到测量数据库中。
虚拟重建模块包括虚拟场景图模块、环境数据导入模块、放射源数据融合模块和OGRE模块;虚拟场景图模块用于导入建模软件创建好的环境三维模型(该环境三维模型是通过普通建模软件创建好的,保存在工作站中);环境数据导入模块用于导入测量数据库中的图像数据和经定位测量模块处理后的环境几何信息;放射源数据融合模块将放射源的空间信息、伽玛图像、核素、剂量和伽玛摄像能谱分析报告关联在一起;OGRE模块用于三维图形渲染;放射源数据融合模块包括放射源对象管理模块;放射源对象管理模块用于放射源信息的编辑,包括放射源空间信息、伽玛图像、核素、剂量和伽玛射线能谱分析报告。
上述基于遥操作装置的核辐射环境虚拟重建系统还包括前端控制箱。如图2所示,前端控制箱外层为铅屏蔽层;前端控制箱内部由屏蔽板分为两个空腔,一个空腔内装载有开关电源和隔离变压器,另一个空腔内装载有前端通信设备;开关电源为定位测量设备、伽玛相机、伽玛能谱仪、前端通信设备供电;开关电源与隔离变压器连接;机器人的通信线缆和电源线缆接入前端控制箱内,机器人通信线缆与前端通信设备的交换机连接,机器人电源线缆接入隔离变压器。
前端控制箱、定位测量设备、伽玛相机和伽玛能谱仪均设置在机器人身上。优选实施方式中,前端控制箱设置在机器人内部;定位测量设备设置在机器人外部框架上;伽玛相机和伽玛能谱仪一起设置在机器人手臂末端的工具支架上。
本发明提供的基于遥操作装置的核辐射环境虚拟重建方法,包括环境测量过程和虚拟场景重建过程。
如图3所示,环境测量过程包括以下步骤:
a、启动定位测量模块,通过工作站启动定位测量模块,通过测量装置控制手柄控制探测相机观察环境,寻找特征对象;
b、特征对象定位测量,在寻找到特征对象后,利用探测相机、激光测距仪和云台对核辐射环境中的环境特征对象分别进行图像采集、相对于定位测量设备几何中心的距离测量和转角测量,并将环境特征对象的图像采集数据、相对于定位测量设备几何中心的距离测量数据和转角测量数据通过视频服务器和串口服务器传送给前端通信设备的交换机进行数据转换后通过通信线缆传送给后台通信设备;定位测量模块将从后台通信设备接收到的环境特征对象相对于定位测量设备几何中心的距离测量数据和转角测量数据转换成环境特征对象的空间位置和几何尺寸数据与接收到的图像采集数据一起保存到测量数据库中;
c、放射源定位测量,启动伽玛成像模块,利用伽玛相机、定位测量设备获得放射源的剂量分布信息、图像信息、放射源的空间位置和几何尺寸数据,并由伽玛成像模块和定位测量模块把放射源的剂量分布信息、图像信息、放射源的空间位置和几何尺寸数据保存到测量数据库;
d、源项分析,启动伽玛能谱分析模块,利用伽玛谱仪获取放射源的核素、剂量和伽玛射线能谱分析报告数据,并由伽玛能谱分析模块把放射源的核素、剂量和伽玛射线能谱分析报告数据保存到测量数据库;
e、退出定位测量模块,完成环境测量。
定位测量模块根据的环境特征对象相对于定位测量设备几何中心的距离测量数据和转角测量数据获得环境特征对象的空间位置数据方法:利用探测相机在环境特征对象表面的几何中心寻找一个可视点,利用可视点定位方法计算该中心的全局三维坐标,即环境特征对象的空间位置数据。如下是可视点定位方法的基本流程:根据机器人定位系统确定环境全局坐标系原点以及机器人质点的全局三维坐标值;把定位测量设备中心作为机器人质点,并以该点为原点建立局部直角坐标系,其坐标轴方向与全局坐标系的坐标轴方向平行,得到全局坐标系与局部坐标系的平移关系;根据可视点相对于定位测量设备几何中心的距离测量(激光测距仪的光斑对准可视点时得到该距离数值)和转角测量(激光测距仪的光斑对准可视点时云台转动的角度),计算该可视点在局部坐标系下的局部三维坐标;根据全局坐标系和局部坐标系的平移关系计算该可视点在整个环境中的全局三维坐标。
定位测量模块根据的环境特征对象相对于定位测量设备几何中心的距离测量数据和转角测量数据获得环境特征对象的几何尺寸的方法:环境特征对象的几何尺寸利用环境特征对象的长、宽、高、直径、上下边界垂直距离、左右边界水平距离描述,而这些数据由可视线段测量方法得到。如下是可视线段测量的基本流程:利用探测相机在环境特征对象上找到可视线段两端对应的可视点(激光测距仪的光斑对准可视点),并利用上述可视点定位方法计算可视点的全局三维坐标;由空间两点间距公式计算得到可视线段长度,其中(x1,y1,z1)和(x2,y2,z2)为两可视点的全局三维坐标。
如图5所述,上述步骤c包括以下分步骤:
c1、启动伽玛成像模块,通过工作站启动伽玛成像模块;
c2、是否有放射源,通过伽玛相机观察核辐射环境,判断是否有放射源,若有放射源进入步骤c3;若没有放射源,继续通过伽玛相机观察核辐射环境;
c3、放射源定位测量,利用定位测量设备的探测相机、激光测距仪和云台采集放射源所在特征物的图像信息和相对于定位测量设备几何中心的空间信息(包括相对于定位测量设备几何中心的距离数据和转角数据)作为放射源的图像信息和相对于定位测量设备几何中心位置的空间信息;利用伽玛相机采集放射源的剂量分布信息,并将放射源的剂量分布信息处理成伽玛图像数据;并将放射源的伽玛图像数据、图像信息和放射源相对于定位测量设备几何中心的空间信息通过伽玛图像采集器、视频服务器和串口服务器传送给前端通信设备的交换机进行数据转换后通过通信线缆传送给后台通信设备;定位测量模块将从后台通信设备接收到放射源相对于定位测量设备几何中心的空间信息转换成放射源的空间位置和几何尺寸数据同接收到的放射源的图像信息保存到测量数据库中;伽玛成像模块将从后台通信设备接收到的伽玛图像数据以伽玛图像的形式显示出来,并将伽玛图像数据保存到测量数据库中;定位测量模块获得放射源的空间位置数据和几何尺寸数据的方法与定位测量模块获得环境特征对象的空间位置数据和几何尺寸数据的方法相同,这里不再赘述。
c4、是否继续,根据探测相机观察到的核辐射环境,判断是否继续寻找放射源,若继续寻找放射源,返回步骤c2,寻找下一个放射源;若不继续寻找放射源,退出伽玛成像模块,进入步骤d。
如图6所示,上述步骤d包括以下分步骤:
d1、启动伽玛能谱分析模块,通过工作站启动伽玛能谱分析模块;
d2、能谱分析,利用伽玛能谱仪采集放射源的伽玛射线能谱信息并对采集的伽玛射线能谱信息进行信号处理,信号处理后得到的数据通过USB服务器传送给前端通信设备的交换机进行数据转换后通过通信线缆传送给后台通信设备;伽玛能谱分析模块将从后台通信设备接收到的伽玛射线能谱信息处理获取放射源的核素、剂量和伽玛射线能谱分析报告数据并保存到测量数据库中;
d3、是否继续,根据步骤c3放射源定位测量过程的记录判断是否继续对放射源进行能谱分析,若继续返回步骤d2;若不继续,退出伽玛能谱分析模块,进入步骤e。
如图4所示,该虚拟场景重建过程包括以下步骤:
f、启动虚拟重建模块,判断现场的虚拟场景是否存在(是否在工作站保存过),若存在,打开虚拟场景文件,进入步骤i;若不存在,进入步骤g;
g、导入环境三维模型,通过虚拟场景图模块导入建模软件创建好的环境三维模型;
h、导入环境特征对象和放射源信息,通过环境数据导入模块打开环境测量数据库,导入环境特征对象的三维模型、放射源的三维模型和放射源属性,获得初始虚拟场景;环境特征对象的三维模型由OGRE模块的三维图形渲染模块根据测量数据库中的环境特征对象的图像采集数据、空间位置数据和几何尺寸数据直接生成;放射源的三维模型和放射源属性由放射源数据融合模块根据放射源的图像信息、空间位置数据、几何尺寸数据、伽玛图像、核素、剂量、伽玛射线能谱分析报告数据关联在一起;放射源的三维模型由放射源数据融合模块利用OGRE模块的三维图像渲染模块根据放射源的图像信息、空间位置数据、几何尺寸数据生成;放射源属性包括放射源的几何形体、空间位置、伽玛图像、伽玛射线能谱分析报告、核素和剂量;放射源属性由放射源数据融合模块设置的放射源对象管理模块根据放射源的图像信息、空间位置数据、几何尺寸数据生成;放射源属性支持遥操作人员根据采集的图像信息对放射源上述几何形体、空间位置进行编辑,具体包括增加、删除、修改或者保存等操作。
i、编辑场景,根据步骤b和步骤c获得的环境特征对象的图像采集数据和放射源的图像信息判断是否需要对初始虚拟场景进行编辑,获得与环境测量过程匹配的虚拟场景;若需要编辑场景,根据环境特征对象的图像采集数据和放射源的图像信息,修改初始虚拟场景(删除现场核辐射环境中不存在的对象或者修改与现场核辐射环境中不符合的对象的位置);若不需要编辑场景,进入步骤j;对于步骤f直接打开工作站保存的虚拟场景文件的情况,要根据步骤b和步骤c获得的环境特征对象信息(包括图像数据、空间位置数据、几何尺寸数据)和放射源信息(包括图像信息、空间位置数据、几何尺寸数据、伽玛图像、伽玛射线能谱分析报告、核素、剂量)判断是否需要对初始虚拟场景进行编辑,以获得与环境测量过程匹配的虚拟场景;
j、保存场景、退出虚拟重建模块,将步骤i得到的虚拟场景以虚拟场景文件的形式保存到工作站中,并退出虚拟重建模块。

Claims (9)

1.一种基于遥操作装置的核辐射环境虚拟重建系统,其特征在于:包括安装在可移动装置上的前端子系统;所述前端子系统通过通信线缆与后台子系统连接;
所述前端子系统包括定位测量设备、伽玛图像采集设备和伽玛能谱仪;所述定位测量设备、伽玛图像采集设备和伽玛能谱仪均与前端通信设备连接;所述定位测量设备用于采集图像和环境几何信息;所述定位测量设备包括图像采集单元、激光测距单元、云台和补光单元;所述图像采集单元和激光测距单元安装在云台上;所述图像采集单元窗口的轴线与激光测距单元窗口的轴线平行;所述补光单元设置在图像采集单元的前方;所述图像采集单元、激光测距单元和补光单元设置在铅屏蔽罩内;所述伽玛图像采集设备采集放射源的分布信息并提供伽玛图像数据;所述伽玛能谱仪测量伽玛射线能谱;所述前端通信设备将定位测量设备、伽玛图像采集设备和伽玛能谱仪采集的数据转换后通过通信线缆传输给后台子系统;
所述后台子系统包括工作站、测量装置控制手柄、环境测量模块和虚拟重建模块;所述工作站、测量装置控制手柄、环境测量模块和虚拟重建模块均与后台通信设备连接;所述工作站负责运行环境测量模块和虚拟重建模块;所述测量装置控制手柄用于控制定位测量设备、伽玛图像采集设备和伽玛能谱仪;所述环境测量模块实时记录并处理定位测量设备、伽玛图像采集设备和伽玛能谱仪采集的数据,将处理好的数据保存到测量数据库;所述虚拟重建模块根据测量数据库中的数据再现含有放射源信息的虚拟场景。
2.根据权利要求1所述的基于遥操作装置的核辐射环境虚拟重建系统,其特征在于:所述前端通信设备包括交换机;所述交换机分别与视频服务器、串口服务器、伽玛图像采集器、USB服务器连接;所述视频服务器与图像采集单元连接;所述串口服务器分别与激光测距单元和云台连接;所述伽玛图像采集器与伽玛图像采集设备连接;所述USB服务器与伽玛能谱仪连接;所述后台通信设备包括交换机;所述前端通信设备的交换机与后台通信设备的交换机通过通信线缆连接;所述伽玛能谱仪包括探测器和信号处理单元;所述信号处理单元外面设置有铅屏蔽罩。
3.根据权利要求1所述的基于遥操作装置的核辐射环境虚拟重建系统,其特征在于:所述环境测量模块包括定位测量模块、伽玛成像模块和伽玛能谱分析模块;所述定位测量模块实时采集定位测量设备采集的图像数据和环境几何信息,并将环境几何信息进行处理后与图像数据一起保存到测量数据库中;所述伽玛成像模块实时显示伽玛图像采集设备采集的伽玛图像,并将伽玛图像数据保存到测量数据库中;所述伽玛能谱分析模块实时采集伽玛能谱仪采集的伽玛射线能谱数据,并对伽玛射线能谱数据处理获取放射源的核素、剂量、伽玛射线能谱分析报告数据并保存到测量数据库中。
4.根据权利要求3所述的基于遥操作装置的核辐射环境虚拟重建系统,其特征在于:所述虚拟重建模块包括虚拟场景图模块、环境数据导入模块、放射源数据融合模块和OGRE模块;所述虚拟场景图模块用于导入建模软件创建好的环境三维模型;所述环境数据导入模块用于导入测量数据库中的图像数据和经定位测量模块处理后的环境几何信息;所述放射源数据融合模块将放射源的空间信息、伽玛图像、核素、剂量和伽玛摄像能谱分析报告关联在一起;所述OGRE模块用于三维图形渲染;所述放射源数据融合模块包括放射源对象管理模块;所述放射源对象管理模块用于放射源信息的编辑,包括放射源空间信息、伽玛图像、核素、剂量和伽玛射线能谱分析报告。
5.根据权利要求1所述的基于遥操作装置的核辐射环境虚拟重建系统,其特征在于:还包括前端控制箱;所述前端控制箱外层为铅屏蔽层;所述前端控制箱内部由屏蔽板分为两个空腔,一个空腔内装载有开关电源和隔离变压器,另一个空腔内装载有前端通信设备;所述开关电源为定位测量设备、伽玛图像采集设备、伽玛能谱仪、前端通信设备供电;所述开关电源与隔离变压器连接;所述可移动装置的通信线缆和电源线缆接入前端控制箱内,可移动装置通信线缆与前端通信设备的交换机连接,可移动装置电源线缆接入隔离变压器。
6.根据权利要求5所述的基于遥操作装置的核辐射环境虚拟重建系统,其特征在于:所述前端控制箱、定位测量设备、伽玛图像采集设备和伽玛能谱仪均设置在可移动装置上。
7.一种基于遥操作装置的核辐射环境虚拟重建方法,包括环境测量过程和虚拟场景重建过程;其特征在于:所述环境测量过程包括以下步骤:
a、启动定位测量模块,通过工作站启动定位测量模块,通过测量装置控制手柄控制图像采集单元观察环境,寻找特征对象;
b、特征对象定位测量,利用图像采集单元、激光测距单元和云台对核辐射环境中的环境特征对象分别进行图像采集、相对于定位测量设备几何中心的距离测量和转角测量,并将环境特征对象的图像采集数据、相对于定位测量设备几何中心的距离测量数据和转角测量数据通过视频服务器和串口服务器传送给前端通信设备的交换机进行数据转换后通过通信线缆传送给后台通信设备;定位测量模块将从后台通信设备接收到的环境特征对象相对于定位测量设备几何中心的距离测量数据和转角测量数据转换成环境特征对象的空间位置和几何尺寸数据与接收到的图像采集数据一起保存到测量数据库中;
c、放射源定位测量,启动伽玛成像模块,利用伽玛相机、定位测量设备获得放射源的剂量分布信息、图像信息、放射源的空间位置和几何尺寸数据,并由伽玛成像模块和定位测量模块把放射源的剂量分布信息、图像信息、放射源的空间位置和几何尺寸数据保存到测量数据库;
d、源项分析,启动伽玛能谱分析模块,利用伽玛谱仪获取放射源的核素、剂量和伽玛射线能谱分析报告数据,并由伽玛能谱分析模块把放射源的核素、剂量和伽玛射线能谱分析报告数据保存到测量数据库;
e、退出定位测量模块,完成环境测量;
所述虚拟场景重建过程包括以下步骤:
f、启动虚拟重建模块,判断现场的虚拟场景是否存在,若存在,打开虚拟场景文件,进入步骤i;若不存在,进入步骤g;
g、导入环境三维模型,通过虚拟场景图模块导入建模软件创建好的环境三维模型;
h、导入环境特征对象和放射源信息,通过环境数据导入模块打开测量数据库,导入环境特征对象的三维模型、放射源的三维模型和放射源属性,获得初始虚拟场景;所述环境特征对象的三维模型由OGRE模块的三维图形渲染模块根据测量数据库中的环境特征对象的图像采集数据、空间位置和几何尺寸数据直接生成;所述放射源的三维模型和放射源属性由放射源数据融合模块根据放射源的图像信息、放射源的空间位置数据、几何尺寸数据、伽玛图像、核素、剂量、伽玛射线能谱分析报告数据关联在一起;所述放射源的三维模型由放射源数据融合模块利用OGRE模块的三维图像渲染模块根据放射源的图像信息、空间位置和几何尺寸数据生成;所述放射源属性包括放射源的几何形体、空间位置、伽玛图像、伽玛射线能谱分析报告、核素和剂量;所述放射源属性由放射源数据融合模块设置的放射源对象管理模块根据放射源的图像信息、空间位置数据、几何尺寸数据、伽玛图像、核素、剂量和伽玛射线能谱分析报告数据编辑生成;
i、编辑场景,根据步骤b和步骤c获得的环境特征对象的图像采集数据和放射源的图像信息判断是否需要对初始虚拟场景进行编辑,获得与环境测量过程匹配的虚拟场景;若需要编辑场景,根据环境特征对象的图像采集数据和放射源的图像信息,修改初始虚拟场景;若不需要编辑场景,进入步骤j;
j、保存场景、退出虚拟重建模块,将步骤i得到的虚拟场景以虚拟场景文件的形式保存到工作站中,并退出虚拟重建模块。
8.根据权利要求7所述的基于遥操作装置的核辐射环境虚拟重建方法,其特征在于:所述步骤c包括以下分步骤:
c1、启动伽玛成像模块,通过工作站启动伽玛成像模块;
c2、是否有放射源,通过伽玛图像采集设备观察核辐射环境,是否有放射源,若有放射源进入步骤c3;若没有放射源,继续通过伽玛相机观察核辐射环境;
c3、放射源定位测量,利用定位测量设备采集放射源所在特征物的图像信息和相对于定位测量设备几何中心的空间信息作为放射源的图像信息和相对于定位测量设备几何中心位置的空间位置数据;利用伽玛图像采集设备采集放射源的剂量分布信息,并将放射源的剂量分布信息处理成伽玛图像数据;并将放射源的伽玛图像数据、图像信息和放射源相对于定位测量设备几何中心的空间信息通过伽玛图像采集器、视频服务器和串口服务器传送给前端通信设备的交换机进行数据转换后通过通信线缆传送给后台通信设备;定位测量模块将从后台通信设备接收到放射源相对于定位测量设备几何中心的空间信息转换成放射源的空间位置和几何尺寸数据同接收到的放射源的图像信息保存到测量数据库中;伽玛成像模块将从后台通信设备接收到的伽玛图像数据以伽玛图像的形式显示出来,并将伽玛图像数据保存到测量数据库中;
c4、是否继续,根据图像采集单元观察到的核辐射环境,判断是否继续寻找放射源,若继续寻找放射源,返回步骤c2,寻找下一个放射源;若不继续寻找放射源,退出伽玛成像模块,进入步骤d。
9.根据权利要求8所述的基于遥操作装置的核辐射环境虚拟重建方法,其特征在于:所述步骤d包括以下分步骤:
d1、启动伽玛能谱分析模块,通过工作站启动伽玛能谱分析模块;
d2、能谱分析,利用伽玛能谱仪采集放射源的伽玛射线能谱信息并对采集的伽玛射线能谱信息进行信号处理,信号处理后得到的数据通过USB服务器传送给前端通信设备的交换机进行数据转换后通过通信线缆传送给后台通信设备;伽玛能谱分析模块将从后台通信设备接收到的伽玛射线能谱信息处理获取放射源的核素、剂量和伽玛射线能谱分析报告数据并保存到测量数据库中;
d3、是否继续,根据步骤c3放射源定位测量过程的记录判断是否继续对放射源进行能谱分析,若继续返回步骤d2;若不继续,退出伽玛能谱分析模块,进入步骤e。
CN201210182735.1A 2012-05-25 2012-05-25 基于遥操作装置的核辐射环境虚拟重建系统及方法 Expired - Fee Related CN102692637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210182735.1A CN102692637B (zh) 2012-05-25 2012-05-25 基于遥操作装置的核辐射环境虚拟重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210182735.1A CN102692637B (zh) 2012-05-25 2012-05-25 基于遥操作装置的核辐射环境虚拟重建系统及方法

Publications (2)

Publication Number Publication Date
CN102692637A CN102692637A (zh) 2012-09-26
CN102692637B true CN102692637B (zh) 2014-04-16

Family

ID=46858215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210182735.1A Expired - Fee Related CN102692637B (zh) 2012-05-25 2012-05-25 基于遥操作装置的核辐射环境虚拟重建系统及方法

Country Status (1)

Country Link
CN (1) CN102692637B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6214877B2 (ja) * 2013-01-28 2017-10-18 三菱重工業株式会社 放射性物質分布マップ作成システム及び放射性物質分布マップ作成方法
CN104360367B (zh) * 2014-10-29 2017-08-08 西南科技大学 一种核辐射剂量的防护方法及其防护系统
CN104460671B (zh) * 2014-11-12 2017-01-18 西南科技大学 三维空间中的放射源交叉定位方法及系统
CN104794085A (zh) * 2015-03-20 2015-07-22 北京华泰诺安科技有限公司 一种辐射数据实时上传装置
CN104932001B (zh) * 2015-07-08 2018-01-30 四川德马克机器人科技有限公司 一种实时3d核辐射环境重建监测系统
CN106020451B (zh) * 2016-05-10 2018-10-19 罗阳军 一种定位及动作识别系统
CN106483545B (zh) * 2016-09-14 2021-12-24 中国科学院高能物理研究所 放射源监控方法及系统
RU2640311C1 (ru) * 2016-12-09 2017-12-27 Российская Федерация, от имени которой выступает Государственная корпорация по атомной энергии "Росатом" Способ поиска и обнаружения источников гамма-излучения в условиях неравномерного радиоактивного загрязнения
CN107274484A (zh) * 2017-06-16 2017-10-20 西南科技大学 一种室内核辐射的四维信息重建装置及方法
CN107505624B (zh) * 2017-07-14 2020-11-13 兰州大学 一种采用高能光子进行复杂环境下精确测距的系统及方法
CN107643536A (zh) * 2017-09-13 2018-01-30 华南理工大学 一种辐射场可视化系统及其方法
CN107862736B (zh) * 2017-10-25 2021-08-03 广东核电合营有限公司 辐射场的三维动态显示方法和装置
CN108732607A (zh) * 2018-04-28 2018-11-02 中国工程物理研究院核物理与化学研究所 一种移动式放射性污染在线测量系统
CN110060356A (zh) * 2019-05-07 2019-07-26 谷东科技有限公司 一种基于虚拟现实技术的手术室辐射剂量显示方法及装置
CN110988956A (zh) * 2019-11-25 2020-04-10 中国辐射防护研究院 一种用于空间伽玛剂量率辐射场测量方法及测量装置
CN113989445B (zh) * 2021-12-29 2022-03-01 国网瑞嘉(天津)智能机器人有限公司 三维场景重建方法、装置、系统及计算机可读存储介质
CN114371494B (zh) * 2022-03-22 2022-06-24 西南科技大学 面向自主寻源机器人的放射源场景模拟方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2690896Y (zh) * 2003-09-03 2005-04-06 广州杰赛科技股份有限公司 数字化辐射巡测系统
JP2008026185A (ja) * 2006-07-21 2008-02-07 Tepco Systems Corp 放射線可視化システム
CN101377547A (zh) * 2008-09-28 2009-03-04 东南大学 基于遥操作移动机器人的核化污染检测方法
CN102233575A (zh) * 2010-04-23 2011-11-09 北京航空航天大学 一种用于核辐射环境下的小型应急救援及探测机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2690896Y (zh) * 2003-09-03 2005-04-06 广州杰赛科技股份有限公司 数字化辐射巡测系统
JP2008026185A (ja) * 2006-07-21 2008-02-07 Tepco Systems Corp 放射線可視化システム
CN101377547A (zh) * 2008-09-28 2009-03-04 东南大学 基于遥操作移动机器人的核化污染检测方法
CN102233575A (zh) * 2010-04-23 2011-11-09 北京航空航天大学 一种用于核辐射环境下的小型应急救援及探测机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王晓静.虚拟现实技术在核电站辐射防护中的应用研究.《中国优秀硕士学位论文全文数据库》.2010,
虚拟现实技术在核电站辐射防护中的应用研究;王晓静;《中国优秀硕士学位论文全文数据库》;20100401;1-45页 *

Also Published As

Publication number Publication date
CN102692637A (zh) 2012-09-26

Similar Documents

Publication Publication Date Title
CN102692637B (zh) 基于遥操作装置的核辐射环境虚拟重建系统及方法
CN110766798B (zh) 一种基于激光扫描数据的隧道监控量测成果可视化方法
CN103093663B (zh) 水电站三维精确建模及可视化仿真培训系统及其实施方法
CN104330074B (zh) 一种智能测绘平台及其实现方法
CN103021024A (zh) 用于对变电站中的电磁场进行三维可视化展示的方法
CN112254637B (zh) 一种基于多种融合数据的隧道开挖面扫描装置及检测方法
CN101950433A (zh) 利用激光三维扫描技术建立变电站真三维模型的方法
CN104006757A (zh) 焊接变形实时检测系统及其检测方法
CN109525192B (zh) 利用三维立体建模实现监控光伏电站的方法
CN109493420A (zh) 一种基于Unity3D的电厂三维可视化展示方法
CN111899332A (zh) 一种基于倾斜摄影测量技术的架空输电线路三维设计方法
CN109685893B (zh) 空间一体化建模方法及装置
CN109242980A (zh) 一种基于增强现实技术的隐蔽管道可视化系统和方法
CN103759713B (zh) 一种基于全景影像的危岩落石调查方法
CN110827406A (zh) 一种实现大水网隧洞快速三维重构方法
CN105678839A (zh) 基于计算机三维场景模拟技术的安防设备分布设计方法
CN109242979A (zh) 一种基于混合现实技术的隐蔽管道可视化系统和方法
KR20160019613A (ko) 지중 구조물의 3차원 모델링 장치 및 그 방법
Sato et al. A 3D radiation image display on a simple virtual reality system created using a game development platform
CN111915715A (zh) 一种架空输电线路可视化运行监控方法
Gurgel et al. New opportunities and challenges in surveying underground cavities using photogrammetric methods
Feng et al. An information processing method of software and hardware coupling for VR monitoring of hydraulic support groups
CN114972672A (zh) 输电线路实景三维模型构建方法、装置、设备和存储介质
Mu et al. Deformation detection of mine tunnel based on VSLAM 3D dense point cloud slice
Jurado et al. 3D underground reconstruction for real-time and collaborative virtual reality environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140416

Termination date: 20190525