CN101709954A - 一种基于机器视觉技术的架空线路覆冰在线监测装置 - Google Patents
一种基于机器视觉技术的架空线路覆冰在线监测装置 Download PDFInfo
- Publication number
- CN101709954A CN101709954A CN200910242628A CN200910242628A CN101709954A CN 101709954 A CN101709954 A CN 101709954A CN 200910242628 A CN200910242628 A CN 200910242628A CN 200910242628 A CN200910242628 A CN 200910242628A CN 101709954 A CN101709954 A CN 101709954A
- Authority
- CN
- China
- Prior art keywords
- image
- icing
- computer hardware
- thread
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明一种基于机器视觉技术的架空线路覆冰在线监测装置由硬件和软件两部分构成:该硬件分为下位机和上位机;下位机硬件包括基于DSP的控制及处理单元、图像采集单元、数据采集单元、数据存储单元、GPRS无线通讯单元及太阳能光伏电源单元;上位机硬件由监控中心服务器单元和GPRS无线通讯单元组成,上位机和下位机通过GPRS无线网络实现无线通讯。该软件也分为下位机和上位机;下位机软件负责驱动下位机硬件完成图像及数据采集,并根据采集到的图像计算和判断覆冰厚度、类型,驱动GPRS无线通讯单元将压缩后的图像和监测结果一起发送到上位机;上位机软件负责驱动上位机硬件完成GPRS无线通讯,并实现人机交互界面和监测信息管理。它实现了对覆冰灾害的全面监测。
Description
(一)技术领域:
本发明提供一种基于机器视觉技术的架空线路覆冰在线监测装置。该装置能够实时监测架空线路覆冰的厚度和密度,并对覆冰类型进行判断,从而实现对架空线路覆冰灾害的监测与预警。其中涉及机器视觉、数据采集、嵌入式图像处理和基于通用无线分组业务(GPRS)的无线通讯技术,GPRS无线通讯在装置硬件结构中对应GPRS无线通讯单元,在装置软件结构中对应GPRS无线通讯线程。该装置属于图像处理与监测类装置。
(二)背景技术:
我国幅员辽阔、地形多样,是覆冰灾害严重的国家之一。2008年初,我国南方地区的严重覆冰灾害造成了长时间大面积停电以及线路断线、杆塔倒塌等严重事故。由于覆冰灾害形成时天气条件恶劣,电力抢修工作进展缓慢,经济损失巨大。这次灾害反映出我国目前尚缺乏覆冰灾害监测与预警的有效手段,缺少有效的架空线路覆冰在线监测装置。
输电线路覆冰因气象条件不同而种类很多,其中主要有雨凇、混合凇、软雾凇和积雪等。覆冰厚度、类型和密度,是描述一次覆冰现象的重要参数。这些参数直观反映了覆冰害的性质和严重程度,一方面可以作为覆冰历史资料为线路设计或改造提供重要参考,另一方面也可以作为灾害预警和除冰研究的重要依据。覆冰参数受许多外界因素的影响。气象条件、海拔高度、线路走向、电压等级以及地形地貌等因素都会对覆冰造成影响,这也使得覆冰参数的观测极为困难。
目前,架空线路覆冰监测主要有以下三种方法。第一种方法是建立覆冰观测站。这种方法需要工作人员采集覆冰样品来实现对线路覆冰厚度、密度等参数的测量。人工测量方式虽然比较准确,但是自动化程度低、测量不便,因此不适合大规模使用。第二种方式是对线路的倾角、弧垂和气象信息等参数进行测量,根据公式推算出覆冰厚度。这种方法自动化程度高,但是由于架空线路覆冰机理复杂,影响因素众多,目前还没有准确描述覆冰厚度与倾角、弧垂、气象信息等参数之间关系的模型。近年来,随着数字技术和视频技术的发展,机器视觉技术逐渐应用到架空线路覆冰的监测上来。该方法通过摄像头采集覆冰图像并利用无线通讯将图像信息发送到监控中心的计算机上,监控中心的工作人员通过图像了解线路覆冰情况,并对灾害程度做出判断。这种方法简便直观,但只采集了覆冰图像,并没有对图像进行进一步分析,也没有提供覆冰厚度、密度等重要参数,覆冰灾害程度也需要工作人员通过图像做出判断,缺乏科学性。
针对以上问题,在第三种方法的基础上,提出一种基于机器视觉技术的架空线路覆冰在线监测装置。该装置可以实时采集覆冰线路图像和气象信息,一方面通过图像处理方法直接计算覆冰厚度并判断覆冰类型,另一方面利用已经计算出的覆冰厚度和温度、风速等气象信息推算覆冰密度,从而实现对覆冰灾害的全面监测。
(三)发明内容:
1、目的:本发明的目的是提供一种基于机器视觉技术的架空线路覆冰在线监测装置。该装置采用嵌入式设计,将图像采集、图像处理和GPRS无线通讯功能集成于一体,实现对架空线路覆冰厚度、密度的在线监测以及对覆冰类型的识别,并通过GPRS无线通讯方式将监测结果及覆冰图像发送到监控中心服务器。
2、技术方案:本发明一种基于机器视觉技术的架空线路覆冰在线监测装置由硬件和软件两大部分构成:硬件部分结构示意图如图1所示。该硬件结构包括下位机硬件和上位机硬件两部分。上位机硬件和下位机硬件通过GPRS无线网络实现无线通讯。相应的,该软件结构也分为下位机软件和上位机软件两部分。下位机硬件负责图像及数据的采集,并通过GPRS无线通讯方式将监测结果发送到上位机硬件;下位机软件负责驱动下位机硬件完成图像及气象数据采集,并根据采集到的图像直接计算覆冰厚度、判断覆冰类型。根据覆冰厚度和气象信息,下位机软件还可以进一步计算覆冰密度。最后下位机软件对覆冰图像进行压缩并驱动GPRS无线通讯单元将压缩后的图像和监测结果一起发送到上位机硬件。上位机硬件负责完成与下位机硬件的GPRS无线通讯并存储下位机硬件发送的监测信息;上位机软件负责驱动上位机硬件完成GPRS无线通讯,并实现人机交互界面和监测信息的管理。
(1)硬件结构:
该基于机器视觉技术的架空线路覆冰在线监测装置,其硬件结构包括下位机硬件和上位机硬件两大部分。
其中,下位机硬件由基于DSP的控制及处理单元、图像采集单元、数据采集单元、数据存储单元、GPRS无线通讯单元及太阳能光伏电源单元组成。图像采集单元、数据采集单元、数据存储单元、GPRS无线通讯单元及太阳能光伏电源单元分别与基于DSP的控制及处理单元相连接。基于DSP的控制及处理单元是下位机硬件的核心,它控制图像采集单元和数据采集单元分别采集覆冰图像和现场气象信息,并将数据存入数据存储单元。然后,基于DSP的控制及处理单元调用数据存储单元中的数据完成覆冰厚度、密度的计算和覆冰类型的识别。最后,所有监测结果通过GPRS无线通讯单元向上位机硬件发送。太阳能光伏电源单元为整个下位机硬件提供电源。
所述基于DSP的控制及处理单元由TMS320DM642DSP芯片构成。该芯片是专用于数字媒体应用的高性能32位定点DSP芯片,工作主频高达720MHz,处理能力可达5760MIPS,它是下位机硬件部分的核心,负责控制整个监测流程并处理采集到的图像和数据。
所述图像采集单元由CCD摄像头、TVP5150视频解码芯片、I2C总线接口和视频接口组成,CCD摄像头、I2C总线接口和视频接口分别与TVP5150视频解码芯片连接;负责采集图像,其结构如图2所示。CCD摄像头拍摄覆冰线路图像并输出PAL格式的视频信号给TVP5150视频解码芯片。TVP5150视频解码芯片对PAL格式信号进行解码转换,输出YUV4:2:2格式的数字色差信号供DSP采集。TVP5150视频解码芯片通过I2C总线接口和视频接口和基于DSP的控制及处理单元连接,其中I2C总线接口实现对TVP5150视频解码芯片的配置,视频接口采集TVP5150视频解码芯片输出的YUV4:2:2格式的数字色差信号。
所述数据采集单元由模数转换器AD7490芯片、数字I/O接口(输入输出接口)、信号调理电路及气象传感器(包括模拟量和数字量气象传感器)组成,模拟量气象传感器与信号调理电路相连接,信号调理电路与模数转换器AD7490芯片相连接;数字量气象传感器与信号调理电路相连接,信号调理电路与数字I/O接口相连接;负责采集模拟量输出或数字量输出的气象传感器信号,其结构如图3所示。信号调理电路对模拟量传感器和数字量传感器输出的模拟和数字信号进行调理和滤波,AD7490芯片和数字I/O接口则分别采集调理后的模拟信号和数字信号。AD7490芯片为16路12位精度的模数转换芯片,数字I/O接口采用DSP芯片上的16个数字I/O接口。所用气象传感器包括:DS18b20温度传感器、NZ100SX风速风向传感器、DMT142湿度传感器。
所述数据存储单元由两片SDRAM芯片、一片FLASH芯片以及外部存储器接口组成,SDRAM芯片和FLASH芯片通过地址总线和数据总线与外部存储器接口连接。数据存储单元结构如图4所示。SDRAM芯片采用2片Micron公司的MT48LC4M32B2B5-7SDRAM芯片,存储容量达到256兆位,用来存储数据和实现上电后的应用程序加载。FLASH芯片采用AMD公司的AM29LV800B FLASH芯片,存储容量达到32兆位,用来固化bootloader引导程序和应用程序。两片MT48LC4M32B2B5-7SDRAM芯片和一片AM29LV800B FLASH芯片通过地址总线和数据总线与外部存储器接口连接。基于DSP的控制及处理单元通过外部存储器接口实现数据的读写。
所述GPRS无线通讯单元采用LQ8110无线模块,它负责和上位机硬件实现GPRS无线通讯;
所述太阳能光伏电源单元由太阳能电池板、SM-PL2020型充放电控制器和蓄电池组成,太阳能电池板和SM-PL2020型充放电控制器连接,SM-PL2020型充放电控制器和蓄电池连接。太阳能光伏电源单元为下位机硬件设备供电并在充放电控制器的控制下为蓄电池充电。在没有光照时,蓄电池放电为系统提供电源。
其中,上位机硬件由监控中心服务器单元和GPRS无线通讯单元组成。它们之间采用串口连接。该上位机硬件的GPRS无线通讯单元由LQ8110无线模块组成,它用于和下位机硬件的GPRS无线通讯单元进行通讯。该监控中心服务器单元采用普通的计算机,它用来存储、显示并管理监测到的信息。GPRS无线网络采用星型连接组网,即多个下位机硬件位于不同地点分别对架空线路覆冰进行监测,各个下位机硬件分别向监控中心的GPRS无线通讯单元发送监测数据。监控中心可实现对多个下位机硬件的远程配置和数据接收。
整个装置的工作过程是:当登陆上位机软件后,上位机软件首先根据默认配置或工作人员的设定向指定编号的下位机软件发送图像采集时间间隔、JPEG(一种图像压缩格式)图像压缩质量因数等控制参数,完成对下位机硬件的远程配置。然后,下位机硬件中的基于DSP的控制及处理单元控制图像采集单元和数据采集单元采集覆冰图像和现场气象信息,并将数据存储在数据存储单元中。基于DSP的控制及处理单元调用数据存储单元的数据进行图像处理和相关参数的计算。最后将处理结果通过GPRS无线通讯单元发送至监控中心的服务器。
(2)软件结构:
该基于机器视觉技术的架空线路覆冰在线监测装置的软件结构,包括下位机软件和上位机软件两个部分。
下位机软件程序是DSP芯片的控制及处理程序,负责控制下位机硬件实现图像采集、图像处理以及GPRS无线通讯。下位机软件在CCS2.0编译环境下编写,采用RF5参考框架,通过DSP/BIOS操作系统将底层硬件及其驱动完全抽象起来,从而提高程序的重用性和可移植性。DSP/BIOS是一个准实时操作系统,为嵌入式开发和应用提供了基本的运行服务。RF5参考框架是一种使用DSP/BIOS内核的通用初始化代码。针对具体的应用程序,用户可以修改RF5参考框架的配置迅速构建应用程序,从而加快程序开发进度。基于DSP/BIOS和RF5参考框架的下位机程序分为4个线程,分别是控制线程、图像及数据采集线程、图像处理线程和GPRS无线通讯线程。各线程间的关系如下:GPRS无线通讯线程接收上位机软件发送的控制参数并传递给控制线程。控制线程根据这些控制参数配置图像及数据采集线程和图像处理线程。图像处理线程处理来自图像及数据采集线程的数据,并将处理结果发送到GPRS无线通讯线程。GPRS无线通讯线程将接收到的处理结果通过GPRS无线网络发送给上位机硬件。各线程间的同步通讯采用SCOM(同步通讯机制)来完成。各线程之间的结构关系如图5所示。
所述控制线程负责完成程序基本参数的设置,如图像采集时间间隔、JPEG图像压缩品质因数等等。上位机软件可以通过GPRS无线通讯向下位机软件传递控制参数,下位机软件的GPRS无线通讯线程接收来自上位机软件的控制参数,并把控制参数传递给控制线程,由控制线程来实现下位机硬件参数的配置。
所述图像及数据采集线程负责完成两方面功能。一是初始化视频解码芯片,驱动DSP的视频接口采集解码后的视频数据流,并将图像数据存储于SDRAM芯片中,供图像处理线程使用。二是配置模数转换器和数字I/O接口,采集气象信息并将数据存储于SDRAM芯片中。
所述图像处理线程是装置的软件核心。该线程负责完成图像的处理、覆冰厚度及密度计算、覆冰类型判别以及图像JPEG压缩。该部分的软件处理流程图如图6所示。首先对原始图像进行预处理,即对图像进行滤波和增强,达到去除噪声和增强图像有用部分信息的目的。接下来采用基于HSI颜色模型的彩色图像边缘提取算法对图像进行边缘提取,提取导线覆冰的边缘并计算覆冰图像宽度所占据的像素数ΔN。由于d=K×ΔN,其中d是被测物体尺寸,K是摄像机像素间距与实际物体尺寸的比例关系,该系数可以通过对摄像机进行预先标定而获得。利用这一关系即可计算出覆冰后导线的宽度d和冰的厚度h(h=(d-2r)/2,其中h为覆冰厚度,r为架空线路导线半径)。根据预先设定的阈值,程序判断覆冰厚度是否超标,如果超过标准发送报警信息。覆冰密度计算采用Jones模型,该模型描述了覆冰密度、厚度和温度、风速等气象因素之间的关系,可以通过覆冰厚度和采集到的气象信息计算覆冰密度。雨凇、混合凇、软雾凇和积雪等不同的覆冰类型具有不用的外形特点。根据这一特征,覆冰类型识别程序根据覆冰图像的形状特点,采用形状匹配算法实现对覆冰的类型判别。最后,为了减少GPRS无线通讯的数据量,对采集到的图像进行JPEG图像压缩。
所述GPRS无线通讯线程具有两项功能。一是负责向上位机硬件发送JPEG压缩后的图像和覆冰厚度、密度的计算结果以及覆冰类型的判定结果。二是负责接收上位机软件发送到下位机软件的控制参数,并把参数传递给控制线程来实现下位机硬件的配置。
上位机软件采用VC++6.0编写并利用SQL Server 2000开发后台数据库,上位机软件结构如图7所示。人机交互部分负责图像及数据的显示并提供控制参数设置窗口,实现工作人员和装置的交互。GPRS无线通讯部分负责驱动GPRS无线通讯单元工作,实现数据的无线发送和接收。数据库部分存储监测信息,并实现管理与查询等功能。上位机软件的工作流程是:在管理人员登陆后首先和指定编号的下位机硬件进行无线连接,并向下位机软件发送管理人员设定的控制参数,对下位机硬件进行远程配置;然后,下位机软件将采集到的图像和计算结果通过GPRS无线网络发送到上位机硬件,上位机软件将接收到的图像和计算结果进行显示并将信息保存入数据库。下位机软件可以根据控制参数设定的时间间隔定时向上位机硬件发送数据,从而实现对架空线路覆冰的在线监测。
3、优点及功效:
本发明一种基于机器视觉技术的架空线路覆冰在线监测装置,其优点和有益效果如下:
1.装置采用机器视觉技术和嵌入式图像处理技术实现了覆冰厚度的直接测量,方法简单可靠;
2.装置在覆冰厚度测量的基础上结合气象信息和图像处理技术,实现覆冰密度计算和覆冰类型判断;
3.装置自动化程度高,实现了对覆冰灾害的无人实时在线监测;
4.装置通过GPRS无线网络组网,可以实现多对一的通讯。多台下位机可以分布于不同地理位置,并将覆冰信息向监控中心发送,从而实现分布式监控。
(四)附图说明:
图1本发明硬件结构方框示意图
图2本发明图像采集单元结构图
图3本发明数据采集单元结构图
图4本发明数据存储单元结构图
图5本发明下位机软件结构示意图
图6本发明图像处理线程软件流程示意图
图7本发明上位机软件结构示意图
(五)具体实施方式
一种基于机器视觉技术的架空线路覆冰在线监测装置的硬件结构可以分为下位机硬件和上位机硬件两大部分。硬件部分结构示意图如图1所示。其中下位机硬件由基于DSP的控制及处理单元、图像采集单元、数据采集单元、数据存储单元、GPRS无线通信单元及太阳能光伏电源单元组成。图像采集单元、数据采集单元、数据存储单元、GPRS无线通讯单元及太阳能光伏电源单元分别与基于DSP的控制及处理单元相连接。上位机硬件由监控中心服务器单元和GPRS无线通讯单元组成,它们之间采用串口连接。
所述基于DSP的控制及处理单元由TMS320DM642DSP芯片构成,该芯片是专用于数字媒体应用的高性能32位定点DSP芯片,工作主频高达720MHz,处理能力可达5760MIPS,并具有3个可比配置的视频接口,可以采集多种格式的视频数据。
所述图像采集单元由CCD摄像头、TVP5150视频解码芯片、I2C总线接口和视频接口组成,CCD摄像头、I2C总线接口和视频接口分别与TVP5150视频解码芯片连接;负责采集图像,其结构如图2所示。CCD摄像头拍摄覆冰线路图像并输出PAL格式的视频信号给TVP5150视频解码芯片。TVP5150视频解码芯片对PAL格式信号进行解码转换,输出YUV4:2:2格式的数字色差信号供DSP采集。TVP5150视频解码芯片通过I2C总线接口和视频接口和基于DSP的控制及处理单元连接,其中I2C总线接口实现对TVP5150视频解码芯片的配置,视频接口采集TVP5150视频解码芯片输出的YUV4:2:2格式的数字色差信号。
所述数据采集单元由模数转换器AD7490芯片、数字I/O接口(输入输出接口)、信号调理电路及气象传感器(包括模拟量和数字量气象传感器)组成,模拟量气象传感器与信号调理电路相连接,信号调理电路与模数转换器AD7490芯片相连接;数字量气象传感器与信号调理电路相连接,信号调理电路与数字I/O接口相连接;负责采集模拟量输出或数字量输出的气象传感器信号,其结构如图3所示。信号调理电路对模拟量传感器和数字量传感器输出的模拟和数字信号进行调理和滤波,AD7490芯片和数字I/O接口则分别采集调理后的模拟信号和数字信号。AD7490芯片为16路12位精度的模数转换芯片,数字I/O接口采用DSP芯片上的16个数字I/O接口。所用气象传感器包括:DS18b20温度传感器、NZ100SX风速风向传感器、DMT142湿度传感器。
所述数据存储单元由两片SDRAM芯片、一片FLASH芯片以及外部存储器接口组成,SDRAM芯片和FLASH芯片通过地址总线和数据总线与外部存储器接口连接。数据存储单元结构如图4所示。SDRAM芯片采用2片Micron公司的MT48LC4M32B2B5-7SDRAM芯片,存储容量达到256兆位,用来存储数据和实现上电后的应用程序加载。FLASH芯片采用AMD公司的AM29LV800B FLASH芯片,存储容量达到32兆位,用来固化bootloader引导程序和应用程序。两片MT48LC4M32B2B5-7SDRAM芯片和一片AM29LV800B FLASH芯片通过地址总线和数据总线与外部存储器接口连接。基于DSP的控制及处理单元通过外部存储器接口实现数据的读写。
所述GPRS无线通讯单元采用LQ8110GPRS无线模块。该模块是基于中国移动通讯运营商的GPRS通信网络的数据传输和远程监控终端设备。模块内置TCP/IP协议,采用串口和DSP芯片连接实现双向全透明的数据传输。
所述太阳能光伏电源单元由太阳能电池板、SM-PL2020型充放电控制器和蓄电池组成,太阳能电池板和SM-PL2020型充放电控制器连接,SM-PL2020型充放电控制器和蓄电池连接。太阳能光伏电源单元为下位机硬件供电并在充放电控制器的控制下为蓄电池充电。在没有光照时,蓄电池放电为系统提供电源。
所述上位机监控中心服务器单元采用普通计算机实现,负责存储、显示和管理监测数据。监控中心工作人员可以通过上位机软件进行人机交互实现对监测参数的分析和管理。
所述上位机GPRS无线通讯单元,采用和下位机同样的LQ8110GPRS无线模块,负责向下位机软件发送控制参数和接收下位机发送的监测信息。无线网络采用星型组网,实现多个下位机硬件和一台监控中心服务器的通讯。
基于机器视觉技术的架空线路覆冰在线监测装置的软件设计分为下位机软件和上位机软件两个部分。
下位机软件是DSP芯片的控制及处理程序,负责控制下位机的硬件实现图像采集、图像处理以及GPRS无线通讯。下位机软件在CCS2.0编译环境下用C语言编写。该程序的设计基于DSP/BIOS操作系统和RF5参考框架,可为4个线程,分别是控制线程、图像及数据采集线程、图像处理线程和GPRS无线通讯线程。各线程间的关系如下:GPRS无线通讯线程接收上位机软件发送的控制参数并传递给控制线程。控制线程根据这些控制参数配置图像及数据采集线程和图像处理线程。图像处理线程处理来自图像及数据采集线程的数据,并将处理结果发送到GPRS无线通讯线程。GPRS无线通讯线程将接收到的处理结果通过GPRS无线网络发送给上位机硬件。各线程间的同步通讯采用SCOM(同步通讯机制)来完成,各线程间的结构关系如图5所示。
所述控制线程负责完成程序基本参数的设置,如图像采集时间间隔、JPEG图像压缩品质因数等。上位机软件可以通过GPRS无线通讯向下位机软件传递控制参数,下位机软件的GPRS无线通讯线程接收来自上位机软件的控制参数,并把控制参数传递给控制线程,由控制线程来实现下位机硬件参数的配置。
所述图像及数据采集线程负责完成两方面功能。一是初始化视频解码芯片,驱动DSP的视频接口采集解码后的视频数据流,并将图像数据存储于SDRAM芯片中,供图像处理线程使用。二是配置模数转换器和数字I/O接口,采集气象信息并将数据存储于SDRAM芯片中。
所述图像处理线程是装置的软件核心。该线程负责完成图像的处理、覆冰厚度及密度计算、覆冰类型判别以及图像JPEG压缩。该部分的软件处理流程图如图6所示。首先对原始图像进行预处理,即对图像进行滤波和增强,达到去除噪声和增强图像有用部分信息的目的。接下来采用基于HSI颜色模型的彩色图像边缘提取算法,提取导线覆冰的边缘并计算覆冰图像宽度所占据的像素数,并根据摄像机像素间距与实际物体尺寸的比例关系计算覆冰厚度。程序根据设定的阈值判断覆冰厚度是否超标,如果超过标准发送报警信息。覆冰密度计算采用Jones模型,该模型描述了覆冰密度、厚度和气象因素之间的关系,可以通过覆冰厚度和采集到的气象信息计算覆冰密度。根据不同类型覆冰的特征,程序根据覆冰图像的形状特点,采用形状匹配算法实现对覆冰的类型判别。最后,为了减少GPRS无线通讯的数据量,对采集到的图像进行JPEG图像压缩。
所述GPRS无线通讯线程具有两项功能。一是负责向上位机硬件发送JPEG压缩后的图像和覆冰厚度、密度的计算结果以及覆冰类型的判定结果。二是负责接收上位机软件发送到下位机软件的控制参数,并把参数传递给控制线程来实现下位机硬件的配置。
上位机软件采用VC++6.0编写并利用SQL Server 2000开发后台数据库,上位机软件结构如图7所示。人机交互部分实现图像及数据的显示并提供控制参数设置窗口,实现工作人员和装置的交互。GPRS无线通讯部分负责驱动GPRS无线通讯单元工作,实现数据的无线发送和接收。数据库部分利用SQL Server 2000开发,实现监测信息的存储、管理与查询等功能。上位机软件的工作流程是:在管理人员登陆后首先和指定编号的下位机硬件进行无线连接,并向下位机软件发送管理人员设定的控制参数,对下位机硬件进行远程配置;然后,下位机软件将采集到的图像和计算结果通过GPRS无线网络发送到上位机硬件,上位机软件将接收到的图像和计算结果进行显示并将信息保存入数据库。下位机软件可以根据控制参数设定的时间间隔定时向上位机硬件发送数据,从而实现对架空线路覆冰的在线监测
Claims (6)
1.一种基于机器视觉技术的架空线路覆冰在线监测装置,其特征在于:该装置由硬件和软件两大部分构成,该硬件结构包括下位机硬件和上位机硬件两部分;上位机硬件和下位机硬件通过GPRS无线网络实现无线通讯;相应的,该软件结构也分为下位机软件和上位机软件两部分;下位机硬件负责图像及数据的采集,并通过GPRS无线通讯方式将监测结果发送到上位机硬件;下位机软件负责驱动下位机硬件完成图像及气象数据采集,并根据采集到的图像直接计算覆冰厚度、判断覆冰类型;根据覆冰厚度和气象信息,下位机软件还可以进一步计算覆冰密度;最后下位机软件对覆冰图像进行压缩并驱动GPRS无线通讯单元将压缩后的图像和监测结果一起发送到上位机硬件;上位机硬件负责完成与下位机硬件的GPRS无线通讯并存储下位机硬件发送的监测信息;上位机软件负责驱动上位机硬件完成GPRS无线通讯,并实现人机交互界面和监测信息的管理;
(1)硬件结构:
该基于机器视觉技术的架空线路覆冰在线监测装置,其硬件结构包括下位机硬件和上位机硬件两大部分;
其中,下位机硬件由基于DSP的控制及处理单元、图像采集单元、数据采集单元、数据存储单元、GPRS无线通讯单元及太阳能光伏电源单元组成;图像采集单元、数据采集单元、数据存储单元、GPRS无线通讯单元及太阳能光伏电源单元分别与基于DSP的控制及处理单元相连接;基于DSP的控制及处理单元是下位机硬件的核心,它控制图像采集单元和数据采集单元分别采集覆冰图像和现场气象信息,并将数据存入数据存储单元;然后,基于DSP的控制及处理单元调用数据存储单元中的数据完成覆冰厚度、密度的计算和覆冰类型的识别;最后,所有监测结果通过GPRS无线通讯单元向上位机硬件发送;太阳能光伏电源单元为整个下位机硬件提供电源;
所述基于DSP的控制及处理单元由TMS320DM642DSP芯片构成;该芯片负责控制整个监测流程并处理采集到的图像和数据;
所述图像采集单元由CCD摄像头、TVP5150视频解码芯片、I2C总线接口和视频接口组成,CCD摄像头、I2C总线接口和视频接口分别与TVP5150视频解码芯片连接;它负责采集图像;CCD摄像头拍摄覆冰线路图像并输出PAL格式的视频信号给TVP5150;TVP5150对PAL格式信号进行解码转换,输出YUV4:2:2格式的数字色差信号供DSP采集;TVP5150视频解码芯片通过I2C总线接口和视频接口和基于DSP的控制及处理单元连接,其中I2C总线接口实现对TVP5150视频解码芯片的配置,视频接口采集TVP5150视频解码芯片输出的YUV4:2:2格式的数字色差信号;
所述数据采集单元由模数转换器AD7490芯片、数字I/O接口、信号调理电路及气象传感器组成,模拟量气象传感器与信号调理电路相连接,信号调理电路与模数转换器AD7490芯片相连接;数字量气象传感器与信号调理电路相连接,信号调理电路与数字I/O接口相连接;负责采集模拟量输出或数字量输出的气象传感器信号;信号调理电路对模拟量传感器和数字量传感器输出的模拟和数字信号进行调理和滤波,AD7490芯片和数字I/O接口则分别采集调理后的模拟信号和数字信号;
所述数据存储单元由两片SDRAM芯片、一片FLASH芯片以及外部存储器接口组成,SDRAM芯片和FLASH芯片通过地址总线和数据总线与外部存储器接口连接;SDRAM采用2片芯片,用来存储数据和实现上电后的应用程序加载;FLASH芯片用来固化bootloader引导程序和应用程序;两片SDRAM芯片和一片FLASH芯片通过地址总线和数据总线与外部存储器接口连接;基于DSP的控制及处理单元通过外部存储器接口实现数据的读写;
所述GPRS无线通讯单元采用LQ8110无线模块,它负责和上位机硬件实现GPRS无线通讯;
所述太阳能光伏电源单元由太阳能电池板、SM-PL2020型充放电控制器和蓄电池组成;太阳能电池板和SM-PL2020型充放电控制器连接,SM-PL2020型充放电控制器和蓄电池连接;太阳能光伏电源单元为下位机硬件设备供电并在充放电控制器的控制下为蓄电池充电;在没有光照时,蓄电池放电为系统提供电源;
其中,上位机硬件由监控中心服务器单元和GPRS无线通讯单元组成,它们之间采用串口连接;该上位机硬件的GPRS无线通讯单元由LQ8110无线模块组成,它用于和下位机硬件的GPRS无线通讯单元进行通讯;该监控中心服务器单元采用普通的计算机,它用来存储、显示并管理监测到的信息;GPRS无线网络采用星型连接组网,即多个下位机硬件位于不同地点分别对架空线路覆冰进行监测,各个下位机硬件分别向监控中心的GPRS无线通讯单元发送监测数据;监控中心实现对多个下位机硬件的远程配置和数据接收;
整个装置的工作过程是:当登陆上位机软件后,上位机软件首先根据默认配置或工作人员的设定向指定编号的下位机软件发送图像采集时间间隔、JPEG图像压缩质量因数等控制参数,完成对下位机硬件的远程配置;然后,下位机硬件中的基于DSP的控制及处理单元控制图像采集单元和数据采集单元采集覆冰图像和现场气象信息,并将数据存储在数据存储单元中;基于DSP的控制及处理单元调用数据存储单元的数据进行图像处理和相关参数的计算;最后将处理结果通过GPRS无线通讯单元发送至监控中心的服务器;
(2)软件结构:
该基于机器视觉技术的架空线路覆冰在线监测装置的软件结构,包括下位机软件和上位机软件两个部分;
下位机软件程序是DSP芯片的控制及处理程序,负责控制下位机硬件实现图像采集、图像处理以及GPRS无线通讯;下位机软件在CCS2.0编译环境下编写,采用RF5参考框架,通过DSP/BIOS操作系统将底层硬件及其驱动完全抽象起来,从而提高程序的重用性和可移植性;DSP/BIOS是一个准实时操作系统,为嵌入式开发和应用提供了基本的运行服务;RF5参考框架是一种使用DSP/BIOS内核的通用初始化代码;针对具体的应用程序,用户可以修改RF5参考框架的配置迅速构建应用程序,从而加快程序开发进度;基于DSP/BIOS和RF5参考框架的下位机程序分为4个线程,分别是控制线程、图像及数据采集线程、图像处理线程和GPRS无线通讯线程,各线程间的关系如下:GPRS无线通讯线程接收上位机软件发送的控制参数并传递给控制线程,控制线程根据这些控制参数配置图像及数据采集线程和图像处理线程,图像处理线程处理来自图像及数据采集线程的数据,并将处理结果发送到GPRS无线通讯线程;GPRS无线通讯线程将接收到的处理结果通过GPRS无线网络发送给上位机硬件;各线程间的同步通讯采用SCOM即同步通讯机制来完成;
所述控制线程负责完成程序基本参数的设置,上位机软件通过GPRS无线通讯向下位机软件传递控制参数,下位机软件的GPRS无线通讯线程接收来自上位机软件的控制参数,并把控制参数传递给控制线程,由控制线程来实现下位机硬件参数的配置;
所述图像及数据采集线程负责完成两方面功能,一是初始化视频解码芯片,驱动DSP的视频接口采集解码后的视频数据流,并将图像数据存储于SDRAM芯片中,供图像处理线程使用,二是配置模数转换器和数字I/O接口,采集气象信息并将数据存储于SDRAM芯片中;
所述图像处理线程是装置的软件核心,该线程负责完成图像的处理、覆冰厚度及密度计算、覆冰类型判别以及图像JPEG压缩;首先对原始图像进行预处理,即对图像进行滤波和增强,达到去除噪声和增强图像有用部分信息的目的;接下来采用基于HSI颜色模型的彩色图像边缘提取算法对图像进行边缘提取,提取导线覆冰的边缘并计算覆冰图像宽度所占据的像素数ΔN;由于d=K×ΔN,其中d是被测物体尺寸,K是摄像机像素间距与实际物体尺寸的比例关系,该系数通过对摄像机进行预先标定而获得;利用这一关系即可计算出覆冰后导线的宽度d和冰的厚度h,该h=(d-2r)/2,其中h为覆冰厚度,r为架空线路导线半径;根据预先设定的阈值,程序判断覆冰厚度是否超标,如果超过标准发送报警信息;覆冰密度计算采用Jones模型,该模型描述了覆冰密度、厚度和温度、风速等气象因素之间的关系,可以通过覆冰厚度和采集到的气象信息计算覆冰密度;雨凇、混合凇、软雾凇和积雪不同的覆冰类型具有不用的外形特点;根据这一特征,覆冰类型识别程序根据覆冰图像的形状特点,采用形状匹配算法实现对覆冰的类型判别;最后,为了减少GPRS无线通讯的数据量,对采集到的图像进行JPEG图像压缩;
所述GPRS无线通讯线程具有两项功能,一是负责向上位机硬件发送JPEG压缩后的图像和覆冰厚度、密度的计算结果以及覆冰类型的判定结果,二是负责接收上位机软件发送到下位机软件的控制参数,并把参数传递给控制线程来实现下位机硬件的配置;
该上位机软件采用VC++6.0编写并利用SQL Server 2000开发后台数据库;人机交互部分负责图像及数据的显示并提供控制参数设置窗口,实现工作人员和装置的交互;GPRS无线通讯部分负责驱动GPRS无线通讯单元工作,实现数据的无线发送和接收。数据库部分存储监测信息,并实现管理与查询功能;该上位机软件的工作流程是:在管理人员登陆后首先和指定编号的下位机硬件进行无线连接,并向下位机软件发送管理人员设定的控制参数,对下位机硬件进行远程配置;然后,下位机软件将采集到的图像和计算结果通过GPRS无线网络发送到上位机硬件,上位机软件将接收到的图像和计算结果进行显示并将信息保存入数据库;该下位机软件根据控制参数设定的时间间隔定时向上位机硬件发送数据,从而实现对架空线路覆冰的在线监测。
2.根据权利要求1所述的一种基于机器视觉技术的架空线路覆冰在线监测装置,其特征在于:所述数据采集单元中的模数转换器AD7490芯片为16路12位精度的模数转换芯片。
3.根据权利要求1所述的一种基于机器视觉技术的架空线路覆冰在线监测装置,其特征在于:所述数据采集单元中的数字I/O接口采用DSP芯片上的16个数字I/O接口。
4.根据权利要求1所述的一种基于机器视觉技术的架空线路覆冰在线监测装置,其特征在于:所述数据采集单元中的气象传感器包括:DS18b20温度传感器、NZ100SX风速风向传感器和DMT142湿度传感器。
5.根据权利要求1所述的一种基于机器视觉技术的架空线路覆冰在线监测装置,其特征在于:所述数据存储单元中的SDRAM芯片采用Micron公司的MT48LC4M32B2B5-7SDRAM芯片。
6.根据权利要求1所述的一种基于机器视觉技术的架空线路覆冰在线监测装置,其特征在于:所述数据存储单元中的FLASH芯片采用采用AMD公司的AM29LV800B芯片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102426281A CN101709954B (zh) | 2009-12-11 | 2009-12-11 | 一种基于机器视觉技术的架空线路覆冰在线监测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102426281A CN101709954B (zh) | 2009-12-11 | 2009-12-11 | 一种基于机器视觉技术的架空线路覆冰在线监测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101709954A true CN101709954A (zh) | 2010-05-19 |
CN101709954B CN101709954B (zh) | 2011-11-16 |
Family
ID=42402752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009102426281A Expired - Fee Related CN101709954B (zh) | 2009-12-11 | 2009-12-11 | 一种基于机器视觉技术的架空线路覆冰在线监测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101709954B (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101931270A (zh) * | 2010-07-08 | 2010-12-29 | 吕强 | 一种输电线路防护方法和系统 |
CN102215269A (zh) * | 2011-07-15 | 2011-10-12 | 青岛乾程电子科技有限公司 | 一种采用结构化查询语言实现配电终端远程配置的方法 |
CN102252623A (zh) * | 2011-06-24 | 2011-11-23 | 西安工程大学 | 基于视频差异分析的输电线路导/地线覆冰厚度测量方法 |
CN102288145A (zh) * | 2011-07-18 | 2011-12-21 | 航天科工深圳(集团)有限公司 | 架空输电线路覆冰厚度监测系统及方法 |
CN102437533A (zh) * | 2011-09-20 | 2012-05-02 | 湖南省汇粹电力科技有限公司 | 一种高寒大雾灾情监测装置 |
CN102445156A (zh) * | 2011-09-29 | 2012-05-09 | 航天科工深圳(集团)有限公司 | 基于激光着色的架空输电线路覆冰厚度监测方法和系统 |
CN102685471A (zh) * | 2011-03-08 | 2012-09-19 | 上海桥茵自动化设备有限公司 | 一种太阳能无线视频服务器 |
CN104567780A (zh) * | 2014-12-31 | 2015-04-29 | 国网河南省电力公司电力科学研究院 | 绝缘子覆冰厚度在线测量系统快速标定装置和标定方法 |
CN104713488A (zh) * | 2015-03-26 | 2015-06-17 | 天津大学 | 一种光学冰厚观测筒 |
CN106197294A (zh) * | 2016-06-29 | 2016-12-07 | 华中科技大学 | 一种基于光学的架空输电线覆冰厚度监测装置及方法 |
CN106468657A (zh) * | 2015-08-20 | 2017-03-01 | 陕西千山航空电子有限责任公司 | 一种机场气象监测系统 |
CN106568388A (zh) * | 2016-10-28 | 2017-04-19 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 一种基于高清图像的输电线路覆冰厚度计算方法及系统 |
CN107861506A (zh) * | 2017-09-30 | 2018-03-30 | 深圳市艾特智能科技有限公司 | 机器人通讯方法、系统、可读存储介质及机器人 |
CN109684905A (zh) * | 2017-12-19 | 2019-04-26 | 云南电网有限责任公司昭通供电局 | 基于图像辨识的架空导线的覆冰质量检测的方法 |
CN109751988A (zh) * | 2019-02-14 | 2019-05-14 | 重庆融创视讯科技有限公司 | 一种基于裸眼3d技术的道路实时冰雪自动监测分析传感器 |
CN109902647A (zh) * | 2019-03-08 | 2019-06-18 | 成都国铁电气设备有限公司 | 一种便携式在线鸟巢智能识别方法及系统 |
CN111028453A (zh) * | 2019-12-23 | 2020-04-17 | 宜科(天津)电子有限公司 | 一种基于物联网技术的监测识别方法及系统 |
CN111637839A (zh) * | 2020-06-01 | 2020-09-08 | 中国南方电网有限责任公司超高压输电公司昆明局 | 数字化覆冰厚度测量装置及测量方法 |
CN111653081A (zh) * | 2020-06-11 | 2020-09-11 | 安徽徽远成电气科技股份有限公司 | 一种输电线路监测系统 |
CN112540586A (zh) * | 2020-12-07 | 2021-03-23 | 青岛理工大学 | 一种基于星型网络的分布式声振主动控制系统 |
CN116105614A (zh) * | 2023-04-10 | 2023-05-12 | 中国空气动力研究与发展中心低速空气动力研究所 | 基于光纤结冰传感器探测冰厚的方法、传感器、介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000028448A (ja) * | 1998-07-14 | 2000-01-28 | Furukawa Electric Co Ltd:The | 送配電線荷重監視システム |
CN101127153A (zh) * | 2007-08-03 | 2008-02-20 | 湖南省电力公司试验研究院 | 输电线路灾情监测系统 |
CN101430195B (zh) * | 2008-12-19 | 2010-08-18 | 华北电力大学 | 一种利用视频图像处理技术计算输电线路覆冰厚度的方法 |
CN101586971A (zh) * | 2009-06-19 | 2009-11-25 | 国网电力科学研究院武汉南瑞有限责任公司 | 输电线路覆冰预警及动态增容系统的在线监测装置 |
-
2009
- 2009-12-11 CN CN2009102426281A patent/CN101709954B/zh not_active Expired - Fee Related
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101931270A (zh) * | 2010-07-08 | 2010-12-29 | 吕强 | 一种输电线路防护方法和系统 |
CN102685471A (zh) * | 2011-03-08 | 2012-09-19 | 上海桥茵自动化设备有限公司 | 一种太阳能无线视频服务器 |
CN102685471B (zh) * | 2011-03-08 | 2014-12-17 | 上海桥茵自动化设备有限公司 | 一种太阳能无线视频服务器 |
CN102252623A (zh) * | 2011-06-24 | 2011-11-23 | 西安工程大学 | 基于视频差异分析的输电线路导/地线覆冰厚度测量方法 |
CN102252623B (zh) * | 2011-06-24 | 2013-03-06 | 西安工程大学 | 基于视频差异分析的输电线路导/地线覆冰厚度测量方法 |
CN102215269A (zh) * | 2011-07-15 | 2011-10-12 | 青岛乾程电子科技有限公司 | 一种采用结构化查询语言实现配电终端远程配置的方法 |
CN102288145A (zh) * | 2011-07-18 | 2011-12-21 | 航天科工深圳(集团)有限公司 | 架空输电线路覆冰厚度监测系统及方法 |
CN102437533A (zh) * | 2011-09-20 | 2012-05-02 | 湖南省汇粹电力科技有限公司 | 一种高寒大雾灾情监测装置 |
CN102445156A (zh) * | 2011-09-29 | 2012-05-09 | 航天科工深圳(集团)有限公司 | 基于激光着色的架空输电线路覆冰厚度监测方法和系统 |
CN104567780A (zh) * | 2014-12-31 | 2015-04-29 | 国网河南省电力公司电力科学研究院 | 绝缘子覆冰厚度在线测量系统快速标定装置和标定方法 |
CN104713488A (zh) * | 2015-03-26 | 2015-06-17 | 天津大学 | 一种光学冰厚观测筒 |
CN106468657A (zh) * | 2015-08-20 | 2017-03-01 | 陕西千山航空电子有限责任公司 | 一种机场气象监测系统 |
CN106197294A (zh) * | 2016-06-29 | 2016-12-07 | 华中科技大学 | 一种基于光学的架空输电线覆冰厚度监测装置及方法 |
CN106568388B (zh) * | 2016-10-28 | 2019-10-11 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 一种基于高清图像的输电线路覆冰厚度计算方法及系统 |
CN106568388A (zh) * | 2016-10-28 | 2017-04-19 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 一种基于高清图像的输电线路覆冰厚度计算方法及系统 |
CN107861506A (zh) * | 2017-09-30 | 2018-03-30 | 深圳市艾特智能科技有限公司 | 机器人通讯方法、系统、可读存储介质及机器人 |
CN107861506B (zh) * | 2017-09-30 | 2020-10-02 | 深圳市艾特智能科技有限公司 | 机器人通讯方法、系统、可读存储介质及机器人 |
CN109684905A (zh) * | 2017-12-19 | 2019-04-26 | 云南电网有限责任公司昭通供电局 | 基于图像辨识的架空导线的覆冰质量检测的方法 |
CN109751988A (zh) * | 2019-02-14 | 2019-05-14 | 重庆融创视讯科技有限公司 | 一种基于裸眼3d技术的道路实时冰雪自动监测分析传感器 |
CN109902647A (zh) * | 2019-03-08 | 2019-06-18 | 成都国铁电气设备有限公司 | 一种便携式在线鸟巢智能识别方法及系统 |
CN111028453A (zh) * | 2019-12-23 | 2020-04-17 | 宜科(天津)电子有限公司 | 一种基于物联网技术的监测识别方法及系统 |
CN111637839A (zh) * | 2020-06-01 | 2020-09-08 | 中国南方电网有限责任公司超高压输电公司昆明局 | 数字化覆冰厚度测量装置及测量方法 |
CN111653081A (zh) * | 2020-06-11 | 2020-09-11 | 安徽徽远成电气科技股份有限公司 | 一种输电线路监测系统 |
CN112540586A (zh) * | 2020-12-07 | 2021-03-23 | 青岛理工大学 | 一种基于星型网络的分布式声振主动控制系统 |
CN112540586B (zh) * | 2020-12-07 | 2022-02-15 | 青岛理工大学 | 一种基于星型网络的分布式声振主动控制系统 |
CN116105614A (zh) * | 2023-04-10 | 2023-05-12 | 中国空气动力研究与发展中心低速空气动力研究所 | 基于光纤结冰传感器探测冰厚的方法、传感器、介质 |
CN116105614B (zh) * | 2023-04-10 | 2023-06-27 | 中国空气动力研究与发展中心低速空气动力研究所 | 基于光纤结冰传感器探测冰厚的方法、传感器、介质 |
Also Published As
Publication number | Publication date |
---|---|
CN101709954B (zh) | 2011-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101709954B (zh) | 一种基于机器视觉技术的架空线路覆冰在线监测装置 | |
CN201803742U (zh) | 一种输电线路覆冰在线监测装置 | |
CN103398741B (zh) | 基于无线传输的输电线路在线监测系统 | |
CN107426539A (zh) | 基于窄带物联网的排水管网监测系统及方法 | |
CN107065743A (zh) | 一种灌区信息化系统及其管理方法 | |
CN202158870U (zh) | 架空输电线路覆冰状态监测系统 | |
CN103853143A (zh) | 一种应用于供电系统输电线路的远程无线监测网络系统 | |
CN102353400A (zh) | 架空输电线路覆冰状态监测方法及系统 | |
CN101277431B (zh) | 可用于水环境监测的无线传感器网络数据视频基站 | |
CN205301613U (zh) | 一种可远程访问的自动气象站 | |
CN205265369U (zh) | 电缆及隧道运维管理现场数据应用装置 | |
CN201527584U (zh) | 机场导航站室内环境集中监控前端采集装置 | |
CN205229492U (zh) | 气象预测系统 | |
CN105590438B (zh) | 一种基于远程控制和数据压缩的数据无线采集系统 | |
CN204286496U (zh) | 一种建筑施工污染在线监测仪器 | |
CN111260506A (zh) | 建筑工程物联网信息管理系统 | |
CN109375289A (zh) | 一种基于物联网技术的可视化自动气象站系统 | |
CN201622685U (zh) | 用于野外大气环境和水文信息的无线传感器网络监测系统 | |
CN103209018A (zh) | 一种基于3g/北斗卫星通信及gis的无线数据采集与监控系统 | |
CN202094932U (zh) | 基于gsm网络的远程监控终端 | |
CN111521233A (zh) | 一种水库水位物联网信息化监测报警系统 | |
CN209624809U (zh) | 一种基于物联网技术的可视化自动气象站系统 | |
CN107844149A (zh) | 一种基于物联网的温室智能检测系统 | |
CN201607213U (zh) | 一种架空线路覆冰在线监测装置 | |
CN204388922U (zh) | 微小气候监测预警系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111116 Termination date: 20131211 |