CN101170359A - 面阵光电传感器输出信号的移动跟踪方法 - Google Patents
面阵光电传感器输出信号的移动跟踪方法 Download PDFInfo
- Publication number
- CN101170359A CN101170359A CNA200710171656XA CN200710171656A CN101170359A CN 101170359 A CN101170359 A CN 101170359A CN A200710171656X A CNA200710171656X A CN A200710171656XA CN 200710171656 A CN200710171656 A CN 200710171656A CN 101170359 A CN101170359 A CN 101170359A
- Authority
- CN
- China
- Prior art keywords
- pixel
- output
- light source
- communication light
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Optical Communication System (AREA)
Abstract
本发明提出一种面阵光电传感器输出信号的移动跟踪方法。由成像光学系统和面阵光电传感器组成的光接收机,存在输出像元的选择问题,并且当收发机之间有相对移动时,响应通信光的像元位置发生改变,此时需要跟踪切换,避免通信中断。本发明通过在选择数据输出像元的同时选择跟踪定位像元,监控计算它们的输出变化、实时估计通信光源成像光斑的移动,实现了移动情况下对数据输出像元的跟踪。
Description
技术领域
本发明属于光无线通信领域,特别涉及光接收机面阵光电传感器输出信号的一种移动跟踪方法。
背景技术
光通信系统的接收机主要由光学系统、光电探测器和信号处理电路组成。光学系统收集、过滤空间的光信号,使其汇聚在光电探测器上;光电探测器将光信号转换为电信号输出到信号处理电路;信号处理电路进行相应的放大、滤波、检测、解调、解码等最终形成接收数据。在这样的光通信系统中光接收机通常用的是单元光电探测器,信号输出只有一路。
采用面阵/线阵光电传感器的光接收或探测装置,一般应用于图像采集系统,如数码照相机、数码摄像机、光电扫描仪等;采用多元光电传感器的光接收机,一般应用于光电定位、测量、跟踪设备,如激光准直仪和导引系统的四象限光电探测器等。面阵光电传感器是由大量像元组成的传感器,每一个像元除了包含一个光电转换器外,还有它的外围电路,如同CMOS图像传感器和CCD图像传感器那样,其像元的排列一般为矩形。面阵传感器的输出方式一般是取样输出,输出的是离散模拟信号。多元光电传感器是由多个独立的光电转换器单元组成的传感器,单元数量一般不会太多,光电转换器的排列根据应用也呈不同形状。多元光电传感器的输出方式一般是连续的并行模拟信号。
在本专利中并不特意区分面阵与多元传感器,最小组成单位都称为像元。
光无线通信最常见的技术是用于便携设备近距数据交换的IrDA(国际红外数据协会)点对点红外通信标准,所用的光接收器件是单元光电转换器,接收和发射视场比较大。在这种情况下,通信过程中终端之间的有限度地相对移动不会造成通信中断。发射光源只要在接收机的视场内,光电转换器都可以获取并输出信号。
但是,当使用面阵/多元光电传感器作为光接收机的探测器时,为了满足高速通信的要求,只选择响应了通信光信号的像元输出,当收发机之间存在移动时,响应通信光源的像元位置随之而变,因此必须具有跟踪输出像元的能力,以保证通信不被中断,否则实用性将受到比较大的限制。在实际应用中,室内通信终端主要是便携设备,如笔记本电脑、PDA(个人数字助理)、手机等。在通信过程中它们的移动一般是限于室内范围的有限度的移动,或者在固定位置上手持时存在的晃动。通信光源应该始终处于光学系统的视场之内。
涉及面阵/多元传感器输出的跟踪技术有几种类型。一种是视频信号压缩/解压缩标准中使用的运动估计技术。其目的是为了提取视频信号帧与帧之间的相关信息,确定参考帧,以实现高效压缩。这种估计完全基于图像信息,将图像划分为宏块,追踪宏块的移动,这与硬件方面相关的图像传感器的输出方式没有特别关系,属于视频处理技术,无法满足选择性输出的跟踪。另外一种是基于四象限探测器的定位/跟踪技术,这种技术根据光斑投射在光电探测器四个象限上的位置不同导致的输出幅度不同,计算光斑相对中心位置的偏移,从而进行调整,使光斑投射到四象限探测器的中心。但这种技术依赖于探测器的规格,不存在选择性。还有一种是数码相机的防抖动技术。在按下快门的时刻,抖动会造成像在传感器上的移动,从而引起输出图像模糊。抗抖动的方法之一是附加一个加速度传感器检测快门按下时相机的位移,根据加速度信号调整光轴使图像传感器上的像保持相对不动。这种技术适应于单次、慢速、小范围的移动处理。
上述三种技术针对不同的应用都非常成熟有效,但均无法直接用于实现高速可见光通信的面阵光电接收机上。
发明内容
本发明的目的是在以面阵传感器为探测器的光接收机中,实现选择性地输出,并在收发机之间有相对移动的情况下跟踪输出。
本发明的主要特征是接收机采用面阵光电传感器,面阵光电传感器的部分像元响应有用的通信光信号,接收机选择其中一些或全部像元作为输出。同时,定义其中处于通信光光斑边缘的像元作为定位像元,当接收机或者发射机移动时,通过对比定位像元输出的信号幅度,估计出通信光斑移动的方向和位置,将输出选择切换到新位置的像元上。
在光无线通信系统中,光源相对而言可看作是点光源,比如LED就是最常用的点发射光源,无论是什么波段,通过光学系统成像于面阵传感器上后,直射光都显示为比较规则的光斑。当面阵传感器的分辨率比较高时,光斑往往会覆盖几十个甚至几百个像元。这些像元中的光电转换器都会对照射的光信号做出反应。接收机通过识别它们的位置,选择其中部分像元或者全部像元的响应作为输出。当发射光源以及光接收机都不移动,也不需考虑光信道中其它物体的影响时,这种输出位置不会改变。但是,只要收发机任何一方有移动,甚至只是抖动,就会造成通信光源成像光斑的位移,由此导致响应通信光的像元改变。如果此时不能快速切换输出,就会发生通信中断。
为了保证整个通信过程能够动态适应收发机之间的相对运动,需要实时监控通信光斑的位置变化并及时调整输出通道,即需要动态选择输出像元。本发明对光斑位置监控的方法是选择处于光斑边缘4个不同方向上的像元作为定位像元,通过实时对比定位像元的输出大小的变化,估计移动的方向和移动量,并根据估计结果,随时切换输出像元,即让输出像元的选择跟踪光斑中心位置的移动。
当光发射机采用LED阵列作光源时,它在光接收机面阵传感器上的成像有两种情形。一是当它距离光接收机较远时,阵列LED在面阵传感器上的成像由于分辨率的关系,成为一个光斑,比如是矩形光斑;另外一种情形是当它距离光接收机较近,且阵列的平面与光接收机的光轴之间角度接近垂直时,LED阵列的每一个LED单元在面阵传感器上能够单独成像。那么对第一种情形,定位像元可以在整个光斑的边缘覆盖像元上选取,而对第二种情形,定位像元可以在任一单元LED光斑的边缘选取。
附图说明
图1是基于面阵光电传感器的光通信系统示意图。发送端一个LED光源(也可以是LED阵列)通过摄影光学系统在面阵传感器上成像,所覆盖的象元对LED光信号响应,转换为电信号被选择输出。
图2是本发明实现跟踪光斑移动的方案。当通信光源投射的光斑移动时,从4个定位像元的输出变化对比估计移动位置,切换输出到新的像元。像元坐标(x,y)在X方向用字母表示,Y方向用数字表示。
图3示意定位像元与输出像元的设置与选择方案。像元坐标(x,y)用X、Y方向的数字表示,X代表横向坐标。
图4是跟踪光斑移动切换数据信号输出的流程。
具体实施方式
基于面阵光电传感器的光接收机,其基本组成如图1所示,这是一种简化的例子。在光发送端,发送的数据流经过调制器(1-1)调制成脉冲信号通过发光二极管LED(1-2)发送出去。在光通信中应用的调制方法,一般是脉冲幅度调制、脉冲频率调制、脉冲宽度调制等。光学系统(1-3)将视场内的光汇聚在面阵光电传感器(1-4)上,其中通信光源(1-2)成像在面阵传感器上的1-5位置形成一个光斑。光斑并非就是实际显示情况,实际中不会有分明的边缘,在周边由于存在光源的散射很可能边缘比较模糊。面阵光电传感器主要有排成阵列的光电转换器及其外围电路组成,光电转换器将作用在传感器上光信号转换为电信号。面阵光电传感器的输出由行地址选择电路(1-6)及输出电路(1-8)控制。在接收机的主控制器/信号处理器(1-7)的控制下,可以选择面阵传感器上的任一行或任一个像元的信号输出。在图1中情形,应该选择光斑(1-5)覆盖下的像元之一或者几个作为输出。输出的模拟信号,经过模数转换器(1-9)后,送到DSP(数字信号处理器)(1-7)进行后续处理,得到接收数据。
上述方案,当收发机之间的位置固定不动时,忽略空间传输信道的影响,通信光源的成像光斑(1-5)也不会变动,因此固定输出像元就可以保证通信的正常进行。但是,当接收机有任何移动时,光斑(1-5)的位置就随之变化,只要变化导致输出像元超出光斑覆盖范围,通信就发生中断。
为了解决这个问题,本发明采用了一种实时定位方法,能够估计光斑的移动方向和位置并实施切换。实施方案之一如图2所示。这里忽略了系统的其它组成部分,包括通信光源(假设是LED)、成像光学系统等。图2中的2-1是面阵光电传感器,2-2表示通信光源的成像光斑,2-4是行地址选择器,2-5是输出移位寄存器,2-6是多输出的多路选择器,2-7和2-9是信号放大器,2-8和2-10是模数转换器,2-11是数字信号处理器。
在图2所示方案中,针对接收面阵传感器输出信号的移位寄存器的工作方式,系统有两种工作模式:一种是串行输出模式,一种是选择输出模式。
串行输出模式是常规图像传感器的输出方式,对应视频信号的行、场扫描顺序,行地址选择器每次选择一行像元,将其响应信号同时输出到移位寄存器(2-5)中,然后在位时钟的触发下,逐位通过连接线B1串行输出到DSP。在行时钟的触发下,通过顺序改变行地址,便可以得到一帧信号。
选择输出模式是实施通信时的工作方式。在这种方式下,除了有行地址选择器(2-4)外,还有列地址选择器(图2中没有画出,应该在标示列坐标的字母处,与行地址选择器的功能相同),像元可以被单独选择,可同时选择一个或者多个。这两个地址选择器,不同于一般的地址译码器,它们每次可以选择多条地址线。在行、列地址选择线的交叉点上,就是被选中的输出像元。像元一旦被选中,它的响应信号就被按列输出到对应的移位寄存器(2-5)位上。为了不使同一列上的像元重叠输出到移位寄存器(2-5)中,应该保证每次所选的多个像元处于不同列上(但可以处于同一行上)。
现在假定系统工作在通信模式。图2中的2-2是最初通信光源的成像光斑,DSP选定像元(q,13)(图中表记为0的像元)作为通信信号的输出(为简化说明这里假设只选择了一个,实际中可以选择多个以增强信号输出),当行地址选择器(2-4)输出第13行的触发信号后,该像元信号输出到移位寄存器(2-5)的对应位中。移位寄存器(2-5)的每一位均连接到多路选择器(2-6)上。多路选择器(2-6)的选择功能类似一个交换机,根据选定的数据输出像元坐标,可以将移位寄存器的任意一位连接到特定的输出通道上。多路选择器(2-6)在图中共有5路输出通道,中间的一个通道是数据信号通道,其输出经过放大器(2-7)放大调理后,通过模数转换器(2-8)变成数字信号送到DSP中处理;另外4路是多功能输出通道,可作为定位信号的输出通道,也可作为数据信号的输出通道。如果光斑(2-2)不存在移动,那么多路选择器(2-6)的数据输出通道就一直连接在移位寄存器的第q位上(面阵传感器的列标记向下一直对应到2-5,2-6上),其输出通过2-8转换为数字信号后,DSP做进一步的处理,解出接收数据。然而,当收发机之间发生相对移动时,对应的光斑也发生移动。假设从原来的2-2位置,沿图中箭头方向移动到了2-3的位置。那么,原先选定的数据输出像元(q,13)将不再被光斑覆盖,输出中就不再是有用的数据信号为主,而是背景光干扰信号为主。
为了能够适应接收机移动/抖动的影响,必须能够实时切换像元输出,使多路选择器(2-6)的数据输出通道始终连接在响应了通信光信号的像元输出上。对此,本实施方案设定了4个定位像元来估计通信光斑的移动。这4个像元的初始位置以光斑(2-2)的中心位置为参考点,沿4个不同的方向上(上、下、左、右)在光斑的边缘选定,如图中标示的像元1(t,12)、2(m,14)、3(r,17)、4(p,9),并且和像元0相互之间都不在同一列。按照选定的像元位置所在的列,多路选择器(2-6)将输出通道分别连接到对应的像元输出上。对应的规则为:定位输出通道1、2、3、4(与2-10的通道标号一致)始终按照上、下、左、右顺序对应定位像元。图2情形即多路选择器(2-6)的4个定位输出通道1、2、3、4分别对应像元1、2、3、4所在列。当光斑(2-2)不动时,这4个像元的输出不发生变化,输出值的差别也不大。而当光斑移动时,处于一边的像元首先移出光斑覆盖范围,而另外一边的像元会向光斑中间靠近,不会一下全部移出。在放大的图3中显示了这个过程。图3中3-1表示面阵传感器的一部分,像元坐标在横向和纵向都用数字表示。
通信光源光斑的初始位置是3-2,当接收机识别出来这个位置后,选择像元0(35,16)作为数据输出像元,选择像元1(33,13)、2(37,19)、3(32,18)、4(38,14)作为定位像元,3-6显示了此时对应的行地址触发位置,3-9显示了此时对应的列输出位置,即多路选择器(2-6)输出通道的选择位置。当光斑沿图中箭头方向从3-2移到3-3时(大约移动了一个像元尺度),选定的5个像元中像元4移出了光斑覆盖范围、像元2部分移出了光斑覆盖范围、数据输出像元0(35,16)向边缘靠近。对比4个定位像元输出变化,就可以定量估计光斑的移动位置,其参考方向是选定的4个定位像元确定的坐标,如图中虚线(3-10)所示。此时,数据像元并仍旧在光斑覆盖之下,能够正常输出数据信号。但是,为了在连续移动的情况下不会被突然移出,数据像元应该在移出之前根据所判断的移动方向和量切换到最佳输出位置。根据图3中所示,即像元0(34,17)上。这个切换能够保证连续切换,在数据脉冲间隙内多路转换器的数据输出通道从图3中的35列切换到34列即可。这个过程也可以采取分集切换的方式,只需要在多路转换器中增加一个数据通道。在切换的过程中,这两个通道同时工作,并将输出合并。等到像元0(35,16)完全移出后,这个通道就成为切换的备用通道,等待下一个新确定像元的位置。
除了实时调整数据像元外,定位像元跟随光斑的移动也做相应调整,以保证能够动态监控光斑的移动。如图3中情形,新的定位像元将分别选择为N(32,13)、S(35,20)、W(30,18)、E(37,15)。同时,多路转换器也及时将定位输出通道切换到对应新定位像元的位置上,图3情形即32、35、30、37列上。如3-7所示输出选择关系,3-8是新的行地址触发位置,其中包括了数据输出通道(对应34列)。此时,如果光斑继续移动,新的定位像元建立的参考座标就可以继续担当移动位置的判定。如此反复,就能够实现动态的光斑跟踪、输出切换,保证了通信的连续性。
图4是上述流程的总结,并且包含了光斑是否靠近视场边缘的判断。当光斑靠近面阵传感器的边缘时,就是通信光源靠近了光接收机的视场边缘。如果是手持式通信设备,比如手机,那么发出这样的告警信号,会提醒操作者注意调整位置,保持通信正常进行,或者如果通信系统支持光源切换的话,控制接收机寻找并准备切换到另外的通信光源上,只要两个光源同时处于接收机视场之内,就可以实现无缝的转移。
上述发明实施方案针对的面阵传感器无论是取样输出还是连续输出,无论组成的像素多和少,均不影响实现方法的实质,所需改变的只是外围电路。
上述发明实施方案中多路选择器的输出通道,包括数据输出通道和定位输出通道的数量完全可以视应用需求改变。
上述在通信应用中的实施方案,其概念显然还可以扩展到其他领域,如基于红外或者雷达成像的高速目标跟踪、定位测量系统等,也可以有不同的实现方法,但是所有基于面阵传感器选择性输出的移动跟踪都不脱离本发明的基本概念及保护范围。
Claims (5)
1.一种光通信接收装置,由成像光学系统、面阵光电传感器和相应的输出控制和信号处理电路构成。
a)成像光学系统将视场内的一个或多个通信光源成像在面阵光电传感器上;
b)面阵光电传感器由多个像元组成,像元的核心是光电转换器;
c)输出控制电路选择、控制面阵光电转换器中各像元的输出;
d)信号处理电路接收并处理光电传感器的输出信号。
2.权利要求1中所述的输出控制电路:
a)选择通信光源在面阵传感器上成像光斑中心覆盖像元作为数据输出像元,并将其输出连接到所述的信号处理电路。
b)选择通信光源在面阵传感器上成像光斑边缘处不同方向上的4个或者更多像元作为定位像元,并将它们的输出分别连接到信号处理电路。
3.权利要求1中所述的信号处理电路根据权利要求2中所述的定位像元的输出估计通信光源在面阵传感器上成像光斑的移动,当有移动发生时,输出控制电路切换权利要求2中所述的数据输出像元到新的像元位置,同时切换所述的定位像元到新的像元位置。
4.当权利要求2中所述的数据输出像元有多个、到信号处理电路的连接通道有多个时,权利要求3中所述的数据输出像元的切换是分集切换,分集源是同一个通信光源或者是不同的通信光源。
5.根据通信光源成像光斑覆盖的像元位置坐标,信号处理电路推定通信光源与接收机视场边缘的距离,当判断出发送光源已经接近视场边缘时,发出相应信号,此时当存在可切换的其它通信光源时,实施权利要求4中所述的不同光源分集切换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710171656XA CN101170359B (zh) | 2007-12-03 | 2007-12-03 | 一种能够跟踪信号移动的光通信接收装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710171656XA CN101170359B (zh) | 2007-12-03 | 2007-12-03 | 一种能够跟踪信号移动的光通信接收装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101170359A true CN101170359A (zh) | 2008-04-30 |
CN101170359B CN101170359B (zh) | 2011-06-08 |
Family
ID=39390844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200710171656XA Expired - Fee Related CN101170359B (zh) | 2007-12-03 | 2007-12-03 | 一种能够跟踪信号移动的光通信接收装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101170359B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103327317A (zh) * | 2012-03-20 | 2013-09-25 | 财团法人工业技术研究院 | 光通信传送和接收装置和方法及光通信系统和方法 |
CN104363054A (zh) * | 2014-10-30 | 2015-02-18 | 北京智谷睿拓技术服务有限公司 | 可见光信号发射控制方法、控制装置、发射设备及移动设备 |
CN107291108A (zh) * | 2017-08-24 | 2017-10-24 | 湖南科技大学 | 三棱台光电式太阳位置跟踪传感器及太阳位置跟踪方法 |
CN108369274A (zh) * | 2015-11-05 | 2018-08-03 | 路明亮科技有限公司 | 用于高分辨率深度映射的具有经改进扫描速度的激光雷达系统 |
CN108711134A (zh) * | 2018-04-09 | 2018-10-26 | 湖北三江航天万峰科技发展有限公司 | 一种高频线阵ccd图像处理 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08292998A (ja) * | 1995-04-20 | 1996-11-05 | Mitsubishi Electric Corp | 画像検出装置及び画像検出方法 |
AU2001290608A1 (en) * | 2000-08-31 | 2002-03-13 | Rytec Corporation | Sensor and imaging system |
DE10208289C1 (de) * | 2002-02-26 | 2003-02-27 | Koenig & Bauer Ag | Elektronischer Bildsensor und ein Verfahren zur Auswertung |
KR101033428B1 (ko) * | 2003-05-19 | 2011-05-09 | 가부시키가이샤 시로쿠 | 에어리어 이미지 센서를 사용한 위치 검출 장치 |
-
2007
- 2007-12-03 CN CN200710171656XA patent/CN101170359B/zh not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103327317A (zh) * | 2012-03-20 | 2013-09-25 | 财团法人工业技术研究院 | 光通信传送和接收装置和方法及光通信系统和方法 |
CN103327317B (zh) * | 2012-03-20 | 2017-10-27 | 财团法人工业技术研究院 | 光通信传送和接收装置和方法及光通信系统和方法 |
CN104363054A (zh) * | 2014-10-30 | 2015-02-18 | 北京智谷睿拓技术服务有限公司 | 可见光信号发射控制方法、控制装置、发射设备及移动设备 |
CN108369274A (zh) * | 2015-11-05 | 2018-08-03 | 路明亮科技有限公司 | 用于高分辨率深度映射的具有经改进扫描速度的激光雷达系统 |
CN107291108A (zh) * | 2017-08-24 | 2017-10-24 | 湖南科技大学 | 三棱台光电式太阳位置跟踪传感器及太阳位置跟踪方法 |
CN108711134A (zh) * | 2018-04-09 | 2018-10-26 | 湖北三江航天万峰科技发展有限公司 | 一种高频线阵ccd图像处理 |
Also Published As
Publication number | Publication date |
---|---|
CN101170359B (zh) | 2011-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10637574B2 (en) | Free space optical communication system | |
CN101170359B (zh) | 一种能够跟踪信号移动的光通信接收装置 | |
Saha et al. | Survey on optical camera communications: challenges and opportunities | |
US20090052902A1 (en) | Communication System, Communication Apparatus and Method, and Computer Program | |
US10075651B2 (en) | Methods and apparatus for capturing images using multiple camera modules in an efficient manner | |
CN101252687B (zh) | 实现多通道联合的感兴趣区域视频编码及传输的方法 | |
CN101159821B (zh) | 用面阵光电传感器实现光通信信号的接收、输出的装置 | |
WO2017106875A1 (en) | Real time position sensing of objects | |
EP3092731B1 (en) | Transmitting data to a rolling shutter sensor array via a light emitter array | |
Akram et al. | Camera based visible light communication system for underwater applications | |
JP3995959B2 (ja) | 空間光通信用センサ、空間光通信用受信装置、及び該受信装置を含む空間光通信システム | |
CN105359431B (zh) | 定向光通信 | |
Iizuka | Image sensor communication—Current status and future perspectives | |
Yamazato et al. | Range estimation scheme for integrated I2V-VLC using a high-speed image sensor | |
US7782336B2 (en) | System and method for communication among embedded devices using visual images | |
CN103583007A (zh) | 包括照相机、光传感器和增强信息显示的编码光探测系统 | |
Sung et al. | A hybrid radio-optical wireless system with efficient sub-centimeter localization for full-coverage indoor services | |
US20120230701A1 (en) | Optical space communication device, communication method thereof and optical space communication system | |
WO2020180074A1 (en) | Determining relevant signals using multi-dimensional radar signals | |
WO2022008989A1 (en) | Multi-domain optical sensor | |
EP3903120A1 (en) | Radar leakage cancelation based on spatiotemporal relationship of transmit and receive antenna pairs | |
JP2016024576A (ja) | 送信装置及び情報伝送方法 | |
Munaweera et al. | Design and analysis of an under water visible light MIMO communication system with a camera receiver | |
CN209488586U (zh) | 一种基于方向性光的光通信装置及可移动系统 | |
Shen et al. | RayTrack: enabling interference-free outdoor mobile VLC with dynamic field-of-view |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110608 Termination date: 20141203 |
|
EXPY | Termination of patent right or utility model |