CN101303231A - 正射镶嵌线的自动选择与正射影像无缝镶嵌方法 - Google Patents
正射镶嵌线的自动选择与正射影像无缝镶嵌方法 Download PDFInfo
- Publication number
- CN101303231A CN101303231A CNA2008100483285A CN200810048328A CN101303231A CN 101303231 A CN101303231 A CN 101303231A CN A2008100483285 A CNA2008100483285 A CN A2008100483285A CN 200810048328 A CN200810048328 A CN 200810048328A CN 101303231 A CN101303231 A CN 101303231A
- Authority
- CN
- China
- Prior art keywords
- line
- orthography
- inlay
- mosaic
- ant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种自动确定正射影像镶嵌线并进行正射影像自动无缝镶嵌的方法，该方法利用蚁群算法的正反馈，群体智能的启发式搜索特性，在差值图像中选择避开障碍区域的最优路径，即得到两幅待拼接正射影像的镶嵌线，利用镶嵌线将正射影像对进行镶嵌融合，实现正射影像自动无缝镶嵌。本发明在正射影像镶嵌过程中全自动确定镶嵌线的位置，使镶嵌线自动避开房屋、树冠等高出地面的地物，并且避开在相邻正射影像图上成像颜色反差大的区域，代替现有的手工确定镶嵌线或者手工修改镶嵌线的方法，能极大的提高测绘行业正射影像地图的生产效率。
Description
技术领域
本发明涉及正射影像镶嵌线的自动选择与正射影像无缝镶嵌方法，用于测绘行业正射影像地图生产，属于遥感测绘领域。
背景技术
正射影像的制作过程中，在单张航空或遥感影像生成的单片正射影像上选择镶嵌线进行镶嵌操作是一个重要步骤，国内现有正射影像(DOM)生产软件一般是先给出镶嵌线的初始位置，然后再人工修改镶嵌线以避免穿过房屋，树木等高出地面的地物或者灰度反差大的区域，如VirtuoZo，JX4等。国际上较为先进的DOM与True Ortho(真正射影像)制作软件Pixel Factory，虽然已基本解决这一问题，但在实际应用中，依然存在一定问题。国际摄影测量学界对该问题的论述较少，在摄影测量手册中，没有提及到镶嵌线的自动检测算法。MartinKerschner提出利用twin snakes算子选择正射影像的镶嵌线，从而荣获2004年第20届ISPRS大会U.V.HELAVA最佳论文奖，但其实验结果主要针对森林地区，没有城市地区房屋较为密集情况下的镶嵌线检测结果。目前航空数码影像已经成为航测生产最主要的数据来源，其高重叠度，大比例尺特征极大增加了正射影像镶嵌处理的工作量。镶嵌线自动检测的研究与解决无疑能提高DOM生产的效率与质量，对于测绘行业实现DOM的自动化生产具有重要意义。
发明内容
本发明的目的是提供一种利用蚁群算法进行正射影像镶嵌线自动选择并进行正射影像的无缝镶嵌的方法，该方法实现了测绘行业中DOM的自动化生产。
本发明提供的技术方案是，一种正射镶嵌线的自动选择与自动无缝镶嵌方法，包括以下步骤：
1.在完成航空影像空三定向与数字地面模型(DEM)采集的基础上，将原始影像进行正射纠正得到单片正射影像。每相邻两幅单片正射影像构成一个待镶嵌的正射影像对；
2.将待镶嵌正射影像对按地面坐标进行重叠，得到重叠区域的灰度差值图像，房屋、树冠等或者成像颜色反差大的地物会在差值图像上以较亮的灰度特性表现出来，则差值图像上的较亮区域即差值图像灰度值大于30的区域为正射镶嵌线的障碍区域；将进行单片正射纠正的待镶嵌正射影像对按地面坐标进行重叠，然后对正射影像对的重叠区域逐象素利用公式(1)求取灰度差值，得到重叠区域的差值图像。
g(x，y)＝|g1(x，y)-g2(x，y)| (1)
其中g1(x，y)与g2(x，y)分别为两幅待镶嵌图像在地面坐标x，y处的灰度值，g(x，y)为差值图像上x，y处的象素灰度值。
由于高出地面的地物在纠正后的单片正射影像上仍存在投影差，并且投影差的大小还能反映地物高出地面的高度，因此将待镶嵌的相邻正射影像对根据地面坐标计算它们在重叠区域的差值图像，差值图像上较亮的区域就能够反映高出地面地物的位置，并且地物成像颜色反差大的区域也会在差值图像上反映出来。因此在差值图像上较亮的区域就是正射镶嵌线的障碍区域。
3.利用蚁群算法的正反馈，群体智能的启发式搜索特性，在差值图像中选择避开障碍区域的最优路径，即得到两幅待拼接正射影像的镶嵌线，利用镶嵌线将正射影像对进行镶嵌融合；
a)将两幅待镶嵌的正射影像按地理坐标重叠，则初始镶嵌线应该是它们重叠区域的中心线，对于航空影像，可以将两幅影像摄站连线的中垂线视为初始镶嵌线。
b)根据重叠区域的差值图像的灰度与初始镶嵌线位置确定蚁群路径点的初始信息素值。
正射影像的镶嵌线需避开差值图像上的较亮区域，可按灰度值大小设置信息素值，灰度越小，信息素越高，该路径点被选择的概率也就越高。在纠正后的正射影像上越靠近边缘处，地物的投影差越大，而且分辨率也不如影像中心处。因此最终提取的镶嵌线应尽可能的分布于初始镶嵌线附近，不应偏离初始镶嵌线太远，因此可以设置信息素的向心性，使靠近初始镶嵌线的路径点信息素高。
c)基于路径点的初始信息素，利用蚁群算法搜索最优路径，过程如下：
1)将初始镶嵌线的起点像素作为路径搜索的起点放置一只蚂蚁，蚂蚁的备选路径点为下一行像素(路径点)上在当前点附近的若干个路径点。
2)蚂蚁根据信息素值按概率从备选路径点中选择一个路径点作为下一个当前路径点。重复该过程直到蚂蚁到达路径点的最后一行。
3)将蚂蚁路径表中记载的路径点上的信息素更新。
4)重复1)-3)步，直至达到循环次数或者路径收敛为止。
5)在通过蚁群算法确定镶嵌线后，利用镶嵌线将正射影像对进行镶嵌融合。
4.将整个测区的单片正射影像先按航带进行逐一镶嵌，得到各航带的正射镶嵌成果，然后再将各航带的正射镶嵌影像进行镶嵌，得到最终的正射影像图(DOM)。
本发明在正射影像镶嵌过程中全自动确定镶嵌线的位置，使镶嵌线自动避开房屋、树冠等高出地面的地物，并且避开在相邻正射影像图上成像颜色反差大的区域，代替现有的手工确定镶嵌线或者手工修改镶嵌线的方法，能极大的提高测绘行业正射影像地图的生产效率。
附图说明
图1房屋在单片正射影像上的投影差以及重叠区域的差值图像。
图2地物成像颜色反差大的区域以及差值图像。
图3待镶嵌正射影像对的初始镶嵌线。
图4路径点初始信息素。
图5蚁群算法提取的镶嵌线与镶嵌融合结果。
图6镶嵌线避开房屋与水面。
图7单航带镶嵌结果。
图8航带间的镶嵌结果。
具体实施方式
下面结合附图和具体实施例对本发明提供方法作进一步的说明。
本发明包括以下步骤：
1.在完成航空影像空三定向与数字地面模型(DEM)采集的基础上，将原始影像进行正射纠正得到单片正射影像。每相邻两幅单片正射影像构成一个待镶嵌的正射影像对；
2.将待镶嵌正射影像对按地面坐标进行重叠，得到重叠区域的灰度差值图像，房屋、树冠等或者成像颜色反差大的地物会在差值图像上以较亮的灰度特性表现出来，则差值图像上的较亮区域即为正射镶嵌线的障碍区域；
将进行单片正射纠正的待镶嵌正射影像对按地面坐标进行重叠，然后对正射影像对的重叠区域逐象素利用公式(1)求取灰度差值，得到重叠区域的差值图像。
g(x，y)＝|g1(x，y)-g2(x，y)| (1)
其中g1(x，y)与g2(x，y)分别为两幅待镶嵌图像在地面坐标x，y处的灰度值，g(x，y)为差值图像上x，y处的象素灰度值。
由于高出地面的地物在纠正后的单片正射影像上仍存在投影差，如图1-a，图1-b所示，并且投影差的大小还能反映地物高出地面的高度，因此将待镶嵌的相邻正射影像对根据地面坐标计算它们在重叠区域的差值图像，差值图像上较亮的区域就能够反映高出地面地物的位置如图1-c，并且地物成像颜色反差大的区域也会在差值图像上反映出来，如图2所示。因此在差值图像上较亮的区域即差值图像灰度值大于30就是正射镶嵌线的障碍区域。
3.利用蚁群算法的正反馈，群体智能的启发式搜索特性，在差值图像中选择避开障碍区域的最优路径，即得到两幅待拼接正射影像的镶嵌线，利用镶嵌线将正射影像对进行镶嵌融合；
a)将两幅待镶嵌的正射影像按地理坐标重叠，则初始镶嵌线应该是它们重叠区域的中心线，对于航空影像，可以将两幅影像摄站连线的中垂线视为初始镶嵌线，该镶嵌线没有考虑房屋等是否被切割，如图3所示。
b)根据重叠区域的差值图像的灰度与初始镶嵌线位置确定蚁群路径点的初始信息素值。
正射影像的镶嵌线需避开差值图像上的较亮区域，可按灰度值大小设置信息素值，灰度越小，信息素越高，该路径点被选择的概率也就越高。在纠正后的正射影像上越靠近边缘处，地物的投影差越大，而且分辨率也不如影像中心处。因此最终提取的镶嵌线应尽可能的分布于初始镶嵌线附近，不应偏离初始镶嵌线太远，因此可以设置信息素的向心性，使靠近初始镶嵌线的路径点信息素高。路径点上最终的初始信息素值如图4所示。
c)基于路径点的初始信息素，利用蚁群算法搜索最优路径，过程如下：
1)将初始镶嵌线的起点像素作为路径搜索的起点放置一只蚂蚁，蚂蚁的备选路径点为下一行像素(路径点)上在当前点附近的若干个路径点。
2)蚂蚁根据信息素值按概率从备选路径点中选择一个路径点作为下一个当前路径点。重复该过程直到蚂蚁到达路径点的最后一行。
3)将蚂蚁路径表中记载的路径点上的信息素更新。
4)重复1)-3)步，直至达到循环次数或者路径收敛为止。
5)在通过蚁群算法确定镶嵌线后，利用镶嵌线将正射影像对进行镶嵌融合。图5是最终选择的镶嵌线与镶嵌融合后的结果，图6显示了镶嵌线避开房屋和水面的结果。
4.将整个测区的单片正射影像先按航带进行逐一镶嵌，得到各航带的正射镶嵌成果，然后再将各航带的正射镶嵌影像进行镶嵌，得到最终的正射影像图(DOM)。单航带正射镶嵌结果与航带间的镶嵌结果分别如图7，8所示。
Claims (2)
1.一种自动确定正射影像镶嵌线并进行正射影像自动无缝镶嵌的方法，其特征在于包括以下步骤：
(1)在完成航空影像空三定向与数字地面模型采集的基础上，将原始影像进行正射纠正得到单片正射影像，每相邻两幅单片正射影像构成一个待镶嵌的正射影像对；
(2)将待镶嵌正射影像对按地面坐标进行重叠，得到重叠区域的灰度差值图像，则差值图像灰度值大于30的区域即为正射镶嵌线的障碍区域；
(3)利用蚁群算法的正反馈，群体智能的启发式搜索特性，在差值图像中选择避开障碍区域的最优路径，即得到两幅待拼接正射影像的镶嵌线，利用镶嵌线将正射影像对进行镶嵌融合，实现正射影像自动无缝镶嵌。
2.根据权利要求1所述自动确定正射影像镶嵌线并进行正射影像自动无缝镶嵌的方法，其特征在于利用蚁群算法进行镶嵌线的自动确定并进行正射影像的自动无缝镶嵌包括以下步骤：
(1)将两幅待镶嵌的正射影像按地理坐标重叠，则初始镶嵌线是它们重叠区域的中心线；
(2)根据重叠区域的灰度差值图像的灰度与初始镶嵌线位置确定蚁群路径点的初始信息素值，差值图像上灰度值越低，则信息素值越高，同时距离初始镶嵌线越近，信息素值越高；
(3)基于路径点的初始信息素值，利用蚁群算法搜索最优路径时，可以搜索到既避开纹理反差大的区域，又可使镶嵌线尽可能分布于初始镶嵌线附近的路径，过程如下：
1)将初始镶嵌线的起点像素作为路径搜索的起点放置一只蚂蚁，蚂蚁的备选路径点为下一行像素上在当前点附近的若干个路径点；
2)蚂蚁根据信息素值按概率从备选路径点中选择一个路径点作为下一个当前路径点，重复该过程直到蚂蚁到达路径点的最后一行；
3)将蚂蚁路径表中记载的路径点上的信息素更新；
4)重复1)-3)步，直至达到循环次数或者路径收敛为止；
(4)在通过蚁群算法确定镶嵌线后，利用镶嵌线将正射影像对进行镶嵌融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008100483285A CN101303231B (zh) | 2008-07-08 | 2008-07-08 | 正射镶嵌线的自动选择与正射影像无缝镶嵌方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008100483285A CN101303231B (zh) | 2008-07-08 | 2008-07-08 | 正射镶嵌线的自动选择与正射影像无缝镶嵌方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101303231A true CN101303231A (zh) | 2008-11-12 |
| CN101303231B CN101303231B (zh) | 2010-07-28 |
Family
ID=40113243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008100483285A Expired - Fee Related CN101303231B (zh) | 2008-07-08 | 2008-07-08 | 正射镶嵌线的自动选择与正射影像无缝镶嵌方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101303231B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101753775A (zh) * | 2008-12-12 | 2010-06-23 | 株式会社其恩斯 | 成像装置 |
| CN101807295A (zh) * | 2010-03-26 | 2010-08-18 | 华中科技大学 | 一种遥感图像无缝镶嵌拼接线的生成方法 |
| CN101893443A (zh) * | 2010-07-08 | 2010-11-24 | 上海交通大学 | 道路数字正射影像地图的制作系统 |
| CN101915571A (zh) * | 2010-07-20 | 2010-12-15 | 桂林理工大学 | 基于相位相关的影像匹配初始视差的全自动获取方法 |
| CN101900562B (zh) * | 2009-05-29 | 2013-02-06 | 通用汽车环球科技运作公司 | 采用基于分割方法的畅通路径检测 |
| CN103218821A (zh) * | 2013-04-27 | 2013-07-24 | 航天恒星科技有限公司 | 一种面向区域覆盖的影像自动镶嵌方法 |
| CN104217414A (zh) * | 2014-09-10 | 2014-12-17 | 中科九度(北京)空间信息技术有限责任公司 | 用于影像拼接的拼接线提取方法和装置 |
| CN105761291A (zh) * | 2016-02-14 | 2016-07-13 | 华浩博达（北京）科技股份有限公司 | 基于带权重的迪杰斯特拉算法的镶嵌线自动生成方法 |
| CN106780324A (zh) * | 2016-11-28 | 2017-05-31 | 北京航天泰坦科技股份有限公司 | 一种正射影像镶嵌的接边纠正方法 |
| CN106780321A (zh) * | 2016-11-21 | 2017-05-31 | 中国测绘科学研究院 | 一种cbers‑02卫星hr传感器影像整体严密定向与纠正拼接方法 |
| CN109345450A (zh) * | 2018-08-20 | 2019-02-15 | 江苏省测绘工程院 | 一种利用地理实体要素信息的影像镶嵌方法 |
| CN109523467A (zh) * | 2018-11-15 | 2019-03-26 | 北京航天宏图信息技术股份有限公司 | 一种影像拼接方法及装置 |
| CN111311622A (zh) * | 2020-01-30 | 2020-06-19 | 桂林理工大学 | 基于蚁群算法的多幅影像镶嵌线网的优化选择方法 |
| CN112184546A (zh) * | 2020-06-10 | 2021-01-05 | 中国人民解放军32023部队 | 一种卫星遥感影像数据处理的方法 |
| CN114708354A (zh) * | 2022-03-04 | 2022-07-05 | 广东省国土资源测绘院 | 一种镶嵌线的绘制方法、设备、介质及产品 |
-
2008
- 2008-07-08 CN CN2008100483285A patent/CN101303231B/zh not_active Expired - Fee Related
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101753775B (zh) * | 2008-12-12 | 2014-01-29 | 株式会社其恩斯 | 成像装置 |
| CN101753775A (zh) * | 2008-12-12 | 2010-06-23 | 株式会社其恩斯 | 成像装置 |
| CN101900562B (zh) * | 2009-05-29 | 2013-02-06 | 通用汽车环球科技运作公司 | 采用基于分割方法的畅通路径检测 |
| CN101807295A (zh) * | 2010-03-26 | 2010-08-18 | 华中科技大学 | 一种遥感图像无缝镶嵌拼接线的生成方法 |
| CN101807295B (zh) * | 2010-03-26 | 2012-02-29 | 华中科技大学 | 一种遥感图像无缝镶嵌拼接线的生成方法 |
| CN101893443A (zh) * | 2010-07-08 | 2010-11-24 | 上海交通大学 | 道路数字正射影像地图的制作系统 |
| CN101915571A (zh) * | 2010-07-20 | 2010-12-15 | 桂林理工大学 | 基于相位相关的影像匹配初始视差的全自动获取方法 |
| CN103218821A (zh) * | 2013-04-27 | 2013-07-24 | 航天恒星科技有限公司 | 一种面向区域覆盖的影像自动镶嵌方法 |
| CN103218821B (zh) * | 2013-04-27 | 2015-12-23 | 航天恒星科技有限公司 | 一种面向区域覆盖的影像自动镶嵌方法 |
| CN104217414A (zh) * | 2014-09-10 | 2014-12-17 | 中科九度(北京)空间信息技术有限责任公司 | 用于影像拼接的拼接线提取方法和装置 |
| CN104217414B (zh) * | 2014-09-10 | 2017-09-26 | 中科九度(北京)空间信息技术有限责任公司 | 用于影像拼接的拼接线提取方法和装置 |
| CN105761291A (zh) * | 2016-02-14 | 2016-07-13 | 华浩博达（北京）科技股份有限公司 | 基于带权重的迪杰斯特拉算法的镶嵌线自动生成方法 |
| CN105761291B (zh) * | 2016-02-14 | 2019-09-10 | 华浩博达（北京）科技股份有限公司 | 基于带权重的迪杰斯特拉算法的镶嵌线自动生成方法 |
| CN106780321A (zh) * | 2016-11-21 | 2017-05-31 | 中国测绘科学研究院 | 一种cbers‑02卫星hr传感器影像整体严密定向与纠正拼接方法 |
| CN106780321B (zh) * | 2016-11-21 | 2020-08-21 | 中国测绘科学研究院 | 一种cbers-02卫星hr传感器影像整体严密定向与纠正拼接方法 |
| CN106780324A (zh) * | 2016-11-28 | 2017-05-31 | 北京航天泰坦科技股份有限公司 | 一种正射影像镶嵌的接边纠正方法 |
| CN106780324B (zh) * | 2016-11-28 | 2020-06-09 | 北京航天泰坦科技股份有限公司 | 一种正射影像镶嵌的接边纠正方法 |
| CN109345450A (zh) * | 2018-08-20 | 2019-02-15 | 江苏省测绘工程院 | 一种利用地理实体要素信息的影像镶嵌方法 |
| CN109345450B (zh) * | 2018-08-20 | 2022-10-21 | 江苏省测绘工程院 | 一种利用地理实体要素信息的影像镶嵌方法 |
| CN109523467A (zh) * | 2018-11-15 | 2019-03-26 | 北京航天宏图信息技术股份有限公司 | 一种影像拼接方法及装置 |
| CN109523467B (zh) * | 2018-11-15 | 2023-07-21 | 航天宏图信息技术股份有限公司 | 一种影像拼接方法及装置 |
| CN111311622A (zh) * | 2020-01-30 | 2020-06-19 | 桂林理工大学 | 基于蚁群算法的多幅影像镶嵌线网的优化选择方法 |
| CN111311622B (zh) * | 2020-01-30 | 2023-06-23 | 桂林理工大学 | 基于蚁群算法的多幅影像镶嵌线网的优化选择方法 |
| CN112184546A (zh) * | 2020-06-10 | 2021-01-05 | 中国人民解放军32023部队 | 一种卫星遥感影像数据处理的方法 |
| CN112184546B (zh) * | 2020-06-10 | 2024-03-15 | 中国人民解放军32023部队 | 一种卫星遥感影像数据处理的方法 |
| CN114708354A (zh) * | 2022-03-04 | 2022-07-05 | 广东省国土资源测绘院 | 一种镶嵌线的绘制方法、设备、介质及产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101303231B (zh) | 2010-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101303231B (zh) | 正射镶嵌线的自动选择与正射影像无缝镶嵌方法 | |
| CN100349185C (zh) | 地图生成设备、地图发送方法 | |
| JP3437555B2 (ja) | 特定点検出方法及び装置 | |
| US20140133741A1 (en) | Device for generating three dimensional feature data, method for generating three-dimensional feature data, and recording medium on which program for generating three-dimensional feature data is recorded | |
| CN103871072B (zh) | 基于投影数字高程模型的正射影像镶嵌线自动提取方法 | |
| EP3112802A1 (en) | Road feature measurement apparatus and road feature measuring method | |
| EP3413266B1 (en) | Image processing device, image processing method, and image processing program | |
| Chen et al. | Detection of building changes from aerial images and light detection and ranging (LIDAR) data | |
| Pylvanainen et al. | Automatic alignment and multi-view segmentation of street view data using 3d shape priors | |
| CN110348415B (zh) | 一种高分辨率遥感目标大数据集的高效标注方法及系统 | |
| CN114758252A (zh) | 基于图像的分布式光伏屋顶资源分割与提取方法及系统 | |
| CN109614871A (zh) | 一种光伏屋顶及光伏障碍物自动识别算法 | |
| CN106709883B (zh) | 基于联合双边滤波和尖锐特征骨架提取的点云去噪方法 | |
| CN109583302A (zh) | 一种移动机器人可行区域训练数据集扩充方法 | |
| CN103700063B (zh) | 基于高清卫星影像的地形图一体化快速成图方法 | |
| CN114065339A (zh) | 一种基于三维可视化模型的高塔建设选址方法 | |
| JP3762382B2 (ja) | 画像処理方法及び装置 | |
| JP6146731B2 (ja) | 座標補正装置、座標補正プログラム、及び座標補正方法 | |
| CN109345450B (zh) | 一种利用地理实体要素信息的影像镶嵌方法 | |
| CN110044358A (zh) | 基于现场场线特征的移动机器人定位方法 | |
| Ziadat et al. | Merging Landsat TM imagery with topographic data to aid soil mapping in the Badia region of Jordan | |
| CN113807309A (zh) | 一种基于深度学习的果园机械行走路线规划方法 | |
| CN108447042A (zh) | 城市景观影像数据的融合方法及系统 | |
| JP3437671B2 (ja) | ランドマーク認識装置およびランドマーク認識方法 | |
| CN111311622A (zh) | 基于蚁群算法的多幅影像镶嵌线网的优化选择方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100728 Termination date: 20210708 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |