CN104837000A - 一种利用轮廓感知的虚拟视点合成方法 - Google Patents
一种利用轮廓感知的虚拟视点合成方法 Download PDFInfo
- Publication number
- CN104837000A CN104837000A CN201510182858.9A CN201510182858A CN104837000A CN 104837000 A CN104837000 A CN 104837000A CN 201510182858 A CN201510182858 A CN 201510182858A CN 104837000 A CN104837000 A CN 104837000A
- Authority
- CN
- China
- Prior art keywords
- image
- algorithm
- visual point
- profile
- virtual visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种利用轮廓感知的虚拟视点合成方法,主要在多视点视频图像的显示中有重要作用。具体步骤包括:对参考视点的图像进行网格化处理,利用轮廓感知算法找到图像中物体网格轮廓;以物体网格轮廓为基础,利用3DWarping算法对其进行虚拟视点图像的映射操作;利用多个参考视点图像的选择算法找到合适的映射后图像进行融合;利用空洞填补算法对融合后的虚拟视点图像进行修复生成最终的虚拟视点图像。本发明可以减少虚拟视点合成时变换像素点的数量而从而减少的计算量、提高绘制速度,结合视频图像的场景物体特征可以使特定场景的虚拟视点合成速度达到理想效果,进而实现多视点电视的新视点实时合成。
Description
技术领域
本发明是属于虚拟视点合成的技术领域,特别涉及一种轮廓感知的虚拟视点合成技术。适用于场景内物体轮廓相对规则,并且希望快速实现虚拟视点生成操作的应用场景。
背景技术
随着视频绘制技术的不断发展,人们对于不同类型的视频需求也不断增长,特别是对于裸眼3D技术的需求日益强烈。目前国内外关于虚拟视点绘制技术的难点主要集中在以下方面:
1)、虚拟视点合成所需的数据源格式不一,数据量比较大,需要的附加信息内容不足,传输耗时。
2)、目前的算法都是以像素为Warping算法的应用单位,映射很耗时,对于希望达到实时效果的应用场景有很大局限性。
3)、多数算法没有根据不同的场景来适应性的产生合适的效果,而都是通用型的算法,专用性不够,实现的效果也不能达到最佳。大部分研究考虑了很多虚拟视点生成后的填补工作,忽略了前期对于映射方式的改进,而后期的填补工作却还是非常的耗时没有达到实时的要求。
4)、目前对于数据源中的附加信息的要求不是很高,所以算法在开发是考虑通用性而忽略了这些信息,如视频图像的深度信息。从而在映射过程中增加了不必要的深度匹配过程,增加的耗时。忽略了场景物体的轮廓信息提取,而这些轮廓信息可以减少映射过程的计算量。
发明内容
本发明主要解决的技术问题是提供一种利用轮廓感知的虚拟视点合成方法,这种方法能够对具有多数规则物体的场景更快的实现虚拟视点的合成。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种利用轮廓感知的虚拟视点合成方法,具体步骤包括:
(100)、对参考视点的图像进行网格化处理,利用轮廓感知算法找到图像中物体轮廓;
(200)、以网格轮廓为基础利用3DWarping算法对其进行虚拟视点图像的映射操作;
(300)、利用多个参考视点图像的选择算法找到合适的映射后图像进行融合;
(400)、利用空洞填补算法对融合后的虚拟视点图像进行修复生成最终的虚拟视点图像。
在本发明一个较佳实施例中,所述步骤(100)中,对参考视点的图像进行网格化处理的方法为:把二维的图像进行网格划分处理,每个网格顶点对应三维空间坐标值,从而形成空间三角形网格面片,图像则成为网格面片的纹理材质。
在本发明一个较佳实施例中,所述步骤(100)中对图像中物体轮廓的感知算法具体为:将参考视点图像中的不同深度层次的物体进行分层,并且得到各层物体的大致网格化的轮廓,以这些轮廓来描述网格中的物体。
在本发明一个较佳实施例中,所述步骤(200)具体为以网格化的轮廓顶点为映射原点进行3Dwarping,映射后的点成为对应虚拟视点的网格化顶点。
在本发明一个较佳实施例中,所述步骤(300)具体为在多个参考视点生成的虚拟视点图像中选择合适的图像以备进行图像间的融合,选择的标准则是生成的图像有尽可能少的空洞和模糊区域。
在本发明一个较佳实施例中,所述步骤(300)中采用直接融合的方式,将不同的参考视点图像进行Alpha通道方式融合。
在本发明一个较佳实施例中,所述步骤(400)具体为:将步骤(300)中融合生成的虚拟视点图像进行一次空洞填补,其算法基础是多种空洞填补算法的结合。
在本发明一个较佳实施例中,所述步骤(400)中,对于图像修复过程中涉及的大空洞、细小空洞进行分类处理;
对于所述细小空洞,采用深度图预处理的方法,对深度图进行平滑滤波;
对于所述大空洞,一方面利用多个参考视点的纹理图,在不同的视点中寻找缺失的纹理信息;另一方面,利用图像修复算法填补空洞。
本发明的有益效果是:
1)、本发明给出的基于轮廓感知的虚拟视点合成方法,采用将二维图像网格化的方法形成三维轮廓便于传统3DWarping算法的计算量的降低,从而提高整体算法的实时性。
2)、本发明创新性的使用了图像网格化的方法简化图像表示方式,改变了处理二维图像的方式。
3)、本发明基于算法的特性更加适用于拥有规则物体的场景虚拟视点合成的需求。在最后的融合和修复中的运算量都得到了减少,加快了虚拟视点的合成效率。
本发明的方法适用于规则场景需要实时生成虚拟视点的需求。
附图说明
图1为本发明利用轮廓感知的虚拟视点合成方法的流程图;
图2为本发明利用轮廓感知的虚拟视点合成方法中修复图像算法演示图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
结合图1和图2所示,本发明公开了一种利用轮廓感知的虚拟视点合成方法,具体步骤包括:
100)、对参考视点的图像进行网格化处理,利用轮廓感知算法找到图像中物体轮廓;
110)、把二维的图像进行网格划分处理,每个网格顶点对应三维空间坐标值,从而形成空间三角形网格面片,图像则成为网格面片的纹理材质。
120)、基于深度图的轮廓感知算法实现:
首先获取物体的外轮廓,利用数据源中的深度图像信息进行像素级采样。将统一深度的像素样本进行归类分层,形成深度样本块,并以此样本块进行物体轮廓的描绘。
例如,某块区域中像素pi的深度值di,di取值在0-255之间。不同物体的深度值分布差异巨大,从属同一物体的不同部位差异较小。以此为基础对di进行分类采样。采样标准可以要求精度自定义,如:长宽为100像素,深度取值范围为170-200。参考视点图像会因此形成以深度分层的像素块。再以这些像素块为基础,结合轮廓识别算法快速描绘出物体轮廓。最后将轮廓简化为三维空间的多边形面片,顶点记录着组成多边形的空间信息,以备后续的三维空间映射。
200)、以网格轮廓为基础利用3DWarping算法对其进行虚拟视点图像的映射操作;
虚拟视点合成技术多是基于DIBR的,轮廓感知也是以此为基础,利用深度图的像素深度信息对彩色图对物体轮廓进行描述。物体的轮廓以三角网格的形式组成,对图像的中物体形成相对概要保留。在后来的视点映射中物体的轮廓会以整个网格的内容映射下来,保留其内容。该算法的思想类似于图形学中的图形以纹理的形式着色。
以轮廓感知算法映射后的图像会在轮廓边缘处形成因为前景、背景不同而形成的空洞。多个视点生成的虚拟视点图像可能会因为在生成的物体轮廓不一致而在后期融合是形成虚假背景。这是轮廓感知算法需要解决的一大难点,即让不同的参考视点在轮廓感知时能够得到相对一致的轮廓形状,在映射后也要能形成稳定的重合。
基于轮廓网格的三维映射算法实现:
步骤100)中得到的轮廓空间信息是此步骤中三维空间映射的基础。
210)、映射过程中需要考虑映射后生成的空洞,减少后期修复所需的工作量,也能提高最后的生成效果。现在考虑一种参数,相似能量值用来衡量形状在映射中发生的变形程度。比如一个三角形有三个顶点(v1,v2,v3)和一个局部坐标系{(v2-v1), },其中表示顺时针90度方向。假设v1在原点出,而v2表示为(1,0),则v3可以用以下的(a,b)表示为:
一些三角形的局部坐标都可以通过这种方式表示:
通过以上对三角形的顶点坐标的处理,我们可以利用以下计算公式得到相似能量值表示:
220)、基于能量值的轮廓映射目的是要尽可能的保留物体的形状特征,在实现是我们为轮廓线设置了两个像素宽的平行线。所有的三角形轮廓线都是可伸缩的边缘线,这些线的形成利用了之前的能量值方程。映射后的图形会将这条平行的线分开形成前后景差而被填入空颜色。
300)、图像融合
图像融合的思想已经很成熟,通过像素点颜色值的加权融合法或者是通过Alpha通道的融合渲染的技术都已经得到了很好的实现。结合前面的多视点生成的虚拟视点图像,经过选择后进行融合会生成几乎没有空洞的虚拟视点图像。其中采用基于图像修复的算法可以取得较好的效果。
多视点合成技术的过程中都会涉及多个映射图像结果的选择与融合。本发明采取直接融合的方式,将不同的参考视点图像进行Alpha通道方式融合,Alpha值代表像素在某个点的权重,默认的情况是以两个视点合成的权重分配为0.5和0.5。
融合过程中遇到的前后景重叠问题使用通用的深度缓存方法解决。
400)、图像修复
不同的空洞问题修复方法也有所不同,对于图像修复过程中涉及的大空洞(连续大面积的像素缺失)、细小空洞(宽度在1-2个像素)需要分类处理:
对于细小空洞,常常采用深度图预处理的方法,对深度图进行平滑滤波。对于大的空洞,一方面可以利用多个参考视点的纹理图,在不同的视点中寻找缺失的纹理信息;另一方面,利用现有的图像修复算法填补空洞。结合前面融合过程的生成结果,空洞修补算法要根据空洞周边信息生成完整的虚拟视点图像。
细小空洞的解决方式是直接以周边内容像素的直接复制填充,对于生成的结果进行一次平滑处理。
大空洞的解决算法步骤如下(结合图2所示):
①确定并标记待修复区域 及其边界 。
②对任意像素点 ,定义 是可信度。当 位于区域 时, ,其他情况下 。定义 是数据项,表示 点处的等照线方向。二者乘积定义为点 的优先级,即 。
③计算边界上所有点的优先级,并找到优先级最大的 点,从源区域 中寻找使得 )最小的匹配块,其中 )代表块 与块 之间的距离,通常用Sum of Squared Differences(SSD)来表示。
④复制区块 用来填补 。
⑤更新边界 上所有像素点的可信度 ,重复执行步骤③-⑤,直到 为空。
本发明利用轮廓感知的虚拟视点合成方法,主要在多视点视频图像的显示中有重要作用。利用轮廓感知的虚拟视点合成方法首先是获取物体的外轮廓,将其转换为轮廓曲线,提取曲线上的曲率最大点作为特征,投影到原有轮廓空间生成标志点,以标志点序列的形式表征轮廓,与模型库的轮廓信息数据进行相似度匹配,通过排除模型库中相似度较低的类别与姿态,得到候选类别编号列表。其次,利用SIFT算子提取原图像中物体表面的关键点,并生成该点的局部区域特征,以直方图的形式进行相似度匹配,以投票的策略来选出目标的类别及最接近的姿态。利用三角网格表示轮廓后将轮廓中的图像以纹理方式保存到对应网格。基于DIBR算法改进后的映射算法将三角形的网格轮廓进行变换,得到一个虚拟视点图像。之后多视点结果进行融合,再结合前面融合过程的生成结果,空洞修补算法要根据空洞周边信息生成完整的虚拟视点图像。
本发明利用轮廓感知的虚拟视点合成方法可以减少虚拟视点合成时变换像素点的数量而从而减少的计算量、提高绘制速度,结合视频图像的场景物体特征可以使特定场景的虚拟视点合成速度达到理想效果,进而实现多视点电视的新视点实时合成。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种利用轮廓感知的虚拟视点合成方法,其特征在于,具体步骤包括:
(100)、对参考视点的图像进行网格化处理,利用轮廓感知算法找到图像中物体网格轮廓;
(200)、以步骤(100)中所找到的物体网格轮廓为基础,利用3DWarping算法对其进行虚拟视点图像的映射操作;
(300)、利用多个参考视点图像的选择算法找到合适的映射后图像进行融合;
(400)、利用空洞填补算法对融合后的虚拟视点图像进行修复生成最终的虚拟视点图像。
2.根据权利要求1所述的利用轮廓感知的虚拟视点合成方法,其特征在于,所述步骤(100)中,对参考视点的图像进行网格化处理的方法为:把二维的图像进行网格划分处理,每个网格顶点对应三维空间坐标值,从而形成空间三角形网格面片,图像则成为网格面片的纹理材质。
3.根据权利要求1所述的利用轮廓感知的虚拟视点合成方法,其特征在于,所述步骤(100)中对图像中物体轮廓的感知算法具体为:将参考视点图像中的不同深度层次的物体进行分层,并且得到各层物体的大致网格化的轮廓,以这些轮廓来描述网格中的物体。
4.根据权利要求1所述的利用轮廓感知的虚拟视点合成方法,其特征在于,所述步骤(200)具体为:以网格化的轮廓顶点为映射原点进行3Dwarping,映射后的点成为对应虚拟视点的网格化顶点。
5.根据权利要求1所述的利用轮廓感知的虚拟视点合成方法,其特征在于,所述步骤(300)具体为:在多个参考视点生成的虚拟视点图像中选择合适的图像以备进行图像间的融合,选择的标准则是生成的图像有尽可能少的空洞和模糊区域。
6.根据权利要求5所述的利用轮廓感知的虚拟视点合成方法,其特征在于,所述步骤(300)中采用直接融合的方式,将不同的参考视点图像进行Alpha通道方式融合。
7.根据权利要求1所述的利用轮廓感知的虚拟视点合成方法,其特征在于,所述步骤(400)具体为:将所述步骤(300)中融合生成的虚拟视点图像进行一次空洞填补,其算法基础是多种空洞填补算法的结合。
8.根据权利要求7所述的利用轮廓感知的虚拟视点合成方法,其特征在于,所述步骤(400)中,对于图像修复过程中涉及的大空洞、细小空洞进行分类处理;
对于所述细小空洞,采用深度图预处理的方法,对深度图进行平滑滤波;
对于所述大空洞,一方面利用多个参考视点的纹理图,在不同的视点中寻找缺失的纹理信息;另一方面,利用图像修复算法填补空洞。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510182858.9A CN104837000B (zh) | 2015-04-17 | 2015-04-17 | 一种利用轮廓感知的虚拟视点合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510182858.9A CN104837000B (zh) | 2015-04-17 | 2015-04-17 | 一种利用轮廓感知的虚拟视点合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104837000A true CN104837000A (zh) | 2015-08-12 |
CN104837000B CN104837000B (zh) | 2017-03-15 |
Family
ID=53814608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510182858.9A Expired - Fee Related CN104837000B (zh) | 2015-04-17 | 2015-04-17 | 一种利用轮廓感知的虚拟视点合成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104837000B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106447604A (zh) * | 2016-09-30 | 2017-02-22 | 北京奇虎科技有限公司 | 一种变换视频中面部画面的方法和装置 |
CN106851247A (zh) * | 2017-02-13 | 2017-06-13 | 浙江工商大学 | 基于深度信息的复杂场景分层方法 |
WO2017156905A1 (zh) * | 2016-03-16 | 2017-09-21 | 深圳创维-Rgb电子有限公司 | 一种将二维图像转化为多视点图像的显示方法及系统 |
CN107918948A (zh) * | 2017-11-02 | 2018-04-17 | 深圳市自由视像科技有限公司 | 4d视频渲染方法 |
CN108769662A (zh) * | 2018-07-03 | 2018-11-06 | 京东方科技集团股份有限公司 | 一种多视点裸眼3d图像空洞填补方法、装置及电子设备 |
CN109064542A (zh) * | 2018-06-06 | 2018-12-21 | 链家网(北京)科技有限公司 | 三维模型表面空洞填补方法和装置 |
CN110312912A (zh) * | 2017-02-28 | 2019-10-08 | 三菱电机株式会社 | 车辆自动停车系统和方法 |
CN111311521A (zh) * | 2020-03-12 | 2020-06-19 | 京东方科技集团股份有限公司 | 图像修复方法、装置和电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042988A1 (ja) * | 2010-09-27 | 2012-04-05 | 富士フイルム株式会社 | 固体撮像素子及び撮像装置 |
WO2013034101A1 (zh) * | 2011-09-09 | 2013-03-14 | 海信集团有限公司 | 多视点视频中虚拟视点合成方法及装置 |
CN103269438A (zh) * | 2013-05-27 | 2013-08-28 | 中山大学 | 基于3d视频和自由视点电视的深度图像绘制的方法 |
CN103617599A (zh) * | 2013-11-21 | 2014-03-05 | 北京工业大学 | 一种基于网格形变最优化的图像非均匀映射方法 |
-
2015
- 2015-04-17 CN CN201510182858.9A patent/CN104837000B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042988A1 (ja) * | 2010-09-27 | 2012-04-05 | 富士フイルム株式会社 | 固体撮像素子及び撮像装置 |
WO2013034101A1 (zh) * | 2011-09-09 | 2013-03-14 | 海信集团有限公司 | 多视点视频中虚拟视点合成方法及装置 |
CN103269438A (zh) * | 2013-05-27 | 2013-08-28 | 中山大学 | 基于3d视频和自由视点电视的深度图像绘制的方法 |
CN103617599A (zh) * | 2013-11-21 | 2014-03-05 | 北京工业大学 | 一种基于网格形变最优化的图像非均匀映射方法 |
Non-Patent Citations (2)
Title |
---|
王超: "多视点视频中视点绘制技术研究", 《万方学位论文》 * |
骆凯 等: "基于DIBR和图像修复的任意视点绘制", 《中国图形图像学报》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017156905A1 (zh) * | 2016-03-16 | 2017-09-21 | 深圳创维-Rgb电子有限公司 | 一种将二维图像转化为多视点图像的显示方法及系统 |
US10334231B2 (en) | 2016-03-16 | 2019-06-25 | Shenzhen Skyworth-Rgb Electronic Co., Ltd | Display method and system for converting two-dimensional image into multi-viewpoint image |
CN106447604A (zh) * | 2016-09-30 | 2017-02-22 | 北京奇虎科技有限公司 | 一种变换视频中面部画面的方法和装置 |
CN106447604B (zh) * | 2016-09-30 | 2021-07-13 | 北京奇虎科技有限公司 | 一种变换视频中面部画面的方法和装置 |
CN106851247A (zh) * | 2017-02-13 | 2017-06-13 | 浙江工商大学 | 基于深度信息的复杂场景分层方法 |
CN110312912A (zh) * | 2017-02-28 | 2019-10-08 | 三菱电机株式会社 | 车辆自动停车系统和方法 |
CN110312912B (zh) * | 2017-02-28 | 2023-07-21 | 三菱电机株式会社 | 车辆自动停车系统和方法 |
CN107918948A (zh) * | 2017-11-02 | 2018-04-17 | 深圳市自由视像科技有限公司 | 4d视频渲染方法 |
CN109064542A (zh) * | 2018-06-06 | 2018-12-21 | 链家网(北京)科技有限公司 | 三维模型表面空洞填补方法和装置 |
CN108769662B (zh) * | 2018-07-03 | 2020-01-07 | 京东方科技集团股份有限公司 | 一种多视点裸眼3d图像空洞填补方法、装置及电子设备 |
US11043152B2 (en) | 2018-07-03 | 2021-06-22 | Boe Technology Group Co., Ltd. | Method and apparatus for filling holes in naked-eye 3D multi-viewpoint image, and electronic device for performing the method |
CN108769662A (zh) * | 2018-07-03 | 2018-11-06 | 京东方科技集团股份有限公司 | 一种多视点裸眼3d图像空洞填补方法、装置及电子设备 |
CN111311521A (zh) * | 2020-03-12 | 2020-06-19 | 京东方科技集团股份有限公司 | 图像修复方法、装置和电子设备 |
WO2021180204A1 (zh) * | 2020-03-12 | 2021-09-16 | 京东方科技集团股份有限公司 | 图像修复方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN104837000B (zh) | 2017-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104837000B (zh) | 一种利用轮廓感知的虚拟视点合成方法 | |
CN101400001B (zh) | 一种视频帧深度图的生成方法及系统 | |
CN102592275B (zh) | 虚拟视点绘制方法 | |
CN103400409B (zh) | 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法 | |
CN102136155B (zh) | 基于三维激光扫描数据的物体立面矢量化方法和系统 | |
CN115082639B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
CN104780355A (zh) | 一种视点合成中基于深度的空洞修复方法 | |
CN103024421B (zh) | 自由视点电视中的虚拟视点合成方法 | |
US11790610B2 (en) | Systems and methods for selective image compositing | |
CN105046735B (zh) | 一种基于基元分布的三维表面纹理合成方法 | |
CN103248911A (zh) | 多视点视频中基于空时结合的虚拟视点绘制方法 | |
US20200027261A1 (en) | Rendering 360 depth content | |
CN102625126A (zh) | 一种基于预测的三维网格编码方法 | |
CN104299263A (zh) | 一种基于单幅图像建模云场景的方法 | |
CN102509348A (zh) | 一种共享增强现实场景的真实物体多方位表示方法 | |
CN103826032A (zh) | 深度图后期处理方法 | |
CN109461197B (zh) | 一种基于球面uv和重投影的云实时绘制优化方法 | |
CN114972612B (zh) | 一种基于三维简化模型的图像纹理生成方法及相关设备 | |
CN105791798A (zh) | 一种基于gpu的4k超多视点3d视频实时转化方法及装置 | |
Kang et al. | Automatic texture reconstruction of 3d city model from oblique images | |
CN102426708B (zh) | 基于基元重组的纹理设计与合成方法 | |
CN114049423A (zh) | 一种自动的真实感三维模型纹理映射方法 | |
CN102469322B (zh) | 一种平面转立体的图像处理方法 | |
Remondino et al. | Detailed primitive-based 3D modeling of architectural elements | |
CN107330965B (zh) | 一种利用局部保守光栅化方法实现硬阴影反走样的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170315 Termination date: 20190417 |