CN104778755B - 一种基于区域划分的纹理图像三维重构方法 - Google Patents
一种基于区域划分的纹理图像三维重构方法 Download PDFInfo
- Publication number
- CN104778755B CN104778755B CN201510137295.1A CN201510137295A CN104778755B CN 104778755 B CN104778755 B CN 104778755B CN 201510137295 A CN201510137295 A CN 201510137295A CN 104778755 B CN104778755 B CN 104778755B
- Authority
- CN
- China
- Prior art keywords
- mrow
- texture image
- msub
- region
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000011218 segmentation Effects 0.000 claims abstract description 81
- 238000013139 quantization Methods 0.000 claims description 44
- 238000003709 image segmentation Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 235000019557 luminance Nutrition 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于区域划分的纹理图像三维重构方法。读取纹理图像信息，对纹理图像进行区域划分，得到纹理分割区域，并进行区域归组；采用明暗恢复形状方法计算得到纹理图像中像素点的高度值，形成纹理图像中像素点的三维纹理点；计算各纹理分割区域的颜色粗糙度，确定不同分割区域的三角网格大小，重构各分割区域的三角面片，把纹理图像转化为三维纹理图形，实现纹理图像三维重构。本发明较好地重构出纹理图像所反映虚拟物体表面的微观三维几何形状，即保证了纹理图像的微观细节，又降低了纹理图像三维重构的复杂度，还可依据区域归组给不同区域赋予不同的物理属性，为纹理图像的触觉感知奠定基础。
Description
技术领域
本发明涉及图像重构方法，尤其是一种基于区域划分的纹理图像三维重构方法，能较好地重构出纹理图像所反映虚拟物体表面的微观三维几何形状，为纹理图像的触觉感知奠定基础，属于计算机图形学和虚拟现实力触觉再现技术领域。
背景技术
图像信息主要是通过人的视觉感知，然而，对于盲人的弱势群体而言，是难以通过视觉看到图像，感知替代成为盲人感知图像的必然选择。盲人通过触觉或听觉等感知功能替代视觉来认识图像，触觉是最主要的视觉感知替代方式。目前，纹理图像触觉渲染方法大多基于三维模型，二维纹理图像缺少高度信息，无法直接应用于触觉渲染方法。因此，须要把二维纹理图像转化为三维纹理图形，以便触觉渲染方法生成触觉，让盲人通过触觉感知纹理图像。
Le Mercier B等人提出了四种像素亮度与对应点三维高度的映射方法，重建纹理图像所反映物体表面的微观三维几何形状，进而完成力触觉的表达与再现。Wu J等人设计了高斯滤波器对图像进行空间滤波，将高频部分作为表面纹理特征。Adi W等人提出了基于小波变换的方法提取图像中的纹理信息，把图像灰度映射为纹理表面的空间深度信息，建立三维纹理表面模型。田磊等人提出通过PDE方法对图像纹理进行分解，得到图像主要轮廓和细节纹理。韩兴光等人提出一种基于图像的物体形状的力触觉表达方法，首先将原始图像转化为二值图像，提取目标物体的边界点，通过折线模型拟合目标物体的轮廓线。李佳璐等人提出了一种基于shape from shading(SFS)技术的纹理力触觉表达方法，从二维纹理图像中恢复出表面三维微观几何形状。
虽然这些方法可以用于触觉渲染，但是，还需要进一步解决这三个问题：1)如何从纹理图像中恢复出较精确的像素点的高度值；2)如何从纹理图像中划分出不同区域；3)如何重构三维纹理图形。
发明内容
为了解决背景技术中存在的问题，本发明提出了一种基于区域划分的纹理图像三维重构方法。
本发明采用的技术方案包以下几个步骤：
1)读取纹理图像信息，纹理图像信息包括纹理图像中的像素点总数、像素点的行列总数目、像素点的二维位置和颜色值；
2)对纹理图像进行区域划分，得到纹理分割区域，并进行区域归组；
3)采用明暗恢复形状方法计算得到纹理图像中像素点的高度值，形成纹理图像中像素点的三维纹理点；
4)计算各纹理分割区域的颜色粗糙度，确定不同分割区域的三角网格大小，重构各分割区域的三角面片，把纹理图像转化为三维纹理图形，实现纹理图像三维重构。
所述步骤2)采用人机交互图像区域划分方法或者全自动识别图像区域划分方法进行区域划分依据像素点的颜色值和位置信息，进行纹理图像的区域划分，将纹理图像分为各个分割区域，赋予区域编号，并根据分割区域中像素的颜色量化等级均值，对分割区域进行区域归组，赋予区域组号。
所述的人机交互图像区域划分方法具体包括：设定纹理图像分成图像分割区域的数量；采样像素点，设定各个图像分割区域的颜色范围；遍历整个纹理图像中每个像素点的颜色值，判断是否在图像分割区域的颜色值范围内，若是，将该像素点合到对应的图像分割区域；不同的图像分割区域赋予不同的区域编号。
所述的全自动识别图像区域划分方法具体步骤如下：
2.1)读取纹理图像中像素点的行列数目，把整幅纹理图像分为M个矩形窗口，每个矩形窗口的长度和宽度均为整幅纹理图像长度和宽度的1/100至1/400；
2.2)采用以下公式求出每个矩形窗口的颜色粗糙度Sm：
其中，为矩形窗口内第i个像素点的颜色值，i表示像素点的序数，表示窗口内所有像素点的颜色均值，||·||表示欧式距离；n为矩形窗口内像素点的数目，m为矩形窗口的序数；
2.3)根据各个矩形窗口的颜色粗糙度Sm采用以下公式计算获得整幅纹理图像的平均颜色粗糙度Smean：
其中，M为矩形窗口的数目；
2.4)采用以下公式计算得到纹理图像的颜色量化等级的等级总数N：
N＝a·Smean+1
其中，a为等级精度系数；
2.5)根据矢量量化方法计算得到纹理图像中每个像素点的颜色量化值，并归类于颜色量化等级中对应的等级；
2.6)依据像素颜色量化等级建立种子区域，一个种子区域中所有像素点的像素颜色量化等级相同，种子区域由一像素点与其四邻域联通的像素点构成，且种子区域面积要至多达到纹理图像总面积的2％；
2.7)对于每个种子区域，由种子区域边缘的每个像素点向四邻域不断搜索相邻像素点，若种子区域边缘的像素点与相邻像素点之间的颜色距离小于当前种子区域下所有像素的平均颜色距离，则将符合条件的所有相邻像素点合并到该种子区域中，由原种子区域转化构成类种子区域；若原种子区域未合并有相邻像素点，则保留，仍为种子区域；
2.8)由种子区域和类种子区域组成了纹理图像的K个初始分割区域，对初始分割区域进行依次编号，并构建出初始分割区域的邻接关系表；
2.9)根据颜色距离、边缘距离和邻接关系表，计算得到所有分割区域相互之间的区域距离，对初始分割区域进行依次合并；
2.10)根据分割区域像素的颜色量化等级均值，对合并后的分割区域进行分组；将像素颜色量化等级均值相同的分割区域归为一组，赋予相同的区域组号。
所述步骤2.9)对初始分割区域进行依次合并具体包括：
2.9.1)合并当前区域距离最小的两个初始分割区域，得到新的分割区域，并求出新分割区域的像素颜色量化等级均值和邻接关系表，计算合并后各个分割区域之间的区域距离；
2.9.2)再重复上述步骤遍历进行合并直到合并阈值β达到最小值时，停止合并，合并阈值β采用以下公式：
其中，G表示当前合并后分割区域的总数，kl∈[1,G]表示未合并分割区域的数目，表示单个区域的颜色散度，Jt表示整幅纹理图像的颜色散度，r为当前合并区域的序数，r∈[1,kl]。
所述步骤2.7)和2.9)中的颜色距离采用以下公式计算：
其中，|ri|、|rj|分别表示第i和j个初始分割区域的像素总个数， 分别表示第i和j个初始分割区域的像素颜色量化等级均值。
所述步骤2.9)中的边缘距离采用以下公式的Sobel边缘检测方法进行计算：
其中，xk、xl分别表示位于分割区域边缘上第k点像素和第l点像素的颜色量化等级，Eij表示两个分割区域边缘上的像素，|Eij|表示分割区域边缘上的像素个数。
所述步骤2.9)中的区域距离采用以下公式计算：
其中，分别表示第i和j个初始分割区域的颜色距离和边缘距离，p、q分别是颜色距离与边缘距离在区域距离公式中的权重系数，Δij表示这两个区域的邻接关系，当第i区域和第j区域相邻时Δij＝1，否则为Δij＝+∞。
所述步骤3)纹理图像像素点的高度值具体采用以下方式计算：
3.1)建立以下公式的朗伯体表面反射模型：
其中，E(x,y)为纹理图像像素点的亮度，z＝z(x,y)为三维纹理点的高度值，x、y分别为三维纹理点的二维坐标，n＝(n1,n2,n3)为三维纹理点的法向量，n1、n2、n3分别为三维纹理点的三维坐标，(-p0,-q0,1)表示光源方向，p0、q0分别表示光源方向的初始值，R(p(x,y),q(x,y))为反射函数，p和q满足
3.2)将颜色距离权重系数p和边缘距离权重系数q设为p＝zi,j-zi,j-1,q＝zi,j-zi-1,j，其中i＝0,...,M-1,j＝0,...,N-1，M,N分别为像素点的行列总数目，i、j分别表示像素点的序数，则E(x,y)＝f(zi,j)＝R(zi,j-zi,j-1,zi,j-zi-1,j)；
3.3)对朗伯体表面反射模型进行展开求解，得到对每个像素点采用以下公式依次进行迭代计算，得到物体表面点的高度值z＝z(x,y)，求解得到纹理图像每个像素点：
其中，
所述步骤4)重构各分割区域的三角面片具体为：遍历矩形窗口中的像素点，若矩形窗口中的所有像素点属于同一分割区域，依据分割区域的颜色粗糙度，用一多边形网格重构出该窗口三维纹理图形；若矩形窗口中的所有像素点不属于同一分割区域，则选择颜色粗糙度最大的分割区域根据其颜色粗糙度用一多边形网格重构出该矩形窗口三维纹理图形。
本发明方法的优点及显著效果，和以往的方法相比具有以下特点：
1、本发明方法能较好地重构出纹理图像所反映虚拟物体表面的微观三维几何形状，适用于纹理图像的触觉渲染方法。
2、本发明方法根据不同的纹理区域组的颜色粗糙度大小，对不同区域使用不同大小的三角网格重构，保证了图像三维重构后纹理图像微观细节的精细度，又降低了纹理图像三维重构的计算量。
3、本发明方法依据区域归组可以给不同区域赋予不同的物理属性，比如刚度，粗糙度和粘度等，为纹理图像触觉感知的真实性奠定基础。
附图说明
图1是本发明方法的流程图。
图2是实施例绣花纹理图像转化为三维纹理图形的步骤和效果图。
图3是实施例D91纹理图像转化为三维纹理图形的步骤和效果图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，总体而言本发明首先获取纹理图像的像素信息，对纹理图像进行区域划分和区域归组；其次，求得纹理图像中像素点的高度值；最后，依据各区域的颜色粗糙度，确定不同区域的三角网格大小，结合各区域中像素点的高度值，重构各区域的三角面片，把纹理图像转化为三维纹理图形。
具体来说，本发明方法包括：
1)读取纹理图像信息，纹理图像信息包括纹理图像中的像素点总数、像素点的行列总数目、像素点的二维位置和颜色值；
2)对纹理图像进行区域划分，得到纹理分割区域，并进行区域归组；
区域归组可采用人机交互图像区域划分方法或者全自动识别图像区域划分方法：依据像素点的颜色值和位置信息，进行纹理图像的区域划分，将纹理图像分为各个分割区域，赋予区域编号，并根据分割区域中像素的颜色量化等级均值，对分割区域进行区域归组，赋予区域组号。
人机交互图像区域划分方法具体包括：设定纹理图像分成图像分割区域的数量；采样像素点，设定各个图像分割区域的颜色范围；遍历整个纹理图像中每个像素点的颜色值，判断是否在图像分割区域的颜色值范围内，若是，将该像素点合到对应的图像分割区域；不同的图像分割区域赋予不同的区域编号。
全自动识别图像区域划分方法具体包括：
2.1)读取纹理图像中像素点的行列数目，把整幅纹理图像分为M个矩形窗口，每个矩形窗口的长度和宽度均为整幅纹理图像长度和宽度的1/100至1/400；
2.2)采用以下公式求出每个矩形窗口的颜色粗糙度Sm，颜色粗糙度Sm表示窗口颜色的差异度，差异度越大，表示窗口颜色越丰富：
其中，为矩形窗口内第i个像素点的颜色值，i表示像素点的序数，表示窗口内所有像素点的颜色均值，||·||表示欧式距离；n为矩形窗口内像素点的数目，m为矩形窗口的序数；
2.3)根据各个矩形窗口的颜色粗糙度Sm采用以下公式计算获得整幅纹理图像的平均颜色粗糙度Smean，平均颜色粗糙度Smean表示纹理图像的颜色量化级数，颜色量化级数越大，表示纹理图像颜色越丰富：
其中，M为矩形窗口的数目；
2.4)采用以下公式计算得到纹理图像的颜色量化等级的等级总数N，N越大，表示纹理图像的颜色区别越精细：
N＝a·Smean+1
其中，a为等级精度系数，等级精度系数a设定为0.5、1.0或者2.0；
2.5)根据矢量量化方法计算得到纹理图像中每个像素点的颜色量化值，并归类于颜色量化等级中对应的等级；
2.6)依据像素颜色量化等级建立种子区域，一个种子区域中所有像素点的像素颜色量化等级相同，种子区域由一像素点与其四邻域联通的像素点构成，且种子区域面积要至多达到纹理图像总面积的2％；
2.7)对于每个种子区域，由种子区域边缘的每个像素点向四邻域不断搜索相邻像素点，若种子区域边缘的像素点与相邻像素点之间的颜色距离小于当前种子区域下所有像素的平均颜色距离，则将符合条件的所有相邻像素点合并到该种子区域中，由原种子区域转化构成类种子区域；若原种子区域未合并有相邻像素点，则保留，仍为种子区域；
上述颜色距离采用以下公式计算：
其中，|ri|、|rj|分别表示第i和j个初始分割区域的像素总个数， 分别表示第i和j个初始分割区域的像素颜色量化等级均值。
2.8)由种子区域和类种子区域组成了纹理图像的K个初始分割区域，对初始分割区域进行依次编号，并构建出初始分割区域的邻接关系表；
2.9)根据颜色距离、边缘距离和邻接关系表，计算得到所有分割区域相互之间的区域距离，对初始分割区域进行依次合并；
上述边缘距离采用以下公式的Sobel边缘检测方法进行计算：
其中，xk、xl分别表示位于分割区域边缘上第k点像素和第l点像素的颜色量化等级，Eij表示两个分割区域边缘上的像素，|Eij|表示分割区域边缘上的像素个数。
上述区域距离采用以下公式计算：
其中，分别表示第i和j个初始分割区域的颜色距离和边缘距离，p、q分别是颜色距离与边缘距离在区域距离公式中的权重系数，Δij表示这两个区域的邻接关系，当第i区域和第j区域相邻时Δij＝1，否则为Δij＝+∞。
2.9.1)合并当前区域距离最小的两个初始分割区域，得到新的分割区域，并求出新分割区域的像素颜色量化等级均值和邻接关系表，计算合并后各个分割区域之间的区域距离；
2.9.2)再重复上述步骤遍历进行合并直到合并阈值β达到最小值时，停止合并，合并阈值β采用以下公式：
其中，G表示当前合并后分割区域的总数，kl∈[1,G]表示未合并分割区域的数目，表示单个区域的颜色散度，Jt表示整幅纹理图像的颜色散度，r为当前合并区域的序数，r∈[1,kl]。
2.10)根据分割区域像素的颜色量化等级均值，对合并后的分割区域进行分组；将像素颜色量化等级均值相同的分割区域归为一组，赋予相同的区域组号。
3)采用明暗恢复形状方法计算得到纹理图像中像素点的高度值，形成纹理图像中像素点的三维纹理点；
纹理图像像素点的高度值具体采用以下方式计算：
3.1)建立以下公式的朗伯体表面反射模型：
其中，E(x,y)为纹理图像像素点的亮度，z＝z(x,y)为三维纹理点的高度值，x、y分别为三维纹理点的二维坐标，n＝(n1,n2,n3)为三维纹理点的法向量，n1、n2、n3分别为三维纹理点的三维坐标，(-p0,-q0,1)表示光源方向，p0、q0分别表示光源方向的初始值，R(p(x,y),q(x,y))为反射函数，p和q满足
3.2)将颜色距离权重系数p和边缘距离权重系数q设为p＝zi,j-zi,j-1,q＝zi,j-zi-1,j，其中i＝0,...,M-1,j＝0,...,N-1，M,N分别为像素点的行列总数目，i、j分别表示像素点的序数，则E(x,y)＝f(zi,j)＝R(zi,j-zi,j-1,zi,j-zi-1,j)；
3.3)对朗伯体表面反射模型进行展开求解，得到对每个像素点采用以下公式依次进行迭代计算，得到物体表面点的高度值z＝z(x,y)，求解得到纹理图像每个像素点：
其中，
4)计算各纹理分割区域的颜色粗糙度，确定不同分割区域的三角网格大小，重构各分割区域的三角面片，把纹理图像转化为三维纹理图形，实现纹理图像三维重构：遍历矩形窗口中的像素点，若矩形窗口中的所有像素点属于同一分割区域，依据分割区域的颜色粗糙度，用一多边形网格重构出该窗口三维纹理图形；若矩形窗口中的所有像素点不属于同一分割区域，则选择颜色粗糙度最大的分割区域根据其颜色粗糙度用一多边形网格重构出该矩形窗口三维纹理图形。
求解各分割区域的颜色粗糙度，确定各分割区域的纹理复杂度。纹理复杂度越低，表示纹理细节越少，可用大的三角网格重构；纹理复杂度越高，表示纹理细节越多，可用小的三角网格重构。
本发明的实施例如下：
以图2为例，详细说明本发明方法是如何实现纹理图像转化为三维纹理图形。读入绣花纹理图像2.1，获取绣花纹理图像的像素信息，共有160000个像素点，像素点的行列数目400×400，以及像素点的二维位置和颜色值。对绣花纹理图像进行平滑化处理，消除噪点对图像的影响(图2.2)。
把整幅绣花纹理图像分为10000个矩形窗口，求出每个矩形窗口的颜色粗糙度和整幅绣花纹理图像的平均颜色粗糙度再求出整幅绣花纹理图像的颜色量化级数的等级数N，N＝a×Smean+1＝24.44，a＝2，取整后N＝24。求出整幅绣花纹理图像中每个像素点的颜色量化值，并归类于N中的某一等级。对绣花纹理图像进行区域划分，得到41个分割区域，合并为4个区域组(2.5)，分别是背景区域(2.5.1)、叶子区域(2.5.2)、花枝区域(2.5.3)和花朵区域(2.5.4)。
对图2.2进行灰度化，得到绣花纹理图像灰度图(2.3)，使用明暗恢复形状方法，求出绣花纹理图像的像素点高度值，绘制出像素点高度值图(2.4)。
求解各分割区域组的颜色粗糙度，背景区域、叶子区域、花枝区域和花朵区域的颜色粗糙度分别为：4.54,12.19,14.09和16.06。确定花朵区域的三角网格直角边长度为1个单位，花枝区域的三角网格直角边长度为2个单位，叶子区域的三角网格直角边长度为4个单位，背景区域的三角网格直角边长度为8个单位，绘制出绣花三维纹理图形(2.6)，图2.7为图2.6的局部放大图。在图2.7中可以清晰呈现花朵区域三角网格多且小，花枝和叶子区域次之，背景区域的三角网格数少且大，保证了图像三维重构后纹理图像微观细节的精细度，又降低了纹理图像三维重构的计算量。
绣花纹理图像的三维纹理图形，具体绘制步骤如下：
1)将绣花纹理图像进行窗口化，每个矩形窗口大小为整幅纹理图像大小的1/100，共10000个。每个矩形窗口包含像素点数相同，有25个像素点，存储像素点的二维数组w[m][n]，m表示像素点在窗口的行号，共5行，n表示像素点在窗口的列号，共5列，像素点的信息包括像素点的高度值和像素点的区域组编号。
2)若窗口中所有像素点属于同一区域组，由该区域组的颜色粗糙度确定的三角网格大小，绘制该窗口，重构出该窗口三维纹理图形；比如，像素点属于的区域组的颜色粗糙度最小，表示纹理细节最少，用最大的三角网格绘制，读取该窗口四个顶点像素点w[0][0],w[0][4],w[4][0],w[4][4]，得到四个顶点像素点的二维坐标(x,y)和高度值z，组成四个顶点像素点的纹理点的三维坐标(x,y,z)，按照右手定则，用2个大三角面片绘制该窗口，四个顶点的纹理点三维坐标存入该区域组的绘制序列，分别对应w[0][0],w[4][0],w[4][4]和w[0][0],w[4][4],w[0][4]，用于绘制三角网格。
3)若窗口中的像素点不属于同一区域组，遍历窗口中所有像素点，找到像素点所属于颜色粗糙度最大的区域组所对应大小的三角网格，重构出该窗口三维纹理图形。比如，窗口中有像素点属于所有区域组中颜色粗糙度最大的区域组，表示纹理细节最多，用最小的三角网格绘制，最小三角网格在横向和纵向上的长度为一个单位(相邻像素横向或纵向间的距离)，遍历窗口中除最后一行或一列外的每个像素点w[i][j]，读取w[i][j]，w[i][j+1]，w[i+1][j]，w[i+1][j+1]四个像素点，得到这四个像素点的二维坐标(x,y)和高度值z，组成这四个像素点的纹理点的三维坐标(x,y,z)，按照右手定则，把这四个像素点的纹理点三维坐标存入相应区域组的绘制序列，分别对应w[i][j]，w[i+1][j]，w[i+1][j+1]和w[i][j]，w[i+1][j+1]，w[i][j+1]，用于绘制三角网格。
4)由于绘制三角网格的三个像素点可能不属于同一区域组，需要确定此三角网格加入哪个区域组的绘制序列，本方法把这个三角网格加入到三个像素点所属区域组中编号最大的区域组。
5)遍历每个区域组的绘制序列，每次提取三个像素点的纹理点三维坐标进行绘制，直到该区域组序列绘制结束，所有区域组绘制完成，实现纹理图像转化为纹理图形。
同理，图3是把Brodatz图像库中的D91纹理图像转化为三维纹理图形。其3.1为D91纹理图像，平滑化后(3.2)，进行区域划分和区域归组，得到黑色16个区域，白色13个区域，共29个分割区域，归为黑白2个区域组(3.3)；再求出D91纹理图像的像素点高度值，绘制出像素点高度值图(3.4)；然后求得白色区域的颜色粗糙度为19.69，黑色区域的颜色粗糙度分别为11.04。对于两个区域组的纹理图像，本方法也可设置颜色粗糙度大的区域组，用大三角网格绘制，颜色粗糙度小的区域组，用小三角网格绘制，绘制出D91纹理图像的三维纹理图形(3.5)，3.6为D91纹理图像的三维纹理图形的局部放大图。
由此可见，本发明方法根据不同的纹理区域组的颜色粗糙度大小实现了不同区域不同大小的三角网格重构，精细度高且降低了计算量；能较好地重构出纹理图像所反映虚拟物体表面的微观三维几何形状，适用于纹理图像的触觉渲染，具有突出显著的技术效果。
Claims (10)
1.一种基于区域划分的纹理图像三维重构方法，其特征包括以下几个步骤：
1)读取纹理图像信息，纹理图像信息包括纹理图像中的像素点总数、像素点的行列总数目、像素点的二维位置和颜色值；
2)对纹理图像进行区域划分，得到纹理分割区域，并进行区域归组；
3)采用明暗恢复形状方法计算得到纹理图像中像素点的高度值，形成纹理图像中像素点的三维纹理点；
4)计算各纹理分割区域的颜色粗糙度，确定不同分割区域的三角网格大小，重构各分割区域的三角面片，把纹理图像转化为三维纹理图形，实现纹理图像三维重构。
2.根据权利要求1所述的一种基于区域划分的纹理图像三维重构方法，其特征在于：所述步骤2)采用人机交互图像区域划分方法或者全自动识别图像区域划分方法进行区域划分依据像素点的颜色值和位置信息，进行纹理图像的区域划分，将纹理图像分为各个分割区域，赋予区域编号，并根据分割区域中像素的颜色量化等级均值，对分割区域进行区域归组，赋予区域组号。
3.根据权利要求2所述的一种基于区域划分的纹理图像三维重构方法，其特征在于：所述的人机交互图像区域划分方法具体包括：设定纹理图像分成图像分割区域的数量；采样像素点，设定各个图像分割区域的颜色范围；遍历整个纹理图像中每个像素点的颜色值，判断是否在图像分割区域的颜色值范围内，若是，将该像素点合到对应的图像分割区域；不同的图像分割区域赋予不同的区域编号。
4.根据权利要求2所述的一种基于区域划分的纹理图像三维重构方法，其特征在于：所述的全自动识别图像区域划分方法具体步骤如下：
2.1)读取纹理图像中像素点的行列数目，把整幅纹理图像分为M个矩形窗口，每个矩形窗口的长度和宽度均为整幅纹理图像长度和宽度的1/100至1/400；
2.2)采用以下公式求出每个矩形窗口的颜色粗糙度Sm：
<mrow>
<msub>
<mi>S</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>x</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>x</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>m</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
</msup>
</mrow>
其中，为矩形窗口内第i个像素点的颜色值，i表示像素点的序数，表示窗口内所有像素点的颜色均值，||·||表示欧式距离；n为矩形窗口内像素点的数目，m为矩形窗口的序数；
2.3)根据各个矩形窗口的颜色粗糙度Sm采用以下公式计算获得整幅纹理图像的平均颜色粗糙度Smean：
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mi>m</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>M</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>S</mi>
<mi>m</mi>
</msub>
</mrow>
其中，M为矩形窗口的数目；
2.4)采用以下公式计算得到纹理图像的颜色量化等级的等级总数N：
N＝a·Smean+1
其中，a为等级精度系数；
2.5)根据矢量量化方法计算得到纹理图像中每个像素点的颜色量化值，并归类于颜色量化等级中对应的等级；
2.6)依据像素颜色量化等级建立种子区域，一个种子区域中所有像素点的像素颜色量化等级相同，种子区域由一像素点与其四邻域联通的像素点构成，且种子区域面积要至多达到纹理图像总面积的2％；
2.7)对于每个种子区域，由种子区域边缘的每个像素点向四邻域不断搜索相邻像素点，若种子区域边缘的像素点与相邻像素点之间的颜色距离小于当前种子区域下所有像素的平均颜色距离，则将符合条件的所有相邻像素点合并到该种子区域中，由原种子区域转化构成类种子区域；若原种子区域未合并有相邻像素点，则保留，仍为种子区域；
2.8)由种子区域和类种子区域组成了纹理图像的K个初始分割区域，对初始分割区域进行依次编号，并构建出初始分割区域的邻接关系表；
2.9)根据颜色距离、边缘距离和邻接关系表，计算得到所有分割区域相互之间的区域距离，对初始分割区域进行依次合并；
2.10)根据分割区域像素的颜色量化等级均值，对合并后的分割区域进行分组；将像素颜色量化等级均值相同的分割区域归为一组，赋予相同的区域组号。
5.根据权利要求4所述的一种基于区域划分的纹理图像三维重构方法，其特征在于：所述步骤2.9)对初始分割区域进行依次合并具体包括：
2.9.1)合并当前区域距离最小的两个初始分割区域，得到新的分割区域，并求出新分割区域的像素颜色量化等级均值和邻接关系表，计算合并后各个分割区域之间的区域距离；
2.9.2)再重复上述步骤遍历进行合并直到合并阈值β达到最小值时，停止合并，合并阈值β采用以下公式：
<mrow>
<mi>&beta;</mi>
<mo>=</mo>
<msub>
<mi>k</mi>
<mi>l</mi>
</msub>
<mo>/</mo>
<mi>G</mi>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>r</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>k</mi>
<mi>l</mi>
</msub>
</munderover>
<msubsup>
<mi>J</mi>
<mi>w</mi>
<mi>r</mi>
</msubsup>
<mo>/</mo>
<msub>
<mi>J</mi>
<mi>t</mi>
</msub>
</mrow>
其中，G表示当前合并后分割区域的总数，kl∈[1,G]表示未合并分割区域的数目，表示单个区域的颜色散度，Jt表示整幅纹理图像的颜色散度，r为当前合并区域的序数，r∈[1,kl]。
6.根据权利要求4所述的一种基于区域划分的纹理图像三维重构方法，其特征在于：所述步骤2.7)和2.9)中的颜色距离采用以下公式计算：
<mrow>
<msubsup>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>c</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mrow>
<mrow>
<mo>|</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
</mrow>
<mo>&CenterDot;</mo>
<mrow>
<mo>|</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
</mrow>
</mrow>
<mrow>
<mrow>
<mo>|</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
</mrow>
<mo>+</mo>
<mrow>
<mo>|</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
</mrow>
</mrow>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>&mu;</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>&mu;</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>j</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
其中，|ri|、|rj|分别表示第i和j个初始分割区域的像素总个数， 分别表示第i和j个初始分割区域的像素颜色量化等级均值。
7.根据权利要求4所述的一种基于区域划分的纹理图像三维重构方法，其特征在于：所述步骤2.9)中的边缘距离采用以下公式的Sobel边缘检测方法进行计算：
<mrow>
<msubsup>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>e</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mo>|</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>|</mo>
</mrow>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>,</mo>
<mi>l</mi>
<mo>&Element;</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>x</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>x</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>l</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
其中，xk、xl分别表示位于分割区域边缘上第k点像素和第l点像素的颜色量化等级，Eij表示两个分割区域边缘上的像素，|Eij|表示分割区域边缘上的像素个数。
8.根据权利要求4所述的一种基于区域划分的纹理图像三维重构方法，其特征在于：所述步骤2.9)中的区域距离采用以下公式计算：
<mrow>
<msubsup>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>r</mi>
</msubsup>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>c</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>p</mi>
</msup>
<mo>&CenterDot;</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>e</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>q</mi>
</msup>
<mo>&CenterDot;</mo>
<msub>
<mi>&Delta;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
其中，分别表示第i和j个初始分割区域的颜色距离和边缘距离，p、q分别是颜色距离与边缘距离在区域距离公式中的权重系数，Δij表示这两个区域的邻接关系，当第i区域和第j区域相邻时Δij＝1，否则为Δij＝+∞。
9.根据权利要求1所述的一种基于区域划分的纹理图像三维重构方法，其特征在于：所述步骤3)纹理图像像素点的高度值具体采用以下方式计算：
3.1)建立以下公式的朗伯体表面反射模型：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>q</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>p</mi>
<mn>0</mn>
</msub>
<mi>p</mi>
<mo>+</mo>
<msub>
<mi>q</mi>
<mn>0</mn>
</msub>
<mi>q</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mrow>
<msqrt>
<mrow>
<msubsup>
<mi>p</mi>
<mn>0</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>q</mi>
<mn>0</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msqrt>
<msqrt>
<mrow>
<msup>
<mi>p</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>q</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msqrt>
</mrow>
</mfrac>
</mrow>
其中，E(x,y)为纹理图像像素点的亮度，z＝z(x,y)为三维纹理点的高度值，x、y分别为三维纹理点的二维坐标，n＝(n1,n2,n3)为三维纹理点的法向量，n1、n2、n3分别为三维纹理点的三维坐标，(-p0,-q0,1)表示光源方向，p0、q0分别表示光源方向的初始值，R(p(x,y),q(x,y))为反射函数，p和q满足
3.2)将颜色距离权重系数p和边缘距离权重系数q设为p＝zi,j-zi,j-1,q＝zi,j-zi-1,j，其中i＝0,...,M-1,j＝0,...,N-1，M,N分别为像素点的行列总数目，i、j分别表示像素点的序数，则E(x,y)＝f(zi,j)＝R(zi,j-zi,j-1,zi,j-zi-1,j)；
3.3)对朗伯体表面反射模型进行展开求解，得到对每个像素点采用以下公式依次进行迭代计算，得到物体表面点的高度值z＝z(x,y)，求解得到纹理图像每个像素点：
<mrow>
<msubsup>
<mi>z</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>n</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>z</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mi>f</mi>
<mo>(</mo>
<msubsup>
<mi>z</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>z</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msubsup>
<mi>z</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
</mrow>
</mfrac>
</mrow>
其中，
10.根据权利要求1所述的一种基于区域划分的纹理图像三维重构方法，其特征在于：所述步骤4)重构各分割区域的三角面片具体为：遍历矩形窗口中的像素点，若矩形窗口中的所有像素点属于同一分割区域，依据分割区域的颜色粗糙度，用一多边形网格重构出该窗口三维纹理图形；若矩形窗口中的所有像素点不属于同一分割区域，则选择颜色粗糙度最大的分割区域根据其颜色粗糙度用一多边形网格重构出该矩形窗口三维纹理图形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510137295.1A CN104778755B (zh) | 2015-03-27 | 2015-03-27 | 一种基于区域划分的纹理图像三维重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510137295.1A CN104778755B (zh) | 2015-03-27 | 2015-03-27 | 一种基于区域划分的纹理图像三维重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104778755A CN104778755A (zh) | 2015-07-15 |
| CN104778755B true CN104778755B (zh) | 2017-08-25 |
Family
ID=53620198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510137295.1A Expired - Fee Related CN104778755B (zh) | 2015-03-27 | 2015-03-27 | 一种基于区域划分的纹理图像三维重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104778755B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108140257B (zh) * | 2015-10-06 | 2022-04-22 | 圣犹达医疗用品心脏病学部门有限公司 | 用于产生电生理图的方法和系统 |
| CN105698733B (zh) * | 2016-01-22 | 2018-11-30 | 福建天晴数码有限公司 | 房屋内部形状测量方法 |
| CN106204710A (zh) * | 2016-07-13 | 2016-12-07 | 四川大学 | 基于图像二维信息熵的纹理块映射到三维网格模型的方法 |
| CN106671112B (zh) * | 2016-12-13 | 2018-12-11 | 清华大学 | 一种基于触觉阵列信息的机械手抓取稳定性判断方法 |
| CN110167756B (zh) * | 2017-04-10 | 2022-05-06 | 西门子工业软件有限公司 | 用于通过增材制造构造实体物体的基于构建方向的划分 |
| CN107449378B (zh) * | 2017-07-21 | 2019-08-20 | 辽宁科技大学 | 一种基于三维图像的岩石表面粗糙程度测试及计算方法 |
| CN107784626B (zh) * | 2017-11-21 | 2020-11-17 | 西北农林科技大学 | 一种基于单幅图像的三维数字凹浮雕生成方法 |
| CN108921908B (zh) * | 2018-07-03 | 2020-07-28 | 百度在线网络技术（北京）有限公司 | 表面光场的采集方法、装置及电子设备 |
| US10930049B2 (en) * | 2018-08-27 | 2021-02-23 | Apple Inc. | Rendering virtual objects with realistic surface properties that match the environment |
| CN109472853A (zh) * | 2018-11-16 | 2019-03-15 | 厦门大学 | 一种基于图像辐照强度的朗伯体微观表面重构方法 |
| CN109974625B (zh) * | 2019-04-08 | 2021-02-09 | 四川大学 | 一种基于色相优化灰度的彩色物体结构光三维测量方法 |
| CN113689374B (zh) * | 2020-05-18 | 2023-10-27 | 浙江大学 | 一种植物叶片表面粗糙度确定方法及系统 |
| CN114972265B (zh) * | 2022-05-30 | 2024-08-09 | 广州虎牙科技有限公司 | 纹理图像分割方法、生成方法、装置及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101246603A (zh) * | 2007-02-16 | 2008-08-20 | 三星电子株式会社 | 基于2d拍摄图像实现3d模型生成的方法、介质及系统 |
| CN104036529A (zh) * | 2014-06-10 | 2014-09-10 | 浙江工业大学之江学院 | 一种刺绣织物意匠颜色的图像分析方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110025685A1 (en) * | 2009-07-29 | 2011-02-03 | Doug Epps | Combined geometric and shape from shading capture |
| US8625931B2 (en) * | 2010-09-03 | 2014-01-07 | Adobe Systems Incorporated | Light space graphical model in shape from shading |
-
2015
- 2015-03-27 CN CN201510137295.1A patent/CN104778755B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101246603A (zh) * | 2007-02-16 | 2008-08-20 | 三星电子株式会社 | 基于2d拍摄图像实现3d模型生成的方法、介质及系统 |
| CN104036529A (zh) * | 2014-06-10 | 2014-09-10 | 浙江工业大学之江学院 | 一种刺绣织物意匠颜色的图像分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104778755A (zh) | 2015-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104778755B (zh) | 一种基于区域划分的纹理图像三维重构方法 | |
| EP2206090B1 (de) | Verfahren und vorrichtung zum darstellen eines virtuellen objekts in einer realen umgebung | |
| Morell et al. | Geometric 3D point cloud compression | |
| EP2206089B1 (de) | Verfahren und vorrichtung zum darstellen eines virtuellen objekts in einer realen umgebung | |
| CN105335972B (zh) | 基于小波轮廓波变换与视觉显著性的经编织物疵点检测方法 | |
| CN105550691B (zh) | 基于尺度空间的自适应山谷山脊线提取方法及系统 | |
| CN103810729B (zh) | 一种基于等高线的光栅图像矢量化方法 | |
| CN110570440A (zh) | 一种基于深度学习边缘检测的图像自动分割方法及装置 | |
| Sarkar et al. | Learning quadrangulated patches for 3d shape parameterization and completion | |
| CN111754618B (zh) | 一种面向对象的实景三维模型多层次解译方法及系统 | |
| Akl et al. | A survey of exemplar-based texture synthesis methods | |
| Zhang et al. | Real-time bas-relief generation from a 3D mesh | |
| Pound et al. | A patch-based approach to 3D plant shoot phenotyping | |
| CN103903275A (zh) | 利用小波融合算法改进图像分割效果的方法 | |
| CN114782645B (zh) | 虚拟数字人制作方法、相关设备及可读存储介质 | |
| CN103971122A (zh) | 基于深度图像的三维人脸描述方法及装置 | |
| Ouma et al. | Urban-trees extraction from Quickbird imagery using multiscale spectex-filtering and non-parametric classification | |
| CN107563963B (zh) | 一种基于单张深度图超分辨率重建的方法 | |
| Böhm et al. | Model refinement by integrated processing of laser scanning and photogrammetry | |
| CN101578632B (zh) | 模糊边缘平滑度先验及其在阿尔法通道超分辨率上的应用 | |
| Sangeetha et al. | A novel exemplar based Image Inpainting algorithm for natural scene image completion with improved patch prioritizing | |
| Furferi et al. | Tactile 3D bas-relief from single-point perspective paintings: a computer based method | |
| Schoor et al. | VR based visualization and exploration of plant biological data | |
| Ramadhanu et al. | Development of Affine Transformation Method in the Reconstruction of Songket Motif | |
| Jimenez-Fernandez et al. | Exploring the use of two-dimensional piecewise-linear functions as an alternative model for representing and processing grayscale-images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170825 Termination date: 20210327 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |