CN100353384C - 电子游戏中玩家快速置入方法 - Google Patents

电子游戏中玩家快速置入方法 Download PDF

Info

Publication number
CN100353384C
CN100353384C CNB2004101018808A CN200410101880A CN100353384C CN 100353384 C CN100353384 C CN 100353384C CN B2004101018808 A CNB2004101018808 A CN B2004101018808A CN 200410101880 A CN200410101880 A CN 200410101880A CN 100353384 C CN100353384 C CN 100353384C
Authority
CN
China
Prior art keywords
face
people
game player
texture
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004101018808A
Other languages
English (en)
Other versions
CN1797474A (zh
Inventor
王阳生
张满囤
黄向生
曾祥永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CNB2004101018808A priority Critical patent/CN100353384C/zh
Publication of CN1797474A publication Critical patent/CN1797474A/zh
Application granted granted Critical
Publication of CN100353384C publication Critical patent/CN100353384C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及三维图像处理技术领域,一种电子游戏中玩家快速置入方法包括:对从摄像头检测的游戏玩家正面人脸进行检测和关键点定位,可以准确地获得人脸特征点信息;根据三维人脸数据库,建立正面人脸参数和侧面人脸参数的对应关系,估计游戏玩家人脸特征点深度信息;利用游戏玩家人脸检测结果,获得人脸轮廓纹理图,形成人脸纹理图;利用半径基函数插值方法,变形标准模型,进行纹理拟合,得到了真实的游戏玩家人脸模型,增强了游戏玩家的沉浸感。

Description

电子游戏中玩家快速置入方法
技术领域
本发明涉及三维图像处理技术领域,特别是电子游戏、模式识别和计算机图形学,游戏角色自动生成和个性化三维人脸快速建模技术的一种电子游戏中玩家快速置入方法。
背景技术
当前游戏的一个重要发展趋势是具有真实性和沉浸感,如果把游戏角色变为游戏玩家的形象,则更能增加游戏玩家的沉浸感,增加游戏玩家的兴趣。这就涉及到人脸建模技术。人脸建模作为计算机图形学一个研究分支,在过去30多年里,经过科学工作者的努力,取得了很大进步。随着在人机界面、交互游戏、多媒体、虚拟现实等领域的应用需求的不断增加,人脸建模技术又成为当前的研究热点。个性化三维人脸建模主要包括三部分工作:人脸三维数据获取、人脸标准模型的建立和游戏玩家人脸模型的形成,人脸三维数据的获取是形成游戏玩家人脸模型的基础。现在常用的有激光扫描仪、结构光、被动立体视觉等基于计算机视觉的方法,但这种方法成本比较高,很难普及,且获取的人脸三维数据信息只有形状而没有结构信息,数据的噪声比较大。为了得到可用于动画的游戏玩家的人脸模型,一般是从一个结构化的人脸网格模型开始,通过基于图像的方法得到游戏玩家人脸的信息,再去拟合、变形标准模型,贴上纹理,得到特定人的三维模型。人脸检测和关键点定位正是获得游戏玩家人脸特征点信息的一种必不可少的支撑技术。MPEG-4在中性脸上定义了84个特征点,脸部模型需要这些特征点来定义合适的形状。特征点被分为几组,例如脸颊,眼睛和嘴。所谓人脸检测和关键点定位就是在多媒体数据(如图像、视频等数字信号)中检测出人脸上这些特征点的位置。
发明内容
本发明的目的是提供一种利用普通摄像头,运用人脸检测和关键点定位技术获得正面人脸特征点信息(x、y方向),估计出特征点深度信息(z方向),然后对游戏中角色人物的头部模型变形,进行纹理映射,快速把电子游戏中的角色替换成游戏玩家的方法。特别是电子游戏、模式识别和计算机图形学,游戏角色自动生成和个性化三维人脸快速建模技术的一种电子游戏中玩家快速置入方法。
为实现上述目的,这种电子游戏中玩家快速置入方法,主要步骤包括如下:
①利用普通摄像头对游戏玩家人脸进行检测,先确定人脸大概位置,然后用人脸关键点定位技术获得正面人脸特征点的二维信息(x、y方向),并根据人脸检测结果获得正面人脸纹理图;
②利用三维扫描仪已经建立的三维人脸数据库,根据正面人脸参数估计出侧面人脸参数,获得人脸特征点的深度信息(z方向);
③利用玩家人脸的特征点变形游戏中角色人物的头部模型(标准模型),进行纹理拟合,得到游戏玩家的人脸三维模型。
附图说明
图1是本发明的电子游戏中玩家快速置入方法总体框图。
图2是本发明的人脸纹理贴图流程图。
图3是本发明的深度信息估计方法的流程图。
图4玩家快速置入系统图。
图5是本发明的人脸变形和纹理拟合流程图。
具体实施方式
电子游戏中玩家快速置入方法,游戏玩家人脸建模过程如图1所示,具体步骤如下:
S1.1,人脸检测和关键点定位:对普通摄像头摄入的游戏玩家图像进行人脸检测,先确定人脸的大概位置,然后用关键点定位技术找出正面人脸上的特征点,这些特征点分为嘴巴、眼睛、鼻子、眉毛和轮廓五组,得到特征点的二维信息(x、y值),并获取正面人脸的纹理图,计算面部颜色平均值,对脸轮廓外的区域颜色均值化,合并耳朵、牙齿纹理,形成一张纹理贴图;
S1.2,深度信息估计:对利用三维扫描仪建立的100个中国人脸模型进行预处理,获得相应的特征点的三维数据,利用最小平方差建立人脸正面参数和侧面参数的对应关系。所谓正面参数,指的是两个特征点在XY平面的距离。所谓侧面参数,指的是两个特征点在YZ平面的距离。然后利用检测出的人脸正面参数,自动估计出人脸的侧面参数,从而得到特征点的深度信息(z值);
S1.3,人脸变形:在三维游戏中角色的人脸模型上预先确定出对应的特征点的位置,利用前面所述得到的游戏玩家人脸三维特征点,应用半径基函数插值方法,变形标准模型,得到游戏玩家人脸模型;
S1.4,纹理拟合:对人头模型的正面和侧面分别计算纹理坐标,得到真实的游戏玩家人脸。
游戏玩家人脸纹理贴图形成具体实现步骤:
图2所示为游戏玩家人脸纹理贴图流程示意图,说明如下:
S2.1,开始:普通摄像头开始检测游戏玩家人脸;
S2.2,人脸检测得到正面人脸特征点数据:人脸检测方法检测定位出正面人脸特征点的二维信息(XY平面),并存储检测到的面部纹理图像;
S2.3,计算面部颜色平均值:对(2)中的得到的人脸面部图像,计算颜色的平均值;
S2.4,脸轮廓外的区域颜色均值化:对于人脸轮廓外的区域的颜色,设为(3)中计算得到的颜色平均值;
S2.5,纹理合并:建立一张大纹理图像,颜色值为(3)得到的平均值,把预先准备好的耳朵纹理图像按人脸颜色的平均值均值化,合并到大纹理图像上,把(2)得到的面部纹理图像和预先准备好的牙齿纹理图像也合并到大纹理图像上;
S2.6,耳朵、面部边缘光滑:把耳朵在大纹理图像的边缘像素进行边界平滑,消除接缝,把人脸轮廓在大纹理图像的边缘像素进行边界平滑,消除接缝。
深度信息估计方法具体实现步骤:
图3所示为深度信息估计方法的流程图。说明如下:
S3.1,三维人脸数据库预处理,建立人脸正面参数和侧面参数对应关系:对用三维扫描仪建立的三维人脸数据进行简化处理,并去掉多余数据,只剩下脸部数据,选定下巴作为基准,得到每一个模型上特征点的相对坐标,确定出人脸正面参数和侧面参数,根据最小平方差确定出正面参数和侧面参数的相关系数;
S3.2,计算人脸正面参数:利用人脸检测的结果,得到了游戏玩家正面人脸的特征点的二维信息(x、y值),和(1)选定相同的基准,并乘上相应的变化系数,和人脸数据库的数据值相统一,从而可以建立游戏玩家人脸正面参数;
S3.3,估计人脸侧面参数:利用(1)得到的正面参数和侧面参数的相关系数,可由游戏玩家人脸的正面参数估计出该人的侧面人脸参数;
S3.4,得到特征点深度信息:利用侧面人脸参数,可以得到特征点深度信息。
人脸变形和纹理拟合具体实现步骤:
图5所示为人脸变形和纹理拟合流程示意图,说明如下:
S5.1,特征点数值数量级归一化:根据标准模型和游戏玩家人脸的整体尺寸(长宽深),对检测的人脸特征点数据进行归一化;
S5.2,计算控制点位移:把人脸上这些特征点作为控制点,计算出它们在标准模型和游戏玩家人脸之间的位移;
S5.3,计算控制点变形系数:根据半径基函数插值方法,计算控制点从标准模型到游戏玩家模型的变形系数;
S5.4,标准模型整体尺寸匹配:采用和深度信息估计方法中相同的基准,计算标准模型的相对尺寸,考虑游戏玩家人脸的整体尺寸,变化标准模型的尺寸,进行整体匹配;
S5.5,计算模型每个点的位移:根据(3)得到的控制点的变形系数,计算标准模型每个点的位移,从而得到游戏玩家人脸模型;
S5.6,纹理坐标计算:根据线性插值,分别计算人脸正面、侧面、头顶和颈部的纹理坐标。人脸正面为人脸检测到的范围;
S5.7,替换牙齿、耳朵纹理:耳朵和牙齿的纹理坐标需要预先计算,根据耳朵和牙齿的几何尺寸以及它们各自的纹理贴图,根据线性插值可以得到它们的纹理坐标,然后根据它们在新的游戏玩家人脸中的位置(位置在变形前后不变),替换成预先计算的纹理坐标。

Claims (10)

1、一种电子游戏中玩家脸相快速置入方法,电子游戏中玩家脸相快速置入方法包括:从利用普通摄像头获取游戏玩家正面图像,自动检测游戏玩家人脸,获得正面人脸特征点x、y值数据;根据已建立的三维人脸数据库,估计出人脸特征点深度信息z值;根据游戏玩家人脸特征点三维信息,变形标准模型,进行纹理拟合,得到真实的游戏玩家模型,增强游戏玩家的沉浸感。
2、按权利要求1所述的方法,其特征在于,还包括步骤:根据三维扫描仪建立的人脸数据库,利用最小平方误差建立人脸正面参数和侧面参数的对应关系,根据检测的游戏玩家人脸正面信息,估计人脸侧面信息。
3、按权利要求1所述的方法,其特征在于,还包括步骤:利用游戏玩家人脸检测结果,得到人脸轮廓纹理,计算人脸平均颜色,合并耳朵和牙齿纹理,形成一张整体游戏玩家人脸纹理图。
4、按权利要求1所述的方法,其特征在于,还包括步骤:利用人脸检测和估计完毕的游戏玩家人脸特征点,用半径基函数方法变形标准模型,进行纹理拟合,得到游戏玩家游戏玩家人脸,增强游戏玩家的沉浸感。
5、一种电子游戏中玩家快速置入方法,主要步骤如下:
①利用普通摄像头对游戏玩家人脸进行检测,先确定人脸大概位置,然后用人脸关键点定位技术获得正面人脸特征点的二维信息,并根据人脸检测结果获得正面人脸纹理图;
②利用三维扫描仪已经建立的三维人脸数据库,根据正面人脸参数估计出侧面人脸参数,获得人脸特征点的深度信息;
③利用玩家人脸的特征点变形游戏中角色人物的头部模型,进行纹理拟合,得到游戏玩家的人脸三维模型。
6、根据权利要求5的电子游戏中玩家快速置入方法,其具体步骤如下:
S1.1,人脸检测和关键点定位:对普通摄像头摄入的游戏玩家图像进行人脸检测,先确定人脸的大概位置,然后用关键点定位技术找出正面人脸上的特征点,这些特征点分为嘴巴、眼睛、鼻子、眉毛和轮廓五组,得到特征点的二维信息x、y值,并获取正面人脸的纹理图,计算面部颜色平均值,对脸轮廓外的区域颜色均值化,合并耳朵、牙齿纹理,形成一张纹理贴图;
S1.2,深度信息估计:对利用三维扫描仪建立人脸模型进行预处理,获得相应的特征点的三维数据,利用最小平方差建立人脸正面参数和侧面参数的对应关系;
S1.3,人脸变形:在三维游戏中角色的人脸模型上预先确定出对应的特征点的位置,利用前面所述得到的游戏玩家人脸三维特征点,应用半径基函数插值方法,变形标准模型,得到游戏玩家人脸模型;
S1.4,纹理拟合:对人头模型的正面和侧面分别计算纹理坐标,得到真实的游戏玩家人脸。
7、根据权利要求6的电子游戏中玩家快速置入方法,其特征在于,深度信息估计:所谓正面参数,指的是两个特征点在XY平面的距离,所谓侧面参数,指的是两个特征点在YZ平面的距离,然后利用检测出的人脸正面参数,自动估计出人脸的侧面参数,从而得到特征点的深度信息。
8、根据权利要求5的电子游戏中玩家快速置入方法,其特征在于,所述游戏玩家人脸纹理贴图方法,其步骤如下:
S2.1,开始:普通摄像头开始检测游戏玩家人脸;
S2.2,人脸检测得到正面人脸特征点数据:人脸检测方法检测定位出正面人脸特征点的二维信息XY平面,并存储检测到的面部纹理图像;
S2.3,计算面部颜色平均值:对S2.2中的得到的人脸面部图像,计算颜色的平均值;
S2.4,脸轮廓外的区域颜色均值化:对于人脸轮廓外的区域的颜色,设为S2.3中计算得到的颜色平均值;
S2.5,纹理合并:建立一张大纹理图像,颜色值为S2.3得到的平均值,把预先准备好的耳朵纹理图像按人脸颜色的平均值均值化,合并到大纹理图像上,把S2.2得到的面部纹理图像和预先准备好的牙齿纹理图像也合并到大纹理图像上;
S2.6,耳朵、面部边缘光滑:把耳朵在大纹理图像的边缘像素进行边界平滑,消除接缝,把人脸轮廓在大纹理图像的边缘像素进行边界平滑,消除接缝。
9、根据权利要求7或8的电子游戏中玩家快速置入方法,其特征在于,深度信息估计方法,其步骤如下:
S3.1,三维人脸数据库预处理,建立人脸正面参数和侧面参数对应关系:对用三维扫描仪建立的三维人脸数据进行简化处理,并去掉多余数据,只剩下脸部数据,选定下巴作为基准,得到每一个模型上特征点的相对坐标,确定出人脸正面参数和侧面参数,根据最小平方差确定出正面参数和侧面参数的相关系数;
S3.2,计算人脸正面参数:利用人脸检测的结果,得到了游戏玩家正面人脸的特征点的二维信息x、y值,和S3.1选定相同的基准,并乘上相应的变化系数,和人脸数据库的数据值相统一,从而可以建立游戏玩家人脸正面参数;
S3.3,估计人脸侧面参数:利用S3.1得到的正面参数和侧面参数的相关系数,可由游戏玩家人脸的正面参数估计出该人的侧面人脸参数;
S3.4,得到特征点深度信息:利用侧面人脸参数,可以得到特征点深度信息。
10、根据权利要求7或8的电子游戏中玩家快速置入方法,其特征在于,人脸变形和纹理拟合,其步骤如下:
S5.1,特征点数值数量级归一化:根据标准模型和游戏玩家人脸的整体尺寸,对检测的人脸特征点数据进行归一化;
S5.2,计算控制点位移:把人脸上这些特征点作为控制点,计算出它们在标准模型和游戏玩家人脸之间的位移;
S5.3,计算控制点变形系数:根据半径基函数插值方法,计算控制点从标准模型到游戏玩家模型的变形系数;
S5.4,标准模型整体尺寸匹配:采用和深度信息估计方法中相同的基准,计算标准模型的相对尺寸,考虑游戏玩家人脸的整体尺寸,变化标准模型的尺寸,进行整体匹配;
S5.5,计算模型每个点的位移:根据S5.3得到的控制点的变形系数,计算标准模型每个点的位移,从而得到游戏玩家人脸模型;
S5.6,纹理坐标计算:根据线性插值,分别计算人脸正面、侧面、头顶和颈部的纹理坐标。人脸正面为人脸检测到的范围;
S5.7,替换牙齿、耳朵纹理:耳朵和牙齿的纹理坐标需要预先计算,根据耳朵和牙齿的几何尺寸以及它们各自的纹理贴图,根据线性插值可以得到它们的纹理坐标,然后根据它们在新的游戏玩家人脸中的位置,替换成预先计算的纹理坐标。
CNB2004101018808A 2004-12-30 2004-12-30 电子游戏中玩家快速置入方法 Expired - Fee Related CN100353384C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2004101018808A CN100353384C (zh) 2004-12-30 2004-12-30 电子游戏中玩家快速置入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2004101018808A CN100353384C (zh) 2004-12-30 2004-12-30 电子游戏中玩家快速置入方法

Publications (2)

Publication Number Publication Date
CN1797474A CN1797474A (zh) 2006-07-05
CN100353384C true CN100353384C (zh) 2007-12-05

Family

ID=36818483

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004101018808A Expired - Fee Related CN100353384C (zh) 2004-12-30 2004-12-30 电子游戏中玩家快速置入方法

Country Status (1)

Country Link
CN (1) CN100353384C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715505A (zh) * 2015-03-19 2015-06-17 启云科技股份有限公司 三维头像产生系统及其装置、产生方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561874B (zh) * 2008-07-17 2011-10-26 清华大学 一种人脸虚拟图像生成的方法
CN101996415B (zh) * 2009-08-28 2013-10-09 珠海金联安警用技术研究发展中心有限公司 眼球的三维建模方法
US9414051B2 (en) 2010-07-20 2016-08-09 Memory Engine, Incorporated Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
US20140043329A1 (en) * 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment
CN102755745A (zh) * 2012-07-31 2012-10-31 曾珠峰 一种全身式仿真游戏设备
CN103473804A (zh) * 2013-08-29 2013-12-25 小米科技有限责任公司 一种图像处理方法、装置和终端设备
CN104408769A (zh) * 2014-11-27 2015-03-11 苏州福丰科技有限公司 基于三维人脸识别的虚拟网络会议方法
KR102146398B1 (ko) 2015-07-14 2020-08-20 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
CN105512614A (zh) * 2015-11-26 2016-04-20 北京像素软件科技股份有限公司 一种游戏角色生成方法及装置
CN105630169A (zh) * 2015-12-25 2016-06-01 北京像素软件科技股份有限公司 一种体感输入方法及装置
CN105719248B (zh) * 2016-01-14 2019-06-21 深圳市商汤科技有限公司 一种实时的人脸变形方法及其系统
CN106327571B (zh) * 2016-08-23 2019-11-05 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
CN106875329A (zh) * 2016-12-20 2017-06-20 北京光年无限科技有限公司 一种人脸替换方法及装置
CN108876704B (zh) * 2017-07-10 2022-03-04 北京旷视科技有限公司 人脸图像变形的方法、装置及计算机存储介质
CN107944420B (zh) * 2017-12-07 2020-10-27 北京旷视科技有限公司 人脸图像的光照处理方法和装置
CN110533761B (zh) * 2018-05-23 2024-01-12 华硕电脑股份有限公司 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
CN109260706B (zh) * 2018-09-28 2021-02-19 联想(北京)有限公司 信息处理方法及电子设备
CN109675315B (zh) 2018-12-27 2021-01-26 网易(杭州)网络有限公司 游戏角色模型的生成方法、装置、处理器及终端
CN112057871A (zh) * 2019-06-10 2020-12-11 海信视像科技股份有限公司 一种虚拟场景生成方法及装置
US11380037B2 (en) 2019-10-30 2022-07-05 Tencent Technology (Shenzhen) Company Limited Method and apparatus for generating virtual operating object, storage medium, and electronic device
CN110755847B (zh) * 2019-10-30 2021-03-16 腾讯科技(深圳)有限公司 虚拟操作对象的生成方法和装置、存储介质及电子装置
CN111768479B (zh) * 2020-07-29 2021-05-28 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
三维人脸建模与应用 徐成华,王蕴红,谭铁牛.中国图象图形学报,第9卷第8期 2004 *
基于照片的个性化人脸建模系统研究 张满囤,马琳娜,曾祥永,王阳生.计算机工程与应用,第40卷第26期 2004 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715505A (zh) * 2015-03-19 2015-06-17 启云科技股份有限公司 三维头像产生系统及其装置、产生方法

Also Published As

Publication number Publication date
CN1797474A (zh) 2006-07-05

Similar Documents

Publication Publication Date Title
CN100353384C (zh) 电子游戏中玩家快速置入方法
Zhang et al. Robust and rapid generation of animated faces from video images: A model-based modeling approach
JP4473754B2 (ja) 仮想試着装置
CN101324961B (zh) 计算机虚拟世界中人脸部三维贴图方法
CN101853523B (zh) 一种采用草图创建三维人脸模型的方法
Liao et al. Automatic caricature generation by analyzing facial features
CN104008564B (zh) 一种人脸表情克隆方法
CN102880866B (zh) 一种人脸特征提取方法
CN109035388A (zh) 三维人脸模型重建方法及装置
CN110148217A (zh) 一种实时三维重建方法、装置及设备
JP5777507B2 (ja) 情報処理装置、情報処理方法、及びそのプログラム
CN106600665B (zh) 一种相机动画路径生成方法和装置
CN105006016B (zh) 一种贝叶斯网络约束的部件级三维模型构建方法
CN104992441A (zh) 一种面向个性化虚拟试衣的真实人体三维建模方法
CN106778628A (zh) 一种基于tof深度相机的面部表情捕捉方法
CN102647606B (zh) 立体影像处理器、立体影像互动系统及立体影像显示方法
CN107958479A (zh) 一种移动端3d人脸增强现实实现方法
CN103198508A (zh) 人脸表情动画生成方法
CN103606190A (zh) 单张人脸正面照片自动转换为三维人脸模型的方法
CN104103090A (zh) 图像处理方法、个性化人体显示方法及其图像处理系统
CN109887030A (zh) 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
KR101759188B1 (ko) 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법
CN108376421A (zh) 一种基于阴影恢复形状法生成人脸三维模型的方法
CN111259739A (zh) 一种基于3d人脸关键点和几何投影的人脸姿态估计方法
CN105118022A (zh) 一种2维到3维的人脸生成和变形方法及其系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071205

Termination date: 20151230

EXPY Termination of patent right or utility model