CN1764287A - 便携式终端的三维影像数据的显示方法 - Google Patents

便携式终端的三维影像数据的显示方法 Download PDF

Info

Publication number
CN1764287A
CN1764287A CNA2005100635886A CN200510063588A CN1764287A CN 1764287 A CN1764287 A CN 1764287A CN A2005100635886 A CNA2005100635886 A CN A2005100635886A CN 200510063588 A CN200510063588 A CN 200510063588A CN 1764287 A CN1764287 A CN 1764287A
Authority
CN
China
Prior art keywords
image data
portable terminal
dimensional
image pickup
display method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100635886A
Other languages
English (en)
Other versions
CN100544452C (zh
Inventor
金敏洙
朴完圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur LG Digital Mobile Communications Co Ltd
Original Assignee
LG Electronics China Research and Development Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics China Research and Development Center Co Ltd filed Critical LG Electronics China Research and Development Center Co Ltd
Publication of CN1764287A publication Critical patent/CN1764287A/zh
Application granted granted Critical
Publication of CN100544452C publication Critical patent/CN100544452C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开一种便携式终端的三维影像数据的显示方法，尤其是一种能够合成通过两个摄像部输入的左右对称的两个影像数据从而显示影像数据的便携式终端的三维影像数据显示方法。为此，本发明在具备两个摄像部的便携式终端上选择摄像时，其包括：在摄像模式下通过所述两个摄像部接收第1影像数据及第2影像数据并进行显示的步骤；判断所述第1影像数据及第2影像数据是否对称显示的步骤；若所述第1影像数据及第2影像数据相对称显示，就输入摄像键的步骤；输入所述摄像键后处理所述第1影像数据及第2影像数据的步骤；通过所述被处理的第1影像数据及第2影像数据显示三维影像数据的步骤。采用本发明能够向便携式终端用户提供高质量的三维影像数据。

Description

便携式终端的三维影像数据的显示方法
技术领域
本发明涉及便携式终端的三维影像数据的显示方法，尤其是涉及一种能够合成通过两个摄像部输入的左右对称的两个影像数据从而显示影像数据的便携式终端的三维影像数据显示方法。
背景技术
现在便携式终端除语音通信功能之外，向能够传送高速数据的结构转换。即，如果体现1MT200规格的移动通信网，就能利用上述便携式终端体现除语音通信之外的高速数据通信。
在执行上述数据通信的便携式终端上能够处理的数据有数据包数据及影像数据等。另外，在便携式终端上附加摄像头及TV接收机从而体现能够显示动影像信号的功能。
因此，上述具备摄像头的便携式终端摄像影像画面后以动态影像及静态影像显示，而且还能够传送影像画面。另外，具备上述摄像头的便携式终端具有调焦功能，从而在摄像时提供可扩大及缩小影像的功能。
但是，如上的便携式终端安装的是由单一镜头构成的摄像部，通过上述摄像部摄制的影像数据是二维影像数据，从而不能够提供有立体感的三维影像数据。
发明内容
本发明所要解决的技术问题在于提供一种能够合成通过两个摄像部输入的左右对称的两个影像数据从而显示影像数据的便携式终端的三维影像数据显示方法。
为了实现上述目的，本发明的特征在于：在具备两个摄像部的便携式终端上选择摄像时，其包括：在摄像模式下通过所述两个摄像部接收第1影像数据及第2影像数据并进行显示的步骤；判断所述第1影像数据及第2影像数据是否对称显示的步骤；若所述第1影像数据及第2影像数据相对称显示，就输入摄像键的步骤；输入所述摄像键后处理所述第1影像数据及第2影像数据的步骤；通过所述被处理的第1影像数据及第2影像数据显示三维影像数据的步骤。
采用本发明利用便携式终端上通过两个摄像部输入的两个影像数据显示三维影像数据，能够达到向便携式终端用户提供三维的高质量的影像数据的效果。
附图说明
图1为根据本发明实施例的安装两个摄像部的便携式终端；
图2为在图1两个摄像部同时被调节角度而摄像被摄体的状态图；
图3为图1的便携式终端的结构图；
图4为根据本发明实施例的便携式终端的三维影像数据显示方法的流程图。
其中，附图标记：
110：控制部                127：键输入部
130：存储器                160：显示部
140：第1摄像部             145：第2摄像部
170：自动调焦部
具体实施方式
下面，结合附图详细说明本法明的实施例。
需要注意的是，以下说明中只对理解本发明的动作及作用所需的部分进行说明，为使本发明的要点更清晰，省略其它部分的说明。
图1为根据本发明实施例的安装两个摄像部的便携式终端；图2为在所述图1两个摄像部同时被调节角度而摄像被摄体的状态图。
参考图1，所述便携式终端具备第1摄像部140和第2摄像部145。所述第1摄像部140与第2摄像部145的设置左右对称，而且所述第1摄像部140和第2摄像部145之间维持70～80mm间距。所述第1摄像部140和第2摄像部145之间的维持间距70～80mm与人的眼睛和眼睛之间的距离是相同的。
另外，所述第1摄像部140和第2摄像部145以X方向旋转，因此可以拍摄用户本身也可以拍摄他人，另外，所述第1摄像部140和第2摄像部145以Y方向旋转，因此能够同时调节所述两个摄像部140/145的角度。
参考图2说明所述两个摄像部140/145中Y轴方向的旋转，所述两个摄像部140/145具有同时连动的结构，其焦距相互连接使其与人的眼睛具有相同视角(α)。
另外，所述两个摄像部140/145连接安装可以调节Y方向角度的齿轮和电机，而且为了拍摄近距离或远距离时能够变更此视角(α)，所述两摄像部140/145的角度同时调节。通过所述两个摄像部140/145输入的各自的影像数据是左右对称的影像数据。
而且，所述电机与自动调焦部连接，拍摄时所述两个摄像部140/145具有与人的眼睛相同的视角(α)，并自动调节焦距使通过所述两个摄像部140/145输入的各影像数据成为左右对称的影像数据。
另外，所述两个摄像部140/145也能以可拆卸式结构安装在所述便携式终端上，或者也以只有摄像时抽出使用而平时插入在所述便携式终端上的结构组成。
参考图3对所述便携式终端的结构进行详细说明。
所述图3为根据本发明实施例的具备两个摄像头的便携式终端结构图。
参考图3，无线电频率波(RF：Radio Frequency)部123执行便携式终端的无线通信功能。数据处理部120具备编码并调制要发送的信号的发送机和解调并解码所述接收的信息的接收机。音频处理部125执行播放从所述数据处理部120的音频编解码器中输出的接收音频信号或者将从话筒产生的发送音频信号传送到所述数据处理部120的音频编解码器的功能。
存储器130由程序存储器、数据存储器组成。所述程序存储器保存控制便携式终端一般运作的程序及根据本发明的实施例合成通过两个摄像部同时输入的两个影像数据的控制程序。另外，所述存储器130也可存储根据本发明实施例的三维影像数据。
控制部110执行控制便携式终端的全运作的功能。另外，所述控制部110控制根据本发明实施例控制摄像控制部150，从而通过第1摄像部140和第2摄像部145同时输入的左右对称的第1影像数据及第2影像数据显示三维影像数据。
所述第1摄像部140拍摄影像数据，具备摄像传感器和信号处理部。其中，摄像传感器的作用在于，把拍摄到的光信号转换成电子信号；所述信号处理部的作用在于，把通过所述摄像传感器拍摄到的模拟影像信号转换成数字数据。在这里，所述摄像传感器可假设为CCD(Charge Coupled Device-电荷藕合器件)传感器，而所述信号处理部可体现为DSP(Digital Signal Processor-数字信号处理器)。而且，所述摄像传感器及信号处理部能够体现为一体型，另外也可分开体现。再有，所述第1摄像部140根据本发明实施例安装在与所述便携式终端右侧的第2摄像部145相对称的左侧。此外，所述第1摄像部140根据本发明的实施例可移动X轴使其可上下移动，也可与所述第2摄像部145同时实现调节角度的Y轴移动。
第2摄像部145也可拍摄影像数据，具备摄像传感器和信号处理部。其中，摄像传感器的作用在于，把拍摄到的光信号转换成电子信号；所述信号处理部的作用在于，把通过所述摄像传感器拍摄到的模拟影像信号转换成数字数据。在这里，所述摄像传感器可假设为CCD传感器，而且所述信号处理部可体现为DSP。而且，所述摄像传感器及信号处理部能够体现为一体型，另外也可分开体现。再有，所述第2摄像部145根据本发明实施例安装在与所述便携式终端左侧的第1摄像部140相对称的右侧。另外，所述第2摄像部145根据本发明的实施例可移动X轴使其上下移动，也可与所述第1摄像部140同时实现调节角度的Y轴移动。
所述摄像控制部150根据本发明实施例，将所述第1摄像部140输出的第1影像数据和所述第2摄像部145输出的第2影像数据传送到显示部160的第1画面及第2画面上。
或者所述摄像控制部150根据本发明的实施例，通过自动调焦部170将左右对称的第1影像数据和第2影像数据显示到所述显示部的第1画面及第2画面上。
另外，所述摄像控制部150根据本发明的实施例输入摄像键，就会压缩所述第1摄像部140输出的第1影像数据和所述第2摄像部145输出的第2影像数据转换成单一压缩数据。所述单一压缩数据通过复原转换成第1影像数据和第2影像数据后，在极短间距内将第1影像数据和第2影像数据反复地传送到所述显示部160上。
或者，所述摄像控制部150根据本发明的实施例，压缩后复原所述第1摄像部140输出的第1影像数据，并且压缩后复原所述第2摄像部145输出的第2影像数据，从而在极短间距内将所述第1影像数据及第2影像数据反复地显示到所述显示部160上。
所述显示部160显示从所述控制部110输出的用户数据。另外，所述显示部160根据本发明的实施例，在三维的摄像模式下构成第1画面及第2画面，从而将从所述摄像控制部150输出的第1影像数据和第2影像数据各自显示到第1画面和第2画面上。
另外，所述显示部160根据本发明的实施例输入摄像键后，能够显示在极短间距内所述摄像控制部150反复输出的所述第1影像数据及第2影像数据。
键输入部127具备输入数字及文字信息的按键及设定各种功能的功能键。另外，所述键输入部127，根据本发明的实施例还能够具备执行三维摄像的功能键。
所述自动调焦部170执行在摄像模式下自动调节焦点的功能。另外，所述自动调焦部170根据本发明的实施例自动调节焦点，使通过所述第1摄像部140和第摄像部145输入的第1影像数据和第2影像数据具有一定视角(α)并相互对称。
通过图4详细说明安装两个摄像部的便携式终端上显示三维影像数据的步骤。
参考图4，所述便携式终端的用户通过所述便携式终端的菜单或快捷键选择摄像时，所述控制部110对其进行识别后显示摄像的种类。
在摄像种类中，如果选择三维的摄像时，所述控制部110进行识别后进行将所述便携式终端转换成三维摄像模式的301步骤。在所述301步骤的三维摄像模式中，所述显示部160以第1画面及第2画面构成而显示。
在所述三维摄像模式中，通过所述第1摄像部140及第2摄像部145输入第1影像数据及第2影像数据时，所述控制部110在302步骤感知这些后，进行在所述显示部160的第1画面上显示所述第1影像数据并在所述第2画面上显示第2影像数据的303步骤。
这时，所述控制部110判断显示在所述第1画面上的第1影像数据和显示在第2画面上的第2影像数据是否左右对称。
如果显示在所述第1画面上的第1影像数据和显示在第2画面上的第2影像数据左右对称，所述控制部110在304步骤感知这些后，通过所述第1画面及第2画面显示左右对称的第1影像数据及第2影像数据。
但是，如果显示在所述第1画面上的第1影像数据和显示在第2画面上的第2影像数据不左右对称时，所述控制部110在304步骤感知这些后，进行通过所述自动调焦部170自动调节焦点的305步骤。通过执行所述305步骤的自动调焦，所述显示部160的第1画面及第2画面上将会显示左右对称的第1影像数据及第2影像数据。
在所述第1画面及第2画面上显示左右对称的所述第1影像数据及第2影像数据的状态下，如果所述用户输入摄像键时，所述控制部110在306步骤感知这些后，进行处理所述第1影像数据及第2影像数据的307步骤。
在所述307步骤，所述摄像控制部150压缩所述第1影像数据和第2影像数据转换成单一压缩数据后，进行308步骤，所述单一压缩数据通过复原转换成第1影像数据和第2影像数据，并以三维影像数据向所述显示部160输出。
或者，所述摄像控制部150，在所述307步骤各自压缩并复原第1影像数据和第2影像数据，从而进行以三维影像数据向所述显示部160输出所述第1影像数据和所述第2影像数据的308步骤。
在所述308步骤，所述摄像控制部150在所述控制部110的控制下，在短时间内(数MS)将所述第1影像数据和第2影像数据相互交替显示在所述显示部160上。将所述第1影像数据和第2影像数据在短时间内(数MS)相互交替显示在所述显示部160上，因此所述用户把显示在所述显示部160上的两个影像数据识别为三维影像数据。
如上所述，本发明利用便携式终端上通过两个摄像部输入的两个影像数据显示三维影像数据，从而能够向便携式终端用户提供三维的高质量的影像数据。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种便携式终端的三维影像数据显示方法，其特征在于：在具备两个摄像部的便携式终端上选择摄像时，其包括，在摄像模式下通过所述两个摄像部接收第1影像数据及第2影像数据并进行显示的步骤；判断所述第1影像数据及第2影像数据是否对称显示的步骤；若所述第1影像数据及第2影像数据相对称显示，就输入摄像键的步骤；输入所述摄像键后处理所述第1影像数据及第2影像数据的步骤；通过所述被处理的第1影像数据及第2影像数据显示三维影像数据的步骤。
2.根据权利要求1所述的便携式终端的三维影像数据显示方法，其特征在于：所述两个摄像部维持70～80mm的间距，而且左右对称地安装在所述便携式终端上。
3.根据权利要求1所述的便携式终端的三维影像数据的显示方法，其特征在于：所述两个摄像部具有同时连动的结构并调节角度。
4.根据权利要求1所述的便携式终端的三维影像数据显示方法，其特征在于：在所述摄像模式下通过所述两个摄像部接收对于一个被摄体左右对称的第1影像数据及第2影像数据并进行显示。
5.根据权利要求1所述的便携式终端的三维影像数据显示方法，其特征在于：在所述摄像模式下输入的所述第1影像数据及第2影像数据显示在显示部的第1画面及第2画面上。
6.根据权利要求1所述的便携式终端的三维影像数据显示方法，其特征在于：如果所述第1影像数据及第2影像数据的显示相互不对称时，通过自动调焦部使所述第1影像数据及第2影像数据的显示相互对称。
7.根据权利要求1所述的便携式终端的三维影像数据的显示方法，其特征在于：输入所述摄像键时，压缩所述第1影像数据和第2影像数据并将其转换成单一压缩数据，所述单一压缩数据通过复原转换成第1影像数据和第2影像数据，并处理所述第1影像数据和第2影像数据。
8.根据权利要求1所述的便携式终端的三维影像数据显示方法，其特征在于：输入所述摄像键时，各自压缩并复原所述第1影像数据和第2影像数据，并处理所述第1影像数据和第2影像数据。
9.根据权利要求1所述的便携式终端的三维影像数据显示方法，其特征在于：所述被处理的第1影像数据和第2影像数据在极短时间内反复输出在显示部上，从而显示三维影像数据。
CNB2005100635886A 2004-10-20 2005-04-13 便携式终端的三维影像数据的显示方法 Expired - Fee Related CN100544452C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040084145 2004-10-20
KR1020040084145A KR100641176B1 (ko) 2004-10-20 2004-10-20 휴대단말기에서 삼차원 영상데이터 표시방법

Publications (2)

Publication Number Publication Date
CN1764287A true CN1764287A (zh) 2006-04-26
CN100544452C CN100544452C (zh) 2009-09-23

Family

ID=36748185

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100635886A Expired - Fee Related CN100544452C (zh) 2004-10-20 2005-04-13 便携式终端的三维影像数据的显示方法

Country Status (2)

Country Link
KR (1) KR100641176B1 (zh)
CN (1) CN100544452C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011091717A1 (en) * 2010-01-29 2011-08-04 The Hong Kong University Of Science And Technology Architectural pattern detection and modeling in images

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100868244B1 (ko) * 2007-01-05 2008-11-12 (주)마스터이미지 이동 기기를 이용한 입체 영상 생성 방법 및 이동 기기용 입체 영상 생성 칩
KR100886321B1 (ko) * 2007-07-18 2009-03-04 에스케이 텔레콤주식회사 ３차원 영상 기반의 단말 및 이에 적용되는 입체경
US8194154B2 (en) * 2007-11-23 2012-06-05 Hims International Corporation Portable video magnifying apparatus
KR101802238B1 (ko) 2010-02-23 2017-11-29 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100446528B1 (ko) * 2002-02-23 2004-09-01 삼성전자주식회사 휴대단말기에서 입체 영상 처리장치 및 방법
KR100637565B1 (ko) * 2002-12-18 2006-10-20 엘지전자 주식회사 두 개의 카메라를 가진 이동통신 단말기 및 이동통신단말기를 이용한 거리 측정 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011091717A1 (en) * 2010-01-29 2011-08-04 The Hong Kong University Of Science And Technology Architectural pattern detection and modeling in images
CN102770864A (zh) * 2010-01-29 2012-11-07 香港科技大学 基于图像的建筑物图案检测以及建模
CN102770864B (zh) * 2010-01-29 2014-05-28 香港科技大学 基于图像的建筑物图案检测以及建模
US9036915B2 (en) 2010-01-29 2015-05-19 The Hong Kong University Of Science And Technology Architectural pattern detection and modeling in images

Also Published As

Publication number Publication date
CN100544452C (zh) 2009-09-23
KR20060035064A (ko) 2006-04-26
KR100641176B1 (ko) 2006-11-02

Similar Documents

Publication Publication Date Title
CN1132406C (zh) 图象通信设备
CN1157973C (zh) 便携式电话、远程监视系统、便携式信息终端及其使用方法
CN1960546A (zh) 用于移动终端的视频电话设备和方法
CN1150508A (zh) 传输图象的通信系统
CN1901663A (zh) 一种具有声音位置信息的视频通讯系统及其获取方法
CN104023192A (zh) 一种录制视频的方法和装置
CN1946213A (zh) 执行视频通信业务的方法及其移动通信终端
CN101047785A (zh) 照相便携式终端及使用该终端拍摄多图像照片的方法
CN1837939A (zh) 具有摄像功能的移动通信终端和执行该摄像功能的方法
CN101958976A (zh) 一种图像处理方法及无线终端设备
CN100376106C (zh) 用于显示存储在移动通信终端中的图片的方法
CN1764287A (zh) 便携式终端的三维影像数据的显示方法
CN1520166A (zh) 用于在无线移动终端中显示图像的设备和方法
CN1744702A (zh) 移动终端的画面清晰度调整装置及其方法
CN1638436A (zh) 在具有照相机的装置中将拍摄的图像与背景屏合成的方法
CN1327676A (zh) 图像生成装置、图像生成方法以及包括图像生成装置的通信装置
CN1777184A (zh) 提供无线互联网服务的系统和方法
CN1882140A (zh) 在图像数据中显示特殊效果的方法以及实现该方法的终端
CN1770843A (zh) 为语言障碍人员提供数据转换和传输的装置及其方法
CN1917650A (zh) 发送数字广播接收终端中的捕获的图像的方法
CN1684504A (zh) 用于在便携式终端显示多信道和改变信道的设备和方法
CN1638394A (zh) 用于处理具有照相机的无线电话的呼入的方法和设备
CN1901667A (zh) 视频电话模式下执行呈现的方法及实现该方法的无线终端
CN1520673A (zh) 配备有电视电话功能的电话
US8140955B2 (en) Image communication portable terminal and method for carrying out image communication using the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: LANGCHAO LEJIN DIGITAL MOBILE COMMUNICATION CO., L

Free format text: FORMER OWNER: LG ELECTRONICS (CHINA) R + D CENTER CO., LTD.

Effective date: 20120320

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100102 CHAOYANG, BEIJING TO: 264001 YANTAI, SHANDONG PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20120320

Address after: 264001 No. 228 Changjiang Road, Yantai economic and Technological Development Zone, Shandong, China

Patentee after: Langchao Lejin Digital Mobile Communication Co., Ltd.

Address before: Two Beijing 100102 Chaoyang District city in Wangjing Lize Park No. 203 Petrova building block B

Patentee before: LG Electronic (China) Research and Development Center Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090923

Termination date: 20180413

CF01 Termination of patent right due to non-payment of annual fee