CN101147667A - 内窥镜装置 - Google Patents
内窥镜装置 Download PDFInfo
- Publication number
- CN101147667A CN101147667A CNA2007101269000A CN200710126900A CN101147667A CN 101147667 A CN101147667 A CN 101147667A CN A2007101269000 A CNA2007101269000 A CN A2007101269000A CN 200710126900 A CN200710126900 A CN 200710126900A CN 101147667 A CN101147667 A CN 101147667A
- Authority
- CN
- China
- Prior art keywords
- white balance
- mentioned
- balance data
- endoscope
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims description 26
- 238000013500 data storage Methods 0.000 claims description 23
- 210000000352 storage cell Anatomy 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 8
- 210000004027 cell Anatomy 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 28
- 238000000034 method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 230000008520 organization Effects 0.000 description 10
- 238000004886 process control Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- RUZYUOTYCVRMRZ-UHFFFAOYSA-N doxazosin Chemical compound C1OC2=CC=CC=C2OC1C(=O)N(CC1)CCN1C1=NC(N)=C(C=C(C(OC)=C2)OC)C2=N1 RUZYUOTYCVRMRZ-UHFFFAOYSA-N 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
- Color Television Image Signal Generators (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种内窥镜装置。该内窥镜装置自动执行白平衡处理,获得至少不妨碍观察的良好色调的内窥镜图像。处理器CPU(42)构成为具有:内窥镜信息提取部(42a)、光源信息提取部(42b)、主白平衡检索部(42c)、副白平衡提取部(42d)、主白平衡更新部(42e)、副白平衡更新部(42f)、以及图像处理控制部(42g)。
Description
技术领域
本发明涉及自动执行白平衡处理的内窥镜装置。
背景技术
以往,在电子内窥镜装置中,为了调整由固态摄像元件的灵敏度偏差、或者从光源装置射出的观察光的分光偏差引起的颜色再现偏差而进行白平衡,在现有的白平衡中,对白色的被摄体进行摄像,此时通过调整R、B增益值,以使从摄像元件所读出的红色(R)、绿色(G)、蓝色(B)的图像信号之比为1∶1∶1,从而进行白平衡调整。通过白平衡调整所设定的白平衡值(R、B增益值)被记录在处理器内,在以后使用内窥镜装置时使用。即,当连接了视频内窥镜时,读出与该视频内窥镜对应的白平衡值并进行设定。然后,对从摄像元件所读出的图像信号实施基于白平衡值的增益控制。
例如在日本特开2005-131363号公报中公开了一种内窥镜装置,该内窥镜装置如图18所示,包括:内窥镜210,其在插入部前端设置有作为固态摄像元件的CCD211;光源220,其把来自灯221的照明光经由光导路212提供给该内窥镜210;以及处理器240,其将由CCD211所拍摄到的摄像信号在图像处理部241中进行信号处理,使内窥镜图像显示在监视器230上。
在该日本特开2005-131363号公报中,设置在内窥镜210内的内窥镜存储器214如图19所示,存储有内窥镜的内窥镜数据(插入直径、CCD的规格等)、识别内窥镜的识别信息即内窥镜ID、以及通过过去所连接的光源220的光源ID而被关联的白平衡数据等。
并且,设置在处理器240内的由备份RAM等构成的处理器存储器243,如图20所示,存储有处理器240内进行的处理的各种设定数据以及通过过去所连接的内窥镜210的内窥镜ID而被关联的白平衡数据等。
在日本特开2005-131363号公报所公开的这种结构的内窥镜装置中,执行图21所示的自动白平衡。即,当使处理器240、内窥镜210以及光源220连接、并接通了各自的电源时,如图21所示,在步骤S101,设置在处理器240内的处理器CPU 242开始与设置在内窥镜210内的内窥镜CPU 213进行通信。
然后,在步骤S102,处理器CPU 242经由内窥镜CPU 213从内窥镜存储器214中取得内窥镜ID,并从设置在光源210内的光源存储器222中取得识别光源的识别信息即光源ID。
然后,处理器CPU 242在步骤S103根据光源ID,经由内窥镜CPU 213从内窥镜存储器214中检索与光源ID对应的白平衡数据。
然后,处理器CPU 242在步骤S104中根据来自内窥镜CPU213的检索结果信息,判断在内窥镜存储器214内是否存在对应的白平衡数据。
当判断为在内窥镜存储器214内存在对应的白平衡数据时,处理器CPU242在步骤S107中经由内窥镜CPU213从内窥镜存储器214中读出对应的白平衡数据。
另一方面,当判断为在内窥镜存储器214内不存在对应的白平衡数据时,处理器CPU242在步骤S105中根据内窥镜ID,从处理器存储器243中检索与内窥镜ID对应的白平衡数据。
然后,处理器CPU242在步骤S106中判断在处理器存储器243内是否存在对应的白平衡数据。
当判断为在处理器存储器243内存在对应的白平衡数据时,处理器CPU242在步骤S107中从处理器存储器243中读出对应的白平衡数据。当判断为在处理器存储器243内不存在对应的白平衡数据时,处理器CPU242结束处理。
然后,处理器CPU242在步骤S108中使用所读出的对应的白平衡数据来执行白平衡运算处理,然后结束处理。
在日本特开2005-131363号公报中,在内窥镜存储器214和处理器存储器243内不存在对应的白平衡数据的情况下,结束处理,然而在例如日本特开2003-265410号公报的装置中,在不存在对应的白平衡数据的情况下,显示错误消息,督促用户手动实施白平衡。然后,用户根据这种错误消息,按下W/B(白平衡)开关244(参照图18),从而实施手动的白平衡。另外,当实施了手动的白平衡时,白平衡数据分别被与光源ID和内窥镜ID相关联起来存储在内窥镜存储器214和处理器存储器243内。
如上所述,在内窥镜存储器214内存在对应的白平衡数据的情况下,可获得与内窥镜和光源的特性对应的最佳的白平衡,另外在内窥镜存储器214内不存在对应的白平衡数据,而在处理器存储器243内存在对应的白平衡数据的情况下,可获得至少与内窥镜的特性对应的最佳的白平衡。
【专利文献1】日本特开2005-131363号公报
【专利文献2】日本特开2003-265410号公报
然而,在上述现有技术中,在内窥镜存储器214和处理器存储器243内不存在对应的白平衡数据的情况下,实质上不执行自动白平衡处理,因而存在只要不实施手动的白平衡,就生成不合适的色调的内窥镜图像的问题。
并且,由于内窥镜210的种类很多,因而为了在处理器存储器243内存储与所有内窥镜对应的白平衡数据,不仅存在使处理器存储器243的存储容量变得庞大的问题,而且由于在处理器存储器243内不存在与在处理器240之后出售的内窥镜210对应的白平衡数据,因而依然,只要不实施手动的白平衡,就生成不合适的色调的内窥镜图像。
发明内容
本发明是鉴于上述情况而完成的,本发明的目的是提供一种可自动执行白平衡处理、获得至少不妨碍观察的、良好色调的内窥镜图像的内窥镜装置。
本发明的内窥镜装置构成为具有:内窥镜,其对管腔内进行摄像;光源装置,其向上述内窥镜提供照明光,并具有存储有光源识别信息的光源识别信息存储单元;以及图像处理装置,其对来自上述内窥镜的摄像信号进行信号处理,生成内窥镜图像,该内窥镜装置的特征在于,该内窥镜装置具有:第1白平衡数据存储单元,其将在上述图像处理装置中的白平衡处理中使用的白平衡数据与至少上述光源识别信息相关联起来,按照上述每个光源识别信息来存储;第2白平衡数据存储单元,其存储在上述图像处理装置中的白平衡处理中使用的白平衡数据;光源信息提取单元,其提取上述光源装置的光源识别信息;白平衡数据检索单元,其根据由上述光源信息提取单元所提取出的上述光源装置的光源识别信息,从上述第1白平衡数据存储单元中检索与上述光源识别信息相关联的白平衡数据;以及白平衡数据提取单元,其根据上述白平衡数据检索单元的检索结果,提取存储在上述第2白平衡数据存储单元内的白平衡数据。
根据本发明,具有可自动执行白平衡处理、获得至少不妨碍观察的、良好色调的内窥镜图像的效果。
附图说明
图1是示出本发明的实施例1的内窥镜系统的结构的框图。
图2是示出图1的内窥镜存储器的存储结构的图。
图3是示出图1的处理器的操作面板的图。
图4是示出图1的处理器存储器的存储结构的图。
图5是示出图1的W/B存储器的存储结构的图。
图6是示出图1的处理器CPU的功能结构的功能框图。
图7是示出图1的白平衡电路的结构的框图。
图8是对图1的内窥镜系统的作用进行说明的流程图。
图9是示出图6的自动白平衡处理流程的流程图。
图10是示出图6的手动白平衡处理流程的流程图。
图11是示出本发明的实施例2的内窥镜系统的结构的框图。
图12是示出图11的内窥镜存储器的存储结构的图。
图13是示出图11的内窥镜CPU的功能结构的功能框图。
图14是示出图11的处理器CPU的功能结构的功能框图。
图15是示出图11的内窥镜系统的自动白平衡处理流程的流程图。
图16是示出图11的内窥镜系统的手动白平衡处理流程的流程图。
图17是示出图11的内窥镜系统的自动白平衡处理的变形例的流程的流程图。
图18是示出现有的内窥镜系统的结构的框图。
图19是示出图18的内窥镜存储器的存储结构的图。
图20是示出图18的处理器存储器的存储结构的图。
图21是对图18的内窥镜系统的作用进行说明的流程图。
标号说明
1:内窥镜系统;2:内窥镜;3:光源装置;4:监视器;5:处理器;11:CCD;12:光导路;13:操作开关;14、29、31:连接器;15:第1存储电路;16、28、44、45:存储器;17、30、42:CPU;21:灯;22:RGB滤光器;23a、23b、23c:特殊光滤光器;24:聚光透镜;25:滤光器切换装置;26、40:操作面板;27:第2存储电路;32:驱动电路;33:视频信号处理电路;34:A/D转换部;35:白平衡电路;36:图像处理电路;37:显示控制器;38:视频信号输出电路;39:D/A转换部;41:键盘;42a:内窥镜信息提取部;42b:光源信息提取部;42c:主白平衡检索部;42d:副白平衡提取部;42e:主白平衡更新部42f:副白平衡更新部;42g:图像处理控制部;51:RGB转换部;52:平均值计算部;53:R相乘部;54:B相乘部。
具体实施方式
以下,参照附图对本发明的实施例进行描述。
[实施例1]
图1至图10涉及本发明的实施例1,图1是示出内窥镜系统的结构的框图,图2是示出图1的内窥镜存储器的存储结构的图,图3是示出图1的处理器的操作面板的图,图4是示出图1的处理器存储器的存储结构的图,图5是示出图1的W/B(白平衡)存储器的存储结构的图,图6是示出图1的处理器CPU的功能结构的功能框图,图7是示出图1的白平衡电路的结构的框图,图8是对图1的内窥镜系统的作用进行说明的流程图,图9是示出图6的自动白平衡处理流程的流程图,图10是示出图6的手动白平衡处理流程的流程图。
如图1所示,本实施例的内窥镜系统1构成为具有:(电子)内窥镜2,其插入到体腔内,来观察和处理患部;光源装置3,其把RGB光和特殊光提供给该内窥镜2;以及处理器5,其对由内窥镜2所拍摄到的内窥镜视频信号进行信号处理,把内窥镜图像显示在监视器4上。
内窥镜2具有:CCD 11,其是设置在插入到患者的体腔内的插入部前端上的固态摄像元件;光导路12,其把观察照明光引导到插入部前端;操作开关13,其设置在进行内窥镜操作的操作部上;以及(电)连接器14,其设置在用于与光源装置3连接的连接部上,用于与处理器5连接,在该连接部内设置有第1存储电路15。并且,在连接器14中设置有用于识别CCD 11的识别单元(未作图示)。
该第1存储电路15由以下构成,即:作为存储数据的内窥镜识别信息存储单元和第2白平衡数据存储单元的非易失性的内窥镜存储器(EEPROM或FRAM等)16;以及内窥镜CPU 17,其控制对内窥镜存储器16的数据读出/写入以及控制与处理器5之间的数据收发(通信)。
该内窥镜存储器16设置有多个存储区域(例如14个存储区域),在这些存储区域内,如图2所示,存储有以下各数据:
区域1)内窥镜序列号(=内窥镜ID)
区域2)内窥镜机型名(=内窥镜机型名称数据)
区域3)各种尺寸(=内窥镜前端直径数据、钳子直径数据)
区域4)CCD种类(=CCD关联信息(像素数等)数据)
区域5)通电次数(=内窥镜被与处理器连接并被接通电源的次数)
区域6)用户评述
区域7)初次检查日(年月日)
区域8)保用期限(年月日)
区域9)服务评述
区域10)工厂评述
区域11)再处理信息
区域12)检查次数
区域13)版本信息
区域14)副白平衡(白平衡数据)。
另外,区域14的副白平衡区域的白平衡数据是把在工厂发货时或者实施手动白平衡时获得的白平衡数据不与光源ID相关联而存储的白平衡数据。
光源装置3构成为具有:灯21,其发出生成观察光的白色光RGB滤光器22,其用于把来自灯21的观察光转换成RGB的面顺次光;多个例如3个特殊光滤光器23a、23b、23c,其截止来自灯21的观察光的特定波长来生成特殊光;聚光透镜24,其使观察光聚光在光导路12的入射端面上;滤光器切换装置25,其进行RBG滤光器22和特殊光滤光器23a、23b、23c的切换;操作面板26,其进行各种设定;以及第2存储电路27。而且,由RGB滤光器22和特殊光滤光器23a、23b、23c构成观察滤光器。
第2存储电路27由以下构成,即:存储数据的非易失性的光源存储器(EEPROM或FRAM等)28,以及控制对光源存储器28的数据读出/写入以及控制经由连接器29与处理器5之间的数据收发(通信)的光源CPU(控制部)30,光源CPU 30还控制滤光器切换装置25和操作面板26。
在光源存储器28内存储有以下各数据:
1)光源序列号(=光源ID)
2)安装在光源装置上的特殊光滤光器的识别信息
3)光源装置的使用状况数据(光源装置的使用次数、使用时间、灯的总亮灯时间、RGB滤光器/各特殊光滤光器的总使用次数/时间)
处理器5构成为具有:驱动电路32,其经由连接器31驱动内窥镜2的CCD 11;视频信号处理电路33,其对经由连接器31的来自CCD 11的摄像信号进行信号处理;A/D转换部34,其把由视频信号处理电路33所处理过的信号转换成数字信号;白平衡电路35,其对转换成数字信号的视频信号实施白平衡处理;图像处理电路36,其根据实施了白平衡处理的视频信号生成显示在监视器4上的内窥镜图像;显示控制器37,其生成显示在监视器4上的各种图像;视频信号输出电路38,其将图像处理电路36的输出和显示控制器37的输出进行合成而输出;D/A转换部39,其把视频信号输出电路38的输出转换成模拟信号而输出到监视器4;操作面板40(参照图3)和键盘41,该操作面板40具有指示手动白平衡处理的W/BSW101等各种开关,并指示各种操作;以及处理器CPU 42,其执行与操作面板40和键盘41之间的信息收发、经由连接器31的与内窥镜2的内窥镜CPU 17之间的通信、经由连接器43的与光源装置3的光源CPU 30之间的通信,以及白平衡电路34、图像处理电路36和显示控制器37的控制。
并且,处理器CPU 42具有备份用的处理器存储器44和作为第1白平衡数据存储单元的W/B存储器45。处理器存储器44如图4所示,存储包含处理所需要的白平衡数据的各种数据。并且,W/B存储器45如图5所示,由存储与内窥镜2的内窥镜ID和光源装置3的光源ID对应的白平衡数据的主白平衡数据区域构成。
另外,存储在主白平衡数据区域内的白平衡数据是在实施手动白平衡时获得的白平衡数据,是与内窥镜2的内窥镜ID和光源装置3的光源ID相关联而存储的。
处理器CPU 42如图6所示,构成为具有:作为内窥镜信息提取单元的内窥镜信息提取部42a;作为光源信息提取单元的光源信息提取部42b;作为白平衡数据检索单元的主白平衡检索部42c;作为白平衡数据提取单元的副白平衡提取部42d;主白平衡更新部42e;副白平衡更新部42f;以及图像处理控制部42g。在本实施例中,这些各部由软件来实现。
内窥镜信息提取部42a是(经由内窥镜CPU 17)从内窥镜存储器16中提取出内窥镜ID的功能部。光源信息提取部42b是(经由光源CPU 30)从光源存储器28中提取出光源ID的功能部。主白平衡检索部42c是根据光源ID检索存储在W/B存储器45的主白平衡数据区域内的白平衡数据的功能部。副白平衡提取部42d是在W/B存储器45的主白平衡数据区域内没有对应的白平衡数据的情况下,(经由内窥镜CPU 17)从内窥镜存储器16中提取出副白平衡区域的白平衡数据的功能部。主白平衡更新部42e是在实施手动白平衡时更新主白平衡数据区域的白平衡数据的功能部。副白平衡更新部42f是在实施手动白平衡时更新副白平衡数据区域的白平衡数据的功能部。图像处理控制部42g是控制白平衡电路35和图像处理电路38等各部的功能部。
白平衡电路35如图7所示,由以下构成,即:RGB转换部51,其把由A/D转换部34转换成数字信号的面顺次的视频信号转换成RGB的同时化信号;平均值计算部52,其计算RGB信号的平均值;R相乘部53,其把来自CPU 42的相乘系数G/R乘以R信号;以及B相乘部54,其把来自CPU 42的相乘系数G/B乘以B信号,使得R:G:B=1:1:1而输出到图像处理电路36。
下面,对这样构成的本实施方式的内窥镜系统1的作用进行说明。另外,以下,为了简化说明,以把观察滤光器仅为RGB滤光器22时的作用为例进行说明,然而当把特殊光滤光器23a、23b、23c与RGB滤光器22一起插入在光路上时,也相同地起作用。
如图8所示,当在步骤S1使处理器5、内窥镜2以及光源装置3连接、并在步骤S2接通各自的电源时,在步骤S3,设置在处理器5内的处理器CPU 42执行自动白平衡处理。该自动白平衡处理的详情在后面描述。
然后,当自动白平衡处理结束时,处理器CPU 42在步骤S4判断是否按下了操作面板40的W/B SW 101(参照图3),当判断为按下了W/B SW101时,在步骤S5执行后述的手动白平衡处理,进到步骤S6,在未按下W/B SW 101的情况下,使处理从步骤S4转移到步骤S6,在步骤S6开始检查,继续检查直到在步骤S7检测出检查结束。
下面,对上述步骤S3中的自动白平衡处理进行说明。在该自动白平衡处理中,如图9所示,处理器CPU 42在步骤S21开始与设置在内窥镜2内的内窥镜CPU 17通信,并在步骤S22开始与设置在光源装置3内的光源CPU 30通信。然后,处理器CPU 42在步骤S23经由内窥镜CPU 17和光源CPU 30,利用内窥镜信息提取部42a的功能,从内窥镜存储器16中取得内窥镜ID,并利用光源信息提取部42b的功能,从光源存储器28中取得光源ID。
然后,处理器CPU 42在步骤S24,根据所取得的内窥镜ID和光源ID,利用主白平衡检索部42c的功能,从W/B存储器45的主白平衡区域(参照图5)中检索对应的(与所取得的内窥镜ID和光源ID相关联的)白平衡数据。例如当内窥镜ID=k、光源ID=j时,在图5中,第k内窥镜和第j光源的白平衡数据是对应的白平衡数据。
然后,处理器CPU 42在步骤S25判断在主白平衡区域内是否存在对应的白平衡数据,在存在对应的白平衡数据的情况下,在步骤S26从W/B存储器45中读出对应的白平衡数据,进到步骤S28。另一方面,当判断为不存在对应的白平衡数据时,在步骤S27,处理器CPU 42利用副白平衡提取部42d的功能,经由内窥镜CPU 17读出内窥镜存储器16的副白平衡区域(区域14)的白平衡数据(参照图2),进到步骤S28。
在步骤S28,处理器CPU 42把所读出的白平衡数据存储在备份用的处理器存储器44内。在该处理器存储器44的白平衡数据区域内已有数据的情况下,进行改写来存储。
然后,处理器CPU 42在步骤S29使用处理器存储器44的白平衡数据区域的白平衡数据,利用图像处理控制部42g的功能来执行调整白平衡电路35的增益的白平衡运算处理,然后结束处理。
接下来,对上述步骤S5中的手动白平衡处理进行说明。在该手动白平衡处理中,如图10所示,处理器CPU 42在步骤S41进行在白平衡电路35的平均值计算部52中的RGB信号的平均值计算等运算处理,计算白平衡数据(G/R、G/B),把该白平衡数据发送到内窥镜CPU 17。
然后,在步骤S42,内窥镜CPU 17根据处理器CPU 42的副白平衡更新部42f的指示,使用接收到的白平衡数据来更新副白平衡区域的白平衡数据。
然后,在步骤S43,处理器CPU 42根据内窥镜ID和光源ID,利用主白平衡检索部42c的功能,从W/B存储器45的主白平衡区域中检索对应的白平衡数据。
然后,处理器CPU 42在步骤S44判断在主白平衡区域内是否存在对应的白平衡数据,在存在对应的白平衡数据的情况下,在步骤S45,处理器CPU 42利用主白平衡更新部42e的功能,将在步骤S41中计算出的白平衡数据与内窥镜ID和光源ID一起进行改写来更新W/B存储器45的主白平衡区域。
并且,当判断为在主白平衡区域内不存在对应的白平衡数据时,处理器CPU 42在步骤S46,利用主白平衡更新部42e的功能,判断在W/B存储器45的主白平衡区域内是否有足够的空闲容量(规定的空闲容量)。
当判断为在W/B存储器45的主白平衡区域内有足够的空闲容量(规定的空闲容量)时,处理器CPU 42在步骤S47,利用主白平衡更新部42e的功能,将在步骤S41中计算出的白平衡数据与内窥镜ID和光源ID一起存储在W/B存储器45的主白平衡区域内。
另一方面,当判断为在W/B存储器45的主白平衡区域内没有足够的空闲容量(规定的空闲容量)时,处理器CPU 42在步骤S48,利用主白平衡更新部42e的功能,删除最老的白平衡数据,将在步骤S41中计算出的白平衡数据与内窥镜ID和光源ID一起存储在W/B存储器45的主白平衡区域内。
这样在本实施例中,在处理器5侧,把白平衡数据与内窥镜ID和光源ID相关联起来存储在主白平衡区域内,而且在内窥镜2侧,把使用了内窥镜2的最新的白平衡数据存储在副白平衡区域内。
由此,在使处理器5、内窥镜2以及光源装置3连接了时,在具有将连接的内窥镜2和光源装置3组合来使用的实绩的情况下,处理器5的处理器CPU 42可从W/B存储器45中从主白平衡区域中读出对应的白平衡数据来执行白平衡处理,因而可获得最佳色调的内窥镜图像。
并且,在不具有将连接的内窥镜2和光源装置3组合来使用的实绩的情况下,处理器5的处理器CPU 42可读出内窥镜存储器16的副白平衡区域的白平衡数据来执行白平衡处理,因而可使用至少与内窥镜2的特性对应的最新的具有实绩的白平衡数据,可获得良好色调的内窥镜图像。
[实施例2]
图11至图17涉及本发明的实施例2,图11是示出内窥镜系统的结构的框图,图12是示出图11的内窥镜存储器的存储结构的图,图13是示出图11的内窥镜CPU的功能结构的功能框图,图14是示出图11的处理器CPU的功能结构的功能框图,图15是示出图11的内窥镜系统的自动白平衡处理流程的流程图,图16是示出图11的内窥镜系统的手动白平衡处理流程的流程图,图17是示出图11的内窥镜系统的自动白平衡处理的变形例的流程的流程图。
实施例2与实施例1几乎相同,因而仅对不同点进行说明,对同一结构附上同一符号而省略说明。
在本实施例中,与实施例1的不同点是,如图11所示,省略处理器5的W/B存储器45,以及如图12所示,把W/B存储器45的主白平衡区域的白平衡数据存储在内窥镜存储器16的区域15内。
并且,如图13和图14所示,把在实施例1中设置在处理器CPU 42内的主白平衡检索部42c、副白平衡提取部42d、主白平衡更新部42e以及副白平衡更新部42f设置在内窥镜CPU 16内。其他结构与实施例1相同。
对这样构成的本实施例中的自动白平衡处理进行说明。如图15所示,处理器CPU 42在步骤S61开始与设置在内窥镜2内的内窥镜CPU 17通信,并在步骤S62开始与设置在光源装置3内的光源CPU 30通信。然后,内窥镜CPU 17在步骤S63经由处理器CPU 42,利用处理器CPU 42的光源信息提取部42b的功能来从光源存储器28中取得光源ID。
然后,内窥镜CPU 17在步骤S64中根据所取得的光源ID,利用主白平衡检索部42c的功能,从内窥镜存储器16的主白平衡区域(区域15)中检索对应的(与所取得的光源ID相关联的)白平衡数据。例如当光源ID=j时,在图12中,第j光源的白平衡数据成为对应的白平衡数据。
然后,内窥镜CPU 17在步骤S65中判断在主白平衡区域内是否存在对应的白平衡数据,在存在对应的白平衡数据的情况下,在步骤S66从内窥镜存储器16中读出对应的白平衡数据,进到步骤S68。另一方面,当判断为不存在对应的白平衡数据时,在步骤S67,内窥镜CPU 17利用副白平衡提取部42d的功能来读出内窥镜存储器16的副白平衡区域(区域14)的白平衡数据(参照图12),进到步骤S68。
在步骤S68,内窥镜CPU 17把所读出的白平衡数据发送到处理器CPU 42。
然后,处理器CPU 42在步骤S69把接收到的白平衡数据存储在备份用的处理器存储器44内。在该处理器存储器44的白平衡数据区域内已有数据的情况下,进行改写来存储。
然后,处理器CPU 42在步骤S70中使用处理器存储器44的白平衡数据区域的白平衡数据,利用图像处理控制部42g的功能来执行调整白平衡电路35的增益的白平衡运算处理,然后结束处理。
接下来,对本实施例中的手动白平衡处理进行说明。在该手动白平衡处理中,如图16所示,处理器CPU 42在步骤S81中进行白平衡电路35的平均值计算部52中的RGB信号的平均值计算等运算处理,计算白平衡数据(G/R、G/B)。
然后,处理器CPU 42在步骤S82中利用光源信息提取部42b的功能来从光源存储器28中取得光源ID。
然后,在步骤S83,处理器CPU 42把所取得的光源ID和计算出的白平衡数据发送到内窥镜CPU 16。
内窥镜CPU 16在步骤S84中利用副白平衡更新部42f的功能,使用接收到的白平衡数据来更新副白平衡区域(区域15)的白平衡数据。
然后,在步骤S85,内窥镜CPU 16根据光源ID,利用主白平衡检索部42c的功能,从内窥镜存储器17的主白平衡区域(区域15)中检索对应的白平衡数据。
然后,内窥镜CPU 16在步骤S86中判断在主白平衡区域内是否存在对应的白平衡数据,在存在对应的白平衡数据的情况下,利用主白平衡更新部42e的功能,在步骤S87,内窥镜CPU 16将在步骤S81中计算出的白平衡数据与光源ID一起进行改写来更新内窥镜存储器17的主白平衡区域(区域15)。
并且,当判断为在主白平衡区域(区域15)内不存在对应的白平衡数据时,内窥镜CPU 16在步骤S88中利用主白平衡更新部42e的功能,判断在内窥镜存储器17的主白平衡区域(区域15)内是否有足够的空闲容量(规定的空闲容量)。
当判断为在内窥镜存储器17的主白平衡区域(区域15)内有足够的空闲容量(规定的空闲容量)时,内窥镜CPU16在步骤S89利用主白平衡更新部42e的功能,将在步骤S81中计算出的白平衡数据与光源ID一起存储在内窥镜存储器17的主白平衡区域(区域15)内。
另一方面,当判断为在内窥镜存储器17的主白平衡区域(区域15)内没有足够的空闲容量(规定的空闲容量)时,内窥镜CPU16在步骤S90利用主白平衡更新部42e的功能,删除最老的白平衡数据,将在步骤S81中计算出的白平衡数据与光源ID一起存储在内窥镜存储器17的主白平衡区域(区域15)内。
这样在本实施例中,除了实施例1的效果以外,还由于在处理器5侧不需要W/B存储器45,而且存储在内窥镜存储器17的主白平衡区域内的白平衡数据仅与光源ID相关联起来存储,因而与W/B存储器45的主白平衡区域相比较,内窥镜存储器17的主白平衡区域的容量只要小容量即可,可廉价且高速地检索对应的白平衡数据。
另外,在本实施例中,副白平衡区域的白平衡数据与实施例1一样是在手动白平衡处理时更新副白平衡区域的白平衡数据,然而不限于此,例如,副白平衡区域的白平衡数据也可以在检索了主白平衡区域(区域15)的结果是存在对应的白平衡数据的情况下,使用该对应的白平衡数据来更新副白平衡区域的白平衡数据。
在该情况下的自动白平衡处理中,内窥镜CPU16把表示检索完成的信号发送到处理器CPU42,处理器CPU42通过接收该完成信号从而读出内窥镜存储器17的副白平衡区域的白平衡数据,只要执行白平衡就能取得与本实施例相同的作用,可省略图15的步骤S65~S67的处理。
并且,在上述实施例中,更新副白平衡区域的白平衡数据,然而不限于此,也可以把副白平衡区域的白平衡数据作为固定数据而不能更新。由此,在检索结果是不存在对应的白平衡数据的情况下,不依赖于所连接的光源装置,可使用固定的白平衡数据(例如基准白平衡数据)来进行白平衡处理。在该情况下,图17是自动白平衡处理的流程。
本发明不限于上述的实施例,可在不改变本发明要旨的范围内进行各种变更和改变等。
Claims (7)
1.一种内窥镜装置,该内窥镜装置具有:
内窥镜,其对管腔内进行摄像;
光源装置,其向上述内窥镜提供照明光,并具有存储有光源识别信息的光源识别信息存储单元;以及
图像处理装置,其对来自上述内窥镜的摄像信号进行信号处理,生成内窥镜图像,
其特征在于,该内窥镜装置具有:
第1白平衡数据存储单元,其将在上述图像处理装置中的白平衡处理中使用的白平衡数据与至少上述光源识别信息相关联起来,按照上述每个光源识别信息来存储;
第2白平衡数据存储单元,其存储在上述图像处理装置中的白平衡处理中使用的白平衡数据;
光源信息提取单元,其提取上述光源装置的光源识别信息;
白平衡数据检索单元,其根据由上述光源信息提取单元所提取出的上述光源装置的光源识别信息,从上述第1白平衡数据存储单元中检索与上述光源识别信息相关联的白平衡数据;以及
白平衡数据提取单元,其根据上述白平衡数据检索单元的检索结果,提取存储在上述第2白平衡数据存储单元内的白平衡数据。
2.根据权利要求1所述的内窥镜装置,其特征在于,
上述内窥镜具有存储有内窥镜识别信息的内窥镜识别信息存储单元,
上述第2白平衡数据存储单元设置在上述内窥镜识别信息存储单元中,
在上述白平衡数据检索单元判断为在存储在上述第1白平衡数据存储单元中的白平衡数据中不存在与所提取出的上述光源识别信息相关联的上述白平衡数据的情况下,把存储在上述第2白平衡数据存储单元中的白平衡数据输出到上述图像处理装置来进行白平衡处理。
3.根据权利要求2所述的内窥镜装置,其特征在于,上述第1白平衡数据存储单元设置在上述内窥镜识别信息存储单元中。
4.根据权利要求2所述的内窥镜装置,其特征在于,上述第1白平衡数据存储单元设置在上述图像处理装置中。
5.根据权利要求4所述的内窥镜装置,其特征在于,
该内窥镜装置具有内窥镜信息提取单元,该内窥镜信息提取单元提取上述内窥镜识别信息,
上述第1白平衡数据存储单元将在上述图像处理装置中的白平衡处理中使用的白平衡数据与上述光源识别信息以及上述内窥镜识别信息相关联起来,按照上述每个光源识别信息以及上述每个内窥镜识别信息来存储,
白平衡数据检索单元根据由上述光源信息提取单元所提取出的上述光源装置的光源识别信息和由上述内窥镜信息提取单元所提取出的上述内窥镜识别信息,从上述第1白平衡数据存储单元中检索与上述光源识别信息以及上述内窥镜识别信息相关联的白平衡数据。
6.根据权利要求3或5所述的内窥镜装置,其特征在于,
上述图像处理装置具有白平衡处理执行指示单元,
在由上述白平衡处理执行指示单元指示了白平衡处理的情况下,对上述第2白平衡数据存储单元改写与上述光源识别信息不相关联的白平衡数据而进行存储。
7.根据权利要求3或5所述的内窥镜装置,其特征在于,存储在上述第2白平衡数据存储单元内的白平衡数据是不能改写的固定值。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006-257783 | 2006-09-22 | ||
JP2006257783A JP4504339B2 (ja) | 2006-09-22 | 2006-09-22 | 内視鏡装置 |
JP2006257783 | 2006-09-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101147667A true CN101147667A (zh) | 2008-03-26 |
CN101147667B CN101147667B (zh) | 2012-02-01 |
Family
ID=38935782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101269000A Expired - Fee Related CN101147667B (zh) | 2006-09-22 | 2007-06-29 | 内窥镜装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8581972B2 (zh) |
EP (1) | EP1902669B1 (zh) |
JP (1) | JP4504339B2 (zh) |
CN (1) | CN101147667B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102068228A (zh) * | 2010-12-31 | 2011-05-25 | 重庆金山科技(集团)有限公司 | 一种内窥镜系统及实现白平衡的方法 |
CN103079450A (zh) * | 2011-03-29 | 2013-05-01 | 奥林巴斯医疗株式会社 | 内窥镜用适配器、内窥镜用处理器和内窥镜系统 |
CN106999003A (zh) * | 2015-08-12 | 2017-08-01 | Hoya株式会社 | 内窥镜系统 |
DE102016001513A1 (de) * | 2016-02-10 | 2017-08-10 | Schölly Fiberoptic GmbH | Korrekturverfahren, Bildaufnahmeverfahren und Bildaufnahmevorrichtung zum verbesserten Weißabgleich bei der Aufnahme eines Bildes bei wechselnden Lichtverhältnissen |
CN107529975A (zh) * | 2015-05-15 | 2018-01-02 | 索尼公司 | 光源控制装置、光源控制方法和成像系统 |
CN110505459A (zh) * | 2019-08-16 | 2019-11-26 | 域鑫科技(惠州)有限公司 | 适用于内窥镜的图像颜色校正方法、装置和存储介质 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2014200507B2 (en) * | 2010-09-08 | 2015-05-21 | Covidien Lp | Catheter with imaging assembly |
EP2613687B1 (en) | 2010-09-08 | 2016-11-02 | Covidien LP | Catheter with imaging assembly |
JP5604248B2 (ja) | 2010-09-28 | 2014-10-08 | 富士フイルム株式会社 | 内視鏡画像表示装置 |
JP5733949B2 (ja) * | 2010-10-25 | 2015-06-10 | キヤノン株式会社 | 撮像装置及びその制御方法 |
USD735343S1 (en) | 2012-09-07 | 2015-07-28 | Covidien Lp | Console |
USD716841S1 (en) | 2012-09-07 | 2014-11-04 | Covidien Lp | Display screen with annotate file icon |
US9198835B2 (en) | 2012-09-07 | 2015-12-01 | Covidien Lp | Catheter with imaging assembly with placement aid and related methods therefor |
US9517184B2 (en) | 2012-09-07 | 2016-12-13 | Covidien Lp | Feeding tube with insufflation device and related methods therefor |
USD717340S1 (en) | 2012-09-07 | 2014-11-11 | Covidien Lp | Display screen with enteral feeding icon |
JP2014113212A (ja) * | 2012-12-06 | 2014-06-26 | Hoya Corp | 内視鏡 |
CN106455950B (zh) | 2014-06-17 | 2019-04-09 | 奥林巴斯株式会社 | 内窥镜系统及其白平衡调整方法、内窥镜用图像处理装置 |
DE102014109888B4 (de) * | 2014-07-15 | 2022-12-01 | Karl Storz Se & Co. Kg | Verfahren und Vorrichtung zum Prüfen der Licht- und/oder Bildübertragungseigenschaften eines endoskopischen oder exoskopischen Systems |
CN111526769B (zh) * | 2018-03-06 | 2023-07-28 | 奥林巴斯株式会社 | 内窥镜和内窥镜的工作方法 |
JP7184657B2 (ja) * | 2019-01-24 | 2022-12-06 | 富士フイルム株式会社 | 内視鏡システム |
US20230047334A1 (en) * | 2019-10-21 | 2023-02-16 | Neoped Technology Co., Ltd. | Endoscope host and endoscope device for intelligently detecting organs |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3684067B2 (ja) * | 1998-04-10 | 2005-08-17 | ペンタックス株式会社 | 電子内視鏡システム |
JP4338337B2 (ja) * | 2001-06-15 | 2009-10-07 | Hoya株式会社 | 色調整処理を行う電子内視鏡装置および電子内視鏡装置のビデオスコープ |
US6977670B2 (en) * | 2001-09-28 | 2005-12-20 | Pentax Corporation | Method and apparatus for selective registration of endoscopes with database |
JP4197879B2 (ja) * | 2002-03-15 | 2008-12-17 | オリンパス株式会社 | 内視鏡装置 |
JP4448299B2 (ja) * | 2003-07-15 | 2010-04-07 | Hoya株式会社 | ホワイトバランス調整可能な電子内視鏡装置 |
JP4827387B2 (ja) * | 2003-10-10 | 2011-11-30 | オリンパス株式会社 | 画像処理装置 |
JP4575042B2 (ja) * | 2004-06-14 | 2010-11-04 | オリンパス株式会社 | 内視鏡システム |
KR100951618B1 (ko) * | 2008-02-19 | 2010-04-09 | 한국과학기술원 | 광주파수 발생기를 이용한 절대거리 측정방법 및 시스템 |
-
2006
- 2006-09-22 JP JP2006257783A patent/JP4504339B2/ja not_active Expired - Fee Related
-
2007
- 2007-06-29 CN CN2007101269000A patent/CN101147667B/zh not_active Expired - Fee Related
- 2007-09-14 EP EP07018095.5A patent/EP1902669B1/en not_active Not-in-force
- 2007-09-19 US US11/901,908 patent/US8581972B2/en active Active
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102068228A (zh) * | 2010-12-31 | 2011-05-25 | 重庆金山科技(集团)有限公司 | 一种内窥镜系统及实现白平衡的方法 |
CN102068228B (zh) * | 2010-12-31 | 2013-04-24 | 重庆金山科技(集团)有限公司 | 一种内窥镜系统及实现白平衡的方法 |
CN103079450A (zh) * | 2011-03-29 | 2013-05-01 | 奥林巴斯医疗株式会社 | 内窥镜用适配器、内窥镜用处理器和内窥镜系统 |
CN103079450B (zh) * | 2011-03-29 | 2015-05-13 | 奥林巴斯医疗株式会社 | 内窥镜用适配器、内窥镜用处理器和内窥镜系统 |
CN107529975A (zh) * | 2015-05-15 | 2018-01-02 | 索尼公司 | 光源控制装置、光源控制方法和成像系统 |
CN106999003A (zh) * | 2015-08-12 | 2017-08-01 | Hoya株式会社 | 内窥镜系统 |
CN106999003B (zh) * | 2015-08-12 | 2020-05-12 | Hoya株式会社 | 内窥镜系统 |
US10667669B2 (en) | 2015-08-12 | 2020-06-02 | Hoya Corporation | Endoscope system having various combinations of light sources |
DE102016001513A1 (de) * | 2016-02-10 | 2017-08-10 | Schölly Fiberoptic GmbH | Korrekturverfahren, Bildaufnahmeverfahren und Bildaufnahmevorrichtung zum verbesserten Weißabgleich bei der Aufnahme eines Bildes bei wechselnden Lichtverhältnissen |
DE102016001513B4 (de) | 2016-02-10 | 2024-02-29 | Schölly Fiberoptic GmbH | Korrekturverfahren, Bildaufnahmeverfahren und Bildaufnahmevorrichtung zum verbesserten Weißabgleich bei der Aufnahme eines Bildes bei wechselnden Lichtverhältnissen |
CN110505459A (zh) * | 2019-08-16 | 2019-11-26 | 域鑫科技(惠州)有限公司 | 适用于内窥镜的图像颜色校正方法、装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN101147667B (zh) | 2012-02-01 |
US8581972B2 (en) | 2013-11-12 |
EP1902669A1 (en) | 2008-03-26 |
EP1902669B1 (en) | 2014-05-07 |
JP2008073345A (ja) | 2008-04-03 |
US20080074492A1 (en) | 2008-03-27 |
JP4504339B2 (ja) | 2010-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101147667B (zh) | 内窥镜装置 | |
CN200939124Y (zh) | 内窥镜装置 | |
US7558475B2 (en) | Image display apparatus and sorting method | |
US5583566A (en) | Combined medical image and data transmission with data storage, in which character/diagram information is transmitted with video data | |
EP1935327A1 (en) | Endoscope apparatus | |
CN103079450A (zh) | 内窥镜用适配器、内窥镜用处理器和内窥镜系统 | |
US20070126866A1 (en) | Microscope-use digital camera | |
JP5751869B2 (ja) | 電子内視鏡装置、電子内視鏡用プロセッサ及び電子内視鏡システム | |
JP2007054308A (ja) | 内視鏡装置 | |
JP4385465B2 (ja) | 電子カメラ | |
US7850606B2 (en) | Endoscope device | |
JP4197879B2 (ja) | 内視鏡装置 | |
US20050001586A1 (en) | Battery pack and electronic device | |
JP2000060789A (ja) | 内視鏡 | |
CN100471440C (zh) | 内窥镜和内窥镜系统 | |
JP2925417B2 (ja) | 画像処理システム及び情報処理装置及び撮像装置と接続可能な外部装置 | |
JP4520369B2 (ja) | 内視鏡 | |
JP2006034985A (ja) | 内視鏡装置 | |
JP2001157200A (ja) | 内視鏡システム | |
JPH10248805A (ja) | 画像データ記録再生システム | |
JP4441248B2 (ja) | プロセッサ、電子内視鏡装置 | |
JP2001111992A (ja) | 画像記録装置 | |
JP2002033946A (ja) | 電子カメラ及びその制御方法 | |
JP3392112B2 (ja) | 撮像装置と接続可能な外部装置及びその制御方法 | |
JP2006198002A (ja) | 電子内視鏡システムとファイリングシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20151118 Address after: Tokyo, Japan Patentee after: OLYMPUS Corp. Address before: Tokyo, Japan Patentee before: Olympus Medical Systems Corp. |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120201 |
|
CF01 | Termination of patent right due to non-payment of annual fee |