CN114585292A - 内窥镜系统及其工作方法 - Google Patents
内窥镜系统及其工作方法 Download PDFInfo
- Publication number
- CN114585292A CN114585292A CN202080074004.8A CN202080074004A CN114585292A CN 114585292 A CN114585292 A CN 114585292A CN 202080074004 A CN202080074004 A CN 202080074004A CN 114585292 A CN114585292 A CN 114585292A
- Authority
- CN
- China
- Prior art keywords
- light
- illumination
- image
- period
- illumination light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种即使在使用卷帘快门方式的摄像传感器的情况下,也能够可靠地执行分析处理,且能够在视觉辨认度高的清晰的图像中显示这些分析结果的内窥镜系统及其工作方法。摄像用处理器(45)在第1照明时段内将第1照明光曝光于摄像传感器(44)的状态下,进行信号读出而输出第1图像信号。摄像用处理器(45)在第2照明时段将第2照明光曝光于摄像传感器之后,在熄灭第1照明光及第2照明光的熄灭时段对摄像传感器设为未曝光的状态下,进行信号读出而输出第2图像信号。
Description
技术领域
本发明涉及一种切换发射发光光谱不同的多个照明光的内窥镜系统及其工作方法。
背景技术
在医疗领域中,普遍使用医疗图像进行诊断。例如,作为使用医疗图像的装置,有具备光源装置、内窥镜及处理器装置的内窥镜系统。在内窥镜系统中,通过对观察对象照射照明光并拍摄由照明光照明的观察对象,获取作为医疗图像的内窥镜图像。内窥镜图像显示于显示器,并且用于诊断。
并且,在近年的内窥镜系统中,通过将具有特定的波长频带的光对观察对象进行照明而提高观察对象上的病变部的视觉辨认度,容易进行病变部的检测。但是,通过具有特定的波长频带的光而获得的特殊观察图像以与伪彩色等观察对象的颜色不同的颜色来显示,因此对用户而言,与普通观察中所使用的普通观察图像相比,看不习惯的情况居多。因此,在专利文献1中,通过从特殊观察图像检测病变区域并将检测到的病变区域在普通观察图像中强调显示,能够在看惯的普通观察图像上观察病变区域。
以往技术文献
专利文献
专利文献1:日本特开2011-135983号公报
发明内容
发明要解决的技术课题
近年来,在观察对象的拍摄中使用CMOS(Complementary Metal OxideSemiconductor)型摄像传感器。在CMOS型摄像传感器中,采用在具有沿行方向及列方向排列的多个像素的情况下,以行方向的行单位并且以列方向的顺序依次进行信号读出的卷帘快门方式。但是,卷帘快门方式有时在不同的行之间在曝光时间上产生差异,在该情况下,有时会产生观察对象的图像的失真。因此,如上述专利文献1,当检测病变区域时,关于通过基于卷帘快门方式的拍摄获得的图像,有时因图像的失真等而无法准确地检测病变区域。因此,要求即使在使用卷帘快门方式的摄像传感器的情况下,也能够可靠地执行病变检测等的分析处理,且能够在视觉辨认度高的清晰的图像上显示这些分析结果。
本发明的目的在于提供一种即使在使用卷帘快门方式的摄像传感器的情况下,也能够可靠地执行分析处理,且能够在视觉辨认度高的清晰的图像中显示这些分析结果的内窥镜系统及其工作方法。
用于解决技术课题的手段
本发明具备:光源部,发出发光光谱彼此不同的第1照明光及第2照明光;光源用处理器,在自动地切换第1照明光与第2照明光并发射的情况下,以第1发光图案来发射第1照明光,以第2发光图案来发射第2照明光;摄像传感器,多个像素沿行方向及列方向排列;及摄像用处理器,以行方向的行单位从像素以列方向的顺序进行信号读出,摄像用处理器进行如下处理:在发射第1照明光的第1照明时段内将第1照明光曝光于摄像传感器的状态下,进行信号读出而输出第1图像信号,在发射第2照明光的第2照明时段将第2照明光曝光于摄像传感器之后,在熄灭第1照明光及第2照明光的熄灭时段对摄像传感器设为未曝光的状态下,进行信号读出而输出第2图像信号。
优选在摄像传感器具有全局复位的情况下,光源用处理器在第1照明时段之后且在由摄像用处理器进行的全局复位的工作之后,切换为第2照明时段。优选在摄像传感器不具有全局复位的情况下,光源用处理器在第1照明时段之后,切换为熄灭时段,且在第1照明时段之后的熄灭时段,在进行基于摄像用处理器的信号读出之后,切换为第2照明时段。优选在摄像传感器不具有全局复位的情况下,光源用处理器在进行熄灭时段的与第2照明光相关的信号读出之后,为了进行第1照明光及第2照明光的熄灭状态下的基于摄像用处理器的信号读出而持续熄灭时段,且在进行熄灭状态下的信号读出之后,切换为第1照明时段。
优选第1照明光使用白色光,第2照明光使用紫色光、蓝色光、绿色光或红色光。优选在第2照明时段,发射紫色光、蓝色光、绿色光或红色光中的任意者,或在第2照明时段,以特定的顺序切换紫色光、蓝色光、绿色光或红色光中的至少两个光并发射。优选第2照明光为紫色光的光量大于其他颜色的光的光量的第1特殊光或绿色光的光量大于其他颜色的光的光量的第2特殊光中的任意者。
优选第1发光图案为第1照明时段的帧数在各第1照明时段相同的第1A发光图案及第1照明时段的帧数在各第1照明时段不同的第1B发光图案中的任意者。优选第2发光图案为如下图案中的任意者:第2照明时段的帧数在各第2照明时段为相同,且第2照明光的发光光谱在各第2照明时段为相同的第2A图案;第2照明时段的帧数在各第2照明时段为相同,且第2照明光的发光光谱在各第2照明时段为不同的第2B图案;第2照明时段的帧数在各第2照明时段为不同,且第2照明光的发光光谱在各第2照明时段为相同的第2C图案;及第2照明时段的帧数在各第2照明时段为不同,且第2照明光的发光光谱在各第2照明时段为不同的第2D图案。
优选在特定发光图案中,第1照明时段长于第2照明时段。优选光源用处理器的第1照明时段为2帧以上。优选具备显示控制部,对基于第1图像信号的显示用图像,将显示通过基于第2图像信号的分析处理而获得的分析结果的带分析结果显示用图像显示于显示部。
本发明为内窥镜系统的工作方法,该内窥镜系统具备:光源部,发射第1照明光及第2照明光;光源用处理器,在自动地切换发射第1照明光与第2照明光的情况下,以第1发光图案来发射第1照明光,以第2发光图案来发射第2照明光;摄像传感器,多个像素沿行方向及列方向排列;及摄像用处理器,以行方向的行单位从像素以列方向的顺序进行信号读出,该内窥镜系统的工作方法中,摄像用处理器包括如下步骤:在发射第1照明光的第1照明时段内将第1照明光曝光于摄像传感器的状态下,进行信号读出而输出第1图像信号,在发射第2照明光的第2照明时段将第2照明光曝光于摄像传感器之后,在熄灭第1照明光及第2照明光的熄灭时段对摄像传感器设为未曝光的状态下,进行信号读出而输出第2图像信号。
发明效果
根据本发明,即使在使用卷帘快门方式的摄像传感器的情况下,也能够可靠地检测分析处理,且能够在视觉辨认度高的清晰的图像中显示这些分析结果。
附图说明
图1是内窥镜系统的外观图。
图2是表示第1实施方式的内窥镜系统的功能的框图。
图3是表示紫色光V、蓝色光B、绿色光G及红色光R的光谱的曲线图。
图4是表示分析处理模式时的发光图案即特定发光图案的说明图。
图5是表示摄像传感器的各滤色器的光谱透射率的曲线图。
图6是表示摄像传感器中的像素的排列的说明图。
图7是表示卷帘快门的说明图。
图8是以时间顺序表示分析处理模式下的照明控制、分析处理及图像显示的说明图。
图9是表示摄像传感器具有全局复位时的分析处理模式时的摄像控制的说明图。
图10是表示摄像传感器不具有全局复位时的分析处理模式时的摄像控制的说明图。
图11是表示摄像传感器不具有全局复位时且与图10不同的情况下的分析处理模式时的摄像控制的说明图。
图12是表示分析处理模式的一系列流程的流程图。
图13是表示第1特殊光的发光光谱的曲线图。
图14是表示第2特殊光的发光光谱的曲线图。
具体实施方式
在图1中,内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、显示器18及用户接口19。内窥镜12与光源装置14光学连接,且与处理器装置16电连接。内窥镜12具有插入于观察对象体内的插入部12a、设置于插入部12a的基端部分的操作部12b以及设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过操作操作部12b的弯角钮12e,弯曲部12c进行弯曲动作。前端部12d通过弯曲部12c的弯曲动作而朝向所期望的方向。
并且,在操作部12b,除了弯角钮12e以外,还设置有模式的切换操作中所使用的模式切换SW(模式切换开关)12f、观察对象的静态图像的获取指示中所使用的静态图像获取指示部12g及变焦透镜43(参考图2)的操作中所使用的变焦操作部12h。
另外,内窥镜系统10具有普通观察模式、特殊观察模式及分析处理模式这三个模式。在普通观察模式下,通过对观察对象照明白色光来进行拍摄,将自然色彩的普通观察图像显示于显示器18。在特殊观察模式下,通过对观察对象照明波长频带与普通光不同的特殊光来进行拍摄,将强调了特定结构的特殊观察图像显示于显示器18。在分析处理模式下,切换发射发光光谱不同的第1照明光与第2照明光,且对基于第1照明光的图像进行设为用于显示于显示器18的显示用图像的处理,另一方面,对基于第2照明光的图像进行获得与观察对象相关的指标值等的分析处理。分析处理的结果重叠显示于显示用图像。
处理器装置16与显示器18及用户接口19电连接。显示器18输出显示观察对象的图像或观察对象的图像中所附带的信息等。用户接口19具有键盘、鼠标及触控板等,且具有接收功能设定等输入操作的功能。另外,在处理器装置16中也可以连接记录图像或图像信息等的外置记录部(省略图示)。
在图2中,光源装置14具备光源部20及控制光源部20的光源用处理器21。光源部20例如具有多个半导体光源,分别点亮或熄灭它们,当点亮时控制各半导体光源的发光量,由此发射照明观察对象的照明光。在本实施方式中,光源部20具有V-LED(VioletLightEmittingDiode:紫色发光二极管)20a、B-LED(BlueLightEmittingDiode:蓝色发光二极管)20b、G-LED(GreenLightEmittingDiode:绿色发光二极管)20c及R-LED(RedLightEmittingDiode:红色发光二极管)20d这四个颜色的LED。
如图3所示,V-LED20a产生中心波长405±10nm、波长范围380~420nm的紫色光V。B-LED20b产生中心波长450±10nm、波长范围420~500nm的蓝色光B。G-LED20c产生波长范围达到480~600nm的绿色光G。R-LED20d产生中心波长620~630nm且波长范围达到600~650nm的红色光R。
光源用处理器21控制V-LED20a、B-LED20b、G-LED20c及R-LED20d。光源用处理器21分别独立地控制各LED20a~20d,由此能够分别独立地改变光量来发射紫色光V、蓝色光B、绿色光G或红色光R。并且,当为普通观察模式时,光源用处理器21以发射紫色光V、蓝色光B、绿色光G及红色光R之间的光量比成为Vc∶Bc∶Gc∶Rc的白色光的方式,控制各LED20a~20d。另外,Vc、Bc、Gc、Rc>0。
并且,当为特殊观察模式时,光源用处理器21以发射作为短波长的窄频带光的紫色光V、蓝色光B、绿色光G及红色光R之间的光量比成为Vs∶Bs∶Gs∶Rs的特殊光的方式,控制各LED20a~20d。光量比Vs∶Bs∶Gs∶Rs与普通观察模式时所使用的光量比Vc∶Bc∶Gc∶Rc不同,根据观察目的而适当设定。例如,当强调表层血管时,优选使Vs大于其他Bs、Gs、Rs,当强调中深层血管时,优选使Gs大于其他Vs、Gs、Rs。
并且,如图4所示,当为分析处理模式时,在自动地切换发射第1照明光与第2照明光的情况下,光源用处理器21以第1发光图案来发射第1照明光,以第2发光图案来发射第2照明光。具体而言,第1发光图案优选为第1照明时段的帧数在各第1照明时段相同的第1A发光图案及第1照明时段的帧数在各第1照明时段不同的第1B发光图案中的任一个。优选第2发光图案为如下图案中的任一个:第2照明时段的帧数在各第2照明时段相同,且第2照明光的发光光谱在各第2照明时段相同的第2A图案;第2照明时段的帧数在各第2照明时段相同,且第2照明光的发光光谱在各第2照明时段不同的第2B图案;第2照明时段的帧数在各第2照明时段不同,且第2照明光的发光光谱在各第2照明时段相同的第2C图案;及第2照明时段的帧数在各第2照明时段不同,且第2照明光的发光光谱在各第2照明时段不同的第2D图案。另外,第1照明光的发光光谱在各第1照明时段可以相同,也可以不同。
并且,关于特定发光图案,第1照明时段优选长于第2照明时段,第1照明时段优选设为2帧以上。在图4中,当将第1发光图案设为第1A图案,将第2发光图案设为第2A图案(第2照明时段的帧数:相同,第2照明光的发光光谱:相同)时,将第1照明时段设为2帧,将第2照明时段设为1帧。第1照明光用于生成显示于显示器18的显示用图像,因此优选通过对观察对象照明第1照明光来获得清晰的图像。
例如,第1照明光优选为白色光。另一方面,第2照明光用于分析处理,因此优选通过对观察对象照明第2照明光来获得适合于分析处理的图像。例如,当根据血管深度不同的多个血管的形状信思进行分析处理时,作为第2照明光,优选使用紫色光V、蓝色光B、绿色光G及红色光R。在该情况下,当将第2发光图案设为第2A图案(第2照明时段的帧数:相同,第2照明光的发光光谱:相同)或第2C图案(第2照明时段的帧数:不同,第2照明光的发光光谱:相同)时,优选使用紫色光V、蓝色光B、绿色光G及红色光R中的任一个。另一方面,当将第2发光图案设为第2B图案(第2照明时段的帧数:相同,第2照明光的发光光谱:不同)或第2D图案(第2照明时段的帧数:不同,第2照明光的发光光谱:不同)时,在第2照明时段,优选以特定的顺序切换发射紫色光V、蓝色光B、绿色光G及红色光R中的至少两个光。在后述的图8中,将紫色光V、绿色光、G及红色光R这三个光以该顺序依次发射。
另外,关于第1照明时段与第2照明时段的切换图案即第1、2发光图案根据由摄像用处理器45进行的摄像传感器44的摄像控制设定,因此详细内容将在后面叙述。并且,帧是指,至少包含在摄像传感器44中从特定定时起到结束信号读出为止的期间的时段的时段单位,在本实施方式中,使用CMOS型摄像传感器44,因此是指从开始信号读出起到结束信号读出为止的时段。
例如,当获取与存在于距粘膜表面的深度为50μm的范围内的表层血管、存在于距粘膜表面的深度为200μm的范围内的中层血管及存在于距粘膜表面的深度为600μm的范围内的深层血管相关的血管的形状信息,并根据这些表层、中层及深层的血管的形状信息进行分析处理时,优选使用强调表层血管的紫色光V、强调中层血管的绿色光G及强调深层血管的红色光R。
另外,在本说明书中,光量比包含至少一个半导体光源的比率为0(零)的情况。因此,包含各半导体光源中的任一个或两个以上不亮的情况。例如,设为如紫色光V、蓝色光B、绿色光G及红色光R之间的光量比为1∶0∶0∶0的情况,即使在半导体光源中仅点亮一个而其他三个不点亮的情况下,也具有光量比。
如图2所示,各LED20a~20d发射的光经由由反射镜或透镜等构成的光路结合部23入射到光导件25。光导件25内置于内窥镜12及通用塞绳(连接内窥镜12、光源装置14及处理器装置16的塞绳)。光导件25将来自光路结合部23的光传播至内窥镜12的前端部12d。
在内窥镜12的前端部12d设置有照明光学系统30a及摄像光学系统30b。照明光学系统30a具有照明透镜32,通过光导件25传播的照明光经由照明透镜32照射到观察对象。摄像光学系统30b具有物镜42及摄像传感器44。基于照射照明光的来自观察对象的光经由物镜42及变焦透镜43入射到摄像传感器44。由此,在摄像传感器44中成像观察对象的像。变焦透镜43为用于放大观察对象的透镜,通过操作变焦操作部12h,在长焦端与广角端之间移动。
摄像传感器44为原色系彩色传感器,且具备具有蓝色滤色器的B像素(蓝色像素)、具有绿色滤色器的G像素(绿色像素)及具有红色滤色器的R像素(红色像素)这三种像素。如图5所示,蓝色滤色器BF主要透射蓝色频带的光,具体而言透射波长频带为380~560nm的波长频带的光。蓝色滤色器BF的透射率在波长460~470nm附近成为峰值。绿色滤色器GF主要透射绿色频带的光,具体而言透射460~620nm的波长频带的光。红色滤色器RF主要透射红色频带的光,具体而言透射580~760nm的波长频带的光。
并且,摄像传感器44为CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)型,如图6所示,具有沿行方向及列方向排列的多个像素Px。多个像素Px中包含B像素、G像素及R像素。摄像用处理器45对CMOS型摄像传感器44进行摄像控制。具体而言,摄像用处理器45以行方向的行单位LU从像素Px以列方向的顺序进行信号读出。该信号读出方式被称为卷帘快门。当摄像传感器44在列方向上具有第1~第N行的像素Px时,如图7所示,以第1行的像素组、第2行的像素组、……、第N行的像素组的时间顺序进行信号读出(N为2以上的自然数)。图7的读出结束线FL表示各行的像素组的读出结束的定时。读出结束线FL上的T1、T2、TN表示第1、2、N行的像素组的读出结束的定时,且成为T1<T2<TN。另外,关于分析处理模式下的摄像控制的详细内容,将在后面叙述。
如上所述,通过摄像用处理器45进行摄像传感器44的信号读出,由此从摄像传感器44输出图像信号。在普通观察模式下,在白色光曝光于摄像传感器44的状态下,摄像用处理器45进行信号读出,由此从摄像传感器44的B像素输出Bc图像信号,从G像素输出Gc图像信号,从R像素输出Rc图像信号。在特殊观察模式下,在特殊光曝光于摄像传感器44的状态下,摄像用处理器45进行信号读出,由此从摄像传感器44的B像素输出Bs图像信号,从G像素输出Gs图像信号,从R像素输出Rs图像信号。
在分析处理模式下,摄像用处理器45在第1照明时段将第1照明光曝光于摄像传感器44的状态下进行信号读出,由此从摄像传感器44输出第1图像信号(参考图9~图11)。第1图像信号中包含从B像素输出的B1图像信号、从G像素输出的G1图像信号及从R像素输出的R1图像信号。并且,摄像用处理器45在第2照明时段将第2照明光曝光于摄像传感器44之后,在熄灭第1及第2照明光的熄灭时段将摄像传感器44设为未曝光的状态下进行信号读出,由此从摄像传感器44输出第2图像信号(参考图9~图11)。第2图像信号中包含从B像素输出的B2图像信号、从G像素输出的G2图像信号及从R像素输出的R2图像信号。
如上所述,关于在照明光的曝光中进行信号读出(卷帘快门)而获得的第1图像信号,充分获得曝光时间(若为60帧,则最长可获得1/60的曝光时间),因此优选用作显示于显示器18的显示用图像。只要以动态图像方式用肉眼观察这种显示用图像,则不会因由使用卷帘快门引起的卷帘效应(图像失真)而视觉辨认度降低。另一方面,关于在照明光曝光之后设为未曝光而进行信号读出而获得的第2图像信号,在第1~第N行中能够使曝光时间相同,因此不会受到由使用卷帘快门引起的卷帘效应(图像失真)的影响。因此,第2图像信号能够准确地输出观察对象的形状,因此成为适合于形状分析等分析处理的图像信号。关于分析处理模式下的摄像控制的详细内容,将在后面叙述。
如图2所示,CDS/AGC(Correlated Double Sampling/Automatic Gain Control:相关双采样/自动增益控制)电路46对从摄像传感器44获得的模拟图像信号进行相关双采样(CDS)或自动增益控制(AGC)。经过了CDS/AGC电路46的图像信号通过A/D(Analog/Digital:模拟/数字)转换器48转换为数字图像信号。A/D转换后的数字图像信号输入于处理器装置16。
处理器装置16具备图像获取部50、DSP(Digital Signal Processor:数字信号处理器)52、降噪部54、图像处理切换部56、图像处理部58及显示控制部60。图像处理部58具备普通观察图像生成部62、特殊观察图像生成部64及分析处理部66。
图像获取部50获取从内窥镜12输入的彩色图像。彩色图像中包含从摄像传感器44的B像素、G像素及R像素输出的蓝色图像、绿色图像及红色图像。所获取的彩色图像发送至DSP52。DSP52对所接收的彩色图像进行缺陷校正处理、偏移处理、增益校正处理、矩阵处理、伽马转换处理、去马赛克处理及YC转换处理等各种信号处理。在缺陷校正处理中,校正摄像传感器44的缺陷像素的信号。在偏移处理中,从实施了缺陷校正处理的图像信号去除暗电流分量,并设定准确的零电平。增益校正处理通过对偏移处理后的各颜色的图像信号乘以特定增益来调整彩色图像的信号电平。对增益校正处理后的各颜色的图像信号实施提高颜色再现性的矩阵处理。
然后,通过伽马转换处理调整彩色图像的亮度或彩度。对矩阵处理后的彩色图像实施去马赛克处理(也被称为各向同性化处理、同步化处理),并通过插值生成各像素的缺失颜色的信号。通过去马赛克处理,变得所有像素具有RGB各颜色的信号。DSP52对去马赛克处理后的彩色图像实施YC转换处理,将光亮度信号Y和色差信号Cb及色差信号Cr输出至降噪部54。
降噪部54对通过DSP56实施了去马赛克处理等的彩色图像,例如实施基于移动平均法或中值滤波法等的降噪处理。降低了噪声的彩色图像输入于图像处理叨换部56。
图像处理切换部56根据所设定的模式,将来自降噪部54的图像信号的发送目的地切换为普通观察图像生成部62、特殊观察图像生成部64及分析处理部66中的任一个。具体而言,当设置为普通观察模式时,将来自降噪部54的图像信号输入于普通观察图像生成部62。当设置为特殊观察模式时,将来自降噪部54的图像信号输入于特殊观察图像生成部64。当设置为分析处理模式时,将来自降噪部54的图像信号输入于分析处理部66。
普通观察图像生成部62对所输入的1帧量的Rc图像信号、Gc图像信号及Bc图像信号实施普通观察图像用图像处理。在普通观察图像用图像处理中包含3×3的矩阵处理、灰度转换处理、三维LUT(Look Up Table:查找表)处理等颜色转换处理、色彩增强处理及空间频率增强等结构增强处理。已实施普通观察图像用图像处理的Rc图像信号、Gc图像信号及Bc图像信号作为普通观察图像输入于显示控制部60。
特殊观察图像生成部64对所输入的1帧量的Rs图像信号、Gs图像信号及Bs图像信号实施特殊观察图像用图像处理。在特殊观察图像用图像处理中包含3×3的矩阵处理、灰度转换处理、三维LUT(Look Up Table:查找表)处理等颜色转换处理、色彩增强处理及空间频率增强等结构增强处理。已实施特殊观察图像用图像处理的Rs图像信号、Gs图像信号及Bs图像信号作为特殊观察图像输入于显示控制部60。
分析处理部66对所输入的1帧量的R1图像信号、G1图像信号及B1图像信号实施与上述相同的普通观察图像用图像处理。已实施普通观察图像信号用图像处理的R1图像信号、G1图像信号及B1图像信号用作显示用图像。并且,分析处理部66对所输入的特定帧量的R2图像信号、G2图像信号及B2图像信号进行分析处理。并且,分析处理部66进行将分析处理的结果即分析结果显示于显示用图像的显示控制处理。
例如,在将第1发光图案设为第1A发光图案,将第2发光图案设为第2B图案(第2照明时段的帧数:相同,第2照明光的发光光谱:不同)的情况下,当作为第1照明光将白色光W发射2帧量并且将作为第2照明光的紫色光V、绿色光G及红色光R在发射白色光W的期间分别以1帧量来照明观察对象时,如图8所示,对通过紫色光V的照明而获得的R2图像信号、G2图像信号及B2图像信号进行分析处理并获得分析结果V。同样地,对通过绿色光G的照明而获得的R2图像信号、G2图像信号及B2图像信号进行分析处理并获得分析结果G。并且,对通过红色光R的照明而获得的R2图像信号、G2图像信号及B2图像信号进行分析处理并获得分析结果R。这些分析结果V、G、R在与红色光R相关的分析处理结束之后作为汇总的分析结果T显示于显示用图像。另外,分析结果V、G、R可以分别单独地显示于显示用图像,并且,也可以将分析结果V、G、R中的至少两个组合而获得的分析结果显示于显示用图像。
另外,作为分析处理,例如包含提取血管的形状信息的血管提取处理、根据所提取的血管的形状信息计算与血管相关的指标值的指标值计算处理及用于将计算出的指标值重叠显示于显示用图像的重叠显示控制处理。显示有分析处理结果的带分析结果显示用图像输入于显示控制部60。
显示控制部60进行用于将从图像处理部58输出的图像显示于显示器18的控制。具体而言,显示控制部60将普通观察图像、特殊观察图像或带分析结果显示用图像转换为在显示器18中能够以全彩色来显示的视频信号。已转换的视频信号输入于显示器18。由此,在显示器18中显示普通观察图像、特殊观察图像或带分析结果显示用图像。
接着,对分析处理模式下的光源控制及摄像控制的详细内容进行说明。当CMOS型摄像传感器44具有对蓄积于像素Px的电荷不进行信号读出而能够一起排出的全局复位时,如图9所示,摄像用处理器45在第1照明时段信号读出结束之后,使全局复位GR进行工作。光源用处理器21在全局复位GR的工作之后,切换为第2照明时段。然后,光源用处理器21在第2照明时段信号读出结束之后,切换为熄灭时段。并且,摄像用处理器45在熄灭时段的信号读出结束之后,使全局复位进行工作。然后,光源用处理器21在全局复位GR的工作之后,切换为第1照明时段。
另一方面,当CMOS型摄像传感器44不具有全局复位时,如图10所示,光源用处理器21在第1照明时段信号读出结束之后,切换为熄灭时段。摄像用处理器45在熄灭时段进行信号读出。该熄灭时段的信号读出中所获得的图像信号(空白信号)为在第1照明时段将第1照明光曝光于摄像传感器44而获得的包含电荷的信号,因此为了在之后发射的第2照明光的成分中不掺杂第1照明光的成分而丢弃。光源用处理器21在第1照明光之后的熄灭时段进行信号读出之后,切换为第2照明时段。并且,光源用处理器21在第2照明时段信号读出结束之后,切换为第1照明时段。
另外,在图10中,在第2照明时段,在与第2照明光相关的信号读出结束之后,立即切换为第1照明时段,但有时即便是熄灭时段也会产生由稍微的曝光引起的电荷的蓄积。因此,如图11所示,光源用处理器21在与第2照明光相关的信号读出结束之后,为了进行第1照明光及第2照明光的熄灭状态下的基于摄像用处理器45的信号读出,可以持续熄灭时段。然后,光源用处理器21在熄灭状态下的信号读出结束之后,进行向第1照明时段的切换。另外,通过熄灭状态下的信号读出而获得的图像信号作为空白信号而被丢弃。
接着,按照图12所示的流程图对分析处理的模式的一系列流程进行说明。操作模式切换SW12f而切换为分析处理模式。若切换为分析处理模式,则发射第1照明光的第1照明时段及发射第2照明光的第2照明时段以特定发光图案自动地切换。如此,以特定发光图案自动地切换的第1照明光及第2照明光对观察对象进行照明。
摄像用处理器45在第1照明时段将第1照明光曝光于摄像传感器44的状态下,以摄像传感器44的行方向的行单位从像素以列方向的顺序进行信号读出。由此,从摄像传感器44输出第1图像信号。并且,摄像用处理器45在第2照明时段将第2照明光曝光于摄像传感器44之后,在熄灭第1照明光及第2照明光的熄灭时段对摄像传感器44设为未曝光的状态下,进行信号读出。由此,从摄像传感器44输出第2图像信号。显示控制部60对基于第1图像信号的显示用图像,将显示通过基于第2图像信号的分析处理而获得的分析结果的带分析结果显示用图像显示于显示器18。
另外,在上述实施方式中,作为第2照明光,使用紫色光V、蓝色光B、绿色光G及红色光R,但也可以使用其他发光光谱的光。例如,如图13所示,作为第2照明光,可以使用使紫色光V的光量大于其他蓝色光B、绿色光G及红色光R的光量的第1特殊光。并且,如图14所示,作为第2照明光,可以使用使绿色光G的光量大于其他紫色光V、蓝色光B及红色光R的光量的第2特殊光。并且,作为第2照明光,可以使用第1特殊光及第2特殊光这两者,也可以将第2发光图案设为第2B图案或第2D图案而交替发射第1特殊光及第2特殊光。另外,当使用了第1特殊光时,可以对第2图像信号进行扩展观察对象中所包含的正常部与异常部(病变部等)的色差的色差扩展处理。可以对已进行色差扩展处理的第2图像信号进行分析处理。
另外,在上述实施方式中,基于第1照明光的第1图像信号用于显示用图像,基于第2照明光的第2图像信号仅用于分析处理,而未用于向显示器18的显示,但关于第2图像信号,也可以用于向显示器18的显示。在该情况下,成为将基于第1图像信号的显示用图像及基于第2图像信号的显示用图像切换显示于显示器18。关于基于第2图像信号的图像向显示器18的显示或非显示,优选通过用户接口19能够适当设定。
在上述实施方式中,光源用处理器21、摄像用处理器45、图像处理部58中所包含的普通观察图像生成部62、特殊观察图像生成部64及分析处理部66等执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包含执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(Central ProcessingUnit/中央处理器)、FPGA(Field Programmable Gate Array/现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)及具有为了执行各种处理而专门设计的电路结构的处理器即专用电气电路等。
一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA或CPU与FPGA的组合)构成。并且,也可以由一个处理器来构成多个处理部。作为由一个处理器来构成多个处理部的例子,第1,有如以客户端或服务器等计算机为代表,由一个以上的CPU与软件的组合来构成一个处理器,且该处理器作为多个处理部而发挥功能的方式。第2,有如以片上系统(System On Chip:SoC)等为代表,使用将包含多个处理部的整个系统的功能由一个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。如此,各种处理部作为硬件结构使用一个以上上述各种处理器而构成。
而且,更具体而言,这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。并且,存储部的硬件结构为HDD(hard disc drive:硬盘驱动器)或SSD(solid state drive:固态硬盘)等存储装置。
符号说明
10-内窥镜系统,12-内窥镜,12a-插入部,12b-操作部,12c-弯曲部,12d-前端部,12e-弯角钮,12f-模式切换开关,12g-静态图像获取指示部,12h-变焦操作部,14-光源装置,16-处理器装置,18-显示器,19-用户接口,20-光源部,20a-V-LED,20b-B-LED,20c-G-LED,20d-R-LED,21-光源用处理器,23-光路结合部,25-光导件,30a-照明光学系统,30b-摄像光学系统,32-照明透镜,42-物镜,43-变焦透镜,44-摄像传感器,45-摄像用处理器,46-CDS/AGC电路,48-A/D转换器,50-图像获取部,52-DSP,54-降噪部,56-图像处理切换部,58-图像处理部,60-显示控制部,62-普通观察图像生成部,64-特殊观察图像生成部,66-分析处理部,Px-像素。
Claims (13)
1.一种内窥镜系统,其具备:
光源部,发出发光光谱彼此不同的第1照明光及第2照明光;
光源用处理器,在自动地切换所述第1照明光与所述第2照明光并发射的情况下,以第1发光图案来发射所述第1照明光,以第2发光图案来发射所述第2照明光;
摄像传感器,多个像素沿行方向及列方向排列;及
摄像用处理器,以所述行方向的行单位从所述像素以所述列方向的顺序进行信号读出,
所述摄像用处理器进行如下处理:
在发射所述第1照明光的第1照明时段内将所述第1照明光曝光于所述摄像传感器的状态下,进行所述信号读出而输出第1图像信号,
在发射所述第2照明光的第2照明时段将所述第2照明光曝光于所述摄像传感器之后,在熄灭所述第1照明光及所述第2照明光的熄灭时段对所述摄像传感器设为未曝光的状态下,进行所述信号读出而输出第2图像信号。
2.根据权利要求1所述的内窥镜系统,其中,
在所述摄像传感器具有全局复位的情况下,
所述光源用处理器在所述第1照明时段之后且在由所述摄像用处理器进行的所述全局复位的工作之后,切换为所述第2照明时段。
3.根据权利要求1所述的内窥镜系统,其中,
在所述摄像传感器不具有全局复位的情况下,
所述光源用处理器在所述第1照明时段之后,切换为所述熄灭时段,且在所述第1照明时段之后的所述熄灭时段,在进行了基于所述摄像用处理器的信号读出之后,切换为所述第2照明时段。
4.根据权利要求1所述的内窥镜系统,其中,
在所述摄像传感器不具有全局复位的情况下,
所述光源用处理器在进行所述熄灭时段的与所述第2照明光相关的信号读出之后,为了进行所述第1照明光及第2照明光的熄灭状态下的基于所述摄像用处理器的信号读出而持续所述熄灭时段,且在进行了所述熄灭状态下的信号读出之后,切换为所述第1照明时段。
5.根据权利要求1至4中任一项所述的内窥镜系统,其中,
所述第1照明光使用白色光,所述第2照明光使用紫色光、蓝色光、绿色光或红色光。
6.根据权利要求5所述的内窥镜系统,其中,
在所述第2照明时段,发射所述紫色光、所述蓝色光、所述绿色光或所述红色光中的任意者,或在所述第2照明时段,以特定的顺序切换所述紫色光、所述蓝色光、所述绿色光或所述红色光中的至少两个光并发射。
7.根据权利要求1至6中任一项所述的内窥镜系统,其中,
所述第2照明光为紫色光的光量大于其他颜色的光的光量的第1特殊光或绿色光的光量大于其他颜色的光的光量的第2特殊光中的任意者。
8.根据权利要求1至7中任一项所述的内窥镜系统,其中,
所述第1发光图案为所述第1照明时段的帧数在各所述第1照明时段为相同的第1A发光图案及所述第1照明时段的帧数在各所述第1照明时段为不同的第1B发光图案中的任意者。
9.根据权利要求1至8中任一项所述的内窥镜系统,其中,
所述第2发光图案为如下图案中的任意者:
所述第2照明时段的帧数在各所述第2照明时段为相同,且所述第2照明光的发光光谱在各所述第2照明时段为相同的第2A图案;
所述第2照明时段的帧数在各所述第2照明时段为相同,且所述第2照明光的发光光谱在各所述第2照明时段为不同的第2B图案;
所述第2照明时段的帧数在各所述第2照明时段为不同,且所述第2照明光的发光光谱在各所述第2照明时段为相同的第2C图案;及
所述第2照明时段的帧数在各所述第2照明时段为不同,且所述第2照明光的发光光谱在各所述第2照明时段为不同的第2D图案。
10.根据权利要求1至9中任一项所述的内窥镜系统,其中,
在所述特定发光图案中,所述第1照明时段长于所述第2照明时段。
11.根据权利要求1至10中任一项所述的内窥镜系统,其中,
所述第1照明时段为2帧以上。
12.根据权利要求1至11中任一项所述的内窥镜系统,其具备:
显示控制部,对基于所述第1图像信号的显示用图像,将显示通过基于所述第2图像信号的分析处理而获得的分析结果的带分析结果显示用图像显示于显示部。
13.一种内窥镜系统的工作方法,所述内窥镜系统具备:光源部,发出第1照明光及第2照明光;光源用处理器,在自动地切换所述第1照明光与所述第2照明光并发射的情况下,以第1发光图案来发射所述第1照明光,以第2发光图案来发射所述第2照明光;摄像传感器,多个像素沿行方向及列方向排列;及摄像用处理器,以所述行方向的行单位从所述像素以所述列方向的顺序进行信号读出,所述内窥镜系统的工作方法中,
所述摄像用处理器具有如下步骤:
在发射所述第1照明光的第1照明时段内将所述第1照明光曝光于所述摄像传感器的状态下,进行所述信号读出而输出第1图像信号,在发射所述第2照明光的第2照明时段将所述第2照明光曝光于所述摄像传感器之后,在熄灭所述第1照明光及所述第2照明光的熄灭时段对所述摄像传感豁设为未曝光的状态下,进行所述信号读出而输出第2图像信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019214396 | 2019-11-27 | ||
JP2019-214396 | 2019-11-27 | ||
PCT/JP2020/039790 WO2021106452A1 (ja) | 2019-11-27 | 2020-10-22 | 内視鏡システム及びその作動方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114585292A true CN114585292A (zh) | 2022-06-03 |
Family
ID=76129329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080074004.8A Pending CN114585292A (zh) | 2019-11-27 | 2020-10-22 | 内窥镜系统及其工作方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7337190B2 (zh) |
CN (1) | CN114585292A (zh) |
WO (1) | WO2021106452A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5283545B2 (ja) * | 2009-03-18 | 2013-09-04 | 富士フイルム株式会社 | 内視鏡システムおよび内視鏡用プロセッサ装置 |
CN103732119B (zh) | 2011-12-27 | 2016-08-24 | 奥林巴斯株式会社 | 摄像装置 |
JP6150364B2 (ja) | 2014-03-28 | 2017-06-21 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
JP6560968B2 (ja) * | 2015-11-30 | 2019-08-14 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP6660824B2 (ja) * | 2016-06-24 | 2020-03-11 | 富士フイルム株式会社 | 内視鏡装置 |
JP6654117B2 (ja) | 2016-08-31 | 2020-02-26 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
CN111343898B (zh) * | 2017-11-13 | 2023-08-04 | 富士胶片株式会社 | 内窥镜系统及其工作方法 |
-
2020
- 2020-10-22 CN CN202080074004.8A patent/CN114585292A/zh active Pending
- 2020-10-22 JP JP2021561227A patent/JP7337190B2/ja active Active
- 2020-10-22 WO PCT/JP2020/039790 patent/WO2021106452A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021106452A1 (ja) | 2021-06-03 |
JPWO2021106452A1 (zh) | 2021-06-03 |
JP7337190B2 (ja) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9629555B2 (en) | Endoscope system, endoscope system processor device, operation method for endoscope system, and operation method for endoscope system processor device | |
US10022074B2 (en) | Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device | |
CN111343898B (zh) | 内窥镜系统及其工作方法 | |
CN111770717B (zh) | 内窥镜系统 | |
CN111568340B (zh) | 内窥镜系统 | |
CN111343899B (zh) | 内窥镜系统及其工作方法 | |
US11510559B2 (en) | Endoscope system and method of operating the same | |
CN111712178B (zh) | 内窥镜系统及其工作方法 | |
JP7312843B2 (ja) | 内視鏡システム及びその作動方法 | |
CN111683583B (zh) | 内窥镜系统及其工作方法 | |
CN114585292A (zh) | 内窥镜系统及其工作方法 | |
JP7390482B2 (ja) | 内視鏡システム及びその作動方法 | |
WO2021149357A1 (ja) | 内視鏡システム及びその作動方法 | |
JP7411515B2 (ja) | 内視鏡システム及びその作動方法 | |
JP7390465B2 (ja) | 内視鏡システム、及び内視鏡システムの作動方法 | |
US20220265129A1 (en) | Endoscope system | |
JP7477208B2 (ja) | 内視鏡システム及びその作動方法 | |
JP7116254B2 (ja) | 画像処理装置及びその作動方法 | |
CN113454514B (zh) | 内窥镜系统 | |
WO2021182048A1 (ja) | 内視鏡システム、及び内視鏡システムの作動方法 | |
CN112472011A (zh) | 内窥镜系统及其工作方法 | |
CN111820852A (zh) | 处理器装置及内窥镜系统以及校准方法 | |
CN114929091A (zh) | 内窥镜系统及其工作方法 | |
CN114845625A (zh) | 内窥镜系统及其工作方法 | |
CN111970954A (zh) | 医疗图像处理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |