CN112384122A - 内窥镜装置、处理装置以及处理方法 - Google Patents

内窥镜装置、处理装置以及处理方法 Download PDF

Info

Publication number
CN112384122A
CN112384122A CN201880095384.6A CN201880095384A CN112384122A CN 112384122 A CN112384122 A CN 112384122A CN 201880095384 A CN201880095384 A CN 201880095384A CN 112384122 A CN112384122 A CN 112384122A
Authority
CN
China
Prior art keywords
image
light
processing circuit
display
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880095384.6A
Other languages
English (en)
Inventor
伊藤毅
足立理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN112384122A publication Critical patent/CN112384122A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05Surgical care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内窥镜装置(10)包含:摄像部,其拍摄被摄体;光源部(140),其射出颜色彼此不同的第1光~第m光作为针对被摄体的照明光;以及第1处理电路(110),其根据来自摄像部的图像信号而生成第1图像~第n图像。第1图像~第n图像分别是与第1光~第m光中的任意光对应的图像。第1处理电路(110)根据第1图像~第n图像中的显示用图像组而生成显示图像,并将与显示图像不同的支援用图像或至少一部分与显示图像不同的支援用图像组向第2处理电路(120)输出。第1处理电路(110)获取第2处理电路(120)根据所述支援用图像或所述支援用图像组而输出的诊断支援信息。

Description

内窥镜装置、处理装置以及处理方法
技术领域
本发明涉及内窥镜装置、处理装置以及处理方法等。
背景技术
已知有搭载了诊断支援功能的内窥镜装置。作为支援诊断的一例,提出了通过AI(ArtificialIntelligence:人工智能)从图像中提取病变部,并提示该病变部的功能。例如,在专利文献1中提出了计算基于观察对象物的血管信息的诊断支援参数的内窥镜用图像处理装置。在专利文献1中,通过从特殊光图像中提取血管信息,并向观察者提示该特殊光图像来支援诊断。另外,在专利文献2中公开了如下方法:将从特殊光图像获取的血管图案与预先存储的血管图案进行匹配,根据其结果进行诊断支援。在专利文献2中,在匹配的结果一致的情况下,进行催促摄像或观察的模式变更的显示。
现有技术文献
专利文献
专利文献1:日本特开2016-144626号公报
专利文献2:日本特开2012-152279号公报
发明内容
发明要解决的课题
在现有技术中,用于提取支援信息的图像与显示在监视器上的图像是共同的。即,输入到AI的图像与人看到的图像是相同的。因此,有时无法提供高精度的支援信息。
用于解决课题的手段
本发明的一个方式涉及内窥镜装置,其包含:摄像部,其拍摄被摄体;光源部,其射出颜色彼此不同的第1光~第m光作为针对所述被摄体的照明光,其中,m为2以上的整数;以及第1处理电路,其根据来自所述摄像部的图像信号而生成第1图像~第n图像,其中,n为2以上的整数,所述第1图像~第n图像分别是与所述第1光~第m光中的任意光对应的图像,所述第1处理电路根据所述第1图像~第n图像中的显示用图像组而生成显示图像,并将与所述显示图像不同的支援用图像、或至少一部分与所述显示图像不同的支援用图像组向第2处理电路输出,获取所述第2处理电路根据所述支援用图像或所述支援用图像组而输出的诊断支援信息。
另外,本发明的另一方式涉及处理装置,其包含:存储装置,其存储第1图像~第n图像,其中,n为2以上的整数;以及第1处理电路,其从所述存储装置获取所述第1图像~第n图像,所述第1图像~第n图像分别是与颜色彼此不同的第1光~第m光中的任意光对应的图像,其中,m为2以上的整数,所述第1处理电路根据所述第1图像~第n图像中的显示用图像组而生成显示图像。
另外,本发明的另一方式涉及处理方法,第1处理电路生成第1图像~第n图像,该第1图像~第n图像中各个图像是与颜色彼此不同的第1光~第m光中的任意光对应的图像,其中,m为2以上的整数,n为2以上的整数;所述第1处理电路根据所述第1图像~第n图像中的显示用图像组而生成显示图像;所述第1处理电路将与所述显示图像不同的支援用图像、或至少一部分与所述显示图像不同的支援用图像组向第2处理电路输出;以及所述第1处理电路获取所述第2处理电路根据所述支援用图像或所述支援用图像组而输出的诊断支援信息。
附图说明
图1是内窥镜装置的第1结构例。
图2是在第1结构例中光源射出的激光的例子。
图3是用于生成白色光图像的激光的例子。
图4是用于生成NBI图像的激光的例子。
图5是第1实施方式中的照明光的发光序列。
图6是内窥镜装置的第2结构例。
图7是在第2结构例中光源射出的激光的例子。
图8是第2实施方式中的照明光的发光序列。
图9是处理装置的结构例。
图10是内窥镜系统的结构例。
具体实施方式
以下,对本实施方式进行说明。另外,以下说明的本实施方式并非对权利要求书中记载的本发明的内容进行不当限定。另外,在本实施方式中说明的结构未必全部是本发明的必须构成要件。
1.内窥镜装置
图1是内窥镜装置10的第1结构例。以下,以消化器官用的医疗用内窥镜为例进行说明,但本发明的应用对象并不限于此。即,在本说明书中所说的内窥镜一般是指具有用于观察各种观察对象物的凹部内表面的插入部的设备。例如,内窥镜是指用于生物体的诊察的医疗用内窥镜或工业用内窥镜。
图1的内窥镜装置10包含控制装置100、镜体部200,显示部300以及输入部600。另外,将控制装置100也称为主体部。另外,将镜体部200也称为镜体、摄像部、摄像装置。另外,将显示部300也称为显示器、显示装置。另外,将输入部600也称为输入装置、操作装置。
首先,对内窥镜装置10的结构进行说明。
镜体部200由插入部210、操作部220、连接线缆230以及连接器240构成。插入部210具有挠性,能够插入到生物体的体腔内。生物体的体腔是本实施方式中的被摄体。被摄体也被称为观察对象或观察对象物。另外,在图1中省略了被摄体的图示。医生等作业人员把持操作部220,并且使用操作部220操作内窥镜装置10。连接线缆230是连接控制装置100和镜体部200的线缆,具有挠性。连接器240设置在连接线缆230的一端,能够供控制装置100和镜体部200装卸。
在插入部210的前端配置有朝向被摄体射出照明光的两个照明透镜211、212,以及通过接收从被摄体的表面反射或散射的照明光来拍摄图像的摄像单元213。
在镜体部200中设置有导光路214。在控制装置100中设置有光源部140,导光路214将从光源部140射出的照明光引导至照明透镜211、212。导光路214是光纤束,该光纤束从连接器240经由连接线缆230、操作部220内延伸至照明透镜211、212。导光路214在连接器240侧被捆扎成一条,在插入部210内分支为两股,与两个照明透镜211、212光学连接。
照明透镜211、212将由光纤束引导的照明光扩展为期望的放射角。照明透镜211、212分别是由单个或多个透镜构成的照明光学系统。
摄像单元213具有摄像光学系统和摄像元件。在本实施方式中,摄像元件是CMOS型成像器,在该成像器上搭载有呈拜尔型排列的RGB滤色器。即,摄像元件是具有R像素、G像素、B像素的原色滤镜型的摄像元件。
另外,在镜体部200上设置有图像信号线215,将摄像单元213拍摄的图像的图像信号传送至控制装置100。图像信号线215配置在插入部210、操作部220、连接线缆230内,经由连接器240与控制装置100电连接。图像信号线215只要是能够传送图像信号的信号线,则可以是任何信号线。例如,图像信号线215是电布线或光通信用的光纤等。图像信号线215在图1中用1条线表示,但也可以根据图像信号的量或传送速度等而并设多条信号线。
另外,在本实施方式的插入部210上可以搭载省略了图示的各种功能或机构。例如,在插入部210上能够搭载用于使前端部弯曲的弯曲机构、或能够供用于进行各种处置的钳子等插入的钳子孔、或送气送水管等。送气送水管是用于能够喷出和抽吸液体或气体的管。
控制装置100包含:光源部140,其射出照明光;照明光控制电路150,其控制照明光的光量和发光定时等;第1处理电路110,其对来自摄像单元213的图像信号进行图像处理;以及第2处理电路120,其根据第1处理电路110输出的图像而生成诊断支援信息。另外,将光源部140也称为光源装置。另外,将第1处理电路110也称为图像处理电路。
例如,第1处理电路110和第2处理电路120分别通过单独的集成电路装置来实现。第1处理电路110例如是处理器或者ASIC(Application Specific Integrated Circuit:专用集成电路)等。另外,第2处理电路120例如是处理器或者ASIC等。或者,第1处理电路110和第2处理电路120也可以集成在一个集成电路装置中。或者,第1处理电路110也可以由多个集成电路装置构成。例如,第1处理电路110可以包含生成第1图像~第n图像的图像处理电路、以及输出显示用图像组和支援用图像组的图像组输出电路。此时,图像处理电路和图像组输出电路可以分别构成为单独的电路。例如也可以是,图像处理电路和图像组输出电路分别由集成电路装置构成。
光源部140包含多个光源LDa~LDe、驱动光源LDa~LDe的驱动电路DRa~DRe、以及对光源LDa~LDe射出的光进行合波的光合波光学系统141。
光源LDa~LDe分别是半导体激光元件(LASER Diode)。在该情况下,照明光是激光。或者,光源LDa~LDe分别可以是LED(Light Emitting Diode:发光二极管)。例如,可以采用射出波段为数10nm左右的窄带光的LED。但是,照明光并不限于窄带光,例如只要依照显示图像的视觉确认性或支援信息的提取方法来采用适当的频带的照明光即可。另外,以下以光源LDa~LDe分别为半导体激光元件的情况为例进行说明。
图2是光源LDa~LDe射出的激光的例子。如图2所示,光源LDa射出波长λa=405nm的蓝紫激光。光源LDb射出波长λb=445nm的蓝色激光。光源LDc射出波长λc=532nm的绿色激光。光源LDd射出波长λd=600nm的橙色激光。光源LDe射出波长λe=635nm的红色激光。在图2中,各光源射出的光量为相同程度,但各光源射出的光量不限于此。例如,只要依照显示图像的视觉确认性或支援信息的提取方法来采用适当的光量即可。
驱动电路DRa~DRe分别与对应的光源LDa~LDe电连接。即,如图1所示,驱动电路DRa与光源LDa电连接,驱动电路DRb与光源LDb电连接,驱动电路DRc与光源LDc电连接,驱动电路DRd与光源LDd电连接,驱动电路DRe与光源LDe电连接。光源LDa~LDe通过从驱动电路DRa~DRe提供的电力来振荡激光。
驱动电路DRa~DRe与照明光控制电路150电连接。照明光控制电路150通过向驱动电路DRa~DRe分别发送激光的光量和发光定时等控制信号,来控制光源LDa~LDe。由此,光源LDa~LDe能够以相互独立的激光光量和发光定时射出激光。即,根据后述的观察模式和显示模式等,能够使各个光源LDa~LDe独立地振荡和熄灭。
从光源LDa~LDe射出的激光入射到光合波光学系统141。在图1中省略了光合波光学系统141的详细内容,但可以将通常使用的合波光学技术应用于光合波光学系统141。例如,光合波光学系统141是组合了多个分色镜的空间光学系统、或者将多个光纤的端面与一根光纤的端面对置地连接的光组合器等。以下,以光合波光学系统141为空间光学系统的情况为例进行说明。
从光源LDa~LDe射出的激光经由未图示的透镜系统、分色镜等朝向连接器240射出。即,从光源LDa~LDe射出的激光在光合波光学系统141中合波,该合波后的激光从一个射出端朝向设置于连接器240的导光路214的入射端射出。入射到光波导的入射端的激光通过导光路214被引导至插入部210前端的照明透镜211、212,通过照明透镜211、212向期望的放射角扩展,并朝向被摄体照射。
为了使从光源LDa~LDe射出的激光光量稳定化,在控制装置100内设置有未图示的激光光量监视器。驱动电路DRa~DRe根据激光光量监视器的输出值来调整提供给半导体激光器的电流量,由此输出期望的激光光量。另外,激光光量的调整不限于使用光量监视器的方法。例如,未图示的存储器可以预先存储表示电流与光量的关系的表,驱动电路DRa~DRe可以参照该表调整供给电流。已知有其他各种光量调整方法,可以根据用途选择光量调整方法。
另外,激光光源具有控制半导体激光元件的温度的温度稳定化部。驱动电路DRa~DRe输出用于控制温度稳定化部的控制信号。已知半导体激光元件通常在元件的温度变化时其振荡的激光的光量和波长发生变化。因此,为了得到稳定的光量和波长的激光,在激光光源设置温度稳定化部。温度稳定化部例如是与半导体激光元件热连接的珀尔帖元件。驱动电路DRa~DRe控制珀尔帖元件,并提供控制信号和电力,使得半导体激光器成为适当的温度。适当的温度例如为摄氏25度。另外,使半导体激光器的温度稳定化的方法不限于使用珀尔贴元件的方法。例如,已知使用具有足够的热容量的散热器的方法和使用强制空气冷却单元的方法等各种方法。可以根据用途从这些方法中选择。并且,也可以使用如下方法:通过温度传感器测定半导体激光器的温度,根据测定的温度预测供给电流和出射光量、波长,调整向半导体激光元件提供的电流量以使它们成为所期望的值。温度稳定化机构可以独立地搭载在各个光源LDa~LDe上,也可以在一个温度稳定化机构上搭载多个光源LDa~LDe。
照明光控制电路150与驱动电路DRa~DRe电连接。照明光控制电路150经由驱动电路DRa~DRe使光源LDa~LDe独立地控制光量,或者使光源LDa~LDe联动地控制光量。关于本实施方式中的各激光的发光定时在后面说明。
第1处理电路110进行将从摄像单元213经由图像信号线215传送的图像信号转换为显示部300能够显示的信号的图像处理。
连接器240使图像信号线215、导光路214、向摄像单元213提供电力的未图示的电力线能够以电或光学方式相对于控制装置100装卸。此外,连接器240使内窥镜发挥功能所需的电布线或光布线能够以电或光学方式相对于控制装置100装卸。另外,连接器240能够将管配管等相对于控制装置100装卸。管配管用于输送使用了内窥镜的观察或治疗等作业所需的气体或液体等。
另外,在本实施方式中,示出了光源LDa~LDe分别具有一个半导体激光器的例子,但不限于此。也可以将组合了波长大致相等的多个激光元件的装置作为一个激光光源来处理。在该情况下,在激光光源内设置未图示的光合波部,将来自多个激光光源的激光从一个射出端输出。或者,也可以依照激光元件的数量增加图1的光合波光学系统141的输入端。
通过在一个激光光源上搭载多个激光元件,例如在目标波长的激光元件无法获得足够光量的情况下也能够得到足够的光量。另外,通过组合多个低成本的低输出激光器,能够实现低成本化。另一方面,通过在一个激光光源中使用一个激光元件,可以使主体部小型化。另外,能够简化控制系统、将消耗电力抑制得较小。
接下来,对观察模式进行说明。这里,为了在各观察模式中获取显示用的图像,在各观察模式中发光的激光光源不同。但是,如后所述,在本实施方式中,与观察模式无关地获取显示用的图像和支援信息提取用的图像,因此实际上无论观察模式如何,发光的激光光源均相同。另外,显示用的图像根据观察模式而不同,但即使观察模式不同,支援信息提取用的图像也相同。
内窥镜装置10具有基于白色照明的普通光观察模式和基于NBI(Narrow BandImaging:窄带成像)照明的NBI观察模式。NBI观察模式广义上也被称为特殊光观察模式。普通光观察模式也被称为白色光观察模式。
普通光观察模式是如下的模式:获取内窥镜中通常使用的基于白色光的观察图像,并将该观察图像显示在显示部300上。NBI观察模式是如下的模式:通过使用与血红蛋白的吸收特性对应的窄带光作为照明,从而对比度良好地显示特别是从粘膜表层至粘膜中层的血管。例如,作业人员使用操作部220或输入部600设定观察模式。输入部600是接受作业人员对内窥镜装置10的操作输入的输入装置,与控制装置100连接。
如图3所示,在普通光观察模式下,光源部140发出4条线谱的照明光。即,光源部140使得光源LDb~LDe这4个激光光源发光。此时,4束激光的光量比被调整为使照明光为白色的光量比。例如,以色温成为6000开尔文的方式决定光量比。
如图4所示,在NBI观察模式下,光源部140射出405nm、532nm这两个光谱的照明光。这些光谱是根据血液中的血红蛋白的吸收光谱而选定的。即,光源部140使得光源LDa和光源LDc这两个激光光源发光。此时,两个激光的光量比被设定为适合NBI观察模式的光量比。该光量比是预先设定的。例如,被设定为光源LDa的发光量:光源LDc的发光量=3:1。
2.第1实施方式
内窥镜装置10能够同时获取普通光观察模式和NBI观察模式这两个观察模式下的图像。接下来说明为此的过程。
内窥镜装置10大致同时获取普通光观察模式的图像和NBI观察模式的图像。
具体而言,为了构建普通光观察模式的图像,需要获取基于B、G、A、R这4种颜色的照明光的4张图像。另外,为了构建NBI观察模式的图像,需要获取基于V、G这2种颜色的照明光的2张图像。V、B、G、A、R这5种颜色分别对应于图2的波长405nm、445nm、532nm、600nm、635nm。
A和R这2种颜色通常都包含在红色区域中。即,2种颜色都包含在摄像元件的红色滤镜所透射的波段中。因此,在同时发出2种颜色的照明光的情况下,作为1张R图像而获取。本实施方式的内窥镜装置10通过使A色的激光和R色的激光在不同的定时发光,而分别获取A图像和R图像。另外,如图3、图4所示,在白色光图像的G色和NBI图像的G色中光量不同。本实施方式的内窥镜装置10也独立地获取它们。以下,将用于获取白色光图像的G色的光量称为光量1,将用于获取NBI图像的G色的光量称为光量2。本实施方式的内窥镜装置10大致同时获取B图像、光量1的G图像、A图像、R图像、V图像、光量2的G图像这7张图像。而且,内窥镜装置10通过后述的图像处理序列构建白色光图像和NBI图像并进行显示。因此,照明光控制电路150按照图3所示那样的发光序列使光源LDa~LDe、LD1~LD5发光。使用图5详细地说明该序列。
在图5中,横轴为时间。在纵向上从上依次按照光源LDa、LDb、LDc、LDd、LDe的顺序记载发光和熄灭的定时。T1、T2等表示定时。以下,省略“定时”而记为T1、T2等。
将从T1至T1’作为1个周期,获取白色和NBI的两个图像。此时,摄像元件进行两次摄像动作。即,在一个周期中包含2帧摄像帧。
在T1至T2中的除了摄像元件的读出期间以外的期间中,照明光控制电路150使光源LDb、LDc、LDe发光。此时,照明光控制电路150使光源LDc以普通光观察模式下的G色的光量1发光。摄像元件是具有原色型滤镜的RGB摄像元件。因此,来自光源LDb的蓝色光被B像素检测,其结果为,作为B图像而输出。同样地,通过来自光源LDc的绿色光输出G图像,通过来自光源LDe的红色光输出R图像。这里的G图像是光量1下的G图像。这些图像信息在所有的光源LDa~LDe熄灭的读出期间中从摄像元件输出。
接下来,在T2至T1’之间,照明光控制电路150使光源LDa、LDc、LDd发光。此时,照明光控制电路150使光源LDc以NBI观察模式下的G色的光量2发光。通过来自光源LDa的紫色光输出V图像,通过来自光源LDc的光量2的绿色光输出G图像,通过来自光源LDd的橙色光输出A图像。这些图像信息在读出期间中从摄像元件输出。
照明光控制电路150连续地重复进行1个周期中的上述动作。其结果为,在1个周期中,能够获取构建白色光图像所需的4张图像和构建NBI图像所需的2张图像。
接下来,对第1处理电路110进行的动作进行说明。
第1处理电路110根据通过上述序列获取的6张图像来构建白色光图像和NBI图像。另外,第1处理电路110将6张图像中的一个或多个图像向第2处理电路120的诊断支援部121输出。
具体而言,第1处理电路110根据B图像、光量1下的G图像、A图像、R图像来构建显示用的RGB图像信号,并将该RGB图像信号向显示部300输出。
另外,第1处理电路110根据V图像和光量2下的G图像来构建显示用的RGB图像信号,并将该RGB图像信号向显示部300输出。这样,能够在监视器上显示NBI观察模式下的彩色图像即NBI图像。
接下来,对显示部300进行说明。
显示部300显示由第1处理电路110进行了图像处理后的被摄体的图像。显示部300是通常使用的各种显示器件,例如是液晶监视器等。
显示部300和控制装置100通过电布线而电连接。第1处理电路110输出的图像信号通过该电布线传送至显示部300。显示部300显示接收到的图像信息。
另外,在图1中,用1条线记载了连接显示部300和控制装置100的电布线,但不限于此。根据需要,也可以使用两条以上的电布线。另外,在图1中,省略了提供显示部300的动作所需的电力的电源线等当然必要的部分的图示。另外,图像信号的传送方法不限于电布线,例如也可以使用无线通信或光通信等通常使用的各种信号传送技术。
如上所述,本实施方式的内窥镜装置10能够显示白色光图像和NBI图像。本实施方式的内窥镜装置10既可以并列地同时显示这2张图像,或者也可以根据作业人员所选择的观察模式来显示一方的图像。此外,能够实施具有多个观察模式的现有的内窥镜所具有的各种显示方式。
接下来,对第2处理电路120进行说明。
第2处理电路120包含诊断支援部121。诊断支援部121例如是AI。即,诊断支援部121通过AI处理从所输入的图像中提取诊断支援信息。作为AI处理,可以采用各种图像识别方法或机器学习方法。机器学习是根据学习结果进行各种推理的处理。作为代表性的AI有神经网络,但不限于此,作为本实施方式中的AI可以采用已知的各种机器学习的方法。
诊断支援部121根据摄像单元213获取的图像信号而生成诊断支援信息。具体而言,诊断支援部121根据上述6张图像中的由第1处理电路110选择的一个或多个图像而生成诊断支援信息。所谓诊断支援信息是指用于支援作业人员进行诊断的信息。即,所谓诊断支援信息是与图像中存在的作为观察目的的关注部位相关的信息。例如,在内窥镜检查的情况下,癌症或病变部位相当于关注部位。诊断支援信息是关注部位存在的位置、或者关注部位的大小、关注部位的形状、关注部位的轮廓等信息。或者,在关注部位为癌症的情况下,诊断支援信息可以是与该癌症的进展度或阶段等级相关的信息。另外,诊断支援信息也可以是这些信息中的多个信息的组合。
通过向医生提供这些诊断支援信息,能够支援医生的诊断。诊断支援部121使用摄像单元213大致同时获取的6张图像中的一部分图像来提取诊断支援信息。关于提取支援信息的过程在后面说明。
诊断支援部121将提取出的诊断支援信息向第1处理电路110发送。第1处理电路110将与诊断支援信息对应的显示信息附加到显示图像上,并将该显示图像向显示部300发送。以下将附加到该显示图像上的显示信息称为支援显示信息。在普通光观察模式下,与白色光图像一起显示支援显示信息,在NBI观察模式下,与NBI图像一起显示支援显示信息。此时,无论在哪种观察模式下,都根据相同的图像生成诊断支援信息。由此,作业人员可以没有不适感地确认和享受诊断支援信息。
接下来,对内窥镜装置10的基本动作进行说明。
首先,由作业人员接通内窥镜装置10的电源。当电源接通时,内窥镜装置10与通常的内窥镜同样地通过自检电路等确认装置是否正常。当确认为正常时,从驱动电路DRa~DRe向光源LDa~LDe施加规定的电流,进行加温作业以使激光光源稳定化。
作业人员取出与控制装置100分开保管的镜体部200,将镜体部200的连接器240连接到控制装置100。控制装置100与通常的内窥镜同样地确认镜体连接的状态和所连接的镜体部200的种类等。
当确认了镜体部200的连接时,照明光控制电路150按照图5所示的发光序列向驱动电路DRa~DRe发送控制信号,由此使光源LDa~LDe发光。控制装置100包含未图示的存储器,该存储器存储光源LDa~LDe的基本特性和个体差异等信息。驱动电路DRa-DRe通过参照这些信息来控制光源LDa-LDe。该信息例如为关于各激光光源中的驱动电流与发光光量的关系的信息、以及驱动电流与振荡波长的关系等。照明光控制电路150向光源LDa~LDe依次发送控制信号。驱动电路DRa~DRe通过参照控制装置100所具有的未图示的定时电路等,使光源LDa~LDe相互同步,使光源LDa~LDe以图5所示的定时和光量发光。
光源LDa~LDe根据从驱动电路DRa~DRe施加的驱动电流进行激光振荡,射出规定的波长的激光。从光源LDa~LDe射出的激光通过光合波光学系统141而合波,该合波后的激光入射到光纤束的入射端。入射到光纤束的激光被引导至照明透镜211、212,并从照明透镜211、212朝向被摄体射出。摄像单元213拍摄由该照明光照明的被摄体。
第1处理电路110接收从摄像单元213通过图像信号线215传送的图像信号,并对该图像信号实施适当的图像处理。图像处理根据观察模式而不同。观察模式与应实施的图像处理的关系例如存储在设置于第1处理电路110内的未图示的存储器中。或者,该关系存储在控制装置100内的未图示的存储器中。第1处理电路110通过对图像信号进行图像处理,生成V图像和B图像、光量1下的G图像、光量2下的G图像、A图像、R图像。
诊断支援部121根据能够对比度良好地显示血管的V图像和G图像,通过AI处理生成诊断支援信息。这里的G图像是光量1下的G图像。NBI观察模式下的显示图像是将V图像和光量2下的G图像合成后的图像,但向诊断支援部121输入与其不同的组合的图像。在本实施方式中,由于选定能够对比度良好地检测血红蛋白即血管的波长的图像,因此根据血管的图案或分布等生成诊断支援信息。例如,可以设想癌症为关注部位。
在AI处理中,V图像和G图像作为单个图像而不是合成图像被输入。即,诊断支援部121分别从V图像和G图像中提取关注部位,在存在关注部位的情况下,生成关于该关注部位的诊断支援信息。在提取出关注部位的情况下,诊断支援部121将其位置和轮廓等存储到未图示的存储器中。诊断支援部121针对V图像和G图像,分别将该信息存储到存储器中。诊断支援部121估计所提取的关注部位是否为癌症,在关注部位为癌症的情况下,估计该癌症的进展度或阶段等级等。诊断支援部121将这些估计结果作为诊断支援信息而输出。作为诊断支援信息的生成方法,可以使用通常利用的或可利用的AI技术。关于使用机器学习的情况下的教师数据的准备和选定等,可以利用公知的各种技术。
作为诊断支援信息,例如可以设想以下信息。可以将以下说明的信息中的一个信息或多个信息的组合用作诊断支援信息。
(1)与场所相关的信息:关注部位的位置、形状、轮廓。轮廓是将癌症和正常细胞分开的分界线等。
(2)与形态相关的信息:关注部位是凸型、平坦还是凹型。或者,关注部位是否为有茎型等。
(3)与状态相关的信息:关注部位是分散的还是一处。在关注部位分散的情况下,关注部位的密集度或各个关注部位具有的尺寸等
(4)其他信息:有无出血、或治疗的痕迹、手术的痕迹、是否除去了幽门螺杆菌等。
可以将以上(1)~(4)的信息本身作为诊断支援信息,也可以将综合评价这些信息而判断的信息作为诊断支援信息。例如也可以将(5)、(6)作为诊断支援信息。
(5)与医学特征相关的信息:关注部位是否为癌症。在关注部位为癌症的情况下,癌症是良性的还是恶性的,或者癌症属于阶段I~IV中的哪一个阶段。
(6)与处置相关的信息:与适于关注部位的处置方法、或适于关注部位的手术方法、适于关注部位的给药相关的信息等。或者,与推荐的追加检查或病理相关的信息等。
例如,通过使用将上述(1)~(6)的信息和图像信息对应起来的数据作为教师数据,能够得到上述(1)~(6)的信息作为AI处理的输出。
或者,也可以是,诊断支援部121将AI处理作为第1处理来进行,并进一步进行其后段的第2处理。在该情况下,在AI处理中,使用将上述(1)~(4)的信息与图像信息对应起来的数据作为教师数据。AI处理输出上述(1)~(4)的信息作为输出。第2处理根据AI处理输出的上述(1)~(4)的信息而生成上述(5)、(6)的信息。例如,根据(1)~(4)的信息,按照医生实施的方法生成第2处理。第2处理例如通过AI或者不使用AI的信息处理等来实现。
由于从V图像和G图像分别提取诊断支援信息,因此有时从V图像和G图像提取的诊断支援信息不一致。例如是仅在一个图像中提取出关注部位的情况。或者,即使在两个图像中提取出关注区域的情况下,也存在该关注区域的轮廓或位置在图像间不同的情况。在该情况下,也可以将各个诊断支援信息分别提示给作业人员,由作业人员进行判断。或者,也可以将这些信息用作对AI处理的新的输入,使该AI处理生成综合性的诊断支援信息作为最终的输出。
接下来,对向作业人员提示诊断支援信息的方法进行说明。
内窥镜装置10使支援显示信息显示在作业人员期望的显示图像、或者默认设定的图像上。即,不需要将诊断支援信息与其提取所用的原图像一起提示。内窥镜装置10在白色观察模式的情况下将支援显示信息与白色光图像一起显示,在NBI观察模式的情况下将支援显示信息与NBI图像一起显示。
例如,第1处理电路110根据与位置或轮廓相关的诊断支援信息,将表示该位置或轮廓的支援显示信息叠加在显示图像上。在本实施方式中,由于大致同时地获取上述的6张图像,因此各图像成为大致相同的位置和角度的图像。因此,从某个图像提取出的关注部位的位置和轮廓的信息在除此以外的图像中也示出大致相同的位置和轮廓。因此,可以省去计算各图像的位置关系并进行运算以使关注部位的位置相同等方法。当然,也可以利用通常公知的技术来运算图像间的位置信息,从而进行定位以使位置和轮廓表示同一部位。
位置和轮廓以外的信息可以显示在显示部300的画面上的显示有被摄体图像的区域中。或者,该信息也可以叠加在被摄体图像上。此外,能够采用通常已知的各种表意方式。
这里,在本实施方式中,所拍摄的图像中的一部分图像被输入至AI处理。由此,与使用全部6张图像的情况相比,能够在短时间内生成诊断支援信息。
另外,用于提取关注部位的图像与用于显示图像的图像至少一张不同。在本实施方式中,从V图像和光量1下的G图像中提取诊断支援信息。另外,在普通光观察模式下,根据B图像、光量1下的G图像、A图像、R图像而生成显示图像。即,在显示图像中不使用V图像。在NBI观察模式下,根据V图像和光量2下的G图像而生成显示图像。即,在显示图像中不使用光量1下的G图像。换言之,适于供AI处理提取诊断支援信息的图像被输入至AI处理。另一方面,适于人观看图像的图像被用于生成显示图像。
另外,显示部300能够显示从输入部600输入的观察模式的信息、或者观察对象物的信息、观察日期和时间,观察所需的时间等各种信息。这些信息由设置在镜体部200或控制装置100中的未图示的存储器或未图示的时钟、未图示的计时器提供。或者,这些信息是从输入部600输入的信息。
例如,AI提取支援信息时适合的图像与人诊断或诊察时适合的图像不一定一致。因此,需要使显示人容易观看的图像、和将适合提取支援信息的图像输入至AI中的任意一方优先。例如,由于诊断的是人,因此通常使显示人容易观看的图像优先。在该情况下,AI从该人容易观看的图像中提取支援信息。
或者,在如专利文献1、2那样从特殊光图像提取支援信息的情况下,为了得到支援信息,需要将观察模式切换为特殊光模式。另外,即使假设在白色光模式下从白色光图像中提取出支援信息,按每个模式输入至AI的图像也不同。因此,在普通观察模式和特殊光模式下所提供的支援信息有可能不同。另一方面,在各种情况下求出支援信息,例如在筛选中需要在白色光图像中显示支援信息,在放大观察病变部时需要在特殊光图像中显示支援信息。
根据以上的实施方式,内窥镜装置10包含摄像部、光源部140以及第1处理电路110。摄像部拍摄被摄体。光源部140射出颜色互不相同的第1光~第m光(m为2以上的整数)作为针对被摄体的照明光。第1处理电路110根据来自摄像部的图像信号生成第1图像~第n图像(n为2以上的整数)。第1图像~第n图像分别是与第1光~第m光中的任意光对应的图像。第1处理电路110根据第1图像~第n图像中的显示用图像组而生成显示图像。另外,第1处理电路110将与显示图像不同的支援用图像或者至少一部分与显示图像不同的支援用图像组向第2处理电路120输出。然后,第1处理电路110获取诊断支援信息。诊断支援信息是第2处理电路120根据支援用图像或支援用图像组输出的信息。
在图1中,摄像部对应于摄像单元213。在第1实施方式中,m=5,但本发明的应用对象不限于m=5。另外,在第1实施方式中,n=6,第1图像~第n图像是V图像和B图像、光量1下的G图像、光量2下的G图像、A图像、R图像。另外,本发明的应用对象不限于n=6。另外,不限于n≠m,也可以是n=m。例如,在使各光源在一个周期中各发光一次的情况下,n=m。在如第1实施方式那样使相同的光源改变光量进行2次发光的情况下,n≠m。另外,在第1实施方式中显示用图像组是B图像和光量1下的G图像、R图像,支援用图像组是V图像和光量1下的G图像。该支援用图像组不包含显示图像。另外,在后述的第2实施方式中,支援用图像是IR图像,该支援用图像与显示图像不同。支援用图像组只要至少一部分与显示图像不同即可。即,支援用图像组是不包含显示图像的图像组、或者包含显示图像和第1图像~第n图像中的一个或多个图像的图像组。另外,在图1中,以内窥镜装置10包含第2处理电路120的情况为例进行了说明,但在图10中如后述那样,也可以在内窥镜装置10的外部设置第2处理电路120。即,在内窥镜装置10未内置第2处理电路120的情况下也能够应用本发明。
根据本实施方式,与显示图像不同的支援用图像或至少一部分与显示图像不同的支援用图像组被输入到第2处理电路120,第2处理电路120从支援用图像或支援用图像组中提取诊断支援信息。由此,能够使在基于AI技术的诊断支援信息的生成中使用的图像信息和用于形成用于观察作业的观察图像的图像信息分别成为最佳的图像。在诊断支援信息的生成中,能够以最小限度选定最佳图像。由此,可以期待更高速、更高效且高精度地生成诊断支援信息。另外,在面向作业人员的观察图像的生成和显示中,按每个观察模式选定最佳的图像信息。因此,能够构建颜色再现性、以及画质、分辨率,病变部的对比度等作业人员期望的品质的图像。
另外,在第1实施方式中,显示用图像组和支援用图像组不同,但不限于此,支援用图像组也可以与显示用图像组相同。由于显示图像是对显示用图像组进行合成得到的图像,因此显示图像与显示用图像组的各图像不同。因此,即使支援用图像组与显示用图像组相同,支援用图像组也不包含显示图像本身。例如,在后述的第3实施方式中,光量1下的G图像、A图像,R图像是显示用图像组,通过将它们合成,生成RBI图像作为显示图像。在该情况下,采用G图像、A图像、R图像作为支援用图像组,并将三个图像以分离的状态输入至AI处理。即,合成了3个图像而得到的的RBI图像与它们分离的状态的支援用图像组不同。
另外,在本实施方式中,第1处理电路110在被设定了第1显示模式的情况下,根据第1显示用图像组而生成第1显示图像,在被设定了第2显示模式的情况下,根据第2显示用图像组而生成第2显示图像。第1、第2显示用图像组分别是从第1图像~第n图像中选择的图像组。第2显示用图像组与第1显示用图像组不同。第1处理电路110将与第1显示图像和第2显示图像不同的支援用图像、或者至少一部分与第1显示图像和第2显示图像不同的支援用图像组向第2处理电路120输出。
在第1实施方式中,第1显示模式是普通光观察模式,第2显示模式是NBI观察模式。即,第1显示图像是白色光图像,第2显示图像是NBI图像,第1显示用图像组是B图像、光量1下的G图像、A图像、R图像,第2显示用图像组是V图像和光量2下的G图像。支援用图像组是V图像和光量1下的G图像,与白色光图像和NBI图像不同。另外,支援用图像组只要至少一部分与第1显示图像和第2显示图像不同即可。
根据本实施方式,在能够设定多个显示模式的情况下,向第2处理电路120输入与该任意的显示模式下的显示图像都不同的支援用图像或支援用图像组。此时,在任意的显示模式下,支援用图像或支援用图像组都相同。由此,无论显示模式如何,都可以从同一图像或图像组中提取诊断支援信息,并将基于此的支援显示信息显示在显示部300上。即,无论显示模式如何,都可以从最适于提取支援显示信息的图像或图像组提取诊断支援信息。另外,能够不被作业人员设定的显示模式所左右,总是从相同的图像或图像组进行诊断支援。另外,第1处理电路110在被设定了第1显示模式的情况下,也可以将与第1显示图像不同的支援用图像、或者至少一部分与第1显示图像不同的支援用图像组向第2处理电路120输出。即,在第1显示模式下,支援用图像可以是第2显示图像,支援用图像组也可以包含第2显示图像。另外,第1处理电路110在被设定了第2显示模式的情况下,也可以将与第2显示图像不同的支援用图像、或者至少一部分与第2显示图像不同的支援用图像组向第2处理电路120输出。即,在第2显示模式下,支援用图像可以是第1显示图像,支援用图像组也可以包含第1显示图像。即使在这样的情况下,也能够得到与上述同样的作用效果。
另外,在本实施方式中,支援用图像是第1图像~第n图像中的一个图像、或者根据第1图像~第n图像的一部分合成的图像、或者根据第1图像~第n图像合成的图像。支援用图像组是从第1图像~第n图像中选择的图像组。
在后述的第2实施方式中,IR图像是支援用图像。在该情况下,支援用图像是第1图像~第n图像中的一个图像。另外,作为第1实施方式的变形例,也可以对V图像和光量1下的G图像进行合成,并将该合成图像作为支援用图像。在该情况下,支援用图像是根据第1图像~第n图像中的一部分而合成的图像。支援用图像可以是根据第1图像~第n图像中的全部而合成的图像。另外,在第1实施方式中,V图像和光量1下的G图像是支援用图像组。在该情况下,支援用图像组是从第1图像~第n图像中选择的图像组。另外,在后述的第3实施方式中,光量1下的G图像、A图像、R图像是显示用图像组,支援用图像组也相同。在该情况下,支援用图像组也是从第1图像~第n图像中选择的图像组。
根据本实施方式,能够将最适合利用AI技术来生成诊断支援信息的图像或图像组输入至AI处理。另外,能够根据用于形成观察图像的最佳的图像组而生成显示图像。
另外,在本实施方式中,摄像部包含具有蓝色、绿色,以及红色的滤色器的摄像元件。m为4以上。第1光在蓝色的滤色器的透射波段内具有峰值波长,第2光在绿色的滤色器的透射波段内具有峰值波长,第3光在红色的滤色器的透射波段内具有峰值波长。第4光在蓝色的滤色器或绿色的滤色器或红色的滤色器的透射波段内具有峰值波长。光源部140在不同的摄像帧中射出第1光~第4光中的在同色的滤色器中通过的光。
在第1实施方式中,第1光是波长λb=445nm的蓝色激光,第2光是波长λc=532nm的绿色激光,第3光是波长λe=635nm的红色激光。第4光例如是波长λa=405nm的紫色激光。或者,第4光也可以是波长λd=600nm的橙色激光。或者,第4光也可以是波长λc=532nm的绿色激光且光量与第2光不同的光。在第1实施方式中,光源部140在T1与T2之间的摄像帧中射出第1光~第3光,在T2与T1’之间的摄像帧中射出第4光。
根据本实施方式,能够由摄像元件的RGB滤镜分离的光同时射出,通过同一滤色器的光在不同的摄像帧中射出。由此,使用例如具有拜耳型等的RGB滤镜的彩色摄像元件,能够在尽可能短的时间内拍摄第1图像~第n图像。即,在依次发出第1光~第4光的情况下需要4个摄像帧,但在本实施方式中两个摄像帧即可。这样,能够大致同时获取AI技术和显示中使用的全部图像。由此,根据诊断支援信息提取出的关注部位的位置和轮廓大致直接与显示图像上的位置和轮廓对应。因此,无需使用复杂的对位技术等,就能够将诊断支援信息叠加等重合显示在观察图像上。
另外,在本实施方式中,光源部140在第1摄像帧中射出第1光、第2光以及第3光。另外,光源部140在第2摄像帧中射出第4光。第2摄像帧是第1摄像帧的下一摄像帧或第1摄像帧之前的摄像帧。即,第2摄像帧是在第1摄像帧紧后面或紧前面相邻的摄像帧。
在图5中,在将T1与T2之间的摄像帧作为第1摄像帧的情况下,T2与T1’之间的摄像帧为第1摄像帧的下一摄像帧即第2摄像帧。另外,在第1实施方式中,在1个周期中包含两个摄像帧,但也可以在1个周期中包含3个以上的摄像帧。在该情况下,可以在第1摄像帧之后存在第2摄像帧,也可以在第1摄像帧之前存在第2摄像帧。例如,在后述的图8的发光序列中,在将从T3至T1’之间的摄像帧作为第2摄像帧的情况下,在T1’与T2’之间的第1摄像帧之前存在第2摄像帧。
根据本实施方式,在第1摄像帧和在该第1摄像帧紧后面或紧前面相邻的第2摄像帧中,获取第1图像~第n图像。由此,能够大致同时获取第1图像~第n图像。
另外,在本实施方式中,第4光是具有比蓝色的滤色器或绿色的滤色器或红色的滤色器的透射波段窄的波段的窄带光。另外,在本实施方式中,n为4以上,显示用图像组包含与第1光~第3光对应的第1图像~第3图像。在第1处理电路110输出支援用图像的情况下,支援用图像是与第4光对应的第4图像。在第1处理电路110输出支援用图像组的情况下,支援用图像包含与第4光对应的第4图像。
根据本实施方式,能够将通过窄带光拍摄的第4图像向第2处理电路120输入。窄带光仅包含该窄波段中的被摄体的信息。例如,光从生物体表面到达何种程度的深度取决于光的波长。即,通过使用窄带光,能够得到特定深度的被摄体像。通过根据要获取的诊断支援信息的内容来选择窄带光的波长,能够向AI处理输入对于诊断支援信息的提取来说适当的图像。
另外,在本实施方式中,光源部140包含第1光源~第4光源。第1光源产生第1光,第1光在436~480nm的范围内具有峰值波长。第2光源产生第2光,第2光在481~585nm的范围内具有峰值波长。第3光源产生第3光,第3光在616~700nm的范围内具有峰值波长。第4光源产生第4光,第4光在400~435nm的范围内具有峰值波长。另外,光源部140使第1光源~第3光源在第1摄像帧中发光,使第4光源在第2摄像帧中发光。
在图1和图5中,第1光源是光源LDb,第2光源是光源LDc,第3光源是光源LDe,第4光源是光源LDa。
根据本实施方式,通过在光源部140设置第1光源~第4光源,能够射出在蓝色滤色器的波段内具有峰值波长的第1光、在绿色滤色器的波段内具有峰值波长的第2光、在红色滤色器的波段内具有峰值波长的第3光以及在蓝色滤色器的波段内具有峰值波长的第4光。另外,通过从独立的光源射出各光,能够通过光源的开关控制实现发光序列。例如在使用激光光源或LED等的情况下,通过关闭光源,能够使该光源的发光量为零。即,能够将仅接通的光源射出的光中的纯度高的光作为照明光。
另外,通过设置产生紫色激光的第4光源,能够与绿色激光一起实现NBI观察模式。在NBI观察模式下,能够以高对比度观察粘膜表层的血管。另外,通过将利用紫色激光和绿色激光拍摄的图像组作为支援用图像组,能够从以高对比度拍摄了粘膜表层的血管而得的图像中提取诊断支援信息。
另外,在本实施方式中,光源部140在第2摄像帧中,使第2光源以与第2光源在第1摄像帧中的发光量不同的发光量发光,由此射出第5光。第1显示用图像组包含与第1光~第3光对应的第1图像~第3图像。第2显示用图像组包含第4图像和与第5光对应的第5图像。支援用图像组包含第2图像和与第4光对应的第4图像。第1处理电路110在被设定了第1显示模式的情况下,根据第1显示用图像组而生成第1显示图像,并将支援用图像组向第2处理电路120输出。另外,第1处理电路110在被设定了第2显示模式的情况下,根据第2显示用图像组而生成第2显示图像,并将支援用图像组向第2处理电路120输出。
在第1实施方式中,光源部140在第1摄像帧中使光源LDc以光量1发光,在第2摄像帧中使光源LDc以光量2发光。第2光是光量1下的绿色激光,第5光是光量2下的绿色激光。第1处理电路110将V图像和光量1下的G图像作为支援用图像组向第2处理电路120输出。第1显示用图像组是B图像、光量1下的G图像、R图像。第2显示用图像组是V图像和光量2下的G图像。
根据本实施方式,支援用图像组与第1、第2显示用图像组中的任一个均一部分不同。即,至少一部分的图像与用于生成显示图像的图像组不同的支援用图像组被输入至AI处理,从该支援用图像组中提取诊断支援信息。
另外,在本实施方式中,内窥镜装置10包含第2处理电路120。第2处理电路120从支援用图像组的各图像中提取诊断支援信息。
例如,第2处理电路120能够将与各图像相关的诊断支援信息向第1处理电路110输出。或者,第2处理电路120能够根据与各图像相关的诊断支援信息进一步提取诊断支援信息,并将该诊断支援信息向第1处理电路110输出。作为显示图像,为了使人易于观察,例如需要合成RGB图像。另一方面,在AI处理中,不一定需要输入合成图像。根据本实施方式,能够从在各波长下拍摄的各个图像中提取诊断支援信息。
另外,在本实施方式中,内窥镜装置10包含显示显示图像的显示部300。诊断支援信息包含被摄体中包含的关注部位的位置和轮廓中的至少一方的信息。第1处理电路110根据诊断支援信息,进行将表示关注部位的位置和轮廓中的至少一方的显示信息添加到显示图像中的图像处理,并将该显示图像向显示部300输出。显示信息相当于上述的支援显示信息。
根据本实施方式,能够提取关注部位的位置和轮廓中的至少一方的信息作为诊断支援信息。然后,能够将表示关注部位的位置和轮廓中的至少一方的显示信息提示给作业人员。这样,能够实现诊断支援。
另外,在本实施方式中,第2处理电路120可以输出包含图像的诊断支援信息。即,第2处理电路120在提取出关注部位的情况下,将该关注部位的位置信息和该关注部位的图像作为诊断支援信息输出。第1处理电路110根据该位置信息,在显示图像中的关注部位的位置上叠加诊断支援信息中包含的关注部位的图像。
另外,在本实施方式中,第2处理电路120也可以比较从支援用图像组的各图像中抽取的诊断支援信息,根据其提取状况对诊断支援信息进行分类,并将其分类结果作为诊断支援信息向第1处理电路110输出。提取状况例如是是否在所有图像中提取了同一关注部位、是否仅在一张图像中提取了同一关注部位、提取了关注部位的图像是利用哪个波长的照明光拍摄的图像等。分类例如是癌症等可能性的高低、或者癌症的浸润度、癌症的阶段等。
另外,在本实施方式中,第2处理电路120也可以使用当前活用的医学分类对关注部位进行分类,提取将该关注部位和分类结果对应起来的信息作为诊断支援信息。医学分类是通常使用的分类,例如TNM分类、或者凹坑图案(pit pattern)分类、JNET分类等。TNM分类作为癌症的进展度分类被广泛地使用,根据癌的深度、有无淋巴结转移及其范围、有无远程转移,分类为IA、IB、IIA、IIB、IIIA、IIIB、IIIC、IV这8个阶段。另外,凹坑图案分类是将组织的表面微细构造识别为图案并分类而成的,分类为I型、II型、IIIS型、IIIL型、IV型、V型这6个图案。JNET分类是以对大肠肿瘤的组织、深达度等质的诊断为目的的NBI放大内窥镜所见统一分类,是Type1、2A、2B、3这4个类别的分类。在这些分类中,还包含有有无向其他脏器转移等仅通过图像无法判断的分类,但例如在机器学习中,通过将图像与上述医学分类对应地教育作为教师数据等,由此,可能由诊断支援部进行分类,或者能够将属于分类的可能性作为诊断支援信息而提供。在分类中,除了机器学习之外,还可以利用基于AI的现有的各种方法。
3.第2实施方式
接下来,对第2实施方式进行说明。另外,对于与第1实施方式相同的内容省略其说明。
图6是内窥镜装置10的第2结构例。在图6中,光源部140包含光源LDa~LDf、驱动电路DRa~DRf以及光合波光学系统141。第2实施方式在光源部140具有射出红外激光的光源LDf这一点与第1实施方式不同。
驱动电路DRf驱动光源LDf。光合波光学系统141对光源LDa~LDf射出的激光进行合波,并使该合波后的光进入导光路214。驱动电路DRa~DRe的详细与第1实施方式中的驱动电路DRa~DRe相同。驱动电路DRf也具有与第1实施方式中的驱动电路DRa~DRe的每一个相同的功能。在第1实施方式中,光合波光学系统141对5束激光进行合波,但在第2实施方式中,光合波光学系统141对6束激光进行合波。合波方法与第1实施方式中的合波方法相同。
图7是光源LDa~LDf射出的激光的例子。光源LDa~LDe射出的激光的波长与图2相同。光源LDf射出波长λf=780nm的红外激光。波长780nm的红外激光用于荧光观察。例如,作为荧光色素的吲哚菁绿(ICG)吸收780nm附近的红外光,发出805nm附近的荧光。吲哚菁绿被用作通过体内散布或静脉注射等进行的荧光观察用的药剂。
摄像单元213所包含的摄像元件包含对红外具有灵敏度的像素。即,摄像元件具有R像素、G像素、B像素,该R像素的滤镜透射红外。另外,如后所述,作为对红外具有灵敏度的像素和发光序列,可以考虑各种变形实施。
接下来,对第2实施方式中的内窥镜装置10的动作进行说明。图8是第2实施方式中的照明光的发光序列。在图8中,T1等表示定时。以下,省略“定时”而记为T1等。
如图8所示,在从T1至T1’的1个周期中进行3次摄像动作。即,在一个周期中包含3帧摄像帧。在从T1至T2中的除了摄像元件的读出期间以外的期间中,照明光控制电路150使光源LDb、LDc、LDe发光。在从T2至T3中的除了摄像元件的读出期间以外的期间中,照明光控制电路150使光源LDa、LDd发光。在从T3至T1’中的除了摄像元件的读出期间以外的期间中,照明光控制电路150使光源LDf发光。之后,重复进行同样的发光序列。由此,能够大致同时地获取6张图像。即,能够大致同时地获取V图像、B图像、G图像、A图像、R图像、IR图像。
第1处理电路110选择IR图像作为诊断支援用的图像,并将该IR图像向诊断支援部121输出。诊断支援部121根据IR图像提取诊断支援信息。诊断支援信息是与基于ICG的荧光发光的区域、或该区域的轮廓、荧光的明亮度、荧光的分布相关的信息。另外,诊断支援信息是与荧光发光的区域和与该区域相邻的区域之间的对比度相关的信息。能够将这些信息中的一个信息或多个信息的组合用作诊断支援信息。
在本实施方式中,诊断支援部121仅根据IR图像提取诊断支援信息,不使用IR图像以外的5个图像。在普通光观察模式和NBI观察模式中的任意观察模式下,都从与用于合成显示图像的图像不同的图像中提取诊断支援信息。
第1处理电路110使用V图像、B图像、G图像、A图像、R图像生成显示图像。与第1实施方式不同,在第2实施方式中在白色光图像中使用V图像。V、B、G、A、R中的激光的光量比被设定为显示图像成为白色光图像的白平衡。
V图像与B图像相比,具有对比度良好地显示表层的毛细血管的特性。因此,本实施方式的白色光图像与基于第1实施方式的B、G、A、R这4种颜色的白色光图像相比,表层的毛细血管的对比度高。第1处理电路110对V图像+B图像进行合成而作为显示图像的B通道,将G图像作为显示图像的G通道,对A图像+R图像进行合成而作为显示图像的R通道。然后,第1处理电路110将由上述RGB通道构成的显示图像向显示部300输出。
显示部300也可以显示对上述白色光图像叠加了IR图像后的图像。例如,在作业人员通过输入部600选择了IR叠加图像的情况下,在显示部300上显示对白色光图像叠加了IR图像后的图像。另外,关于荧光图像的叠加的方法,可以使用通常公知的各种图像叠加技术。
由此,作业人员能够在视觉上确认荧光的图像。另外,能够将基于荧光图像的支援显示信息附加在显示图像上。例如,第1处理电路110从第2处理电路120接收诊断支援信息,并根据该诊断支援信息将支援显示信息附加在显示图像上。在该情况下,支援显示信息例如是荧光区域的边界线、或者重叠于荧光区域的视觉确认性高的颜色等。第1处理电路110将这些支援显示信息叠加在显示图像上。
另外,在上述中,以使用具有RGB滤色器的摄像元件的情况为例进行了说明,但例如也可以是,摄像元件除了R像素、G像素、B像素以外还具有IR像素。在IR像素上设置有IR滤镜,IR滤镜几乎不透射780nm的激光,而透射805nm附近的光。在该情况下,使红外激光及紫色激光与橙色激光一起发出。即,在发光序列的一个周期中进行两次摄像动作。在从T1至T2中的除了摄像元件的读出期间以外的期间中,照明光控制电路150使光源LDb、LDc、LDe发光。在从T2至T1’中的除了摄像元件的读出期间以外的期间中,照明光控制电路150使光源LDa、LDd、LDf发光。
根据以上的实施方式,m为4以上。光源部140包含第1光源~第4光源。第1光源产生第1光,第1光在436~480nm的范围内具有峰值波长。第2光源产生第2光,第2光在481~585nm的范围内具有峰值波长。第3光源产生第3光,第3光在616~700nm的范围内具有峰值波长。第4光源产生第4光,第6光在701~999nm的范围内具有峰值波长。
在图6和图8中,第1光源是光源LDb,第2光源是光源LDc,第3光源是光源LDe,第6光源是光源LDf。
根据本实施方式,通过设置产生红外激光的第4光源,能够拍摄被摄体的荧光图像。能够拍摄基于ICG等药剂的荧光图像。通过将该荧光图像向第2处理电路120输入,能够从荧光图像提取诊断支援信息。
另外,在本实施方式中,光源部140使第1光源、第2光源、第3光源在第1摄像帧中发光,使第6光源在第2摄像帧中发光。n为4以上。显示用图像组包含与第1光~第3光对应的第1图像~第3图像。支援用图像是与第6光对应的第6图像。
在图8中,T1’与T2’之间的摄像帧是第1摄像帧,T3与T1’之间的摄像帧是第2摄像帧。在该情况下,第2摄像帧在第1摄像帧之前。另外,也可以在第1摄像帧之后有第2摄像帧。例如,在图8中,也可以在T2与T3之间使光源LDf发光,在T3与T1’之间使光源LDa、LDd发光。
根据本实施方式,输入到AI处理的支援用图像为IR图像。在仅将一种图像作为AI处理的输入的情况下,与从多种图像中提取诊断支援信息的情况相比,AI处理的负荷变小。
4.第3实施方式
接下来,对第3实施方式进行说明。另外,对于与第1实施方式或第2实施方式相同的内容,省略其说明。
内窥镜装置10的结构与图1相同。光源LDa~LDe射出的激光的特性如图2所示那样。在第3实施方式中,不进行图5所示的发光序列中的光量2下的光源LDc的发光。即,在从T1至T1’的1个周期中进行2次摄像动作。在从T1至T2的中除了摄像元件的读出期间以外的期间中,照明光控制电路150使光源LDb、LDc、LDe发光。在从T2至T1’中的除了摄像元件的读出期间以外的期间中,照明光控制电路150使光源LDa、LDd发光。之后,重复进行同样的发光序列。由此,能够大致同时地获取5张图像。即,能够大致同时地获取V图像、B图像、光量1下的G图像、A图像、R图像。
第1处理电路110将G图像、A图像、R图像这3张图像向诊断支援部121输出。普通光观察模式下的显示图像的生成方法与第1实施方式或第2实施方式相同。在RBI观察模式下,第1处理电路110对G图像、A图像、R图像进行合成而生成RBI(Red Band Imaging:红带成像)图像,将该RBI图像作为显示图像向显示部300输出。RBI是提供容易视觉确认深部血管或出血点的图像的方法。
诊断支援部121将G图像、A图像、R图像分别作为AI处理的输入来提取诊断支援信息。在生成RBI的显示图像时合成G图像、A图像、R图像,但向AI处理分别输入G图像、A图像、R图像而不是合成图像。诊断支援部121例如分别从G图像、A图像、R图像中提取关注部位。或者,诊断支援部121可以根据对A图像和R图像进行比较后的结果来提取关注部位。
另外,在上述中,以第1处理电路110将G图像、A图像、R图像这3张图像向诊断支援部121输出的情况为例进行了说明,但第1处理电路110也可以将A图像和R图像这2张图像向诊断支援部121输出。
根据以上的实施方式,m为4以上。光源部140包含第1光源~第4光源。第1光源产生第1光,第1光在436~480nm的范围内具有峰值波长。第2光源产生第2光,第2光在481~585nm的范围内具有峰值波长。第3光源产生第3光,第3光在586~615nm的范围内具有峰值波长。第5光源产生第5光,第5光在616~700nm的范围内具有峰值波长。
在第3实施方式中,第1光源是光源LDb,第2光源是光源LDc,第3光源是光源LDd,第5光源是光源LDe。
根据本实施方式,通过设置产生橙色激光的第3光源,能够与绿色激光和红色激光一起实现RBI观察模式。在RBI观察模式下,能够以高对比度观察粘膜深部的血管或粘膜的出血点。另外,通过将利用橙色激光、绿色激光、红色激光拍摄到的图像组作为支援用图像组,能够从以高对比度拍摄到粘膜深部的血管或粘膜的出血点的图像组中提取诊断支援信息。
另外,在本实施方式中,光源部140使第1光源、第2光源、第3光源在第1摄像帧中发光,使第5光源在第2摄像帧中发光。n为4以上。第1显示用图像组包含与第1光~第3光对应的第1图像~第3图像。第2显示用图像组包含与第2光~第4光对应的第2图像~第4图像。支援用图像组包含第3图像和第5图像。第1处理电路110在被设定了第1显示模式的情况下,通过合成第1显示用图像组而生成第1显示图像,并将支援用图像组向第2处理电路120输出。另外,第1处理电路110在被设定了第2显示模式的情况下,通过合成第2显示用图像组而生成第2显示图像,并将支援用图像组向第2处理电路120输出。
在第3实施方式中,第2显示用图像组是G图像、A图像、R图像。另外,支援用图像组也是相同的。第2显示图像是合成了这3个图像得到的图像。另一方面,这3个图像分别作为独立的图像被输入到第2处理电路120。即,输入到第2处理电路120的支援用图像组是与第2显示用图像组不同的图像。
5.第4实施方式
接下来,对第4实施方式进行说明。另外,对于与第1实施方式~第3实施方式相同的内容,省略其说明。
在第4实施方式中,根据在观察时记录的图像,事后显示各观察模式下的图像。图像可以是静态图像或动态图像中的任一种。
图9是处理装置500的结构例。处理装置500包含第1处理电路110、存储装置510、输入部520。另外,处理装置500还可以包含第2处理电路120。作为处理装置500的一例,是PC(Personal Computer:个人计算机)或平板电脑、服务器等信息处理装置。或者,作为处理装置500的另一例,是内窥镜装置10的控制装置100。在该情况下,存储装置510包含在控制装置100中,输入部520相当于输入部600,显示部550相当于显示部300。
存储装置510存储内窥镜装置10所拍摄的图像。例如,以第1实施方式为例,存储装置510存储6张图像。即,存储装置510存储V图像、B图像、光量1下的G图像、光量2下的G图像、A图像、V图像。在处理装置500为PC等的情况下,从内窥镜装置10经由USB或网络等向处理装置500传送图像,存储装置510存储该图像。或者,在处理装置500是内窥镜装置10的控制装置100的情况下,存储装置510存储第1处理电路110输出的图像。另外,这里以存储装置510存储在第1实施方式中拍摄的图像的情况为例进行了说明,但不限于此,存储装置510也可以存储在第2实施方式或第3实施方式中拍摄的图像。
作业人员通过输入部520选择观察模式。例如,处理装置500将能够根据存储在存储装置510中的图像组构建的观察模式作为选项而显示在显示部550上。作业人员通过输入部520从选项中选择期望的观察模式。作为输入部520,例如可以设想指示器件或键盘、按钮等各种操作装置。另外,在处理装置500是内窥镜装置10的控制装置100的情况下,作业人员也可以通过操作部220选择观察模式。
第1处理电路110根据所选择的观察模式而生成显示图像,并将该显示图像向显示部550输出。在存储装置510存储有上述6张图像的情况下,例如可以选择第1普通光观察模式、第2普通光观察模式、第3普通光观察模式、NBI观察模式、RBI观察模式。在第1普通光观察模式下,第1处理电路110根据B图像、光量1下的G图像、A图像、R图像来合成白色光图像。在第2普通光观察模式下,第1处理电路110根据V图像、B图像、光量1下的G图像、A图像、R图像来合成白色光图像。在第3普通光观察模式下,第1处理电路110根据B图像、光量1下的G图像、R图像来合成白色光图像。在NBI观察模式下,第1处理电路110根据V图像和光量2下的G图像来合成NBI图像。在RBI观察模式下,第1处理电路110根据光量1下的G图像、A图像、R图像来合成RBI图像。
另外,也可以由作业人员从6个图像中任意选择组合,由第1处理电路110合成该组合的显示图像。
在处理装置500是信息处理装置的情况下,例如向信息处理装置安装能够执行与内窥镜装置10进行的图像处理同等的处理的图像处理软件。然后,第1处理电路110执行图像处理软件,由此实现上述图像处理。
在处理装置500是信息处理装置的情况下,作为存储装置510,例如可以设想半导体存储器或硬盘驱动器、光学驱动器等各种存储装置。或者,也可以不从存储装置510,而经由网络等基础设施向处理装置500输入图像数据。例如,也可以是内窥镜装置10和处理装置500与网络连接,处理装置500从内窥镜装置10经由网络获取图像数据。
在处理装置500包含第2处理电路120的情况下,能够进一步获取诊断支援信息。即,第1处理电路110将用于提取诊断支援信息的图像向第2处理电路120输出。第2处理电路120通过对从第1处理电路110输入的图像进行AI处理,提取诊断支援信息,并将该诊断支援信息向第1处理电路110输出。第1处理电路110根据诊断支援信息将支援显示信息附加到显示图像上,并将该显示图像向显示部550输出。提取诊断支援信息的方法与第1~第3实施方式相同。
根据以上的实施方式,处理装置500包含存储第1图像~第n图像(n为2以上的整数)的存储装置510和从存储装置510获取第1图像~第n图像的第1处理电路110。第1图像~第n图像分别是与颜色彼此不同的第1光~第m光(m为2以上的整数)中的任一种光对应的图像。第1处理电路110根据第1图像~第n图像中的显示用图像组而生成显示图像。第1处理电路110根据第1图像~第n图像中的显示用图像组而生成显示图像,并将与显示图像不同的支援用图像、或者不包含显示用图像的支援用图像组向第2处理电路120输出。然后,第1处理电路110获取诊断支援信息。诊断支援信息是第2处理电路120根据支援用图像或支援用图像组输出的信息。
根据本实施方式,不仅在通过内窥镜装置10实时地进行诊察时,还能够事后构建并显示观察图像。另外,无论实时地进行诊察时的观察模式如何,在事后进行时均能够以期望的观察模式生成图像。例如,可以详细地确认事后注意到的病变部、或者以期望的观察模式观察其他作业人员进行图像确认时注意到的部位。另外,在之后知道是病变的情况下,可以追溯较远的时间以期望的观察模式重新进行观察。例如,在新发现病变的情况下,能够根据上次检查时的数据构建特殊光图像来确认状态等。另外,在处理装置500是信息处理装置的情况下,即使没有内窥镜装置10也能够构建和显示观察图像。另外,多个观察者可以在不同的场所进行观察或筛选等作业。
6.第5实施方式
接下来,对第5实施方式进行说明。另外,对于与第1~第4实施方式相同的内容,省略其说明。
图10是内窥镜系统的结构例。内窥镜系统包含内窥镜装置10和处理装置400。在第5实施方式中,内窥镜装置10不包含第2处理电路120,与内窥镜装置10分开设置的处理装置400包含第2处理电路120。处理装置400例如是PC或服务器等信息处理装置。另外,处理装置400不限于一个信息处理装置,例如也可以是与网络连接的云处理系统。
内窥镜装置10的控制装置100具有用于对图像和诊断支援信息进行通信的未图示的接口。作为该接口,可以采用各种装置间接口。例如,接口可以是USB或LAN等有线通信接口,或者也可以是无线LAN等无线通信接口。
另外,根据以上的第1~第5实施方式,由于大致同时地获取图像,因此可以不进行不同的图像间的对位。但是,本发明的应用对象不限于此。在多个图像之间,当然也可以进行使用了通常的图像识别或图像处理技术的对位。通过进行对位,能够更正确地提供包含位置信息在内的诊断支援信息。
另外,在以上的第1~第5实施方式中,对将拍摄的单色图像输入到第2处理电路120的例子进行了说明。但是,本发明的应用对象不限于此。当然也可以使用组合了多个图像而得的图像、例如组合了V图像和光量2下的G图像而得的NBI图像来提取诊断支援信息。此时,显示图像显示作业人员选择的图像,第1处理电路110与其独立地向诊断支援部121输出最适于诊断支援的图像。由此,能够使用最适于支援信息提取的图像来提取支援信息,并且使用最适于作业的图像来进行诊断等作业。并且,在选择最适于提取支援信息的图像时,选项增加,还可以使用由其他内窥镜系统拍摄获取的图像来提取诊断支援信息。此时,偶然地,作业人员作业的图像有时与最适于诊断支援部121的图像一致,但通过能够分别独立地选择、设定,能够享受本发明的效果。
以上,对应用本发明的实施方式及其变形例进行了说明,但是,本发明不限于各实施方式及其变形例本身,可以在实施阶段中在不脱离发明的主旨的范围内将构成要素变形来具体化。另外,通过对上述各实施方式和变形例中公开的多个构成要素进行适当组合,能够形成各种发明。例如,也可以从各实施方式和变形例中记载的全部构成要素中删除几个构成要素。并且,也可以将不同的实施方式和变形例中的构成要素适当组合。这样,可以在不脱离发明的主旨的范围内进行各种变形和应用。另外,在说明书或附图中,可以至少一次将更广义或与同义的不同用语一起记载的用语在说明书或附图的任何部位置换为该不同的用语。
标号说明
10:内窥镜装置;100:控制装置;110:第1处理电路;120:第2处理电路;121:诊断支援部;140:光源部;141:光合波光学系统;150:照明光控制电路;200:镜体部;210:插入部;211:照明透镜;212:照明透镜;213:摄像单元;214:导光路;215:图像信号线;220:操作部;230:连接线缆;240:连接器;300:显示部;310:第1处理装置;400:处理装置;500:处理装置;510:存储装置;520:输入部;550:显示部;600:输入部;DRa~DRf:驱动电路;LDa~LDf:光源。

Claims (20)

1.一种内窥镜装置,其特征在于,
该内窥镜装置包含:
摄像部,其拍摄被摄体;
光源部,其射出颜色彼此不同的第1光~第m光作为针对所述被摄体的照明光,其中,m为2以上的整数;以及
第1处理电路,其根据来自所述摄像部的图像信号生成第1图像~第n图像,其中,n为2以上的整数,
所述第1图像~第n图像分别是与所述第1光~第m光中的任意光对应的图像,
所述第1处理电路根据所述第1图像~第n图像中的显示用图像组生成显示图像,并将与所述显示图像不同的支援用图像、或至少一部分与所述显示图像不同的支援用图像组向第2处理电路输出,获取所述第2处理电路根据所述支援用图像或所述支援用图像组输出的诊断支援信息。
2.根据权利要求1所述的内窥镜装置,其特征在于,
所述第1处理电路在被设定了第1显示模式的情况下,根据第1显示用图像组生成第1显示图像,所述第1处理电路在被设定了第2显示模式的情况下,根据与第1显示用图像组不同的第2显示用图像组生成第2显示图像,并将与所述第1显示图像及所述第2显示图像不同的所述支援用图像、或至少一部分与所述第1显示图像及所述第2显示图像不同的所述支援用图像组向所述第2处理电路输出。
3.根据权利要求1所述的内窥镜装置,其特征在于,
所述第1处理电路在被设定了第1显示模式的情况下,根据所述第1图像~第n图像中的第1显示用图像组生成第1显示图像,所述第1处理电路在被设定了第2显示模式的情况下,根据所述第1图像~第n图像中的与第1显示用图像组不同的第2显示用图像组生成第2显示图像,
所述第1处理电路在被设定了所述第1显示模式的情况下,将与所述第1显示图像不同的所述支援用图像、或至少一部分与所述第1显示图像不同的所述支援用图像组向所述第2处理电路输出,所述第1处理电路在被设定了所述第2显示模式的情况下,将与所述第2显示图像不同的所述支援用图像、或至少一部分与所述第2显示图像不同的所述支援用图像组向所述第2处理电路输出。
4.根据权利要求1所述的内窥镜装置,其特征在于,
所述支援用图像是所述第1图像~第n图像中的一个图像、或根据第1图像~第n图像的一部分而合成的图像、或根据所述第1图像~第n图像而合成的图像,
所述支援用图像组是所述第1图像~第n图像中的图像组,并且是从所述显示用图像组中选择的图像组。
5.根据权利要求1所述的内窥镜装置,其特征在于,
所述摄像部包含摄像元件,该摄像元件具有蓝色的滤色器、绿色的滤色器以及红色的滤色器,
m为4以上,
所述第1光在所述蓝色的滤色器的透射波段内具有峰值波长,
所述第2光在所述绿色的滤色器的透射波段内具有峰值波长,
所述第3光在所述红色的滤色器的透射波段内具有峰值波长,
所述第4光在所述蓝色的滤色器或所述绿色的滤色器或所述红色的滤色器的透射波段内具有峰值波长,
所述光源部在不同的摄像帧中射出所述第1光~第4光中的在同色的所述滤色器中通过的光。
6.根据权利要求5所述的内窥镜装置,其特征在于,
所述光源部在第1摄像帧中射出所述第1光、所述第2光以及所述第3光,
所述光源部在第2摄像帧中射出所述第4光,该第2摄像帧是所述第1摄像帧的下一摄像帧或所述第1摄像帧之前的摄像帧。
7.根据权利要求5所述的内窥镜装置,其特征在于,
所述第4光是具有比所述蓝色的滤色器或所述绿色的滤色器或所述红色的滤色器的透射波段窄的波段的窄带光。
8.根据权利要求7所述的内窥镜装置,其特征在于,
n为4以上,
所述显示用图像组包含与所述第1光~第3光对应的所述第1图像~第3图像,
在所述第1处理电路输出所述支援用图像的情况下,所述支援用图像是与所述第4光对应的所述第4图像,
在所述第1处理电路输出所述支援用图像组的情况下,所述支援用图像包含与所述第4光对应的所述第4图像。
9.根据权利要求1所述的内窥镜装置,其特征在于,
m为4以上,
所述光源部包含:
第1光源,其产生在436nm~480nm的范围内具有峰值波长的所述第1光;
第2光源,其产生在481nm~585nm的范围内具有峰值波长的所述第2光;
第3光源,其产生在616nm~700nm的范围内具有峰值波长的所述第3光;以及
第4光源,其产生在400nm~435nm的范围内具有峰值波长的所述第4光。
10.根据权利要求9所述的内窥镜装置,其特征在于,
m为4以上,
所述光源部使所述第1光源~第3光源在第1摄像帧中发光,使所述第4光源在第2摄像帧中发光,该第2摄像帧是所述第1摄像帧的下一摄像帧或所述第1摄像帧之前的摄像帧。
11.根据权利要求10所述的内窥镜装置,其特征在于,
m为5以上,
所述光源部在所述第2摄像帧中使所述第2光源以与所述第2光源在所述第1摄像帧中的发光量不同的发光量发光,由此射出所述第5光,
n为5以上,
第1显示用图像组包含与所述第1光~第3光对应的所述第1图像~第3图像,
第2显示用图像组包含所述第4图像和与所述第5光对应的所述第5图像,
所述支援用图像组包含所述第2图像和与所述第4光对应的所述第4图像,
所述第1处理电路在被设定了第1显示模式的情况下,根据所述第1显示用图像组生成第1显示图像,并将所述支援用图像组向所述第2处理电路输出,
所述第1处理电路在被设定了第2显示模式的情况下,根据所述第2显示用图像组生成第2显示图像,并将所述支援用图像组向所述第2处理电路输出。
12.根据权利要求1所述的内窥镜装置,其特征在于,
m为4以上,
所述光源部包含:
第1光源,其产生在436nm~480nm的范围内具有峰值波长的所述第1光;
第2光源,其产生在481nm~585nm的范围内具有峰值波长的所述第2光;
第3光源,其产生在586nm~615nm的范围内具有峰值波长的所述第3光;以及
第5光源,其产生在616nm~700nm的范围内具有峰值波长的所述第5光。
13.根据权利要求12所述的内窥镜装置,其特征在于,
所述光源部使所述第1光源、所述第2光源以及所述第3光源在第1摄像帧中发光,使所述第5光源在第2摄像帧中发光,该第2摄像帧是所述第1摄像帧的下一摄像帧或所述第1摄像帧之前的摄像帧,
n为4以上,
第1显示用图像组包含与所述第1光~第3光对应的所述第1图像~第3图像,
第2显示用图像组包含与所述第2光~第4光对应的所述第2图像~第4图像,
所述支援用图像组包含所述第3图像和所述第5图像,
所述第1处理电路在被设定了第1显示模式的情况下,通过对所述第1显示用图像组进行合成而生成第1显示图像,并将所述支援用图像组向所述第2处理电路输出,
所述第1处理电路在被设定了第2显示模式的情况下,通过对所述第2显示用图像组进行合成而生成第2显示图像,并将所述支援用图像组向所述第2处理电路输出。
14.根据权利要求1所述的内窥镜装置,其特征在于,
m为4以上,
所述光源部包含:
第1光源,其产生在436nm~480nm的范围内具有峰值波长的所述第1光;
第2光源,其产生在481nm~585nm的范围内具有峰值波长的所述第2光;
第3光源,其产生在616nm~700nm的范围内具有峰值波长的所述第3光;以及
第6光源,其产生在701nm~999nm的范围内具有峰值波长的所述第6光。
15.根据权利要求14所述的内窥镜装置,其特征在于,
所述光源部使所述第1光源、所述第2光源以及所述第3光源在第1摄像帧中发光,使所述第6光源在第2摄像帧中发光,该第2摄像帧是所述第1摄像帧的下一摄像帧或所述第1摄像帧之前的摄像帧,
n为4以上,
所述显示用图像组包含与所述第1光~第3光对应的所述第1图像~第3图像,
所述支援用图像是与所述第6光对应的所述第6图像。
16.根据权利要求1所述的内窥镜装置,其特征在于,
该内窥镜装置包含所述第2处理电路,
所述第2处理电路从所述支援用图像组的各图像中提取所述诊断支援信息。
17.根据权利要求1所述的内窥镜装置,其特征在于,
该内窥镜装置包含显示所述显示图像的显示部,
所述诊断支援信息包含所述被摄体所包含的关注部位的位置和轮廓中的至少一方的信息,
所述第1处理电路根据所述诊断支援信息,进行将表示所述关注部位的位置和轮廓中的至少一方的显示信息加到所述显示图像上的图像处理,并将进行图像处理后的所述显示图像向所述显示部输出。
18.一种处理装置,其特征在于,
该处理装置包含:
存储装置,其存储第1图像~第n图像,其中,n为2以上的整数;以及
第1处理电路,其从所述存储装置获取所述第1图像~第n图像,
所述第1图像~第n图像分别是与颜色彼此不同的第1光~第m光中的任意光对应的图像,其中,m为2以上的整数,
所述第1处理电路根据所述第1图像~第n图像中的显示用图像组生成显示图像。
19.根据权利要求18所述的处理装置,其特征在于,
所述第1处理电路将与所述显示图像不同的支援用图像、或至少一部分与所述显示图像不同的支援用图像组向第2处理电路输出,获取所述第2处理电路根据所述支援用图像或所述支援用图像组而输出的诊断支援信息。
20.一种处理方法,其特征在于,
第1处理电路生成第1图像~第n图像,所述第1图像~第n图像中的各个图像是与颜色彼此不同的第1光~第m光中的任意光对应的图像,其中,m为2以上的整数,n为2以上的整数;
所述第1处理电路根据所述第1图像~第n图像中的显示用图像组生成显示图像;
所述第1处理电路将与所述显示图像不同的支援用图像、或至少一部分与所述显示图像不同的支援用图像组向第2处理电路输出;以及
所述第1处理电路获取所述第2处理电路根据所述支援用图像或所述支援用图像组而输出的诊断支援信息。
CN201880095384.6A 2018-07-10 2018-07-10 内窥镜装置、处理装置以及处理方法 Pending CN112384122A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/026075 WO2020012563A1 (ja) 2018-07-10 2018-07-10 内視鏡装置、処理装置及び処理方法

Publications (1)

Publication Number Publication Date
CN112384122A true CN112384122A (zh) 2021-02-19

Family

ID=69141392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880095384.6A Pending CN112384122A (zh) 2018-07-10 2018-07-10 内窥镜装置、处理装置以及处理方法

Country Status (4)

Country Link
US (1) US20210113075A1 (zh)
JP (1) JP7065190B2 (zh)
CN (1) CN112384122A (zh)
WO (1) WO2020012563A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114047623A (zh) * 2022-01-14 2022-02-15 济南显微智能科技有限公司 多光谱荧光内镜

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447973B (zh) * 2018-10-31 2021-11-26 腾讯医疗健康(深圳)有限公司 一种结肠息肉图像的处理方法和装置及系统
US11892403B2 (en) * 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11716533B2 (en) * 2019-06-20 2023-08-01 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
WO2022004056A1 (ja) * 2020-07-03 2022-01-06 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2022070310A (ja) * 2020-10-27 2022-05-13 Hoya株式会社 光源装置、および内視鏡システム
JP2022076076A (ja) * 2020-11-09 2022-05-19 Hoya株式会社 光源装置、および内視鏡システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070027540A (ko) 2004-04-30 2007-03-09 가부시키가이샤 모리타 세이사쿠쇼 생체 관찰기기, 구강 내 촬영장치 및 의료용 진료기구
US8827899B2 (en) * 2004-09-24 2014-09-09 Vivid Medical, Inc. Disposable endoscopic access device and portable display
JP2006198032A (ja) 2005-01-18 2006-08-03 Olympus Corp 手術支援システム
EP1698272B1 (en) * 2005-03-04 2012-12-05 FUJIFILM Corporation Endoscope and image processing device
JP2010172673A (ja) 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP6336949B2 (ja) * 2015-01-29 2018-06-06 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
EP3357405A4 (en) 2015-09-29 2018-11-07 FUJI-FILM Corporation Image processing device, endoscopic system, and image processing method
JP6762816B2 (ja) 2016-09-08 2020-09-30 富士フイルム株式会社 内視鏡システム及びその作動方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114047623A (zh) * 2022-01-14 2022-02-15 济南显微智能科技有限公司 多光谱荧光内镜
CN114047623B (zh) * 2022-01-14 2022-04-05 济南显微智能科技有限公司 多光谱荧光内镜

Also Published As

Publication number Publication date
US20210113075A1 (en) 2021-04-22
JPWO2020012563A1 (ja) 2021-06-24
WO2020012563A1 (ja) 2020-01-16
JP7065190B2 (ja) 2022-05-11

Similar Documents

Publication Publication Date Title
CN112384122A (zh) 内窥镜装置、处理装置以及处理方法
JP6533358B2 (ja) 撮像装置
US11399706B2 (en) Endoscope apparatus for switching between one-substance observation mode and two-substance observation mode based on input of selection of desired observation mode
JP5606120B2 (ja) 内視鏡装置
EP2468186B1 (en) Endoscopic diagnosis system
EP2449950B1 (en) Endoscopic diagnosis system
US9414741B2 (en) Endoscopic diagnosis system
US10863936B2 (en) Endoscope apparatus
JP5159904B2 (ja) 内視鏡診断装置
US11744439B2 (en) Micro CMOS scopes for medical imaging
US20190110673A1 (en) Endoscope apparatus
JP6978604B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JPWO2017046857A1 (ja) 内視鏡装置
JP6155367B2 (ja) 内視鏡装置
JP2011194082A (ja) 内視鏡画像補正装置および内視鏡装置
JP5897663B2 (ja) 内視鏡装置
JP7324307B2 (ja) 光源装置、内視鏡システム及び制御方法
JP2017087078A (ja) 内視鏡装置
JP6379260B2 (ja) 内視鏡装置
JP6104419B2 (ja) 内視鏡装置
JP2015091351A (ja) 内視鏡装置
JP2014121630A (ja) 内視鏡装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination