CN117042669A - 内窥镜处理器、内窥镜装置以及诊断用图像显示方法 - Google Patents

内窥镜处理器、内窥镜装置以及诊断用图像显示方法 Download PDF

Info

Publication number
CN117042669A
CN117042669A CN202180095720.9A CN202180095720A CN117042669A CN 117042669 A CN117042669 A CN 117042669A CN 202180095720 A CN202180095720 A CN 202180095720A CN 117042669 A CN117042669 A CN 117042669A
Authority
CN
China
Prior art keywords
image information
region
image
processor
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095720.9A
Other languages
English (en)
Inventor
窪田明广
神田大和
森田惠仁
高畑尚久
河野隆志
谷口央树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN117042669A publication Critical patent/CN117042669A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

内窥镜处理器具有处理器。处理器判别出照射第一照明光所获取到的第一图像信息中的、由关心物被摄体构成的第一区域图像信息和由非关心物被摄体构成的第二区域图像信息,生成照射第二照明光所获取到的第二图像信息中的、与第二区域图像信息的区域相同的区域的第三区域图像信息,其中,该第二照明光的波长与第一照明光的波长不同且该第二照明光透过非关心物被摄体,通过将第一区域图像信息与第三区域图像信息组合来制作第一图像信息中的非关心物被摄体被透过的局部透过图像。

Description

内窥镜处理器、内窥镜装置以及诊断用图像显示方法
技术领域
本发明涉及一种内窥镜处理器、内窥镜装置以及诊断用图像显示方法。
背景技术
以往,在医疗领域、工业领域广泛地利用了内窥镜。例如,在医疗领域,手术操作者能够观察显示于显示装置的被检体内的内窥镜图像来发现和辨别病变部,使用处置器具来对病变部进行处置。
近年来,为了抑制手术操作者看漏病变部,而开发了一种针对内窥镜的运动图像示出病变候选的位置、或者显示出辨别信息的计算机辅助图像诊断(CAD:Computer AidedDetection/Diagnosis(计算机辅助检测/诊断))。例如,在日本专利第6246431号公报中提出了如下一种内窥镜装置:当通过CAD发现病变部时,在内窥镜图像上用框等标记进行强调显示,由此向手术操作者通知病变部存在的位置。
但是,日本专利第6246431号公报所提出的内窥镜装置由于光源为接近肉眼观察的颜色的白色光(普通光),因此在病变上存在血液、残渣等的情况下,不能够发现病变部。
另一方面,在日本特开2014-221168号公报中提出了如下一种内窥镜系统:使用带蓝色的特殊光,使得存在于残渣等非关心物质之下的血管等各种结构透现出来。
然而,日本特开2014-221168号公报所提出的内窥镜系统在非关心物质为血液的情况下不能够观察到血管等各种结构。
本发明是鉴于上述的情况而完成的,其目的在于提供一种无需去除残渣、血液就能够实现检测病变的功能的内窥镜处理器、内窥镜装置以及诊断用图像显示方法。
发明内容
本发明的一个方式的内窥镜处理器具有处理器,所述处理器进行以下处理:判别出照射第一照明光所获取到的第一图像信息中的、由关心物被摄体构成的第一区域图像信息和由非关心物被摄体构成的第二区域图像信息;生成照射第二照明光所获取到的第二图像信息中的、与所述第二区域图像信息的区域相同的区域的第三区域图像信息,其中,所述第二照明光的波长与所述第一照明光的波长不同且所述第二照明光透过所述非关心物被摄体;以及通过将所述第一区域图像信息与所述第三区域图像信息组合来制作所述第一图像信息中的所述非关心物被摄体被透过的局部透过图像。
另外,本发明的一个方式的内窥镜装置具备:光源装置,其能够照射第一照明光和第二照明光,所述第二照明光的波长与所述第一照明光的波长不同且所述第二照明光透过非关心物被摄体;内窥镜,其具备摄像装置,所述摄像装置通过所述光源装置照射所述第一照明光来获取第一图像信息,通过所述光源装置照射所述第二照明光来获取第二图像信息;内窥镜处理器,其具备处理器,所述处理器判别出所述第一图像信息中的、由关心物被摄体构成的第一区域图像信息和由非关心物被摄体构成的第二区域图像信息,生成所述第二图像信息中的、与所述第二区域图像信息的区域相同的区域的第三区域图像信息,通过将所述第一区域图像信息与所述第三区域图像信息组合来制作所述第一图像信息中的所述非关心物被摄体被透过的局部透过图像;以及监视器,其显示所述局部透过图像。
另外,本发明的一个方式的诊断用图像显示方法为,判别出照射第一照明光所获取到的第一图像信息中的、由关心物被摄体构成的第一区域图像信息和由非关心物被摄体构成的第二区域图像信息,生成照射第二照明光所获取到的第二图像信息中的、与所述第二区域图像信息的区域相同的区域的第三区域图像信息,其中,所述第二照明光的波长与所述第一照明光的波长不同且所述第二照明光透过所述非关心物被摄体,通过将所述第一区域图像信息与所述第三区域图像信息组合来制作所述第一图像信息中的所述非关心物被摄体被透过的局部透过图像。
附图说明
图1是示出内窥镜装置1的结构的一例的立体图。
图2是示出内窥镜装置1的结构的一例的框图。
图3是示出内窥镜装置1的其它结构的一例的框图。
图4是示出内窥镜处理器4的电气结构例的框图。
图5是示出识别器43、44的结构例的框图。
图6是示出在白色光图像中存在残渣、血液等的情况下的显示处理的一例的图。
图7是示出内窥镜处理器4的处理的流程图。
图8是示出第二实施方式所涉及的内窥镜装置1的结构的一例的框图。
图9是示出内窥镜处理器4B的处理的流程图。
图10是示出第三实施方式所涉及的内窥镜装置1的结构的一例的框图。
图11是示出内窥镜处理器4C的处理的流程图。
图12是示出第四实施方式所涉及的内窥镜装置1的结构的一例的框图。
图13是示出内窥镜处理器4D的处理的流程图。
图14是示出第五实施方式所涉及的内窥镜装置1的结构的一例的框图。
图15是示出通过显示处理而显示于监视器的显示画面的一例的图。
图16是示出通过显示处理而显示于监视器的显示画面的其它例的图。
具体实施方式
下面,参照附图来对本发明的实施方式进行说明。但是,本发明并不限定于下面说明的实施方式。此外,在附图的记载中,对于相同或对应的要素适当地标注了相同的附图标记。
(第一实施方式)
图1是示出内窥镜装置1的结构的一例的立体图。本实施方式的内窥镜装置1具备内窥镜2、光源装置3、内窥镜处理器4以及监视器5。
内窥镜2具备被插入到被检体的细长的插入部9、用于进行内窥镜2所涉及的各种操作的操作部10、以及用于将内窥镜2与光源装置3及内窥镜处理器4连接的通用线缆17。
插入部9从前端向着基端侧依次具备前端部6、弯曲部7以及挠性管部8。前端部6具备向被检体射出照明光的照明窗、以及被来自被检体的返回光入射的观察窗,虽然省略了它们的图示。本实施方式的内窥镜2被构成为电子内窥镜,在前端部6设置有摄像装置21(参照图2)。摄像装置21具备摄像光学系统和摄像元件。摄像光学系统使从观察窗入射的光以被摄体像的形式成像于摄像元件上。摄像元件是CCD(Charge Coupled Device:电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)等图像传感器。摄像元件对被摄体像进行光电变换来生成并输出摄像信号。摄像信号经由信号线而被传输至内窥镜处理器4。
弯曲部7是在前端部6的基端侧连接设置的能够弯曲的部位,通过进行弯曲来变更前端部6所朝向的方向。通过变更前端部6的方向,来变更被检体的观察部位、或者提高内窥镜2的可插入性。
挠性管部8是在弯曲部7的基端侧连接设置的具有可能性的部位。
在插入部9和操作部10内配设有用于使弯曲部7弯曲的弯曲线以及用于使处置器具贯穿的处置器具通道。另外,在内窥镜2的插入部9、操作部10以及通用线缆17内配设有与摄像元件连接的上述的信号线以及用于传输照明光的光导件。
在操作部10设置有用于通过弯曲线来对弯曲部7进行弯曲操作的弯曲操作部14、包括聚焦开关15的各种开关类等。弯曲操作部14具备用于沿上下方向对弯曲部7进行弯曲操作的UD弯曲操作旋钮12和用于沿左右方向对弯曲部7进行弯曲操作的RL弯曲操作旋钮13。弯曲部7通过将上下方向的弯曲与左右方向的弯曲组合,还能够进行斜方向的弯曲。
在操作部10的前端侧设置有用于手术操作者用手来把持内窥镜2的把持部11以及成为上述的处置器具通道的基端侧的开口的处置器具通道插入口16。
通用线缆17从操作部10的例如基端侧的侧面延伸出。在通用线缆17的基端设置有镜连接器17a。镜连接器17a将内窥镜2装卸自如地与光源装置3连接。通过将镜连接器17a与光源装置3连接,能够利用光导件进行照明光的传输。
从镜连接器17a的侧面延伸出螺旋状的螺旋线缆18。在螺旋线缆18的伸出端设置的镜连接器18a装卸自如地与内窥镜处理器4连接。通过将镜连接器18a与内窥镜处理器4连接,来将摄像元件与内窥镜处理器4电连接。
内窥镜处理器4与作为显示装置的监视器5电连接。内窥镜处理器4对从内窥镜2的摄像元件输出的摄像信号进行处理,来生成显示用图像信息。显示用图像信息从内窥镜处理器4被输出到监视器5,作为包含内窥镜图像的显示图像而被显示于监视器5。另外,监视器5具备输出声音的扬声器5a。
图2是示出内窥镜装置1的结构的一例的框图。
如上所述,内窥镜2具备摄像装置21。摄像装置21通过从光源装置3照射第一照明光来获取第一图像信息(后述的白色光图像信息),通过从光源装置3照射第二照明光来获取第二图像信息(后述的特殊光图像信息)。
光源装置3能够照射第一照明光以及波长与第一照明光的波长不同的第二照明光。本实施方式的光源装置3具备白色光源31和特殊光源32。白色光源31发出观察用的白色光。特殊光源32发出光谱与白色光的光谱不同的特殊光。白色光为第一照明光,特殊光为第二照明光。
具体地说,光源装置3具备发出R(红)、G(绿)、B(蓝)、V(紫)、A(琥珀色)等各色光的多个光源,通过将各色光源组合来构成上述的白色光源31和特殊光源32。
光源装置3例如具备LED(Light Emitting Diode:发光二极管)、或LD(LaserDiode:激光二极管)等发光设备。作为一例,光源装置3具备发出中心波长为约405nm的紫色(V)光的V-LED、发出中心波长为约445nm的蓝色(B)光的B-LED、发出中心波长为约540nm的绿色(G)光的G-LED以及发出中心波长为约630nm的红色(R)光的R-LED。另外,光源装置3根据需要而具备棱镜、反射镜、光纤、或者对波长带或光量等进行调节的光学滤波器等。
本实施方式的光源装置3例如逐帧地依次发出白色光、特殊光。由此,摄像装置21依次获取白色光图像信息(下面称为白色光图像)、特殊光图像信息(下面称为特殊光图像),并在特殊光图像之后再次获取白色光图像,如此重复。
内窥镜处理器4具备图像处理部41、区域判别部42、白色光识别器43、特殊光识别器44、显示处理部46、总线47以及控制部48。
此外,在图2中设置了白色光识别器43和特殊光识别器44这两个,但是也可以为三个以上。
图3是示出内窥镜装置1的其它结构的一例的框图。图3的内窥镜处理器4A是设置有三个识别器的结构。使用第一特殊光识别器45A和第二特殊光识别器45B代替图2的特殊光识别器44来构成内窥镜处理器4A。另外,使用输出第一特殊光的第一特殊光源33和输出第二特殊光的第二特殊光源34代替图2的特殊光源32来构成光源装置3A。
另外,也可以构成为,设置一个具有多种识别功能的识别器,通过切换识别功能来作为白色光识别器43和特殊光识别器44中的任一者发挥功能。
图4是示出内窥镜处理器4的电气结构例的框图。在图2中示出了内窥镜处理器4的功能结构,但是内窥镜处理器4例如具备处理器4a和存储器4b作为电气结构。
处理器4a例如具备包括CPU(Central Processing Unit:中央处理装置)等的ASIC(Application Specific Integrated Circuit:面向特定用途的集成电路)、或FPGA(FieldProgrammable Gate Array:现场可编程门阵列)。存储器4b是RAM(Random Access Memory:随机存取存储器)、快闪存储器、盘存储介质等存储介质。存储器4b包括记录处理程序的能够由计算机读取的非暂态的存储介质。
处理器4a通过读取存储于存储器4b的处理程序并执行该处理程序,来发挥图2所示的各部的功能。但是,并不限定于该结构,处理器4a也可以构成为发挥各部的功能的专用的电子回路。
另外,图5是示出识别器43、44的结构例的框图。白色光识别器43和特殊光识别器44均具备根据通过照射照明光所获取到的图像信息来检测病变候选的区域的病变识别器4c。此外,图3所示的第一特殊光识别器45A和第二特殊光识别器45B也是同样的结构。病变识别器4c例如包括学习了病变图像的人工智能(AI:Artificial Intelligence)。
摄像装置21依次获取白色光图像信息(下面称为白色光图像)、特殊光图像信息(下面称为特殊光图像),并在特殊光图像之后再次获取白色光图像,如此重复。
向图像处理部41输入由摄像装置21依次获取到的白色光图像和特殊光图像。图像处理部41对从摄像装置21输出的图像信息进行去马赛克、噪声校正、颜色校正、对比度校正、伽玛校正等各种处理,从而变换为能够输出到监视器5的格式的图像信号(显示用图像信息)。
区域判别部42通过判别白色光图像的颜色,来判别是以白色光图像能够观察的区域(或者图像)、还是以白色光图像难以观察的区域(或者图像)。在此,以白色光图像能够观察的区域是拍摄有粘膜、血管、病变等的区域,以白色光图像难以观察的区域是因胆汁/残渣、血液等而不能够观察到它们之下的粘膜、血管、病变等的区域。
具体地说,区域判别部42通过判别白色光图像的颜色是黄色或红色,来判别以白色光图像能够观察的粘膜等的区域和以白色光图像难以观察的胆汁/残渣、血液等的区域。更具体地说,区域判别部42分割为规定的区域,在各规定的区域中黄色或红色的比例小于规定值的情况下,判别为以白色光图像能够观察的区域,在各规定的区域中黄色或红色的比例为规定值以上的情况下,判别为以白色光图像难以观察的区域。
区域判别部42将以白色光图像能够观察的区域的图像信息输出到白色光识别器43。另一方面,区域判别部42对于以白色光图像难以观察的区域,生成特殊光图像中的、与以白色光图像难以观察的区域相同的区域的图像信息,并输出到特殊光识别器44。
构成第一识别器的白色光识别器43是根据利用白色光拍摄到的白色光图像来检测病变的识别器。白色光识别器43包括通过机器学习、深度学习等来学习被拍摄为白色光图像的病变图像的AI。白色光识别器43检测在白色光图像中的由区域判别部42判别为以白色光图像能够观察的粘膜区域的区域是否存在病变候选(或者病变)。另外,白色光识别器43计算所检测到的病变候选的可靠度评分。可靠度评分表示病变候选实际发生病变的准确度(确信度)。
构成第二识别器的特殊光识别器44是根据利用特殊光拍摄到的特殊光图像来检测病变的识别器,该特殊光透过以白色光图像难以观察的胆汁/残渣、血液等(光不被吸收)。特殊光识别器44包括通过机器学习、深度学习等来学习被拍摄为特殊光图像的病变图像的AI。特殊光识别器44检测在特殊光图像中的以白色难以观察的区域是否存在病变候选(或者病变)。另外,特殊光识别器44计算所检测到的病变候选的可靠度评分。
此外,由于在胆汁/残渣处透过的特殊光与在血液处透过的特殊光不同,因此学习数据也不同。因此,特殊光识别器44对于胆汁/残渣以及血液自适应地切换学习数据来进行学习。此外,也可以如图3的结构那样对于每种特殊光具有识别器。
具体地说,内窥镜处理器4A设置有作为根据利用透过胆汁/残渣的从第一特殊光源33射出的第一特殊光拍摄到的第一特殊光图像来检测病变的识别器的第一特殊光识别器45A、以及作为根据利用透过血液的从第二特殊光源34射出的第二特殊光拍摄到的第二特殊光图像来检测病变的识别器的第二特殊光识别器45B。
在该情况下,第一特殊光识别器45A是根据透过胆汁/残渣的第一特殊光(通过仅使用除了蓝色频带的光以外的绿色频带和红色频带的光,能够透过胆汁/残渣来观察粘膜)图像来检测病变的识别器。第一特殊光识别器45A包括通过机器学习、深度学习等来学习作为透过胆汁/残渣所得到的第一特殊光图像而拍摄到的病变图像的AI。
第二特殊光识别器45B是根据透过血液的第二特殊光(通过使用在600nm附近具有峰的琥珀色光和红色频带的光,能够透过稀薄的血液来观察粘膜)图像来检测病变的识别器。第二特殊光识别器45B包括通过机器学习、深度学习等来学习作为透过血液所得到的第二特殊光图像而拍摄到的病变图像的AI。
显示处理部46通过将经由白色光识别器43和特殊光识别器44输入的图像信息组合来制作后述的局部透过图像,并向监视器5输出影像信号。另外,显示处理部46进行在局部透过图像中显示由白色光识别器43和/或特殊光识别器44检测到的病变信息(病变的有无、位置)的图像合成处理,并向监视器5输出影像信号。
总线47是供内窥镜处理器4内的各部进行命令、信息的发送和接收的传输路径。
控制部48经由总线47而与图像处理部41、区域判别部42、白色光识别器43、特殊光识别器44以及显示处理部46连接,并对它们进行控制。
接着,使用图6来对内窥镜处理器4的显示处理进行说明。图6是示出在白色光图像中存在残渣、血液等的情况下的显示处理的一例的图。
区域判别部42判别出照射作为第一照明光的白色光所获取到的白色光图像60中的、拍摄有粘膜、血管、病变等关心物被摄体的第一区域图像信息(下面称为第一区域图像)80、以及拍摄有残渣、血液等非关心物被摄体的第二区域图像信息(下面称为第二区域图像)81。即,第一区域图像80是能够利用白色光来观察粘膜、血管、病变等的区域图像,第二区域图像81是不能够利用白色光来观察粘膜、血管、病变等的区域图像。区域判别部42将能够利用白色光进行观察的第一区域图像80输出到白色光识别器43。
另外,区域判别部42生成照射作为第二照明光的特殊光所获取到的特殊光图像70中的、处于与第二区域图像相同的区域内的第三区域图像信息(下面称为第三区域图像)82。区域判别部42将利用特殊光透过残渣、血液等而得到的第三区域图像82输出到特殊光识别器44。
白色光识别器43使用AI来针对第一区域图像80检测病变候选以及计算可靠度评分。白色光识别器43不仅向显示处理部46输出检测到的病变候选、计算出的可靠度评分,还向显示处理部46输出第一区域图像80。
另外,特殊光识别器44使用AI来针对第三区域图像检测病变候选以及计算可靠度评分。特殊光识别器44不仅向显示处理部46输出检测到的病变候选、计算出的可靠度评分,还向显示处理部46输出第三区域图像82。
显示处理部46将第一区域图像80与第三区域图像82组合,来生成白色光图像60中的作为非关心物被摄体的残渣、血液等被透过的局部透过图像信息(下面称为局部透过图像)90。另外,显示处理部46在第一区域图像80中检测到病变候选83且在第三区域图像82中检测到病变候选84的情况下,在病变候选83和84处显示示出位置、大小等的标记85和86。
图7是示出内窥镜处理器4的处理的流程图。此外,在向内窥镜处理器4输入由摄像装置21拍摄到的图像的期间重复执行图7的处理。
通过光源装置3依次切换地发出白色光和特殊光,从而由摄像装置21交替地拍摄白色光图像和特殊光图像,白色光图像和特殊光图像被输入到内窥镜处理器4的图像处理部41。然后,由图像处理部41实施图像处理后,白色光图像和特殊光图像被输入到区域判别部42。
区域判别部42将白色光图像分割为规定的区域(S1),判别分割得到的白色光图像的各规定的区域的颜色(S2)。
接着,区域判别部42对于各规定的区域判别黄色或红色是否为规定值以上(S3)。区域判别部42在对于各规定的区域判别为黄色或红色为规定值以上的情况下,生成特殊光图像中的与判别为规定值以上的区域相同的区域的区域图像,并输出到特殊光识别器44(S4)。特殊光识别器44对于各规定的区域检测病变候选(S5)。特殊光识别器44将所输入的区域图像和检测到的病变候选输出到显示处理部46。
另一方面,区域判别部42在判别为黄色或红色不为规定值以上的情况下,将白色光图像中的判别为黄色或红色不为规定值以上的区域图像输出到白色光识别器43(S6)。白色光识别器43对于各规定的区域检测病变候选(S7)。白色光识别器43将所输入的区域图像和检测到的病变候选输出到显示处理部46。
显示处理部46生成将各区域图像组合所得到的局部透过图像,进行在监视器5显示该局部透过图像的显示处理(S8)。由此,残渣、血液等被透过的局部透过图像显示于监视器5。另外,在通过S5和/或S7的处理检测到病变候选的情况下,显示处理部46在S8的处理中进行在病变候选处显示标记的显示处理。
如上面那样,内窥镜处理器4对于不包含规定值以上的黄色或红色的区域图像(第一区域图像),将白色光图像输入到白色光识别器43来检测病变,对于包含规定值以上的黄色或红色的区域图像(第二区域图像),将特殊光图像中的存在于与第二区域图像相同的区域内的区域图像(第三区域图像)输入到特殊光识别器44来检测病变。
然后,内窥镜处理器4通过将第一区域图像与第三区域图像组合,来制作白色光图像中的残渣、血液等被透过的局部透过图像。其结果是,内窥镜处理器4无需去除残渣、血液就能够实现检测病变的功能。
(第二实施方式)
在第一实施方式中,交替地发出白色光和特殊光,获取到白色光图像和特殊光图像。与此相对,在第二实施方式中,不同点在于,在判断为以白色光图像难以观察时,发出特殊光来获取特殊光图像。
图8是示出第二实施方式所涉及的内窥镜装置1的结构的一例的框图。此外,在图8中,对于与图2相同的构成要素,标注相同的附图标记并省略说明。
使用区域判别部42A和控制部48A代替图2的区域判别部42和控制部48来构成内窥镜处理器4B。区域判别部42A在判别为存在由于残渣、血液等而以利用白色光拍摄到的白色光图像难以检测病变等的第二区域图像81的情况下,将判别结果输出到控制部48A。具体地说,区域判别部42A将白色光图像分割为规定的区域,对于各规定的区域判别黄色或红色是否为规定值以上,在判别为黄色或红色为规定值以上的情况下,将表示存在难以检测病变等的第二区域图像的判别结果输出到控制部48A。此时,区域判别部42A在存在第二区域图像的情况下,将以白色光图像能够检测病变等的第一区域图像输出到白色光识别器43。
控制部48A当接收到表示存在第二区域图像的判别结果时,控制光源装置3以使其发出特殊光。即,控制部48A在通常状态下以使光源装置3发出白色光的方式控制光源装置3,在从区域判别部42A接收到表示存在第二区域图像的判别结果的情况下以使光源装置3发出特殊光的方式控制光源装置3。
光源装置3响应于来自控制部48A的控制而从白色光切换为特殊光地进行发光。由此,向处理器4A输入由摄像装置21拍摄到的特殊光图像。区域判别部42A生成所输入的特殊光图像中的、处于与第二区域图像相同的区域内的第三区域图像,并输出到特殊光识别器44。
白色光识别器43、特殊光识别器44以及显示处理部46的动作与第一实施方式同样,在监视器5显示图6所示的局部透过图像90。
图9是示出内窥镜处理器4B的处理的流程图。在向内窥镜处理器4B输入由摄像装置21拍摄到的图像的期间重复执行图9的处理。
通过光源装置3发出白色光,从而由摄像装置21拍摄白色光图像,白色光图像被输入到内窥镜处理器4B的图像处理部41。然后,由图像处理部41实施图像处理后,白色光图像被输入到区域判别部42A。
区域判别部42A将白色光图像分割为规定的区域(S11),判别分割得到的白色光图像的各规定的区域的颜色(S12)。
接着,区域判别部42A对于各规定的区域判别黄色或红色是否为规定值以上(S13)。区域判别部42A在对于各规定的区域判别为黄色或红色为规定值以上的情况下,将判别结果输出到控制部48A,并获取特殊光图像(S14)。区域判别部42A生成所获取到的特殊光图像中的与判别为规定值以上的区域相同的区域的区域图像,并输出到特殊光识别器44(S15)。特殊光识别器44对于各规定的区域检测病变候选(S16)。特殊光识别器44将所输入的区域图像和检测到的病变候选输出到显示处理部46。
另一方面,区域判别部42A在判别为黄色或红色不为规定值以上的情况下,将白色光图像中的判别为黄色或红色不为规定值以上的区域图像输出到白色光识别器43(S17)。白色光识别器43对于各规定的区域检测病变候选(S18)。白色光识别器43将所输入的区域图像和检测到的病变候选输出到显示处理部46。
显示处理部46生成将各区域图像组合所得到的局部透过图像,进行在监视器5显示该局部透过图像的显示处理(S19)。另外,在通过S16和/或S18的处理检测到病变候选的情况下,显示处理部46在S19的处理中进行在病变候选处显示标记的显示处理。
通过上面的处理,内窥镜处理器4B能够与第一实施方式同样地将透过了残渣、血液等的局部透过图像显示于监视器5。
(第三实施方式)
在第一和第二实施方式中,区域判别部42及42A通过判别白色光图像的各规定的区域的颜色,来判别出是否为难以观察的区域图像。与此相对,在第三实施方式中,不同点在于,以白色光识别器43、特殊光识别器44的病变判别的可靠度评分(确信度)进行判别。
图10是示出第三实施方式所涉及的内窥镜装置1的结构的一例的框图。此外,在图10中,对于与图2相同的构成要素,标注相同的附图标记并省略说明。
使用区域判别部42B和显示处理部46A代替图2的区域判别部42和显示处理部46来构成内窥镜处理器4C。向区域判别部42B输入白色光图像、特殊光图像。区域判别部42B将白色光图像分割为规定的区域并输出到白色光识别器43,将特殊光图像分割为规定的区域并输出到特殊光识别器44。
白色光识别器43对于分割得到的白色光图像的各规定的区域检测病变候选以及计算可靠度评分。白色光识别器43将病变候选的检测结果和可靠度评分的计算结果输出到显示处理部46A。特殊光识别器44对于分割得到的特殊光图像的各规定的区域检测病变候选以及计算可靠度评分。特殊光识别器44将病变候选的检测结果和可靠度评分的计算结果输出到显示处理部46A。
显示处理部46A对于分割成了规定的区域的白色光图像和特殊光图像的相同的各区域比较可靠度评分,显示可靠度评分高的区域。
图11是示出内窥镜处理器4C的处理的流程图。在向内窥镜处理器4C输入由摄像装置21拍摄到的图像的期间重复执行图11的处理。
通过光源装置3依次切换地发出白色光和特殊光,从而由摄像装置21交替地拍摄白色光图像和特殊光图像,白色光图像和特殊光图像被输入到内窥镜处理器4C的图像处理部41。然后,由图像处理部41实施图像处理后,白色光图像和特殊光图像被输入到区域判别部42B。
区域判别部42B将白色光图像分割为规定的区域(S21),并输出到白色光识别器43。白色光识别器43对于各规定的区域检测病变候选以及计算可靠度评分(S22)。病变候选和可靠度评分的信息被输入到显示处理部46A。
另外,区域判别部42B将特殊光图像分割为规定的区域(S23),并输出到特殊光识别器44。特殊光识别器44对于各规定的区域检测病变候选以及计算可靠度评分(S24)。病变候选和可靠度评分的信息被输入到显示处理部46A。
显示处理部46A判定特殊光识别器44的可靠度评分是否高(S25)。显示处理部46A进行如下的显示处理:在判定为特殊光识别器44的可靠度评分高的情况下,选择特殊光图像的规定的区域进行显示,在判定为特殊光识别器44的可靠度评分不高的情况下,选择白色光图像的规定的区域进行显示(S26)。另外,在通过S22和/或S24的处理检测到病变候选的情况下,显示处理部46A在S26的处理中进行在病变候选处显示标记的显示处理。
通过上面的处理,内窥镜处理器4C能够与第一实施方式同样地将透过了残渣、血液等的局部透过图像显示于监视器5。
(第四实施方式)
在第一~第三实施方式中,对一张图像进行分割,并对于各区域进行判别。与此相对,在第四实施方式中,以图像为单位进行判别。
图12是示出第四实施方式所涉及的内窥镜装置1的结构的一例的框图。此外,在图12中,对于与图2相同的构成要素,标注相同的附图标记并省略说明。
删除图2的区域判别部42并且使用显示处理部46B代替显示处理部46来构成内窥镜处理器4D。
图像处理部41将白色光图像和特殊光图像输出到白色光识别器43和特殊光识别器44。白色光识别器43根据白色光图像检测病变候选以及计算可靠度评分,并输出到显示处理部46B。特殊光识别器44根据特殊光图像检测病变候选以及计算可靠度评分,并输出到显示处理部46B。
显示处理部46B判定特殊光识别器44中的可靠度评分是否高。显示处理部46B在判定为特殊光识别器44中的评分高的情况下,以将特殊光图像显示于监视器5的方式进行显示处理。另一方面,显示处理部46B在判定为特殊光识别器44中的评分不高的情况下,以将白色光图像显示于监视器5的方式进行显示处理。
图13是示出内窥镜处理器4D的处理的流程图。在向内窥镜处理器4D输入由摄像装置21拍摄到的图像的期间重复执行图13的处理。
通过光源装置3依次切换地发出白色光和特殊光,从而由摄像装置21交替地拍摄白色光图像和特殊光图像,白色光图像和特殊光图像被输入到内窥镜处理器4的图像处理部41。然后,由图像处理部41实施图像处理后,白色光图像和特殊光图像被输入到白色光识别器43和特殊光识别器44。
白色光识别器43根据白色光图像检测病变候选以及计算可靠度评分(S31)。病变候选和可靠度评分的信息被输入到显示处理部46B。特殊光识别器44根据特殊光图像检测病变候选以及计算可靠度评分(S32)。病变候选和可靠度评分的信息被输入到显示处理部46B。
显示处理部46B判定特殊光识别器44的可靠度评分是否高(S33)。显示处理部46B在判定为特殊光识别器44的可靠度评分高的情况下,进行显示特殊光图像的显示处理(S34)。另外,在通过S32的处理检测到病变候选的情况下,显示处理部46B在S34的处理中进行在病变候选处显示标记的显示处理。
另一方面,显示处理部46B在判定为特殊光识别器44的可靠度评分不高的情况下,进行显示白色光图像的显示处理(S35)。另外,在通过S31的处理检测到病变候选的情况下,显示处理部46B在S35的处理中进行在病变候选处显示标记的显示处理。
通过上面的处理,内窥镜处理器4D能够将白色光图像和特殊光图像中的、能够观察到病变候选的可能性高的一方的图像显示于监视器5。
(第五实施方式)
在第一~第四实施方式中,进行了病变位置的检测和显示。与此相对,在第五实施方式中,不同点在于显示病变的辨别结果。
图14是示出第五实施方式所涉及的内窥镜装置1的结构的一例的框图。此外,在图14中,对于与图2相同的构成要素,标注相同的附图标记并省略说明。
分别使用白色光识别器43A、特殊光识别器44A以及显示处理部46C代替图2的白色光识别器43、特殊光识别器44以及显示处理部46来构成内窥镜处理器4E。
白色光识别器43A和特殊光识别器44A学习病变图像并且学习辨别信息。由此,白色光识别器43A和特殊光识别器44A不仅能够检测病变候选,还能够按可靠度评分(确信度)从高到低的顺序输出辨别信息(辨别结果)。
图15是示出通过显示处理而显示于监视器的显示画面的一例的图,图16是示出通过显示处理而显示于监视器的显示画面的其它例的图。
显示处理部46C显示能够观察病变的图像并且显示辨别信息。如图15所示,显示处理部46C显示检测到病变候选的图像(白色光图像或特殊光图像)以及与该图像相邻地显示可靠度评分高的辨别信息91。此外,在图15的例子中,显示处理部46C显示了一个病名作为辨别信息91,但是不限定于此,也可以显示多个病名以及各病名的概率等。另外,显示处理部46C不限定于显示病名作为辨别信息91,也可以显示例如疾病的发展程度。
另外,显示处理部46C也可以显示白色光图像以及观察到病变的图像。显示处理部46C例如如图16所示那样在主画面显示白色光图像101以及表示病变候选的位置和大小等的标记102及103,并将检测到病变候选的特殊光图像104显示于比主画面小的子画面。此外,显示处理部46C也可以在检测到病变候选的图像为白色光图像101的情况下,在子画面不显示特殊光图像104。
通过上面的处理,内窥镜处理器4E不仅能够进行病变候选的位置的检测和显示,还能够将辨别信息显示于监视器5。
此外,本说明书中的流程图中的各步骤只要不违反其性质,就可以变更执行顺序、多个步骤同时执行、或者每次执行时都以不同的顺序执行。
本发明不限定于上述的实施方式,在不脱离发明的宗旨的范围内能够进行各种变更、组合、应用,这是不言而喻的。

Claims (9)

1.一种内窥镜处理器,具有处理器,所述处理器进行以下处理:
判别出照射第一照明光所获取到的第一图像信息中的、由关心物被摄体构成的第一区域图像信息和由非关心物被摄体构成的第二区域图像信息;
生成照射第二照明光所获取到的第二图像信息中的、与所述第二区域图像信息的区域相同的区域的第三区域图像信息,其中,所述第二照明光的波长与所述第一照明光的波长不同且所述第二照明光透过所述非关心物被摄体;以及
通过将所述第一区域图像信息与所述第三区域图像信息组合来制作所述第一图像信息中的所述非关心物被摄体被透过的局部透过图像。
2.根据权利要求1所述的内窥镜处理器,其中,
所述第一照明光为白色光。
3.根据权利要求1所述的内窥镜处理器,其中,
所述处理器进行以下处理:
针对所述第一区域图像信息检测病变候选;
针对所述第三区域图像信息检测病变候选;以及
将检测结果添加到所述局部透过图像中。
4.根据权利要求1所述的内窥镜处理器,其中,
所述处理器将照射所述第一照明光所获取到的所述第一图像信息分割为规定的区域,并判别出由所述关心物被摄体构成的第一分割图像信息和由所述非关心物被摄体构成的第二分割图像信息。
5.根据权利要求4所述的内窥镜处理器,其中,
所述处理器将分割成了所述规定的区域的所述第一图像信息中的、规定颜色的比例小于规定值的区域判别为所述第一分割图像信息,将所述规定颜色的比例为所述规定值以上的区域判别为所述第二分割图像信息。
6.根据权利要求3所述的内窥镜处理器,其中,
所述处理器进行以下处理:
针对所述第一区域图像信息的病变候选计算第一可靠度评分;以及
针对所述第三区域图像信息的病变候选计算第二可靠度评分。
7.根据权利要求3所述的内窥镜处理器,其中,
所述处理器获取所述病变候选的辨别信息,将所述辨别信息与被检测出所述病变候选的所述第一图像信息或所述第二图像信息一起显示于监视器。
8.一种内窥镜装置,具备:
光源装置,其能够照射第一照明光和第二照明光,所述第二照明光的波长与所述第一照明光的波长不同且所述第二照明光透过非关心物被摄体;
内窥镜,其具备摄像装置,所述摄像装置通过所述光源装置照射所述第一照明光来获取第一图像信息,通过所述光源装置照射所述第二照明光来获取第二图像信息;
内窥镜处理器,其具备处理器,所述处理器判别出所述第一图像信息中的、由关心物被摄体构成的第一区域图像信息和由非关心物被摄体构成的第二区域图像信息,
所述处理器生成所述第二图像信息中的、与所述第二区域图像信息的区域相同的区域的第三区域图像信息,
所述处理器通过将所述第一区域图像信息与所述第三区域图像信息组合来制作所述第一图像信息中的所述非关心物被摄体被透过的局部透过图像;以及
监视器,其显示所述局部透过图像。
9.一种诊断用图像显示方法,其中,
判别出照射第一照明光所获取到的第一图像信息中的、由关心物被摄体构成的第一区域图像信息和由非关心物被摄体构成的第二区域图像信息,
生成照射第二照明光所获取到的第二图像信息中的、与所述第二区域图像信息的区域相同的区域的第三区域图像信息,其中,所述第二照明光的波长与所述第一照明光的波长不同且所述第二照明光透过所述非关心物被摄体,
通过将所述第一区域图像信息与所述第三区域图像信息组合来制作所述第一图像信息中的所述非关心物被摄体被透过的局部透过图像。
CN202180095720.9A 2021-07-02 2021-07-02 内窥镜处理器、内窥镜装置以及诊断用图像显示方法 Pending CN117042669A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/025205 WO2023276158A1 (ja) 2021-07-02 2021-07-02 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法

Publications (1)

Publication Number Publication Date
CN117042669A true CN117042669A (zh) 2023-11-10

Family

ID=84691109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095720.9A Pending CN117042669A (zh) 2021-07-02 2021-07-02 内窥镜处理器、内窥镜装置以及诊断用图像显示方法

Country Status (3)

Country Link
US (1) US20230360298A1 (zh)
CN (1) CN117042669A (zh)
WO (1) WO2023276158A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4895750B2 (ja) * 2006-10-03 2012-03-14 Hoya株式会社 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
JP6042817B2 (ja) * 2011-10-06 2016-12-14 オリンパス株式会社 蛍光観察装置
CN109195502B (zh) * 2016-05-19 2021-03-09 奥林巴斯株式会社 活体观察系统
EP3593704A4 (en) * 2017-03-07 2020-04-15 Sony Corporation INFORMATION PROCESSING DEVICE, AUXILIARY SYSTEM AND INFORMATION PROCESSING METHOD
CN111818837B (zh) * 2018-03-05 2023-12-08 奥林巴斯株式会社 内窥镜系统
JP7287969B2 (ja) * 2018-08-31 2023-06-06 Hoya株式会社 内視鏡システム、および内視鏡システム作動方法

Also Published As

Publication number Publication date
WO2023276158A1 (ja) 2023-01-05
US20230360298A1 (en) 2023-11-09
JPWO2023276158A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
CN110325100B (zh) 内窥镜系统及其操作方法
EP3142350B1 (en) Electric endoscope system, processing apparatus for electronic endoscope, and image processing method
US10362930B2 (en) Endoscope apparatus
US11123150B2 (en) Information processing apparatus, assistance system, and information processing method
US10867367B2 (en) Image processing apparatus, image processing method, computer-readable recording medium, and endoscope apparatus
US11045079B2 (en) Endoscope device, image processing apparatus, image processing method, and program
WO2019138773A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
US20190246875A1 (en) Endoscope system and endoscope
US20170251915A1 (en) Endoscope apparatus
EP1743568A2 (en) Image processing device
CN112969403A (zh) 医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置
US20170055816A1 (en) Endoscope device
US10462440B2 (en) Image processing apparatus
WO2018073959A1 (ja) 内視鏡スコープ、内視鏡プロセッサおよび内視鏡用アダプタ
US20190253675A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
CN117042669A (zh) 内窥镜处理器、内窥镜装置以及诊断用图像显示方法
JP2013048646A (ja) 診断システム
CN112969402B (zh) 内窥镜系统以及用于内窥镜系统的图像处理装置和图像处理方法
CN114554937A (zh) 内窥镜系统、控制程序及显示方法
JP6663692B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の制御方法
US20240046599A1 (en) Endoscope processor, endoscope device, and method of generating diagnostic image
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
US20230074314A1 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination