CN112566537A - 内窥镜系统 - Google Patents
内窥镜系统 Download PDFInfo
- Publication number
- CN112566537A CN112566537A CN201980053121.3A CN201980053121A CN112566537A CN 112566537 A CN112566537 A CN 112566537A CN 201980053121 A CN201980053121 A CN 201980053121A CN 112566537 A CN112566537 A CN 112566537A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- recognition
- recognition processing
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 341
- 239000003814 drug Substances 0.000 claims abstract description 27
- 229940079593 drug Drugs 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 62
- 230000003902 lesion Effects 0.000 claims description 51
- 238000005286 illumination Methods 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000003321 amplification Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 61
- 230000008569 process Effects 0.000 description 42
- 238000003745 diagnosis Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000000295 complement effect Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 230000008827 biological function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000011017 operating method Methods 0.000 description 3
- 208000037062 Polyps Diseases 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000003200 Adenoma Diseases 0.000 description 1
- 206010001233 Adenoma benign Diseases 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 208000017819 hyperplastic polyp Diseases 0.000 description 1
- KHLVKKOJDHCJMG-QDBORUFSSA-L indigo carmine Chemical compound [Na+].[Na+].N/1C2=CC=C(S([O-])(=O)=O)C=C2C(=O)C\1=C1/NC2=CC=C(S(=O)(=O)[O-])C=C2C1=O KHLVKKOJDHCJMG-QDBORUFSSA-L 0.000 description 1
- 229960003988 indigo carmine Drugs 0.000 description 1
- 235000012738 indigotine Nutrition 0.000 description 1
- 239000004179 indigotine Substances 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Vascular Medicine (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种防止进行了识别处理的结果以及未进行识别处理的结果的误认的内窥镜系统。内窥镜系统(10)具备:辨别部(73),其辨别拍摄被摄体而得到的图像的种类;识别部(72),其进行使用图像来识别被摄体的识别处理;以及报知部(65),其针对辨别部(73)辨别出的特定种类的图像,报知识别处理是否发挥功能。辨别部(73)例如通过判别动作模式、在被摄体的摄影中使用的内窥镜的机种、或者有无向被摄体投予药剂来辨别图像的种类。
Description
技术领域
本发明涉及一种使用利用内窥镜拍摄到的图像进行被摄体的识别处理的内窥镜系统。
背景技术
在医疗领域中,具备光源装置、内窥镜以及处理器装置的内窥镜系统正在普及。光源装置产生照明光。内窥镜使用图像传感器拍摄被摄体。处理器装置进行图像的生成及其他图像处理等。
内窥镜系统不仅为了观察而拍摄被摄体,有时还具有附加功能。例如,已知有具有利用触摸面板操作处置器具的位置和朝向的“输入模式”的内窥镜系统(专利文献1)。在该专利文献1的内窥镜系统中,在画面上显示上述输入模式的状态。另外,已知一种具有如下功能的内窥镜系统:在画面上显示表示内窥镜顶端部的弯曲状态的图像、以及告知校准已结束的旨意等的字符串,通知系统的异常等(专利文献2)。除此以外,已知有在画面上显示脚踏开关的接通或断开状态的内窥镜系统(专利文献3)、在画面上显示表示供气中的标记的内窥镜系统(专利文献4)、以及在画面上显示录像的接通或断开状态的内窥镜系统(专利文献5)。
另外,近年来,还已知有通过使用拍摄被摄体而得到的图像进行计算等获得生物体功能信息来辅助诊断的内窥镜系统(专利文献6)。
以往技术文献
专利文献
专利文献1:日本特开2008-245840号公报
专利文献2:日本特开2007-330405号公报
专利文献3:日本特开2005-305574号公报
专利文献4:日本特开平11-10313号公报
专利文献5:日本特开昭63-259614号公报
专利文献6:日本特开2018-51364号公报
发明内容
发明要解决的技术课题
在通过使用利用内窥镜拍摄到的图像(以下,称为内窥镜图像)等医疗图像识别具有特定特征的被摄体或被摄体的一部分来获得辅助诊断的信息(以下,称为诊断辅助信息)的情况下,需要使用通过在特定条件下进行拍摄使识别处理能够发挥功能的医疗图像。这是因为,当使用识别处理不能发挥功能的医疗图像时,即使得到识别处理的结果,有时识别处理的结果也不准确。
但是,通常不一定总是可获取识别处理能够发挥功能的医疗图像。因此,有时不准确的识别处理的结果、或使用不准确的识别处理的结果进行计算等获得的诊断辅助信息反而会妨碍被摄体的观察或诊断。例如,在具有用于摄影的照明光的种类不同的多个观察模式的内窥镜系统中,对于在特定的观察模式下得到的内窥镜图像,能够得到准确性高的识别处理的结果,但在使用在其他观察模式下得到的内窥镜图像的情况下,有时识别处理的精度低。
为了不提供如上所述的不准确的识别处理的结果等,考虑在无法获取识别处理能够发挥功能的医疗图像的情况下不进行识别处理。然而,当根本不进行识别处理时,作为用户的医生等可能会错误地识别识别处理的结果或未进行识别处理的结果。例如,在正在使用进行检测候选病变的识别处理的装置等的情况下,当根本不进行识别处理时,使用该装置的医生等有时会误认为进行了识别处理的结果是未检测到候选病变。即,有时医生等无法判别是由于未进行识别处理而未显示识别处理的结果、还是由于进行了识别处理的结果是没有识别的对象而未显示识别处理的结果。
本发明的目的在于提供一种至少防止进行了识别处理的结果以及未进行识别处理的结果的误认的内窥镜系统。
用于解决技术课题的手段
本发明的内窥镜系统具备:辨别部,其辨别拍摄被摄体而得到的图像的种类;识别部,其进行使用图像来识别被摄体的识别处理;以及报知部,其针对辨别部辨别出的特定种类的图像,报知识别处理是否发挥功能。
优选辨别部通过判别动作模式、在被摄体的摄影中使用的内窥镜的机种、或者有无向被摄体投予药剂来辨别图像的种类。
优选辨别部通过判别由在摄影中使用的照明光的种类、有无光学放大处理、或者有无图像处理确定的动作模式来辨别图像的种类。
优选报知部至少在切换了图像的种类的情况下,报知识别处理是否发挥功能。
优选报知部在识别部已启动的情况下和识别部已停止的情况下,以不同的方式报知识别处理是否发挥功能。
优选识别部在图像的种类是识别处理发挥功能的种类的情况下自动启动,并且,识别部在图像的种类是识别处理不发挥功能的种类的情况下自动停止。
优选识别部识别有无被摄体的病变或候选病变。
优选识别部识别被摄体的病变或候选病变的种类或发展程度。
优选识别部是具有学习功能的人工智能。
优选在具有分别针对不同种类的图像发挥功能的多个识别部的情况下,报知部针对各个识别部报知识别处理是否发挥功能。
发明效果
根据本发明,能够提供一种防止进行了识别处理的结果以及未进行识别处理的结果的误认的内窥镜系统。
附图说明
图1是内窥镜系统的外观图。
图2是内窥镜系统的框图。
图3是图像处理部的框图。
图4是第一实施方式的流程图。
图5是报知识别处理发挥功能的旨意的显示例。
图6是报知识别处理发挥功能的旨意的显示例。
图7是报知识别结果不发挥功能的旨意的显示例。
图8是显示动作模式的显示例。
图9是用图标显示识别处理发挥功能的旨意的显示例。
图10是用图标显示识别处理不发挥功能的旨意的显示例。
图11是识别处理发挥功能的旨意的另一显示例。
图12是识别处理不发挥功能的旨意的另一显示例。
图13是报知识别处理是否以在监视器上显示以外的方法发挥功能时的处理器装置的框图。
图14是第二实施方式的流程图。
图15是第三实施方式的流程图。
图16是第四实施方式的流程图。
图17是第五实施方式的流程图。
图18是第六实施方式的流程图。
图19是表示四种报知方式的说明图。
图20是识别部包括多个AI时的图像处理部的框图。
图21是具有多个识别部时的图像处理部的框图。
图22是表示医疗图像处理装置的说明图。
图23是表示诊断支援装置的说明图。
图24是表示医疗业务支援装置的说明图。
具体实施方式
[第一实施方式]
如图1所示,内窥镜系统10(内窥镜装置)具备内窥镜12、光源装置14、处理器装置16、监视器18、以及控制台19。内窥镜12拍摄被摄体。光源装置14产生照明光。处理器装置16进行内窥镜系统10的系统控制和图像处理等。监视器18是显示由内窥镜12拍摄到的图像等的显示部。控制台19是向处理器装置16等进行设定输入等的输入设备。
内窥镜12具有:插入到被检体内的插入部12a;设置在插入部12a的基端部分的操作部12b;设置在插入部12a的顶端侧的弯曲部12c;以及顶端部12d。通过操作操作部12b的弯角钮12e,弯曲部12c进行弯曲。其结果是,顶端部12d朝向期望的方向。另外,在操作部12b上,除了弯角钮12e之外,还设有变焦操作部13a和模式切换操作部13b。通过操作变焦操作部13a,可放大或缩小被摄体进行摄影。另外,通过操作模式切换操作部13b来切换动作模式。动作模式是指内窥镜12、光源装置14、或处理器装置16中的任一个的动作方式、或者它们中的两个以上的动作方式的组合。
具体而言,动作模式由在被摄体的摄影中使用的照明光的种类、有无光学放大处理、或者有无图像处理(包括它们的组合)来确定。为了方便,对于内窥镜12的动作模式、光源装置14的动作模式、或者处理器装置16的动作模式这样的情况也同样。照明光的种类是指能够通过照明光的波长、波长频带、或分光光谱来区别的照明光的种类。光学放大处理是使用变焦透镜47(参照图2)的放大处理,即光学变焦。有无光学放大处理是指进行光学放大或不进行光学放大。有无光学放大处理包括以下情况:在特定放大率以上的情况下设为有光学放大处理,相反,即使使用光学变焦,在小于特定放大率的情况下也设为没有光学放大处理(即,考虑光学放大处理的放大率的大小的情况)。此外,取代光学放大处理或者与光学放大处理组合,内窥镜系统10可进行电子放大处理。电子放大处理是指放大内窥镜图像的一部分的处理,即电子变焦。确定动作模式的图像处理是指在图像处理部61(参照图2)中对内窥镜图像进行的各种处理的一部分或全部。有无图像处理是指实施或不实施特定的图像处理。在有无图像处理中,包括在以特定强度以上实施图像处理的情况下设为有图像处理、在实施小于特定强度的图像处理的情况下设为没有图像处理的情况(即考虑图像处理的强度的轻重的情况)。
内窥镜系统10例如具有:普通观察模式,使用白色光拍摄被摄体,并以自然的色调显示被摄体;以及特殊观察模式,使用具有与白色光不同的特定波长频带的照明光拍摄并显示被摄体。在特殊观察模式下,例如有如下模式:使用与在通用观察模式下使用的白色光相比含有较多蓝色或紫色成分的照明光来拍摄被摄体,从而容易观察微细的血管等特定的组织或结构的模式;或者调制内窥镜图像的颜色而容易观察特定的病变等的模式等。以下,除了特别需要的情况以外,将上述细分化的多个特殊观察模式简称为特殊观察模式,仅区别普通观察模式和特殊观察模式。
如图2所示,光源装置14具备发出照明光的光源部20和控制光源部20的动作的光源控制部22。
光源部20发出对被摄体进行照明的照明光。在照明光的发光中,包括用于发出照明光的激励光等的发光。光源部20例如包括激光二极管(以下,称为LD)、LED(LightEmitting Diode)、氙灯或卤素灯的光源,至少发出白色的照明光或用于发出白色的照明光的激励光。在白色中,包括在使用内窥镜12的被摄体的摄影中实质上与白色同等的所谓的伪白色。光源部20根据需要包括接受激励光的照射而发光的荧光体、或者调节照明光或激励光的波长频带、分光光谱、或者光量等的滤光器等。除此以外,光源部20能够发出拍摄用于计算被摄体所包含的血红蛋白的氧饱和度等生物体信息的图像所需的、具有特定波长频带的光。
在本实施方式中,光源部20具有V-LED20a、B-LED20b、G-LED20c、以及R-LED20d这四色的LED。V-LED20a发出中心波长405nm、波长频带380~420nm的紫色光VL。B-LED20b发出中心波长460nm、波长频带420~500nm的蓝色光BL。G-LED20c发出波长频带达到480~600nm的绿色光GL。R-LED20d发出中心波长为620~630nm、波长频带达到600~650nm的红色光RL。此外,V-LED20a和B-LED20b的中心波长具有约±20nm、优选约±5nm至约±10nm左右的宽度。
光源控制部22控制构成光源部20的各光源的点亮或熄灭或者遮蔽的定时以及发光量等。其结果是,光源部20能够发出分光光谱不同的多种照明光。在本实施方式中,光源控制部22通过输入各自独立的控制信号控制各LED20a~20d的点亮或熄灭、点亮时的发光量、滤光器的插拔等,并调节照明光的分光光谱。由此,在普通观察模式下,光源部20发出白色光。另外,光源部20至少能够发出由窄频带的紫色光构成的照明光。所谓“窄频带”是指在与被摄体的特性和/或图像传感器48具有的滤色器的分光特性的关系中,实质上大致单一的波长频带。例如,以中心波长为基准,在波长频带例如为约±20nm以下(优选为约±10nm以下)的情况下,该光为窄频带。
在内窥镜12的顶端部12d中,设有照明光学系统30a和摄影光学系统30b。照明光学系统30a具有照明透镜45,照明光经由该照明透镜45向被摄体射出。
摄影光学系统30b具有物镜46、变焦透镜47以及图像传感器48。图像传感器48使用经由物镜46及变焦透镜47从被摄体返回的照明光的反射光等(除了反射光之外,还包括散射光、被摄体发出的荧光、或者由对被摄体投予了药剂等引起的荧光等)来拍摄被摄体。变焦透镜47通过操作变焦操作部13a而移动,放大或缩小被摄体像。
图像传感器48在每个像素中具有多种颜色的滤色器中的一种颜色的滤色器。在本实施方式中,图像传感器48是具有原色系的滤色器的彩色传感器。具体而言,图像传感器48具有:具有红色滤色器(R滤色器)的R像素、具有绿色滤色器(G滤色器)的G像素、以及具有蓝色滤色器(B滤色器)的B像素。
此外,作为图像传感器48,可以利用CCD(Charge Coupled Device)传感器、CMOS(Complementary Metal Oxide Semiconductor)传感器。另外,本实施方式的图像传感器48是原色系的彩色传感器,但也可使用补色系的彩色传感器。补色系的彩色传感器例如具有:设置有青色滤色器的青色像素、设置有品红色滤色器的品红色像素、设置有黄色滤色器的黄色像素、以及设置有绿色滤色器的绿色像素。在使用补色系彩色传感器的情况下,若对从上述各色的像素得到的图像进行补色-原色色变换,则能够变换为与由原色系的彩色传感器得到的图像同样的图像。在原色系或补色系的传感器中,在具有一种或多种W像素(接受大致全波长频带的光的白色像素)等具有上述以外的特性的像素的情况下也同样。另外,本实施方式的图像传感器48是彩色传感器,但也可以使用不具有滤色器的单色传感器。
处理器装置16具有控制部52、图像获取部54、图像处理部61、报知部65、以及显示控制部66(参照图2)。
控制部52进行照明光的照射定时和摄影定时的同步控制等内窥镜系统10的总括控制。在使用控制台19等进行各种设定的输入等的情况下,控制部52将该设定输入到光源控制部22、图像传感器48或图像处理部61等内窥镜系统10的各部。
图像获取部54从图像传感器48获取使用各色的像素拍摄被摄体而得到的图像、即RAW图像。另外,RAW图像是实施去马赛克处理之前的图像。若为实施去马赛克处理前的图像,则对从图像传感器48获取的图像实施了降噪处理等任意处理的图像也包含在RAW图像中。
图像获取部54为了根据需要对所获取的RAW图像实施各种处理来生成内窥镜图像,具备DSP(Digital Signal Processor)56、降噪部58、以及变换部59。
DSP56例如具备偏移处理部、缺陷校正处理部、去马赛克处理部、补充处理部、线性矩阵处理部以及YC变换处理部等(均未图示)。DSP56使用这些对RAW图像或使用RAW图像生成的图像实施各种处理。
偏移处理部对RAW图像实施偏移处理。偏移处理是从RAW图像中降低暗电流成分,设定准确的0电平的处理。偏移处理有时被称为箝位处理。缺陷校正处理部对RAW图像实施缺陷校正处理。缺陷校正处理是在图像传感器48包含具有由制造工序或经时变化引起的缺陷的像素(缺陷像素)的情况下,校正或生成与图像传感器48的缺陷像素对应的RAW像素的像素值的处理。去马赛克处理部对与各色的滤色器对应的各色的RAW图像实施去马赛克处理。去马赛克处理是通过插补(interpolation)来生成在RAW图像中因滤色器的排列而欠缺的像素值的处理。线性矩阵处理部对通过将一个或多个RAW图像分配给RGB各色的通道而生成的内窥镜图像进行线性矩阵处理。线性矩阵处理是提高内窥镜图像的颜色再现性的处理。YC变换处理部是将通过将一个或多个RAW图像分配给RGB各色的通道而生成的内窥镜图像变换为具有亮度通道Y、色差通道Cb以及色差通道Cr的内窥镜图像的处理。
降噪部58对具有亮度通道Y、色差通道Cb以及色差通道Cr的内窥镜图像例如使用移动平均法或中值滤波法等实施降噪处理。变换部59将降噪处理后的亮度通道Y、色差通道Cb以及色差通道Cr再次变换为具有BGR的各色的通道的内窥镜图像。
图像处理部61根据观察模式等对图像获取部54输出的内窥镜图像实施必要的图像处理。另外,图像处理部61使用内窥镜图像,进行识别具有特定特征的被摄体或被摄体的一部分的识别处理。具体而言,如图3所示,图像处理部61具备图像生成部71、识别部72以及辨别部73等。
图像生成部71从图像获取部54获取内窥镜图像,生成在监视器18的显示等中使用的内窥镜图像。例如,图像生成部71从图像获取部54获取使用B像素拍摄被摄体而得到的B图像、使用G像素拍摄被摄体而得到的G图像、以及使用R像素拍摄被摄体而得到的R图像,使用它们的全部或一部分来生成显示用的内窥镜图像。
另外,图像生成部71在生成显示用的内窥镜图像时,根据观察模式等对从图像获取部54获取的内窥镜图像或者使用从图像获取部54获取的内窥镜图像生成的图像实施必要的图像处理。图像生成部71进行的图像处理例如是强调被摄体或被摄体的一部分的强调处理。所谓强调是指与其他组织或结构等相区别,能够得到特定部分的信息。例如,用框包围具有特定特征的部分并示出轮廓、或相对于其他部分(例如正常的粘膜等)改变色彩或明亮度等的处理是强调处理。在“能够得到信息”中,除了能够识别特定部分的位置、形状、色彩或明亮度、和/或大小(范围)等之外,还包括能够针对特定部分知晓生物体功能信息(例如氧饱和度或血管的密度等)。
识别部72进行使用拍摄被摄体而得到的图像来识别被摄体的识别处理。“识别被摄体”是指,检测有无具有特定特征的被摄体的部分(包括检测被摄体的全部的情况)、鉴别具有特定特征的被摄体的部分的种类或发展程度(包括针对被摄体的整体进行鉴别)、和/或(进行计算等)获得关于被摄体的一部分或全部的生物体功能信息。具有特定特征的被摄体的部分例如是病变或候选病变(以下,称为病变等)。即,识别部72通过识别处理可识别有无病变等。另外,识别部72通过识别处理,可识别病变等的种类或发展程度。病变等的种类的识别是指,在该病变等为息肉的情况下,鉴别腺瘤、增生性息肉、或癌症等的类别。病变等的发展程度的识别是指,若该病变等是癌症,则鉴别癌症的阶段、以及NICE(NBI(NarrowBand Imaging)International ColorectalEndoscopic Classification)分类或JNET(TheJapan NBI Expert Team)分类等。在本实施方式中,拍摄被摄体而得到的图像是从图像获取部54获取的内窥镜图像、或图像生成部71生成的内窥镜图像。另外,在本实施方式中,识别部72通过识别处理来检测病变等。
识别部72例如是具有学习功能的人工智能(AI(Artificial Intelligence))。具体而言,识别部72是使用神经网络(NN(NeuralNetwork))、卷积神经网络(CNN(Convolutional Neural Network))、Ada-Boost算法(adaboost)和随机森林(RandomForest)等机器学习算法来学习的AI。另外,由于识别部72进行用于使用特定的图像来进行识别处理的学习,所以即使能够进行使用其他图像的识别处理,有时识别处理的结果的精度也低。在本实施方式中,识别部72是进行了使用在普通观察模式下得到的显示用的内窥镜图像来检测病变等的学习的AI。“具有学习功能”是指能够学习,包括已学习完毕。此外,也可以取代由AI构成,将识别部72设为根据图像计算特征量,并使用计算出的特征量进行检测等的结构。
另外,识别部72根据识别处理的内容将识别处理的结果输入到图像生成部71或显示控制部66。在识别部72将识别处理的结果输入到图像生成部71的情况下,图像生成部71生成反映了识别处理的结果的显示用的内窥镜图像。在识别部72将识别处理的结果输入到显示控制部66的情况下,显示控制部66将识别处理的结果与从图像生成部71获取的内窥镜图像一起显示在监视器18的画面上。识别部72将识别处理的结果输入到图像生成部71是例如使用作为识别处理的结果的生物体功能信息的值来变更显示用的内窥镜图像的色彩等的情况。识别部72将识别处理的结果输入到显示控制部66是例如通过在内窥镜图像上重叠的框的显示等来示出作为识别处理的结果的病变等的位置等的情况。在本实施方式中,识别部72将作为识别处理的结果的检测到的病变等的位置等信息输入到图像生成部71。然后,图像生成部71生成针对存在病变等的部分进行了强调处理的显示用的内窥镜图像。
辨别部73辨别拍摄被摄体而得到的图像的种类。“图像的种类的辨别”是指针对某一种类的图像,辨别识别部72进行的识别处理是否发挥功能。即,辨别部73将图像的种类辨别为识别处理发挥功能的图像和识别处理不发挥功能的图像这两种。所谓识别处理发挥功能的图像是指在实施了识别处理的情况下能够预料到特定精度以上的结果的图像,所谓识别处理不发挥功能的图像是指在实施了识别处理的情况下只能预料到小于特定精度的结果的图像。例如,在识别部72是AI的情况下,与识别部72用于学习的图像相同种类的图像是识别处理发挥功能的图像,除此以外的图像是识别处理不发挥功能的图像。所谓特定精度是足以辅助诊断等的识别处理的准确度或可靠度等的基准值。在本实施方式中,识别部72在普通观察模式下得到的内窥镜图像是识别处理发挥功能的图像,在特殊观察模式下得到的内窥镜图像是识别处理不发挥功能的图像。
具体而言,辨别部73通过判别动作模式、在被摄体的摄影中使用的内窥镜12的机种、或者有无向被摄体投予药剂来辨别图像的种类。
辨别部73能够使用从控制部52获取的动作模式的设定信息(包括通过动作模式的切换而产生的电信号)来判别动作模式。例如,若动作模式是普通观察模式,则将拍摄被摄体而得到的图像辨别为识别处理发挥功能的图像。另外,辨别部73通过分析从图像获取部54获取的内窥镜图像或图像生成部71生成的内窥镜图像,能够判别动作模式。例如,能够分析内窥镜图像的色彩、明亮度的分布(照明光的不均)、或者被摄体的尺寸(凹坑图案的有无或者平均的粗细等)等,并使用其结果来判别动作模式。
辨别部73能够使用从控制部52获取的与内窥镜12的机种相关的信息来判别内窥镜12的机种。当判别内窥镜12的机种时,判别搭载于内窥镜12的图像传感器48的种类(滤色器的特性等)。因此,辨别部73能够对使用该机种的内窥镜12拍摄到的图像辨别识别处理是否能够发挥功能。在将内窥镜12与光源装置14或处理器装置16连接时,控制部52从内窥镜12获取与内窥镜12的机种相关的信息。
辨别部73通过获取从控制部52获取的与药剂投予相关的设定信息,能够判别有无向被摄体投予药剂。另外,辨别部73通过对从图像获取部54获取的内窥镜图像或图像生成部71生成的内窥镜图像进行分析,能够判别是否对被摄体投予了药剂。此外,向被摄体投予药剂除了在被摄体的表面散布靛蓝胭脂红等色素剂之外,还包括向被摄体静脉注射吲哚菁绿(ICG)等荧光药剂。
在本实施方式中,辨别部73通过判别动作模式是普通观察模式和特殊观察模式中的哪一个,辨别图像的种类。另外,辨别部73在上述动作模式的判别中,使用从控制部52获取的动作模式的设定信息。
如上所述,辨别部73除了辨别图像的种类之外,在辨别出的图像是识别处理发挥功能的种类的图像、且识别部72处于停止状态(不进行识别处理的状态)的情况下,启动识别部72。另一方面,在辨别出的图像是识别处理不发挥功能的种类的图像并且识别部72处于启动状态(进行识别处理的状态)的情况下,辨别部73停止识别部72。由此,识别部72在图像的种类是识别处理发挥功能的种类的情况下自动启动,并且,在图像的种类是识别处理不发挥功能的种类的情况下自动停止。
报知部65从辨别部73获取识别处理是否发挥功能的信息。然后,报知部65针对辨别部73辨别出的特定种类的图像,报知识别处理是否发挥功能。关于识别处理是否发挥功能的“报知”是指作为用户的医生等处于能够知晓识别处理是否发挥功能的状况的状态。例如,报知部65通过在监视器18的画面上显示消息(字符串)、文字、图形和/或记号等(包括标记、图标或指示器等显示)、不显示它们、或者变更它们的显示,能够报知识别处理是否发挥功能。除此以外,报知部65能够通过灯的点亮、熄灭或闪烁等、声(包括声音)、具有振动功能的部件的振动、或者它们的变更等,报知识别处理是否发挥功能。当然,报知部65能够将字符串等与灯的点亮等组合来报知识别处理是否发挥功能。在本实施方式中,报知部65在监视器18的画面上进行表示识别处理是否发挥功能的显示。
另外,报知部65至少在切换了图像的种类的情况下,报知识别处理是否发挥功能。切换了图像的种类的情况是指辨别部73中的辨别结果发生了变化的情况。在本实施方式中,包括切换了图像的种类的情况,持续报知识别处理是否发挥功能。但是,根据设定,报知部65在切换了图像的种类的情况下,在规定时间内报知识别处理是否发挥功能,在除此以外的期间能够停止报知识别处理是否发挥功能。该设定在感觉持续的报知很麻烦的情况下是有用的。
显示控制部66将图像处理部61输出的内窥镜图像变换为适于显示的形式并输出到监视器18。由此,监视器18显示内窥镜图像。另外,在本实施方式中,报知部65输入表示识别处理是否发挥功能的信息。因此,显示控制部66在监视器18的画面上显示该信息。
如上所述构成的内窥镜系统10针对识别处理是否发挥功能的报知,如下进行动作。如图4所示,通过操作模式切换操作部13b来设定动作模式(步骤S110),当拍摄被摄体时(步骤S111),图像获取部54获取内窥镜图像。然后,图像生成部71实施必要的图像处理来生成显示用的内窥镜图像(步骤S112)。另一方面,辨别部73辨别是否是识别处理发挥功能的图像(步骤S113(辨别步骤))。在识别处理发挥功能的情况下(步骤S113:YES),识别部72执行识别处理(步骤S114),并且,报知部65报知识别处理发挥功能的旨意(步骤S115)。
更具体而言,在动作模式是普通观察模式的情况下,图像生成部71生成以自然的色调显示被摄体的内窥镜图像即普通观察图像121。因此,如图5所示,显示控制部66将普通观察图像121显示在监视器18的画面上。另外,本实施方式的辨别部73将普通观察图像121辨别为识别处理发挥功能的图像,因此识别部72执行识别处理。因此,报知部65例如通过“AI动作中”的显示122来报知该旨意。其结果是,医生等能够准确地识别识别处理的结果。即,由于在普通观察图像121中未示出作为识别处理的结果的病变等,因此在没有“AI动作中”的显示122进行的报知的情况下,医生等无法识别是作为进行了识别处理的结果而未示出病变等,还是作为未进行识别处理的结果而未示出病变等。但是,通过存在“AI动作中”的显示122进行的报知,医生等能够准确地识别识别部72执行了识别处理的结果是在该普通观察图像121中示出没有病变等。
另外,如图6所示,在普通观察模式下,在拍摄了存在病变等123的被摄体的情况下,接受识别处理的结果,图像生成部71生成强调了病变等123的普通观察图像124,显示控制部66将其显示在监视器18上。在该情况下,若没有“AI动作中”的显示122进行的报知,则医生等有时难以识别普通观察图像124的病变等123进行了识别处理的结果是被强调的病变等123,还是未进行强调处理等的本来的病变等123。但是,通过存在“AI动作中”的显示122进行的报知,医生等能够准确地识别识别部72执行了识别处理的结果是强调的病变等123。
另一方面,如图7所示,在以特殊观察模式观察被摄体的情况下,图像生成部71例如生成与普通观察图像121不同形态的特殊观察图像131,显示控制部66将其显示在监视器18的画面上。在该情况下,本实施方式的辨别部73将特殊观察图像131辨别为识别处理不发挥功能的图像,因此识别部72不执行识别处理。因此,报知部65例如通过“AI停止中”的显示132来报知该旨意。其结果是,医生等能够准确地识别识别处理的结果。即,由于在特殊观察图像131中未示出作为识别处理的结果的病变等,因此在没有“AI停止中”的显示132进行的报知的情况下,医生等无法识别是作为进行了识别处理的结果而未示出病变等,还是作为未进行识别处理的结果而未示出病变等。特别是在存在内窥镜系统10进行识别处理这样的成见的情况下,尽管识别部72未进行识别处理,但有时医生等会误认为在特殊观察图像131中作为进行识别处理的结果示出没有病变等这样的结果,从而导致诊断的精度降低。但是,若存在“AI停止中”的显示132进行的报知,则能够识别到未进行识别处理,因此医生等在不会进行如上所述的误认的情况下观察特殊观察图像131,所以能够准确地诊断。
如上所述,根据内窥镜系统10,能够防止进行了识别处理的结果以及未进行识别处理的结果的误认。其结果是,能够防止误诊。
此外,在上述第一实施方式中,报知部65通过在监视器18的画面上显示“AI动作中”的显示122或“AI停止中”的显示132,报知识别处理是否发挥功能,但报知部65也能够一并报知识别处理是否发挥功能以外的信息。例如,报知部65能够报知辨别部73在图像的种类的辨别中使用的信息的一部分或全部。在第一实施方式的情况下,辨别部73使用动作模式的设定信息来判别图像的种类,因此如图8所示,报知部65能够在监视器18的画面上通过“普通观察模式”等的显示141来报知动作模式。辨别部73使用动作模式以外的信息来判别图像的种类的情况也同样。
另外,在上述第一实施方式中,报知部65通过在监视器18的画面上显示“AI动作中”的显示122或“AI停止中”的显示132,报知识别处理是否发挥功能,但识别处理是否发挥功能的报知方式是任意的。例如,如图9所示,报知部65可取代“AI动作中”的字符串进行的显示122,显示表示“AI动作中”的图标151来报知识别处理正在发挥功能。同样,如图10所示,报知部65可取代“AI停止中”的字符串进行的显示132,显示表示“AI停止中”的图标152来报知识别处理未发挥功能。另外,在使用字符串来报知识别处理是否发挥功能的情况下,也可取代“AI动作中”,通过显示“AI:ON”或“AI:Supported”等来报知。同样,可取代“AI停止中”,通过显示“AI:OFF”或“AI:Not supported”来报知。此外,如图11所示,报知部65可取代“AI动作中”的字符串进行的显示122,通过对“普通观察模式”的显示141附加双框161来报知识别处理正在发挥功能。另外,如图12所示,报知部65可取代“AI停止中”的字符串进行的显示132,例如通过对“特殊观察模式”的显示143附加单框162来报知识别处理未发挥功能。
在上述第一实施方式中,报知部65通过监视器18的画面中的显示来报知识别处理是否发挥功能,但在以监视器18的画面中的显示以外的方式报知识别处理是否发挥功能的情况下,如图13所示,处理器装置16可具备报知设备171。报知设备171是发出声或声音的扬声器、由LED等发光元件构成的指示器、或者马达或压电元件等振动元件等。除此以外,报知部65可将内窥镜系统10所具备的元件等作为报知设备171使用。另外,也可以在处理器装置16以外、即内窥镜12或光源装置14中设置报知设备171。
[第二实施方式]
在本实施方式中,内窥镜系统10具有通过光学放大处理和/或电子放大处理来放大观察被摄体的放大观察模式、和不使用光学放大处理和/或电子放大处理的非放大观察模式这两种动作模式。在该情况下,辨别部73可根据有无放大处理来辨别图像的种类。
具体而言,如图14所示,通过操作模式切换操作部13b来设定动作模式(步骤S210),当拍摄被摄体时(步骤S211),图像获取部54获取内窥镜图像,图像生成部71实施必要的图像处理来生成显示用的内窥镜图像(步骤S212)。这些与第一实施方式相同。
另一方面,辨别部73通过判别观察模式是放大观察模式和非放大模式中的哪一个(步骤S213),辨别图像的种类。例如,辨别部73将通过放大观察模式得到的内窥镜图像辨别为识别处理发挥功能的图像(步骤S213:YES)。因此,识别部72使用通过放大观察模式得到的内窥镜图像进行识别处理(步骤S214),报知部65报知识别处理发挥功能的旨意。另外,辨别部73将通过非放大观察模式得到的内窥镜图像辨别为识别处理不发挥功能的图像(步骤S213:NO)。因此,识别部72不对通过非放大观察模式得到的内窥镜图像进行识别处理,报知部65报知识别处理不发挥功能的旨意(步骤S216)。报知的方法与第一实施方式及其变形例相同。
根据上述第二实施方式,医生等在放大观察模式和非放大观察模式的每一个中,即使存在示出了识别处理的结果的情况或者未示出识别处理的结果的情况,也不会误认进行了识别处理的结果以及未进行识别处理的结果,能够准确地识别识别处理是否发挥功能。其结果是,能够防止误诊。
在图14的流程图中,在放大观察模式的情况下进行识别处理,但这在识别部72是使用进行了放大处理的内窥镜图像进行了病变等的检测和/或鉴别的学习的AI的情况下是有用的。另外,内窥镜系统10可在非放大观察模式的情况下进行识别处理。这在识别部72是使用未进行放大处理的内窥镜图像进行了病变等的检测和/或鉴别的学习的AI的情况下是有用的。即,上述第二实施方式在识别部72是使用在放大观察模式或非放大观察模式的任一方中得到的内窥镜图像进行了病变等的检测和/或鉴别的学习的AI的情况下是有用的。
此外,上述第二实施方式可与第一实施方式组合。例如,可在普通观察模式且放大观察模式、普通观察模式且非放大观察模式、特殊观察模式且放大观察模式、或者特殊观察模式且非放大观察模式中的任一个的情况下进行识别处理来报知识别处理发挥功能的旨意,在其他情况下不进行识别处理,报知识别处理不发挥功能的旨意。
[第三实施方式]
在本实施方式中,内窥镜系统10具有进行强调处理的强调模式和不进行强调处理的非强调模式这两种动作模式。在该情况下,辨别部73可根据有无强调处理来辨别图像的种类。
具体而言,如图15所示,通过操作模式切换操作部13b来设定动作模式(步骤S310),当拍摄被摄体时(步骤S311),图像获取部54获取内窥镜图像,图像生成部71实施必要的图像处理来生成显示用的内窥镜图像(步骤S312)。这些与第一实施方式相同。
另一方面,辨别部73通过判别观察模式是强调模式和非强调模式中的哪一个(步骤S313),辨别图像的种类。例如,辨别部73将通过非强调模式得到的内窥镜图像辨别为识别处理发挥功能的图像(步骤S313:YES)。因此,识别部72使用通过非强调模式得到的内窥镜图像进行识别处理(步骤S314),报知部65报知识别处理发挥功能的旨意。另外,辨别部73将通过强调模式得到的内窥镜图像辨别为识别处理不发挥功能的图像(步骤S313:NO)。因此,识别部72不对通过强调模式得到的内窥镜图像进行识别处理,报知部65报知识别处理不发挥功能的旨意(步骤S316)。报知的方法与第一实施方式及其变形例相同。
根据上述第三实施方式,医生等在非强调模式和强调模式的每一个中,即使存在示出了识别处理的结果的情况或者未示出识别处理的结果的情况,也不会误认进行了识别处理的结果以及未进行识别处理的结果,能够准确地识别识别处理是否发挥功能。其结果是,能够防止误诊。
在图15的流程图中,在非强调模式的情况下进行识别处理,但这在识别部72是使用未进行强调处理的内窥镜图像进行了病变等的检测和/或鉴别的学习的AI的情况下是有用的。另外,内窥镜系统10可在强调模式的情况下进行识别处理。这在识别部72是使用对病变等进行了强调处理的内窥镜图像来进行了病变等的检测和/或鉴别的学习的AI的情况下是有用的。即,上述第三实施方式在识别部72是使用通过强调模式或非强调模式的任一方而得到的内窥镜图像进行了检测和/或鉴别病变等的学习的AI的情况下是有用的。
此外,上述第三实施方式可与第一实施方式和/或第二实施方式组合。例如,在普通观察模式且强调模式、普通观察模式且非强调模式、特殊观察模式且强调模式、或者特殊观察模式且非强调模式中的任一个的情况下,进行识别处理来报知识别处理发挥功能的旨意,在其他情况下,可不进行识别处理,报知识别处理不发挥功能的旨意。与第二实施方式组合的情况、或与第一实施方式及第二实施方式组合的情况也相同。
[第四实施方式]
在本实施方式中,设为可使用多个机种不同的内窥镜12。在该情况下,辨别部73可根据内窥镜12的机种来辨别图像的种类。
具体而言,如图16所示,通过操作模式切换操作部13b来设定动作模式(步骤S410),当拍摄被摄体时(步骤S411),图像获取部54获取内窥镜图像,图像生成部71实施必要的图像处理来生成显示用的内窥镜图像(步骤S412)。这些与第一实施方式相同。
另一方面,辨别部73通过判别所使用的内窥镜12的机种是否适当(步骤S413),辨别图像的种类。例如,辨别部73将使用特定机种的内窥镜12而得到的内窥镜图像辨别为识别处理发挥功能的图像(步骤S413:YES)。因此,识别部72使用利用特定机种的内窥镜12得到的内窥镜图像进行识别处理(步骤S414),报知部65报知识别处理发挥功能的旨意。另外,辨别部73将使用特定机种以外的机种(以下,称为非特定机种)的内窥镜12而得到的内窥镜图像辨别为识别处理不发挥功能的图像(步骤S413:NO)。因此,识别部72不对使用非特定机种的内窥镜12而得到的内窥镜图像进行识别处理,报知部65报知识别处理不发挥功能的旨意(步骤S416)。报知的方法与第一实施方式及其变形例相同。
根据上述第四实施方式,医生等分别在使用特定机种的内窥镜12的情况和使用非特定机种的内窥镜12的情况下,即使存在示出了识别处理的结果的情况或者未示出识别处理的结果的情况,也不会误认进行了识别处理的结果以及未进行识别处理的结果,能够准确地识别识别处理是否发挥功能。其结果是,能够防止误诊。内窥镜12根据机种而搭载的图像传感器48的种类(滤色器的特性等)不同,因此得到的内窥镜图像的特性不同。例如,即使在拍摄了相同的被摄体的情况下,有时内窥镜图像的色彩、明亮度或分辨率等也根据内窥镜12的机种而不同。上述第四实施方式在识别部72使用利用特定机种的内窥镜12拍摄到的内窥镜图像进行了病变等的检测和/或鉴别的学习的情况下是有用的。在能够得到识别处理发挥功能的图像的内窥镜12有多种的情况下,上述“特定机种的内窥镜12”是包含多种机种的内窥镜12的组。
此外,上述第四实施方式可与第一实施方式、第二实施方式和/或第三实施方式组合。例如,在普通观察模式且使用特定机种的内窥镜12的情况下,进行识别处理来报知识别处理发挥功能的旨意,在其他情况下,可不进行识别处理,报知识别处理不发挥功能的旨意。与其他实施方式组合的情况也相同。
[第五实施方式]
在辨别部73根据有无向被摄体投予药剂来辨别图像的种类的情况下,内窥镜系统10如图17所示那样动作。具体而言,通过操作模式切换操作部13b来设定动作模式(步骤S510),当拍摄被摄体时(步骤S511),图像获取部54获取内窥镜图像,图像生成部71实施必要的图像处理来生成显示用的内窥镜图像(步骤S512)。这些与第一实施方式相同。
另一方面,辨别部73通过判别有无向被摄体投予药剂(步骤S513),辨别图像的种类。例如,辨别部73将在未对被摄体投予药剂的情况下得到的内窥镜图像辨别为识别处理发挥功能的图像(步骤S513:YES)。因此,识别部72使用拍摄了未投予药剂的被摄体的内窥镜图像来进行识别处理(步骤S514),报知部65报知识别处理发挥功能的旨意。另外,辨别部73将拍摄了投予了药剂的被摄体的内窥镜图像辨别为识别处理不发挥功能的图像(步骤S513:NO)。因此,识别部72不对拍摄了投予了药剂的被摄体的内窥镜图像进行识别处理,报知部65报知识别处理不发挥功能的旨意(步骤S516)。报知的方法与第一实施方式及其变形例相同。
根据上述第五实施方式,医生等分别在对被摄体投予了药剂的情况下和未对被摄体投予药剂的情况下,即使存在示出了识别处理的结果的情况或者未示出识别处理的结果的情况,也不会误认进行了识别处理的结果和未进行识别处理的结果,能够准确地识别识别处理是否发挥功能。
此外,上述第五实施方式在不对被摄体投予药剂的情况下进行识别处理,但这在识别部72是使用未投予药剂的被摄体的内窥镜图像进行了病变等的检测和/或鉴别的学习的AI的情况下是有用的。另外,内窥镜系统10能够在对被摄体投予了特定药剂的情况下进行识别处理。这在识别部72使用投予了特定药剂的被摄体的内窥镜图像进行了病变等的检测和/或鉴别的学习的情况下是有用的。在该情况下,辨别部73通过使用设定信息或者通过内窥镜图像的分析,可判别对被摄体投予的药剂的种类,辨别图像的种类。
上述第五实施方式可与第一实施方式、第二实施方式、第三实施方式、第四实施方式、或者它们中的多个实施方式组合。例如,内窥镜系统10在普通观察模式且未投予药剂的情况下,进行识别处理来报知识别处理发挥功能的旨意,在其他情况下,可不进行识别处理,报知识别处理不发挥功能的旨意。对于其他的组合也同样。
[第六实施方式]
在第一实施方式等中,辨别部73自动启动或停止识别部72,但内窥镜系统10可取代自动启动或停止识别部72,由医生等手动地进行使识别处理有效的设定或使识别处理无效的设定。在该情况下,如图18所示,通过操作模式切换操作部13b来设定动作模式(步骤S610),当拍摄被摄体时(步骤S611),图像获取部54获取内窥镜图像,图像生成部71实施必要的图像处理来生成显示用的内窥镜图像(步骤S612)。这些与第一实施方式相同。
另一方面,辨别部73使用设定信息来判别识别处理的有效或无效(步骤S613),并且通过判别动作模式(步骤S614)来辨别图像的种类。在识别处理通过手动设定而为有效的情况下(步骤S613:YES),若为普通观察模式(步骤S614:YES),则识别部72执行识别处理(步骤S615),报知部65报知识别处理发挥功能的旨意(步骤S616)。在识别处理通过手动设定而为无效的情况下(步骤S613:NO),或者在动作模式是特殊观察模式的情况下(步骤S614:NO),识别部72不执行识别处理,报知部65报知识别处理不发挥功能的旨意(步骤S617)。报知的方法与第一实施方式及其变形例相同。
根据上述第六实施方式,报知部65适当地报知识别处理是否发挥功能,因此即使存在示出了识别处理的结果的情况或者未示出识别处理的结果的情况,医生等也不会误认进行了识别处理的结果以及未进行识别处理的结果,能够准确地识别识别处理是否发挥功能。例如,即使在医生等忘记了通过手动设定使识别处理无效的情况下,由于报知部65报知识别处理不发挥功能的旨意,所以能够准确地识别未示出识别处理的结果是识别处理未发挥功能的结果。
第六实施方式可与第一实施方式、第二实施方式、第三实施方式、第四实施方式、第五实施方式、或者它们中的多个实施方式任意组合来实施。
[第七实施方式]
在上述第一实施方式等中,由于辨别部73自动启动或停止识别部72,所以报知部65所提供的报知内容是识别处理是否发挥功能,但在辨别部73不自动启动或停止识别部72的情况下,优选报知部65除了识别处理是否发挥功能之外,还在识别部72已启动的情况下和识别部72已停止的情况下以不同的方式进行报知。
具体而言,如图19所示,在由于识别部72启动而识别处理为“有效”、并且是能够得到识别处理发挥功能的图像的动作模式等(“识别处理可”)的情况下,报知部65以第一报知方式报知识别处理是否发挥功能。第一报知方式例如是“AI动作中”的显示122。另一方面,在由于识别部72已停止(未启动)而识别处理为“无效”、并且是能够得到识别处理发挥功能的图像的动作模式等(“识别处理可”)的情况下,报知部65以第二报知方式报知识别处理是否发挥功能。第二报知方式例如是“AI未启动”、“可通过AI进行识别处理”、或者“由于AI未启动而AI停止中”等的显示。
另外,在由于识别部72已启动而识别处理为“有效”、但是是得到识别处理不发挥功能的图像的动作模式等(“识别处理不可”)的情况下,报知部65以第三报知方式报知识别处理是否发挥功能。第三报知方式例如是“识别处理错误”、“不能对应AI”或者“由于不能对应AI而AI停止中”等的显示。在由于识别部72停止而识别处理为“无效”、并且是得到识别处理不发挥功能的图像的动作模式等(“识别处理不可”)的情况下,报知部65以第四报知方式报知识别处理是否发挥功能。第四报知方式例如是“AI停止中”的显示132。
如上述第七实施方式那样,当报知部65在识别部72已启动的情况下和识别部72已停止的情况下通过不同的方式进行报知时,医生等不会误认识别部72的动作状态和识别处理的结果,能够详细且准确地掌握。并且,例如,若观察第二报知方式的报知内容,则可知可进行识别处理,因此即使在通过手动使识别处理无效的情况下,也使识别处理有效,容易接受内窥镜系统10的辅助。
此外,在第一实施方式等中,报知部65以第一报知方式或第四报知方式中的任一方式进行报知。另外,在上述第七实施方式中,将第一报知方式、第二报知方式、第三报知方式以及第四报知方式全部设为不同的显示,但第七实施方式只要在识别部72已启动的情况下和识别部72已停止的情况下包括一个以上通过不同的方式进行报知的模式即可,不妨碍第一报知方式、第二报知方式、第三报知方式以及第四报知方式中的两个以上成为相同的显示。例如,也可以将第二显示方式和/或第三显示方式设为与第四显示方式相同的“AI停止中”的显示132。在该情况下,由于至少第一显示方式与第二显示方式不同,所以医生等也不会误认识别部72的动作状态和识别处理的结果,能够详细且准确地掌握。
[第八实施方式]
在第一实施方式等中,识别部72是进行检测病变等的识别处理的AI,但如图20所示的AI(1)、AI(2)、…、AI(N)那样,识别部72可由分别针对不同种类的图像发挥功能(进行识别处理)的多个AI构成。AI(1)例如是使用在普通观察模式下对未投予药剂的被摄体进行放大摄影而得到的内窥镜图像进行了病变等的检测的学习的AI。另外,AI(2)例如是使用与AI(1)相同条件的内窥镜图像进行了病变等的鉴别的学习的AI。未图示的AI(3)例如是使用在特殊观察模式下对未投予药剂的被摄体进行放大摄影而得到的内窥镜图像进行了病变等的检测的学习的AI。其他也同样。
如上所述,在识别部72包括分别进行不同的识别处理的多个AI的情况下,辨别部73针对这些多个AI中的任一个以上是否发挥功能进行判定,并辨别图像的种类。然后,报知部65针对多个AI分别报知识别处理是否发挥功能。由此,即使在识别部72包括多个AI的情况下,也能够针对各AI分别准确地报知识别处理是否发挥功能。此外,在多个AI中的至少任一个以上发挥功能的情况下,报知部65可报知识别处理发挥功能的旨意。在该情况下,与针对各AI分别报知识别处理是否发挥功能的情况相比,能够简洁地报知识别处理发挥功能的旨意。
在上述第八实施方式中,一个识别部72包括多个AI,但如图21所示,在取代识别部72而具备第一识别部801、第二识别部802、…、第M识别部803等分别针对不同种类的图像发挥功能(进行识别处理)的多个识别部的情况下也同样。即,在取代识别部72而具备多个识别部(第一识别部801以及第二识别部802等)的情况下,报知部65针对这些多个识别部分别报知识别处理是否发挥功能。由此,在取代识别部72而具备多个识别部的情况下,也能够针对各识别部分别准确地报知识别处理是否发挥功能。此外,报知部65也可以在第一识别部8()1以及第二识别部802等多个识别部中的至少任一个以上发挥功能的情况下,报知识别处理发挥功能的旨意。在该情况下,与对各识别部分别报知识别处理是否发挥功能的情况相比,能够简洁地报知识别处理发挥功能的旨意。
此外,如图22所示,识别部72、辨别部73和/或报知部65例如可设置在与处理器装置16进行通信而与内窥镜系统10协作的医疗图像处理装置901中。另外,如图23所示,识别部72、辨别部73和/或报知部65例如可设置在诊断支援装置911中,该诊断支援装置911从内窥镜系统10(包括不具有报知部65等的内窥镜系统)直接或从PACS(Picture Archivingand Communication Systems)910间接地获取由内窥镜12拍摄到的RAW图像。另外,如图24所示,可在包括内窥镜系统10并经由网络926与第一检查装置921、第二检查装置922、…、第K检查装置923等各种检查装置连接的医疗业务支援装置930中,设置识别部72、辨别部73和/或报知部65。
即,本发明包括一种医疗图像处理装置及其工作方法,该医疗图像处理装置具备:辨别部,其辨别拍摄被摄体而得到的图像的种类;识别部,其进行使用图像来识别被摄体的识别处理;以及报知部,其针对辨别部辨别出的特定种类的图像,报知识别处理是否发挥功能。另外,本发明包括诊断支援装置及其工作方法,该诊断支援装置具备:辨别部,其辨别拍摄被摄体而得到的图像的种类;识别部,其进行使用图像来识别被摄体的识别处理;以及报知部,其针对辨别部辨别出的特定种类的图像,报知识别处理是否发挥功能。同样,本发明包括医疗业务支援装置及其工作方法,该医疗业务支援装置具备:辨别部,其辨别拍摄被摄体而得到的图像的种类;识别部,其进行使用图像来识别被摄体的识别处理;以及报知部,其针对辨别部辨别出的特定种类的图像,报知识别处理是否发挥功能。
另外,本发明包括内窥镜系统的工作方法,该内窥镜系统的工作方法包括以下步骤:辨别部辨别拍摄被摄体而得到的图像的种类的步骤;识别部进行使用图像来识别被摄体的识别处理的步骤;以及报知部针对辨别部辨别出的特定种类的图像,报知识别处理是否发挥功能的步骤。另外,本发明包括处理器装置及其工作方法,该处理器装置具备:辨别部,其辨别拍摄被摄体而得到的图像的种类;识别部,其进行使用图像来识别被摄体的识别处理;以及报知部,其针对辨别部辨别出的特定种类的图像,报知识别处理是否发挥功能。
此外,作为内窥镜12可使用胶囊型内窥镜。在该情况下,光源装置14和处理器装置16的一部分可搭载于胶囊型内窥镜。
在上述实施方式中,执行识别部72、辨别部73或报知部65等各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。在各种处理器中,包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(CentralProcessing Unit)、GPU(Graphics Processing Unit)、制造FPGA(Field ProgrammableGate Array)等后可改变电路结构的处理器即可编程逻辑器件(Programmable LogicDevice:PLD)、以及具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成,也可以由同种或异种的两个以上的处理器的组合(例如,多个FPGA、CPU与FPGA的组合、或CPU与GPU的组合等)构成。另外,还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子,首先,有诸如以客户端或服务器等计算机为代表,使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次,有诸如以片上系统(System OnChip:SoC)等为代表,使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样,使用一个以上的各种处理器作为硬件结构来构成各种处理部。
而且,更具体而言,这些各种处理器的硬件结构是组合了半导体元件等电路元件的形态的电路(circuitry)。
此外,除了获取内窥镜图像等的内窥镜系统、处理器装置、其他关联的装置等之外,本发明还能够在获取内窥镜图像以外的医疗图像(包括动态图像)的系统或装置等中利用。例如,本发明可应用于超声波检查装置、X射线图像摄影装置(包括CT(ComputedTomography)检查装置和乳房造影装置等)、MRI(magnetic resonance imaging)装置等。
符号说明
10 内窥镜系统
12 内窥镜
12a 插入部
12b 操作部
12c 弯曲部
12d 顶端部
12e 弯角钮
13a 变焦操作部
13b 模式切换操作部
14 光源装置
16 处理器装置
18 监视器
19 控制台
20 光源部
22 光源控制部
30a 照明光学系统
30b 摄影光学系统
45 照明透镜
46 物镜
47 变焦透镜
48 图像传感器
52 控制部
54 图像获取部
56 DSP
58 降噪部
59 变换部
61 图像处理部
65 报知部
66 显示控制部
71 图像生成部
72 识别部
73 辨别部
121、124 普通观察图像
122 识别处理发挥功能的旨意的显示
131 特殊观察图像
132 识别处理不发挥功能的旨意的显示
141 普通观察模式的显示
143 特殊观察模式的显示
151 表示AI动作中的图标
152 表示AI停止中的图标
161 双框
162 单框
171 报知设备
801 第一识别部
802 第二识别部
803 第M识别部
901 医疗图像处理装置
910 PACS
911 诊断支援装置
921 第一检查装置
922 第二检查装置
923 第K检查装置
926 网络
930 医疗业务支援装置
S110~S617 动作步骤
Claims (10)
1.一种内窥镜系统,其中,具备:
辨别部,其辨别拍摄被摄体而得到的图像的种类;
识别部,其进行使用所述图像来识别所述被摄体的识别处理;以及
报知部,其针对所述辨别部辨别出的特定种类的所述图像,报知所述识别处理是否发挥功能。
2.根据权利要求1所述的内窥镜系统,其中,
所述辨别部通过判别动作模式、在所述被摄体的摄影中使用的内窥镜的机种、或者有无向所述被摄体投予药剂来辨别所述图像的种类。
3.根据权利要求2所述的内窥镜系统,其中,
所述辨别部通过判别由在摄影中使用的照明光的种类、有无光学放大处理、或者有无图像处理确定的所述动作模式来辨别所述图像的种类。
4.根据权利要求1~3中任一项所述的内窥镜系统,其中,
所述报知部至少在切换了所述图像的种类的情况下,报知所述识别处理是否发挥功能。
5.根据权利要求1~4中任一项所述的内窥镜系统,其中,
所述报知部在所述识别部已启动的情况下和所述识别部已停止的情况下,以不同的方式报知所述识别处理是否发挥功能。
6.根据权利要求1~5中任一项所述的内窥镜系统,其中,
所述识别部在所述图像的种类是所述识别处理发挥功能的种类的情况下自动启动,并且,所述识别部在所述图像的种类是所述识别处理不发挥功能的种类的情况下自动停止。
7.根据权利要求1~6中任一项所述的内窥镜系统,其中,
所述识别部识别有无所述被摄体的病变或候选病变。
8.根据权利要求1~7中任一项所述的内窥镜系统,其中,
所述识别部识别所述被摄体的病变或候选病变的种类或发展程度。
9.根据权利要求1~8中任一项所述的内窥镜系统,其中,
所述识别部是具有学习功能的人工智能。
10.根据权利要求1~9中任一项所述的内窥镜系统,其中,
在具有分别针对不同种类的所述图像发挥功能的多个所述识别部的情况下,所述报知部针对各个所述识别部报知所述识别处理是否发挥功能。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018153732 | 2018-08-17 | ||
JP2018-153732 | 2018-08-17 | ||
PCT/JP2019/031431 WO2020036121A1 (ja) | 2018-08-17 | 2019-08-08 | 内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112566537A true CN112566537A (zh) | 2021-03-26 |
CN112566537B CN112566537B (zh) | 2024-09-27 |
Family
ID=69525555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980053121.3A Active CN112566537B (zh) | 2018-08-17 | 2019-08-08 | 内窥镜系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US12082769B2 (zh) |
EP (1) | EP3838108A4 (zh) |
JP (2) | JP7549532B2 (zh) |
CN (1) | CN112566537B (zh) |
WO (1) | WO2020036121A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11100633B2 (en) | 2018-06-13 | 2021-08-24 | Cosmo Artificial Intelligence—Al Limited | Systems and methods for processing real-time video from a medical image device and detecting objects in the video |
DE102019118752B4 (de) * | 2019-07-10 | 2023-06-15 | Schölly Fiberoptic GmbH | Verfahren zur adaptiven Funktionsneubelegung von Bedienelementen eines Bildaufnahmesystems sowie zugehöriges Bildaufnahmesystem |
JP7429715B2 (ja) * | 2020-01-09 | 2024-02-08 | オリンパス株式会社 | 画像処理システム、内視鏡システム、画像処理システムの作動方法及びプログラム |
US20230230364A1 (en) * | 2020-05-26 | 2023-07-20 | Nec Corporation | Image processing device, control method and storage medium |
WO2022065301A1 (ja) * | 2020-09-24 | 2022-03-31 | 富士フイルム株式会社 | 医療画像装置及びその作動方法 |
WO2022097294A1 (ja) * | 2020-11-09 | 2022-05-12 | オリンパス株式会社 | 情報処理システム、内視鏡システム及び情報処理方法 |
WO2022191058A1 (ja) * | 2021-03-09 | 2022-09-15 | 富士フイルム株式会社 | 内視鏡画像処理装置、方法及びプログラム |
CN118647300A (zh) * | 2022-02-02 | 2024-09-13 | 奥林巴斯株式会社 | 信息输出方法以及信息输出装置 |
CN114332844B (zh) * | 2022-03-16 | 2022-07-01 | 武汉楚精灵医疗科技有限公司 | 医学图像的智能分类应用方法、装置、设备和存储介质 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63259614A (ja) | 1987-04-17 | 1988-10-26 | Olympus Optical Co Ltd | 内視鏡画面の表示方法 |
JP3031475B2 (ja) | 1990-03-28 | 2000-04-10 | 株式会社東芝 | 内視鏡装置 |
JPH07250812A (ja) * | 1994-03-15 | 1995-10-03 | Olympus Optical Co Ltd | 蛍光診断装置 |
DE19640700C2 (de) * | 1996-10-02 | 2002-08-14 | Wolf Gmbh Richard | Einrichtung zur photodynamischen endoskopischen Diagnose von Tumorgewebe |
EP0890400B1 (de) | 1997-06-17 | 2002-07-31 | Wärtsilä Schweiz AG | Giessverfahren zum Herstellen metallischer Giesslinge |
JP4668515B2 (ja) * | 2001-01-30 | 2011-04-13 | 韓國電子通信研究院 | マルチメディアコンテンツに同期化されたメタデータ伝送装置及び方法 |
JP4009560B2 (ja) | 2003-06-19 | 2007-11-14 | オリンパス株式会社 | 内視鏡装置及び信号処理装置 |
JP4217134B2 (ja) | 2003-08-28 | 2009-01-28 | オリンパス株式会社 | スイッチ制御装置 |
JP2005124756A (ja) * | 2003-10-22 | 2005-05-19 | Olympus Corp | 内視鏡用画像処理装置 |
JP4616576B2 (ja) | 2004-04-20 | 2011-01-19 | ユキワ精工株式会社 | チャック装置 |
JP2006218138A (ja) * | 2005-02-14 | 2006-08-24 | Yoshihiro Sasaki | ハイビジョンデジタル内視鏡画像のファイリング及びコンピューター支援診断装置 |
JP2006271870A (ja) * | 2005-03-30 | 2006-10-12 | Olympus Medical Systems Corp | 内視鏡用画像処理装置 |
JP2007330405A (ja) | 2006-06-13 | 2007-12-27 | Olympus Medical Systems Corp | 内視鏡システム |
US8900124B2 (en) | 2006-08-03 | 2014-12-02 | Olympus Medical Systems Corp. | Image display device |
JP2008161550A (ja) | 2006-12-28 | 2008-07-17 | Olympus Corp | 内視鏡システム |
JP4891823B2 (ja) | 2007-03-29 | 2012-03-07 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
JP5292118B2 (ja) | 2009-01-30 | 2013-09-18 | 富士フイルム株式会社 | 蛍光内視鏡システム及び蛍光内視鏡システムの作動方法 |
JP2010172673A (ja) * | 2009-02-02 | 2010-08-12 | Fujifilm Corp | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法 |
JP2011104199A (ja) * | 2009-11-19 | 2011-06-02 | Fujifilm Corp | 内視鏡装置 |
JP5492026B2 (ja) * | 2010-08-31 | 2014-05-14 | 富士フイルム株式会社 | 内視鏡用ライトガイドおよびそれを備えた内視鏡、並びに内視鏡用ライトガイドの製造方法 |
JP5631764B2 (ja) * | 2011-01-25 | 2014-11-26 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP5611892B2 (ja) | 2011-05-24 | 2014-10-22 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
JP6027803B2 (ja) | 2012-07-17 | 2016-11-16 | Hoya株式会社 | 画像処理装置及び内視鏡装置 |
US9597061B2 (en) * | 2012-10-05 | 2017-03-21 | The Institute For Cancer Research | Method for inserting medical instrument |
JP6039639B2 (ja) | 2014-02-27 | 2016-12-07 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法 |
CN106999076B (zh) | 2014-12-08 | 2021-10-22 | 皇家飞利浦有限公司 | 脉管内损害的自动识别和分类 |
US10226180B2 (en) | 2014-12-23 | 2019-03-12 | Imam Abdulrahman Bin Faisal University | System, method, and apparatus for performing histopathology |
JP6707083B2 (ja) * | 2015-06-29 | 2020-06-10 | オリンパス株式会社 | 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム |
EP3357402B1 (en) * | 2015-09-28 | 2020-06-17 | FUJIFILM Corporation | Endoscope system and operation method for endoscope system |
JP6833870B2 (ja) * | 2016-12-07 | 2021-02-24 | オリンパス株式会社 | 画像処理装置 |
JP6840846B2 (ja) * | 2017-06-02 | 2021-03-10 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 |
JP2018051364A (ja) | 2017-12-27 | 2018-04-05 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法 |
-
2019
- 2019-08-08 CN CN201980053121.3A patent/CN112566537B/zh active Active
- 2019-08-08 EP EP19849375.1A patent/EP3838108A4/en active Pending
- 2019-08-08 WO PCT/JP2019/031431 patent/WO2020036121A1/ja unknown
- 2019-08-08 JP JP2020537437A patent/JP7549532B2/ja active Active
-
2021
- 2021-02-01 US US17/164,695 patent/US12082769B2/en active Active
-
2023
- 2023-04-05 JP JP2023061526A patent/JP7531013B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2020036121A1 (ja) | 2021-08-26 |
JP2023076644A (ja) | 2023-06-01 |
US12082769B2 (en) | 2024-09-10 |
WO2020036121A1 (ja) | 2020-02-20 |
JP7549532B2 (ja) | 2024-09-11 |
US20210153730A1 (en) | 2021-05-27 |
EP3838108A4 (en) | 2021-10-06 |
EP3838108A1 (en) | 2021-06-23 |
JP7531013B2 (ja) | 2024-08-08 |
CN112566537B (zh) | 2024-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112566537B (zh) | 内窥镜系统 | |
CN110325100B (zh) | 内窥镜系统及其操作方法 | |
JP7190597B2 (ja) | 内視鏡システム | |
JP6785948B2 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
JP7135082B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、及びプログラム | |
CN112423645B (zh) | 内窥镜系统 | |
US11969148B2 (en) | Medical image processing device | |
JP7146925B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
WO2022014235A1 (ja) | 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム | |
US20230027950A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
WO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
JP7556961B2 (ja) | 内視鏡システム、内視鏡システムの作動方法、及び内視鏡システム用プログラム | |
WO2022059233A1 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム | |
JP6866497B2 (ja) | 医療画像処理装置、及び、内視鏡装置 | |
EP4137035A1 (en) | Image processing device and operating method therefor | |
CN114627045A (zh) | 医用图像处理系统、医用图像处理系统的工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |