CN116234487A - 医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序 - Google Patents

医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序 Download PDF

Info

Publication number
CN116234487A
CN116234487A CN202180057349.7A CN202180057349A CN116234487A CN 116234487 A CN116234487 A CN 116234487A CN 202180057349 A CN202180057349 A CN 202180057349A CN 116234487 A CN116234487 A CN 116234487A
Authority
CN
China
Prior art keywords
region
treatment state
interest
instrument
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180057349.7A
Other languages
English (en)
Inventor
目黑美沙纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116234487A publication Critical patent/CN116234487A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种能够以适当的识别力显示关注区域的医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序。本发明的一方式所涉及的医疗图像处理装置是具备处理器的医疗图像装置，处理器进行：图像获取处理，获取受检体的观察图像；关注区域识别处理，从观察图像中识别关注区域；器具信息识别处理，从观察图像中识别受检体的处置所使用的器具的信息即器具信息；以及显示控制处理，以关注区域具有与器具信息的识别结果对应的识别力的方式在显示装置上识别显示观察图像。

Description

医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图 像处理程序
技术领域
本发明涉及医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序。
背景技术
专利文献1所记载的内窥镜系统具备获取拍摄被摄体所得的图像的图像获取部、进行使用图像识别被摄体的识别处理的识别部、判别针对被摄体的操作的判别部、使用判别部的判别结果将识别部设定为有效或无效的设定部、以及报知识别部的有效或无效的状态的报知部。
以往技术文献
专利文献
专利文献1：WO2020/036224号公报
发明内容
发明要解决的技术课题
本发明的一实施方式提供能够以适当的识别力显示关注区域的医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序。
用于解决技术课题的手段
本发明的第一方式所涉及的医疗图像处理装置具备处理器，其中，处理器进行：图像获取处理，获取受检体的观察图像；关注区域识别处理，从观察图像中识别关注区域；器具信息识别处理，从观察图像中识别受检体的处置所使用的器具的信息即器具信息；以及显示控制处理，以关注区域具有与器具信息的识别结果对应的识别力的方式在显示装置上识别显示观察图像。
第二方式所涉及的医疗图像处理装置在第一方式中，处理器在器具信息识别处理中，基于器具信息，判断是通过器具对关注区域进行处置的处置状态、进行处置的准备的处置前状态、处置状态及处置前状态以外的状态即非处置状态中的哪一个，在显示控制处理中，在处置状态及处置前状态下，使识别力比非处置状态降低而显示观察图像。
第三方式所涉及的医疗图像处理装置在第二方式中，在显示控制处理中，在处置状态下，处理器使识别力比处置前状态降低而显示观察图像。
第四方式所涉及的医疗图像处理装置在第二或第三方式中，在器具信息识别处理中，处理器基于包括是否插入器具、插入的器具的种类、插入的长度、器具的操作状态、器具与关注区域的距离、以及在观察图像中器具与关注区域是否重叠中的至少一个的器具信息，判断是处置状态、处置前状态及非处置状态中的哪一个。
第五方式所涉及的医疗图像处理装置在第二至第四方式中的任一方式中，在显示控制处理中，在处置状态和/或处置前状态下，处理器在观察图像上重叠显示围绕关注区域的框。
第六方式所涉及的医疗图像处理装置在第二至第五方式中的任一方式中，在显示控制处理中，在处置状态及处置前状态下，处理器在观察图像上重叠显示表示关注区域的符号。
第七方式所涉及的医疗图像处理装置在第二至第六方式中的任一方式中，在显示控制处理中，在处置状态及处置前状态下，处理器在观察图像上与关注区域的一部分重叠显示字符、图形、符号中的至少一个。
第八方式所涉及的医疗图像处理装置在第五至第七方式中的任一方式中，在处置状态及所述处置前状态下，与非处置状态相比较，处理器使重叠显示的识别力降低。
第九方式所涉及的医疗图像处理装置在第二至第八方式中的任一方式中，在显示控制处理中，在处置状态及处置前状态下，与非处置状态相比较，处理器改变关注区域的色彩和/或亮度而显示观察图像。
第十方式所涉及的内窥镜系统具备：第一至第九方式中的任一方式所涉及的医疗图像处理装置；显示装置，显示观察图像；内窥镜观测器，其插入到受检体中，具有拍摄观察图像的摄影部。
本发明的第十一方式所涉及的医疗图像处理方法使计算机进行：图像获取工序，获取受检体的观察图像；关注区域识别工序，从观察图像中识别关注区域；器具信息识别工序，从观察图像中识别受检体的处置所使用的器具的信息即器具信息；以及显示控制工序，以关注区域具有与器具信息的识别结果对应的识别力的方式在显示装置上识别显示观察图像。也可将第十一方式及以下的各方式所涉及的医疗图像处理方法作为医疗图像处理装置的工作方法来掌握。
第十二方式所涉及的医疗图像处理方法在第十一方式中，在器具信息识别工序中，基于器具信息，判定是通过器具对关注区域进行处置的处置状态、进行处置的准备的处置前状态、以及处置状态及处置前状态以外的状态即非处置状态中的哪一个，在显示控制工序中，在处置状态及处置前状态下，使识别力比非处置状态降低而在显示装置上显示观察图像。
第十三方式所涉及的医疗图像处理方法在第十二方式中，在显示控制工序中，在处置状态下，使识别力比处置前状态降低而显示观察图像。
第十四方式所涉及的医疗图像处理方法在第十二或第十三方式中，在器具信息识别工序中，基于包括是否插入器具、插入的器具的种类、插入的长度、器具的操作状态、器具与关注区域的距离、在观察图像中器具与关注区域是否重叠中的至少一个的器具信息，判断是处置状态、处置前状态及非处置状态中的哪一个。
第十五方式所涉及的医疗图像处理程序使计算机执行第十一至第十四方式中的任一方式所涉及的医疗图像处理方法。记录有第十五方式所涉及的医疗图像处理程序的计算机可读代码的非暂时性记录介质也能够作为本发明的一方式举出。
附图说明
图1是第一实施方式所涉及的内窥镜系统的外观图。
图2是表示内窥镜系统的要部结构的框图。
图3是图像处理部的功能框图。
图4是表示卷积神经网络的结构的图。
图5是表示基于滤光片的卷积处理的情形的图。
图6是表示第一实施方式所涉及的医疗图像处理方法的步骤的流程图。
图7是表示设定处置状态等的定义的画面的例子的图。
图8是表示设定识别显示的方式的画面的例子的图。
图9是表示活检目标范围(关注区域)的识别显示的例子的图。
图10是表示降低关注区域的识别力来显示观察图像的例子的图。
图11是表示与器具和关注区域的距离对应的识别显示的例子的图。
图12是表示与器具的操作状态对应的识别显示的例子的图。
图13是表示与器具的操作状态对应的识别显示的另一例的图。
图14是表示与器具的操作状态对应的识别显示的又一例的图。
图15是表示与器具的操作状态对应的识别显示的又一例的图。
具体实施方式
下面，参照附图，对本发明所涉及的医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序的实施方式详细地进行说明。
<第一实施方式>
<内窥镜系统的结构>
图1是内窥镜系统10(内窥镜系统)的外观图，图2是表示内窥镜系统10的要部结构的框图。如图1、2所示，内窥镜系统10由内窥镜观测器100(图像获取部、内窥镜观测器)、医疗图像处理装置200(医疗图像处理装置、处理器、医疗图像获取部、关注区域识别部、器具信息识别部、显示控制部、记录控制部)、光源装置300(光源装置)、及监视器400(显示装置、显示器)构成。
<内窥镜观测器的结构>
内窥镜观测器100具备手边操作部102和与该手边操作部102连接设置的插入部104。施术者(用户)握持手边操作部102进行操作，将插入部104插入受检体(生物体)的体内进行观察。另外，在手边操作部102设置有供气供水按钮141、吸引按钮142、及被分配了各种功能的功能按钮143、及接受摄影指示操作(静止图像、动态图像)的摄影按钮144。
在手边操作部102设置有记录内窥镜观测器100的个体信息(个体信息、观测器信息)的观测器信息记录部139。个体信息例如为内窥镜观测器100的类型(直视或侧视等)、机型、个体识别号、光学系统的特性(视角、形变等)、受检体的处置所使用的器具(处置器具等)的信息等。图像处理部204的观测器信息获取部230(观测器信息获取部、个体信息获取部；参照图3)获取该个体信息，用于医疗图像处理装置200进行的处理(图像获取处理、关注区域识别处理、器具信息识别处理、显示控制处理)。此外，观测器信息记录部139也可以设置于光导连接器108内等其他部分。
插入部104从手边操作部102侧起依次由软性部112、弯曲部114、顶端硬质部116构成。即，在顶端硬质部116的基端侧连接有弯曲部114，在弯曲部114的基端侧连接有软性部112。在插入部104的基端侧连接有手边操作部102。用户能够通过操作手边操作部102来使弯曲部114弯曲，向上下左右改变顶端硬质部116的方向。在顶端硬质部116设置有摄影光学系统130、照明部123、钳道口126等(参照图1、2)。
在进行观察、处置时，能够通过操作部208(参照图2)的操作从照明部123的照明用透镜123A、123B照射白色光和/或窄带光(红色窄带光、绿色窄带光、蓝色窄带光及紫色窄带光中的一种以上)。另外，能够通过供气供水按钮141的操作从未图示的供水喷嘴放出清洗水，清洗摄影光学系统130的摄影透镜132(摄影透镜、摄影部)及照明用透镜123A、123B。未图示的管路与在顶端硬质部116开口的钳道口126连通，在该管路中插通用于肿瘤切除等的未图示的处置器具，可使其适当地进退而实施受检体所需的处置。
如图1、2所示，在顶端硬质部116的顶端侧端面116A配设有摄影透镜132(摄影部)。在摄影透镜132的里侧配设有CMOS(Complementary Metal-Oxide Semiconductor)型的摄像元件134(摄像元件、图像获取部)、驱动电路136、AFE138(AFE：Analog Front End)，通过这些要素输出图像信号。摄像元件134是彩色摄像元件，具备由以特定的图案排列(拜尔排列、X-Trans(注册商标)排列、蜂窝排列等)配置(二维排列)成矩阵状的多个受光元件构成的多个像素。摄像元件134的各像素包括微透镜、红色(R)、绿色(G)或蓝色(B)的彩色滤光片及光电转换部(光电二极管等)。也可以使用在一个封装中包含摄像元件134、驱动电路136及AFE138的图像传感器。摄影光学系统130能够根据红色、绿色、蓝色这三个颜色的像素信号生成彩色图像，也能够根据红色、绿色、蓝色中任意的一个颜色或两个颜色的像素信号生成图像。此外，摄像元件134也可以是XY地址型或CCD(Charge Coupled Device)型。另外，摄像元件134的各像素还可以具备与紫色光源310V对应的紫色彩色滤光片和/或与红外光源对应的红外用滤光片。
受检体的光学像通过摄影透镜132成像于摄像元件134的受光面(摄像面)并转换成电信号，经由未图示的信号电缆输出到医疗图像处理装置200并转换成影像信号。由此，在与医疗图像处理装置200连接的监视器400上对被摄体的内窥镜图像(观察图像、医疗图像)进行画面显示。
另外，在顶端硬质部116的顶端侧端面116A，与摄影透镜132相邻地设置有照明部123的照明用透镜123A、123B。在照明用透镜123A、123B的里侧，设置有后述的光导170的射出端，该光导170插通于插入部104、手边操作部102及通用电缆106中，光导170的入射端配置在光导连接器108内。
用户通过在将上述结构的内窥镜观测器100(插入部104)插入作为受检体的生物体内或者拔出的同时以确定的帧率进行摄影(能够通过医疗图像获取部220的控制进行)，能够依次拍摄生物体内的时间序列的图像。
<光源装置的结构>
如图2所示，光源装置300由照明用的光源310、光圈330、聚光透镜340及光源控制部350等构成，使观察光入射至光导170。光源310具备分别照射红色、绿色、蓝色、紫色的窄带光的红色光源310R、绿色光源310G、蓝色光源310B及紫色光源310V，能够照射红色、绿色、蓝色及紫色的窄带光。基于光源310的观察光的照度由光源控制部350控制，能够根据需要变更(提高或降低)观察光的照度及停止照明。
光源310能够以任意的组合发出红色、绿色、蓝色及紫色的窄带光。例如，能够同时发出红色、绿色、蓝色及紫色的窄带光，照射白色光(普通光)作为观察光，也能够通过发出任意一种或者两种来照射窄带光(特殊光)。光源310还可以具备照射红外光(窄带光的一例)的红外光源。另外，也可以通过照射白色光的光源和透过白色光及各窄带光的滤光片来照射白色光或窄带光作为观察光。
<光源的波长频带>
光源310可以是白色频带的光、或作为白色频带的光产生多个波长频带的光的光源，也可以是产生比白色波长频带窄的特定波长频带的光的光源。特定波长频带也可以是可见范围的蓝色频带或绿色频带、或者可见范围的红色频带。当特定波长频带是可见范围的蓝色频带或绿色频带时，也可以含有390nm以上450nm以下或530nm以上550nm以下的波长频带，且在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。另外，当特定波长频带是可见范围的红色频带的情况下，也可以包含585nm以上615nm以下或610nm以上730nm以下的波长频带，且特定波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。
上述特定波长频带的光也可以包含吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带，且在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带中具有峰波长。在该情况下，特定波长频带也可以含有400±10nm、440±10nm、470±10nm、或600nm以上750nm的波长频带，且在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰波长。
另外，光源310产生的光也可以包含790nm以上820nm以下或905nm以上970nm以下的波长频带，且在790nm以上820nm以下或905nm以上970nm以下的波长频带中具有峰波长。
另外，光源310也可以具备照射峰值为390nm以上470nm以下的激励光的光源。在该情况下，能够获取具有受检体(生物体)内的荧光物质发出的荧光的信息的医疗图像(医用图像、生物体内图像)。在获取荧光图像时，也可以使用荧光法用色素剂(荧光素、吖啶橙等)。
光源310的光源种类(激光光源、氙气光源、LED光源(LED：Light-Emitting Diode)等)、波长、滤光片的有无等优选根据被摄体的种类、部位、观察目的等而构成，另外，在观察时，优选根据被摄体的种类、部位、观察目的等组合和/或切换观察光的波长。在切换波长时，例如，也可以通过使设置有配置在光源的前方且透过或遮住特定波长的光的滤光片的圆盘状的滤光片(旋转彩色滤光片)旋转来切换照射的光的波长。
另外，在实施本发明时使用的摄像元件不限于如摄像元件134那样对各像素配设有彩色滤光片的彩色摄像元件，也可以是单色摄像元件。当使用单色摄像元件时，能够依次切换观察光的波长，按照面顺序(颜色顺序)进行摄像。例如可以将射出的观察光的波长在(紫色、蓝色、绿色、红色)之间依次切换，也可以切换照射宽带光(白色光)而通过旋转彩色滤光片(红色、绿色、蓝色、紫色等)射出的观察光的波长。另外，也可以切换照射一个或多个窄带光(绿色、蓝色、紫色等)而通过旋转彩色滤光片(绿色、蓝色、紫色等)射出的观察光的波长。窄带光也可以是波长不同的两个波长以上的红外光(第一窄带光、第二窄带光)。
通过将光导连接器108(参照图1、2)与光源装置300连结，从光源装置300照射的观察光经由光导170传输到照明用透镜123A、123B，从照明用透镜123A、123B向观察范围照射。
<医疗图像处理装置的结构>
基于图2对医疗图像处理装置200的结构进行说明。医疗图像处理装置200通过图像输入控制器202输入从内窥镜观测器100输出的图像信号，由图像处理部204(处理器、计算机)进行必要的图像处理，并从视频输出部206输出。由此，在监视器400(显示装置)上显示观察图像(医疗图像、内窥镜图像、生物体内图像)。这些处理在CPU210(CPU：CentralProcessing Unit、处理器、计算机)的控制下进行。通信控制部205在与未图示的医院内系统(HIS：Hospital Information System)或医院内LAN(Local Area Network)、和/或外部的系统或网络之间进行对于医疗图像的获取等的通信控制。
<图像处理部的功能>
图3是图像处理部204的功能框图。图像处理部204具备医疗图像获取部220(医疗图像获取部)、关注区域识别部222(关注区域识别部)、器具信息识别部224(器具信息识别部)、显示控制部226(显示控制部)、记录控制部228(记录控制部)、以及观测器信息获取部230(观测器信息获取部)。下面，对使用它们的功能的处理进行详述。
图像处理部204能够通过上述功能进行医疗图像的识别、活检状态等的判断、特征量的计算、强调或减少特定频带的成分的处理、强调或忽略特定对象(关注区域、期望深度的血管等)的处理。图像处理部204也可以具备特殊光图像获取部，该特殊光图像获取部基于照射白色频带的光、或作为白色频带的光照射多个波长频带的光而获得的普通光图像来获取具有特定波长频带的信息的特殊光图像。在该情况下，特定波长频带的信号能够通过基于普通光图像中所含的RGB(R：红色，G：绿色，B：蓝色)或者CMY(C：青色，M：品红色，Y：黄色)的颜色信息的运算来获得。另外，图像处理部204也可以具备特征量图像生成部，获取及显示作为医疗图像(医用图像)的特征量图像，上述特征量图像生成部通过基于照射白色频带的光、或照射多个波长频带的光作为白色频带的光而获得的普通光图像和照射特定波长频带的光而获得的特殊光图像中的至少一方的运算而生成特征量图像。此外，上述处理在CPU210的控制下进行。
<各种处理器的功能的实现>
上述的图像处理部204的各部的功能可使用各种处理器(processor)及记录介质来实现。在各种处理器中，例如包括执行软件(程序)而实现各种功能的通用处理器即CPU(Central Processing Unit)。另外，在上述的各种处理器中，还包括图像处理专用处理器即GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等在制造后可变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)。当如本发明所述进行图像的学习或识别时，使用GPU的结构是有效的。此外，ASIC(ApplicationSpecific Integrated Circuit)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等也包括在上述的各种处理器中。
各部的功能可以由一个处理器实现，也可以由相同类型或不同类型的多个处理器(例如，多个FPGA、或者CPU与FPGA的组合、或CPU与GPU的组合)来实现。另外，也可以用一个处理器实现多个功能。作为用一个处理器构成多个功能的例子，首先，有诸如以计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器实现为多个功能的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(IntegratedCircuit)芯片实现系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种功能。而且，更具体而言，这些各种处理器的硬件结构是将半导体元件等电路元件组合成的电路(circuitry)。这些电路也可以是使用逻辑和、逻辑积、逻辑否定、异或、及将它们组合的逻辑运算来实现上述功能的电路。
在上述的处理器或者电路执行软件(程序)时，预先将执行的软件的可由计算机(例如，构成图像处理部204的各种处理器或电路、和/或它们的组合)读取的代码存储于ROM211(ROM：Read Only Memory)或闪存(未图示)等非暂时性记录介质中，计算机参照该软件。预先存储于非暂时性记录介质中的软件包括用于执行本发明所涉及的医疗图像处理方法(医疗图像处理装置的工作方法)的程序及在执行时所使用的数据(与医疗图像的获取相关的数据、活检状态等定义或识别显示的方式设定所使用的数据、识别部使用的参数等)。也可以在各种光磁记录装置、半导体存储器等非暂时性记录介质而不是ROM211中记录代码。在进行使用软件的处理时，例如将RAM212(RAM：Random Access Memory)用作暂时性存储区域，另外，例如也可参照存储于未图示的EEPROM(Electronically Erasable andProgrammable Read Only Memory)的数据。也可以将记录部207用作“非暂时性记录介质”。
另外，ROM211(ROM：Read Only Memory)是非易失性存储元件(非暂时性记录介质)，存储有使CPU210和/或图像处理部204(计算机)执行各种图像处理方法(包括本发明所涉及的医疗图像处理方法)的程序的计算机可读代码。RAM212(RAM：Random AccessMemory)是进行各种处理时的暂时存储用的存储元件，另外，也能够用作图像获取时的缓存。语音处理部209通过CPU210及图像处理部204的控制，从扬声器209A(报知部、扬声器)输出与医疗图像处理、部位识别、报知等相关的消息(语音)。此外，程序也可以记录并分配到未图示的外部记录介质中，通过CPU210从该记录介质来安装。或者，程序也可以以可从外部访问的状态存储于与网络连接的服务器等，根据请求通过CPU210下载到ROM211，并进行安装及执行。
<操作部>
操作部208可由未图示的键盘、鼠标等设备构成，用户可经由操作部208进行医疗图像处理方法的执行指示或执行所需的条件(例如，后述的处置状态等的定义或识别显示的方式)的设定。
<使用神经网络的识别部>
在第一实施方式中，能够使用神经网络等学习完成模型(使用由拍摄生物体而得的图像构成的图像集进行了学习的模型)构成关注区域识别部222及器具信息识别部224。关注区域识别部222从观察图像中识别关注区域(关注区域识别处理)，器具信息识别部224从观察图像中识别器具的信息(处置状态、处置前状态、非处置状态)(器具信息识别处理)。具体而言，器具信息识别部224根据观察图像判断有无器具插入或插入量、器具与关注区域的距离等，并基于其结果判断内窥镜观测器100(医疗图像处理装置200、内窥镜系统10)的状态是处置状态、处置前状态、非处置状态中的哪一个。此外，“处置状态”、“处置前状态”、“非处置状态”例如能够分别作为“通过器具对关注区域实际进行处置的状态(用户进行处置的状态)”、“器具插入等用户进行处置准备的状态、或器具与关注区域的距离近的状态”、“未进行用于处置的操作(器具插入等)的状态(用户未进行处置及其准备的状态)、或器具与关注区域远的状态(处置状态及处置前状态以外的状态)”来掌握。也可以不将处置状态和处置前状态分开而区分为处置状态和非处置前状态。
此外，“处置”除了活检(切除病变和可疑的区域、用于病理等的检查)之外，还包括ESD(Endoscopic Submucosal Dissection；内窥镜粘膜下层剥离术)或EMR(EndoscopicMucosal Resection；内窥镜下粘膜切除术)等内窥镜下切除，“器具”除了活检用的器具之外，还包括用于ESD或EMR等的器具。
<识别部的结构例>
下面，对使用CNN(Convolutional Neural Network)作为神经网络进行识别(检测、鉴别等)时的识别部的结构进行说明。图4是表示CNN562(神经网络)的结构的图。在图4的(a)部分所示的例子中，CNN562具有输入层562A、中间层562B及输出层562C。输入层562A输入医疗图像获取部220获取的内窥镜图像(医疗图像、观察图像)并输出特征量。中间层562B包括卷积层564及池化层565，输入输入层562A输出的特征量并计算其他特征量。这些层成为多个“节点”由“边缘”连接的结构，应用于输入的图像的加权系数与节点及边缘相关联地存储于未图示的加权系数存储部。加权系数的值随着学习进行而变化。
<中间层中的处理>
中间层562B通过卷积运算及池化处理来计算特征量。由卷积层564进行的卷积运算是通过使用滤光片的卷积运算获取特征图的处理，承担从图像的边缘提取等特征提取的作用。通过使用该滤光片的卷积运算，对一个滤光片生成一个信道(一张)的“特征图”。“特征图”的尺寸在通过卷积降尺度时，随着由各层进行卷积而变小。由池化层565进行的池化处理是缩小(或扩大)通过卷积运算输出的特征图而形成新的特征图的处理，承担提取的特征赋予鲁棒性以不受平行移动等带来的影响的作用。中间层562B可由进行这些处理的一层或多层构成。此外，CNN562也可以没有池化层565而构成。
CNN562也可以如图4的(b)部分所示的例子那样包括全连接层566。CNN562的层结构不限于卷积层564和池化层565逐层重复的情况，也可以连续地包括多个任一层(例如，卷积层564)。
图5是表示图4所示的滤光片进行的卷积处理的情形的图。在中间层562B的最开始(第一层)的卷积层中，进行由多个医疗图像构成的图像集(在学习时为学习用图像集，在部位识别时为部位识别用图像集)和滤光片F1的卷积运算。图像集由具有纵为H、横为W的图像尺寸的N张(N信道)图像构成。当输入普通光图像时，构成图像集的图像是R(红色)、G(绿色)、B(蓝色)的三个信道的图像。就与该图像集进行卷积运算的滤光片F1而言，由于图像集为N信道(N张)，因此例如为尺寸5(5×5)的滤光片时，滤光片尺寸成为5×5×N的滤光片。通过使用该滤光片F1的卷积运算，对一个滤光片F1生成一个信道(一张)的“特征图”。在第二层卷积层中使用的滤光片F2例如为尺寸3(3×3)的滤光片时，滤光片尺寸成为3×3×M。
与第一层卷积层同样，在第二层至第n层的卷积层中，进行使用滤光片F2～Fn的卷积运算。第n层卷积层中的“特征图”的尺寸小于第二层卷积层中的“特征图”的尺寸是因为被直到前段为止的卷积层或池化层降尺度。
在中间层562B的层中靠近输入侧的卷积层中进行低阶特征提取(边缘的提取等)，随着靠近输出侧，进行高阶特征提取(与识别对象的形状、结构等相关的特征的提取)。
此外，中间层562B除了卷积层564及池化层565之外，还可以包括进行批量标准化的层。批量标准化处理是以进行学习时的小批量为单位将数据的分布规范化的处理，承当使学习快速进行、降低对初始值的依赖性、抑制过学习等的作用。
输出层562C以符合部位识别的形式输出中间层562B所计算出的特征量。输出层562C也可以包括全连接层。
此外，关注区域识别部222进行的关注区域识别处理和器具信息识别部224进行的器具信息识别处理可以通过共同的神经网络进行，也可以通过个别的神经网络进行。
<活检目标区域的识别显示>
当使用内窥镜系统等观察范围性疾病时，多是对病情发展的区域进行活检，作为病理检查的对象。此时，由医疗图像处理装置检测活检目标区域(关注区域等)，显示适于活检的区域。但是，当使用器具(处置器具)进行活检时，在插入器具的时刻，医生掌握了活检位置，如果即使在该状态下也维持对于目标区域的识别显示(识别力)(参照后述的图9)，可能会妨碍医生的活检。因此，在本发明中，如下面对详细情况进行说明的那样，识别观察图像中的器具信息，以活检目标区域(关注区域)具有与器具信息的识别结果对应的识别力的方式在显示装置上识别显示观察图像。
此外，在本发明中，所谓“识别力”是指“目视识别观察图像的医生等用户能够将关注区域与其他区域识别开”。用户的识别力越高，越能够明确地将关注区域与其他区域识别开。另外，“识别显示”是指在提高了关注区域的识别力的状态下显示观察图像，具体而言，如后述的显示例所示，包括关注区域本身的强调(例如填充、轮廓显示)或表示关注区域的信息(例如围绕关注区域的框的显示、表示关注区域的图形或符号的显示)。
<医疗图像处理方法的各处理>
图6是表示第一实施方式的医疗图像处理方法(医疗图像处理装置的工作方法)的步骤的流程图。此外，设为已经执行了使用学习用数据的CNN562的学习的流程图。
<活检状态等的定义>
图像处理部204根据经由操作部208的用户操作设定活检状态等的定义(步骤S100：定义设定工序)。用户能够经由图7所例示的画面700(在监视器400上显示)进行设定操作。
画面700具有配置有单选按钮及数值输入区域的区域702、710、720。用户能够通过操作单选按钮来设定是否进行基于各项目的判断，另外，能够输入成为各项目的判断基准的数值。例如，用户能够通过在区域702(进行活检状态的定义的区域)打开“器具插入XXmm以上”的单选按钮703A，在区域703B输入数值(在图7的例子中为10mm)，设定“当器具插入量为10mm以上时，判断为活检状态(处置状态)”。此外，当在观察图像中器具与关注区域的距离为零或者阈值以下时，器具信息识别部224能够判断为“器具与关注区域重叠”。
同样，用户能够设定根据器具与关注区域的距离及器具的使用状态(操作状态)判断活检状态。此外，“器具为使用状态(操作状态)”例如包括钳子的刃口打开的情况、或圈套器的线环收缩的情况(参照后述的图9～15)。另外，也可以根据器具的种类(钳子、圈套器、刷子等)设定不同的定义。
用户能够对活检状态(区域702)、活检准备状态(区域710)及非活检状态(区域720)进行这种操作。此外，在图7中，示出了将器具信息分为“活检状态(处置状态)”、“活检准备状态(处置前状态)”、“非活检状态(非处置状态)”这三个阶段的例子，但也可以分为活检状态和非活检状态这两个阶段。
用户能够对多个项目进行这种判断基准的打开/关闭或数值的输入，在开启的项目有多个的情况下，当与这些项目对应的条件全部满足时，器具信息识别部224(处理器)能够判断为“是活检状态(或者活检准备状态、非活检状态)”。在图7的例子中，当器具插入量为10mm以上、器具与关注区域的距离小于10mm、器具为使用状态时，器具信息识别部224能够判断为“是活检状态”。
<识别显示的方式设定>
显示控制部226(处理器)根据经由操作部208的用户操作来设定识别显示的方式(步骤S110)：显示控制工序)。用户能够经由图8所例示的画面750(在监视器400上显示)进行设定操作。
如图8所示，画面750具有配置有单选按钮的区域760、770、780。这些区域分别是用于设定活检状态、活检准备状态及非活检状态下的识别显示的方式的区域，用户能够通过在各区域操作单选按钮来设定识别显示的方式。在关于活检状态的区域760中设置有单选按钮760A～760D，例如如果打开单选按钮760A，则在活检状态下，用虚线轮廓显示关注区域。同样，用户能够利用区域770、780的单选按钮设定活检准备状态、非活检状态下的识别显示的方式。
用户能够通过上述的单选按钮等的操作设定如下的识别显示的方式：在活检状态及活检准备状态下，与非活检状态相比，关注区域的识别力降低。另外，用户也可以设定为在活检状态下，与活检准备状态相比，识别力降低。器具信息识别部224(处理器)在用户的设定中，也可以是在活检状态及活检准备状态下的识别力不低于非活检状态下的识别力的情况下输出警告的消息，亦可以是如果在任一状态下设定显示方式，则连动地设定其他状态下的显示方式(在活检状态及活检准备状态下使关注区域的识别力比非活检状态降低)。
这样，在内窥镜系统10(内窥镜系统)中，用户能够根据需要设定活检状态等的定义及识别显示的方式。此外，活检状态等的定义及识别显示的方式的设定不仅在医疗图像处理开始时进行，也可以在处理期间的任意时机进行。此外，也可以是内窥镜系统10自动地进行活检状态等的定义及识别显示的方式的设定而不依赖用户的操作。
<内窥镜图像的获取>
医疗图像获取部220(处理器)获取时间序列的内窥镜图像(观察图像、医疗图像)(步骤S120：图像获取工序、图像获取处理)。医疗图像获取部220可以获取由内窥镜观测器100拍摄的内窥镜图像，也可以获取记录在记录部207中的内窥镜图像。记录控制部228能够将获取的内窥镜图像记录在记录部207中。
<关注区域及器具信息的识别>
关注区域识别部222(处理器)通过CNN562从观察图像中识别关注区域(步骤S130：关注区域识别工序、关注区域识别处理)。另外，通过器具信息识别部224(处理器)CNN562从观察图像中识别器具信息(步骤S140：器具信息识别工序、器具信息识别处理)。器具信息包括插通到内窥镜观测器100的与钳道口126连通的管路中的器具是否插入到受检体内、插入到受检体内的器具的种类、插入的长度(插入到受检体内的器具的长度)、插入到受检体内的器具的操作状态、插入到受检体内的器具与关注区域的距离、在观察图像中器具与关注区域是否重叠中的至少一个。关注区域识别部222及器具信息识别部224也可以在上述的识别中参照内窥镜观测器100的个体信息。
<活检状态等的判断>
器具信息识别部224基于在图7中设定的定义及成为判断基准的数值、以及在步骤S140中识别出的器具信息，判断是否是活检状态或活检准备状态(步骤S150：状态判断工序)。当是活检状态或活检准备状态时(在步骤S150中为YES)，显示控制部226按照在图8中设定的方式，当是活检状态时设定活检状态的识别显示方式，当是活检准备状态时设定活检准备状态的识别显示方式(步骤S160：显示控制工序)。当是非活检状态时(在步骤S150中为NO)，显示控制部226按照在图8中设定的方式设定非活检状态的识别显示方式(步骤S170：显示控制工序)。此外，当原本未识别到关注区域时，不需要进行识别显示。
<观察图像的识别显示>
显示控制部226(处理器)以关注区域具有与器具信息的识别结果对应的识别力的方式在显示装置上识别显示观察图像(步骤S180：显示控制工序)。
图9是活检目标范围(关注区域)的识别显示的例子。在图9所示的观察图像800中，区域830为真正的关注区域(区域830的边界是为了便于说明而显示的；以下同样)，区域850为关注区域识别部222(CNN562)识别(检测)出的关注区域。在图9所示的状态下，器具未插入，是非活检状态(非使用状态、非操作状态)。在图9中，显示控制部226填充区域850来显示，关注区域的识别力高，但如上所述，如果在活检状态或活检准备状态下还继续这样的识别显示，则可能成为医生的阻碍。因此，在本实施方式中，在活检状态及活检准备状态下，如以下所例示进行使关注区域的识别力比非活检状态降低的识别显示。此外，这些识别显示在活检以外的处置(ESD或EMR等)的情况下也能够同样地进行。
(显示例：其一)
图10是表示降低关注区域的识别力来显示观察图像的例子的图(插入了器具(处置器具)的一例即钳子900的活检准备状态)。图10的(a)部分是在观察图像802中与关注区域的一部分重叠显示箭头852(符号)的例子，图10的(b)部分是在观察图像804中对区域850(关注区域)进行轮廓显示的例子，图10的(c)部分表示在观察图像806中与关注区域的一部分重叠显示圆形的图形854(图形)的例子。重叠显示的图形为中尺寸(参照图8的区域770的“部分显示(中)”)。此外，所谓重叠显示不限于这些例子所示的图形或符号，也可以是字符或数字。另外，显示控制部226也可以在观察图像上重叠显示围绕关注区域的框(边界框等)。显示控制部226能够在活检状态下通过减少重叠显示的字符或数字、符号的数量、将实线设为虚线等来使重叠显示的识别力比活检准备状态降低。另外，显示控制部226除了在活检状态下降低重叠显示的识别力之外，还可以通过改变关注区域的色彩和/或亮度等来使关注区域的识别力比活检准备状态降低。
(显示例：其二)
图11是表示与器具和关注图像的距离对应的识别显示的例子的图。在图11的(a)部分所示的状态下，在观察图像808中，钳子900(器具，处置器具)与关注区域(真正的关注区域832、关注区域识别部222识别出的关注区域834)的距离较远，因此对关注区域834进行轮廓显示，但在图11的(b)部分所示的状态下，钳子900与关注区域的距离较近，因此通过圆形的图形835(图形)减小关注区域的比例进行显示，降低识别力。此外，在图11的(b)部分中，用虚线表示了关注区域834的轮廓，但该虚线是用于表示减小关注区域的比例进行显示的参考线，因此实际上不需要在监视器400上显示。
(显示例：其三)
图12是表示与器具的操作状态对应的识别显示的例子的图。在图12的(a)部分所示的状态下，在观察图像812中插入钳子900A，但刃口是闭合的(非操作状态)，因此器具信息识别部224能够判断为“是活检准备状态”。因此，显示控制部226填充关注区域836(关注区域识别部222识别出的关注区域；真正的关注区域是关注区域832)进行显示，提高识别力。与此相对，在图12的(b)部分所示的状态下，在观察图像814中，钳子900B的刃口是打开的(操作状态)，因此器具信息识别部224能够判断为“是活检状态”，由此，显示控制部226将关注区域838设为轮廓显示，降低识别力。
(显示例：其四)
图13是表示与器具的操作状态对应的识别显示的另一例的图。在图13的(a)部分所示的状态下，在观察图像816中插入圈套器902(器具、处置器具)，但线的轮902A未卡挂于关注区域840(病变)，因此器具信息识别部224能够判断为“是活检准备状态”。因此，显示控制部226在关注区域840中重叠显示图形866A(图形)，提高识别力。与此相对，在图13的(b)部分所示的状态下，在观察图像818中，轮902A开始卡挂于关注区域，因此器具信息识别部224能够判断为“是活检状态”。因此，显示控制部226在关注区域840中重叠显示较小的圆形的图形866B(图形)，使识别力比图13的(a)部分所示的状态降低。
此外，在图13的(b)部分所示的状态下，器具信息识别部224也可以判断为“器具与观察区域重叠(距离为阈值以下)”。
(显示例：其五)
图14是表示与器具的操作状态对应的识别显示的又一例的图。在图14的(a)部分所示的状态下，在观察图像820中插入圈套器902(器具、处置器具)，线轮902A卡挂于关注区域840(病变)，但轮902A是打开的状态，因此器具信息识别部224能够判断为“是活检准备状态”。因此，显示控制部226在关注区域840中重叠显示图形868A(图形)，提高识别力。与此相对，在图14的(b)部分所示的状态下，在观察图像822中，轮902A即将关闭，因此器具信息识别部224能够判断为“是活检状态”。因此，显示控制部226在关注区域840中重叠显示箭头869A(符号)及点869B(图形、符号)，使识别力比图14的(a)部分所示的状态降低。
(显示例：其六)
图15是表示与器具的操作状态对应的识别显示的又一例的图。在图15的(a)部分所示的状态下，在观察图像824中，刷子904(器具)远离关注区域842，因此器具信息识别部224能够判断为“是活检准备状态”，显示控制部226在关注区域842中重叠显示图形870A(图形)，提高识别力。与此相对，在图15的(b)部分所示的状态下，在观察图像826中，刷子904靠近关注区域842，因此器具信息识别部224能够判断为“是活检状态”，显示控制部226在关注区域840中重叠显示箭头870B(符号)及点870C(图形、符号)，使识别力比图15的(a)部分所示的状态降低。
此外，在上述显示例中，显示控制部226也可以通过与非活检状态比较改变填充、轮廓、符号等的色彩和/或亮度来降低活检状态、活检准备状态的识别力。
CPU210及图像处理部204重复步骤S120～S180的处理，直至观察结束为止(在步骤S190中为N0的期间)。
如上所述，根据第一实施方式所涉及的医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序，用户能够根据需要设定活检状态等的定义及识别显示的方式，器具信息识别部224识别器具的信息，显示控制部226基于识别结果进行观察图像的识别显示，由此能够以适当的识别力显示关注区域。
(附记)
除了上述方式之外，以下所记载的结构也包括在本发明的范围内。
(附记1)
一种医疗图像处理装置，其中，医疗图像分析处理部基于医疗图像的像素的特征量，检测应关注区域即关注区域，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记2)
一种医疗图像处理装置，其中，医疗图像分析处理部基于医疗图像的像素的特征量，检测应关注对象的有无，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记3)
一种医疗图像处理装置，其中，医疗图像分析结果获取部
从记录医疗图像的分析结果的记录装置中进行获取，
分析结果是医疗图像中所含的应关注区域即关注区域和应关注对象的有无中的任一个或者双方。
(附记4)
一种医疗图像处理装置，其中，医疗图像是照射白色频带的光、或作为白色频带的光照射多个波长频带的光而获得的普通光图像。
(附记5)
一种医疗图像处理装置，其中，医疗图像是照射特定波长频带的光而获得的图像，
特定波长频带是比白色波长频带窄的频带。
(附记6)
一种医疗图像处理装置，其中，特定波长频带是可见范围的蓝色或绿色频带。
(附记7)
一种医疗图像处理装置，其中，特定波长频带包含390nm以上450nm以下或530nm以上550nm以下的波长频带，且特定波长频带的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。
(附记8)
一种医疗图像处理装置，其中，特定波长频带是可见范围的红色频带。
(附记9)
一种医疗图像处理装置，其中，特定波长频带包含585nm以上615nm以下或610nm以上730nm以下的波长频带，且特定波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。
(附记10)
一种医疗图像处理装置，其中，特定波长频带包含吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带，且特定波长频带的光在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带中具有峰波长。
(附记11)
一种医疗图像处理装置，其中，特定波长频带包含400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带，且特定波长频带的光在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带中具有峰波长。
(附记12)
一种医疗图像处理装置，其中，医疗图像是在生物体内拍摄的生物体内图像，
生物体内图像具有生物体内的荧光物质发出的荧光的信息。
(附记13)
一种医疗图像处理装置，其中，荧光可向生物体内照射峰值为390以上470nm以下的激励光。
(附记14)
一种医疗图像处理装置，其中，医疗图像是在生物体内拍摄的生物体内图像，
特定波长频带是红外光的波长频带。
(附记15)
一种医疗图像处理装置，其中，特定波长频带包含790nm以上820nm以下或905nm以上970nm以下的波长频带，且特定波长频带的光在790nm以上820nm以下或905nm以上970nm以下的波长频带中具有峰波长。
(附记16)
一种医疗图像处理装置，其中，医疗图像获取部具备特殊光图像获取部，该特殊光图像获取部基于照射白色频带的光、或作为白色频带的光照射多个波长频带的光而获得的普通光图像，获取具有特定波长频带的信息的特殊光图像，
医疗图像是特殊光图像。
(附记17)
一种医疗图像处理装置，其中，特定波长频带的信号通过基于普通光图像中所含的RGB或者CMY的颜色信息的运算而获得。
(附记18)
一种医疗图像处理装置，其具备特征量图像生成部，该特征量图像生成部通过基于照射白色频带的光、或作为白色频带的光照射多个波长频带的光而获得的普通光图像和照射特定波长频带的光而获得的特殊光图像中的至少一方的运算，生成特征量图像，
医疗图像是特征量图像。
(附记19)
一种内窥镜装置，其具备：
附记1至18中任一项所述的医疗图像处理装置；以及
内窥镜，其照射白色的波长频带的光或特定波长频带的光中的至少任一个来获取图像。
(附记20)
一种诊断辅助装置，其具备附记1至18中任一项所述的医疗图像处理装置。
(附记21)
一种医疗业务辅助装置，其具备附记1至18中任一项所述的医疗图像处理装置。
以上对本发明的实施方式及其他例进行了说明，但本发明不限于上述方式，在不脱离本发明的精神的范围内可以进行各种变形。
符号说明
10 内窥镜系统
100 内窥镜观测器
102 手边操作部
104 插入部
106 通用电缆
108 光导连接器
112 软性部
114 弯曲部
116 顶端硬质部
116A 顶端侧端面
123 照明部
123A 照明用透镜
123B 照明用透镜
126 钳道口
130 摄影光学系统
132 摄影透镜
134 摄像元件
136 驱动电路
138 AFE
139 观测器信息记录部
141 供气供水按钮
142 吸引按钮
143 功能按钮
144 摄影按钮
170 光导
200 医疗图像处理装置
202 图像输入控制器
204 图像处理部
205 通信控制部
206 视频输出部
207 记录部
208 操作部
209 语音处理部
209A 扬声器
210 CPU
211 ROM
212 RAM
220 医疗图像获取部
222 关注区域识别部
224 器具信息识别部
226 显示控制部
228 记录控制部
230 观测器信息获取部
300 光源装置
310 光源
310B 蓝色光源
310G 绿色光源
310R 红色光源
310V 紫色光源
330 光圈
340 聚光透镜
350 光源控制部
400 监视器
562A 输入层
562B 中间层
562C 输出层
564 卷积层
565 池化层
566 全连接层
700 画面
702 区域
703A 单选按钮
703B 区域
710 区域
720 区域
750 画面
760 区域
760A 单选按钮
760B 单选按钮
760C 单选按钮
760D 单选按钮
770 区域
780 区域
800 观察图像
802 观察图像
804 观察图像
806 观察图像
808 观察图像
812 观察图像
814 观察图像
816 观察图像
818 观察图像
822 观察图像
826 观察图像
830 区域
832 关注区域
834 关注区域
835 图形
836 关注区域
838 关注区域
840 关注区域
842 关注区域
850 区域
852 箭头
854 图形
866A 图形
866B 图形
868A 图形
869A 箭头
869B 点
870A 图形
870B 箭头
870C 点
900 钳子
900A 钳子
900B 钳子
902 圈套器
902A 轮
904 刷子
F1 滤光片
F2 滤光片
S100～S190 医疗图像处理方法的各步骤

Claims (15)

1.一种医疗图像处理装置，其具备处理器，其中，
所述处理器进行：
图像获取处理，获取受检体的观察图像；
关注区域识别处理，从所述观察图像中识别关注区域；
器具信息识别处理，从所述观察图像中识别所述受检体的处置所使用的器具的信息即器具信息；以及
显示控制处理，以所述关注区域具有与所述器具信息的识别结果对应的识别力的方式在显示装置上识别显示所述观察图像。
2.根据权利要求1所述的医疗图像处理装置，其中，
所述处理器，
在所述器具信息识别处理中，基于所述器具信息，判断是通过所述器具对所述关注区域进行处置的处置状态、进行所述处置的准备的处置前状态、所述处置状态及所述处置前状态以外的状态即非处置状态中的哪一个，
在所述显示控制处理中，在所述处置状态及所述处置前状态下，使所述识别力比所述非处置状态降低而显示所述观察图像。
3.根据权利要求2所述的医疗图像处理装置，其中，
在所述显示控制处理中，在所述处置状态下，所述处理器使所述识别力比所述处置前状态降低而显示所述观察图像。
4.根据权利要求2或3所述的医疗图像处理装置，其中，
在所述器具信息识别处理中，所述处理器基于包括是否插入所述器具、插入的所述器具的种类、所述插入的长度、所述器具的操作状态、所述器具与所述关注区域的距离、在所述观察图像中所述器具与所述关注区域是否重叠中的至少一个的所述器具信息，判断是所述处置状态、所述处置前状态及所述非处置状态中的哪一个。
5.根据权利要求2至4中任一项所述的医疗图像处理装置，其中，
在所述显示控制处理中，在所述处置状态和/或所述处置前状态下，所述处理器在所述观察图像上重叠显示围绕所述关注区域的框。
6.根据权利要求2至5中任一项所述的医疗图像处理装置，其中，
在所述显示控制处理中，在所述处置状态及所述处置前状态下，所述处理器在所述观察图像上重叠显示表示所述关注区域的符号。
7.根据权利要求2至6中任一项所述的医疗图像处理装置，其中，
在所述显示控制处理中，在所述处置状态及所述处置前状态下，所述处理器在所述观察图像上与所述关注区域的一部分重叠显示字符、图形、符号中的至少一个。
8.根据权利要求5至7中任一项所述的医疗图像处理装置，其中，
在所述处置状态及所述处置前状态下，与所述非处置状态相比较，所述处理器使所述重叠显示的识别力降低。
9.根据权利要求2至8中任一项所述的医疗图像处理装置，其中，
在所述显示控制处理中，在所述处置状态及所述处置前状态下，与所述非处置状态相比较，所述处理器改变所述关注区域的色彩和/或亮度而显示所述观察图像。
10.一种内窥镜系统，其具备：
权利要求1至9中任一项所述的医疗图像处理装置；
所述显示装置，其显示所述观察图像；以及
内窥镜观测器，其插入到所述受检体中，具有拍摄所述观察图像的摄影部。
11.一种医疗图像处理方法，其使计算机进行：
图像获取工序，获取受检体的观察图像；
关注区域识别工序，从所述观察图像中识别关注区域；
器具信息识别工序，从所述观察图像中识别所述受检体的处置所使用的器具的信息即器具信息；以及
显示控制工序，以所述关注区域具有与所述信息的识别结果对应的识别力的方式在显示装置上识别显示所述观察图像。
12.根据权利要求11所述的医疗图像处理方法，其中，
在所述器具信息识别工序中，基于所述器具信息，判定是通过所述器具对所述关注区域进行处置的处置状态、进行所述处置的准备的处置前状态、以及所述处置状态及所述处置前状态以外的状态即非处置状态中的哪一个，
在所述显示控制工序中，在所述处置状态及所述处置前状态下，使所述识别力比所述非处置状态降低而在所述显示装置上显示所述观察图像。
13.根据权利要求12所述的医疗图像处理方法，其中，
在所述显示控制工序中，在所述处置状态下，使所述识别力比所述处置前状态降低而显示所述观察图像。
14.根据权利要求12或13所述的医疗图像处理方法，其中，
在所述器具信息识别工序中，基于包括是否插入所述器具、插入的所述器具的种类、所述插入的长度、所述器具的操作状态、所述器具与所述关注区域的距离、在所述观察图像中所述器具与所述关注区域是否重叠中的至少一个的所述器具信息，判断是所述处置状态、所述处置前状态及所述非处置状态中的哪一个。
15.一种医疗图像处理程序，其使计算机执行权利要求11至14中任一项所述的医疗图像处理方法。
CN202180057349.7A 2020-08-24 2021-07-16 医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序 Pending CN116234487A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020140943 2020-08-24
JP2020-140943 2020-08-24
PCT/JP2021/026720 WO2022044606A1 (ja) 2020-08-24 2021-07-16 医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラム

Publications (1)

Publication Number Publication Date
CN116234487A true CN116234487A (zh) 2023-06-06

Family

ID=80355025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180057349.7A Pending CN116234487A (zh) 2020-08-24 2021-07-16 医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序

Country Status (5)

Country Link
US (1) US20230157768A1 (zh)
EP (1) EP4201301A4 (zh)
JP (1) JPWO2022044606A1 (zh)
CN (1) CN116234487A (zh)
WO (1) WO2022044606A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115265620B (zh) * 2022-09-28 2023-01-17 明度智云(浙江)科技有限公司 一种仪器显示数据的获取录入方法、装置和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11452464B2 (en) * 2012-04-19 2022-09-27 Koninklijke Philips N.V. Guidance tools to manually steer endoscope using pre-operative and intra-operative 3D images
JP6132901B2 (ja) * 2015-12-25 2017-05-24 オリンパス株式会社 内視鏡装置
EP3603482B1 (en) * 2017-03-30 2023-03-22 FUJIFILM Corporation Endoscope system, processor device for operating endoscope system
WO2019079126A1 (en) * 2017-10-17 2019-04-25 Verily Life Sciences Llc DISPLAYING PREOPERATIVE AND INTRA-OPERATIVE IMAGES
WO2020036224A1 (ja) 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
US11617493B2 (en) * 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method

Also Published As

Publication number Publication date
US20230157768A1 (en) 2023-05-25
EP4201301A1 (en) 2023-06-28
JPWO2022044606A1 (zh) 2022-03-03
EP4201301A4 (en) 2024-02-21
WO2022044606A1 (ja) 2022-03-03

Similar Documents

Publication Publication Date Title
JP7252970B2 (ja) 医用画像処理装置、内視鏡システム、及び医用画像処理装置の作動方法
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7038641B2 (ja) 医療診断支援装置、内視鏡システム、及び作動方法
US12035879B2 (en) Medical image processing apparatus, endoscope system, and medical image processing method
US11948080B2 (en) Image processing method and image processing apparatus
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
JP7526449B2 (ja) 学習済みモデルの生成方法、内視鏡画像学習方法及びプログラム
JP2022000163A (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7125499B2 (ja) 画像処理装置及び画像処理方法
US20230157768A1 (en) Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program
WO2019167623A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7530434B2 (ja) 医療画像処理方法及び医療画像処理装置
CN116887745A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序
US20230389774A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination