CN112469323A - 内窥镜系统 - Google Patents

内窥镜系统 Download PDF

Info

Publication number
CN112469323A
CN112469323A CN201980048644.9A CN201980048644A CN112469323A CN 112469323 A CN112469323 A CN 112469323A CN 201980048644 A CN201980048644 A CN 201980048644A CN 112469323 A CN112469323 A CN 112469323A
Authority
CN
China
Prior art keywords
degree
value
feature
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980048644.9A
Other languages
English (en)
Other versions
CN112469323B (zh
Inventor
牧野贵雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN112469323A publication Critical patent/CN112469323A/zh
Application granted granted Critical
Publication of CN112469323B publication Critical patent/CN112469323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/447—Skin evaluation, e.g. for skin disorder diagnosis specially adapted for aiding the prevention of ulcer or pressure sore development, i.e. before the ulcer or sore has developed
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

一种电子内窥镜系统，其具备图像处理单元，该图像处理单元使用由电子内窥镜拍摄的图像来对出现在活组织中的外观特征进行量化评估。所述图像处理单元从所述图像中按每个像素计算第1像素评估值，并且通过整合所述第1像素评估值来计算与所述第1特征相关的第1典型评估值，其中，该第1像素评估值是通过出现在活组织的关注部分中的第1颜色分量或第1形状进行表征，并且用于表示与所述第1颜色分量或所述第1形状相关的所述第1特征程度。更进一步地，所述图像处理单元与所述第1特征共享所述第1颜色分量或所述第1形状，通过第2颜色分量或第2形状来评估对所述第1像素评估值的高低产生影响的第2特征程度，并且根据所述第2特征程度的评估结果来增减所述第1典型评估值。

Description

内窥镜系统
技术领域
本发明涉及一种内窥镜系统，其用于对活组织的图像进行图像处理。
背景技术
活组织中的病变部位从活组织的粘膜层变薄、表面粗糙、发红的炎症到粘膜层及其下层局部缺损的溃疡，存在不同等级的严重程度。例如，在溃疡性大肠炎(UC：UlcerativeColitis)发生病变的溃疡部位，因带有白苔和脓状粘液而发白，而在炎症部位，则伴有水肿和易出血的红色。可以通过内窥镜系统对这种病变部位进行拍摄和观察。
然而，为了使外科医生能够通过内窥镜所获得的图像中所包含的颜色差异来识别正常部位和病变部位，需要在技术熟练者的指导下接受长时间的训练。此外，即使是技术熟练的外科医生也不太容易从颜色的细微差异中识别出病变部位，因此需要仔细的工作。因此，优选地，内窥镜系统提供用于客观地量化病变部位的病变程度的评估结果。
相对于此，已知一种内窥镜系统，其能够抑制因图像的亮度所引起的炎症部位的评估值的波动，执行稳定的评估值计算，并且能够减轻评估值计算的处理负担(专利文献1)。
现有技术文献
专利文献
专利文献1国际公开第2017/057680号
发明内容
发明所要解决的课题
在上述内窥镜系统中，其具备：光源装置，其用于向被摄体照射照明光；图像获取部，其用于利用摄像元件接收来自被摄体的反射光进行拍摄，并获取包含至少3个以上的颜色分量的彩色图像；以及评估部，其用于根据线段和基准轴所形成的角度来求出与各个像素的目标疾病相关的评估结果，其中，线段用于在由至少3个以上的颜色分量中的至少2个颜色分量所定义的颜色平面内，对构成设定于颜色平面内的预定基准点和由图像获取部所获取的彩色图像的各个像素在颜色平面内的像素对应点进行连接，而基准轴与目标疾病具有相关性。设定基准轴以使其通过预定的基准点。基准轴是在颜色平面中与炎症程度为预定值以下的目标疾病具有相关性的轴和与炎症程度为预定值以上的目标疾病具有相关性的轴中的至少一个。
根据这种结构，可以抑制因图像的亮度所引起的炎症评估值的波动，稳定地进行炎症评估值的计算，并且可以抑制炎症评估值计算的处理负担。
在上述内窥镜系统中，可以评估与颜色分量相关的目标疾病的程度。例如，当目标疾病为炎症时，在粘膜层变薄发红的炎症部位附近，还存在呈红色的血管部分、以及因炎症而使粘膜消失并出血进而表面被血液覆盖并呈红色的区域。因此，作为炎症部位进行评估的炎症评估值中也包含血管部分或被血液覆盖的区域的评估，因此带来不便。因此，在上述炎症评估值中，有时难以高精度地评估炎症程度。
此外，由于出现在呈红色的炎症部位或呈白色的溃疡部位附近的血管的红色程度根据炎症程度或溃疡程度的变化而变化，
因此优选包含血管的红色分量程度的评估结果来评估包含炎症或溃疡的病变程度。在这种情况下，由于血管部分呈线状，因此可以通过线状图案匹配来检测血管部分。但是，在病变部的血管附近存在多个炎症或溃疡的情况较多。例如，有时夹在2个溃疡之间的炎症部位会形成带状。在这种情况下，通过线状图案匹配，除了血管部分之外，还会错误地检测出夹在2个溃疡之间的细长带状部分。因此，有时难以高精度地评估病变程度。
因此，本发明的目的在于提供一种内窥镜系统，该内窥镜系统可以对出现在活组织的关注部分、例如病变部位等的外观特征、例如血管概率或因炎症引起的红色分量程度进行高精度地量化评估。
用于解决课题的方案
本发明的一个实施方式是一种内窥镜系统。该内窥镜系统具备：
电子内窥镜，其被配置为拍摄活组织；
处理器，其包括图像处理单元，该图像处理单元被配置为，使用由所述电子内窥镜拍摄的所述活组织的关注部分的图像，对出现在所述活组织的关注部分中的外观特征程度进行量化评估；
以及监视器，其被配置为显示所述数值的信息。
所述图像处理单元具备：特征量计算部，其被配置为，从所述图像中按每个像素计算第1像素评估值，该第1像素评估值是通过在所述关注部分中作为第1特征而出现的第1颜色分量或第1形状进行表征的第1像素评估值，并且用于表示与所述关注部分所示的所述第1颜色分量或所述第1形状相关的所述第1特征程度；
典型值计算部，其被配置为，通过整合所述图像中各个像素的所述第1像素评估值来计算与所拍摄的所述活组织的所述第1特征相关的第1典型评估值；
以及典型值调整部，其被配置为，与所述第1特征共享所述第1颜色分量或所述第1形状，通过所述关注部分的第2颜色分量和第2形状中的至少一个来评估出现在对所述第1像素评估值的高低产生影响的所述活组织的所述关注部分中的第2特征程度，并且根据所述第2特征程度的评估结果来增减所述第1典型评估值。
优选地，所述典型调整部被配置为，与所述第1特征共享所述第1颜色分量或所述第1形状，利用所述关注部分的第3颜色分量和第3形状中的至少一个来评估出现在对所述第1像素评估值的高低产生影响的所述关注部分中的第3特征程度，并且根据所述第2特征程度的评估结果和所述第3特征程度的评估结果来增减所述第1典型评估值。
优选地，所述第1像素评估值是用于量化与作为所述第1特征程度的所述第1形状相关的概率程度而获得的值，
所述第2特征程度的所述评估结果是与所述图像中的所述第2颜色分量相关的评估结果。
优选地，所述第1特征程度是用于表示出现在所述活组织的表面的血管沿线状延伸的血管概率，
所述第2特征程度是所述活组织的溃疡程度，
所述典型值调整部被配置为，通过与量化所述图像的每个像素的红色分量而获得的值相关的直方图分布中的分布扩展参数、以及量化所述红色分量而获得的值中的最大值中的至少一个，来评估所述第2特征程度。
优选地，所述第1像素评估值是用于量化作为所述第1特征程度的所述第1颜色分量程度而获得的值，
所述第2特征程度的所述评估结果是用于提取作为所述第2形状而出现所述第2特征的范围的区域中的包含所述第2颜色分量的程度的评估结果，所述第2颜色分量和所述第1颜色分量是用于确定所述图像的所述像素值的相同像素颜色分量。
优选地，所述第1特征程度是所述关注部分的炎症部位的炎症程度，所述炎症程度通过所述图像的红色分量程度来进行评估，
所述第2特征程度是血液因所述活组织出血而覆盖在所述活组织表面的区域中的出血程度，所述出血程度是用于量化所述区域中包含所述红色分量的程度而获得的值。
优选地，其具备：所述图像处理单元，其被配置为从由所述电子内窥镜获得的所述活组织图像中，至少利用所述图像的颜色分量信息通过一个值来求出用于表示所述活组织的病变程度的病变重症度；
所述特征量计算部，其被配置为从所述图像中按每个像素计算所述多个像素评估值，该多个像素评估值是可以通过所述病变部位所示的颜色分量或所述病变部位的形状来对出现在所述病变部位中的多个外观特征中的每一个进行表征的、且与所述多个外观特征相对应的多个像素评估值，并且用于表示与所述病变部位所示的颜色分量或所述病变部位的形状相关的所述多个特征中的每一个的程度；
所述多个像素评估值，其包含所述第1像素评估值，
所述典型值计算部，其被配置为通过对每一个所述多个外观特征来整合包含所述图像中各个像素的所述第1像素评估值在内的所述多个像素评估值中的每一个，从而计算出包含所拍摄的活组织的所述第1典型评估值在内的多个典型评估值；
以及整合部，其配置为计算出1个数值以作为所述病变重症度，其中，该数值为对包含所述多个典型评估值中所述典型值调整部调整后的所述第1典型评估值在内的至少2个典型评估值进行运算并整合而成。
发明效果
根据上述内窥镜系统，可以对出现在活组织的关注部分中的外观特征、例如血管概率或因炎症引起的红色分量程度进行高精度地量化评估。
附图说明
[图1]是示出一个实施方式中的内窥镜系统结构的一例的框图。
[图2]是说明一个实施方式中的内窥镜系统的图像处理单元的结构的一例的图。
[图3]是说明图2所示的图像处理单元中所具备的特征量计算部评估血管概率的方法的图。
[图4]是示出图2所示的特征量计算部使用空间滤波器时的滤波器系数的一例的图。
[图5](a)是示意性地示出发生溃疡及炎症的部位的一例的图，(b)是示意性地示出在一个实施方式中使用的模板的匹配度的评估结果的一例的图。
[图6]是说明在一个实施方式中计算出的红色度的图。
[图7]是说明在一个实施方式中计算出的红色度的图。
[图8](a)～(d)是说明红色度和溃疡之间的关系的图。
[图9]是示出红色度的标准偏差与最大组之间的关系的示例的图。
[图10](a)、(b)是说明对一个实施方式中所使用的血管概率的典型值(第1典型评估值)进行调整的一例的图。
[图11]是示出在一个实施方式中计算血管评分的处理流程的图。
[图12]是示出在一个实施方式中计算重症度的图像处理单元的结构的一例的图。
[图13]是说明在一个实施方式中进行的第1特征和第2特征的程度的评估结果随着病变程度的发展而变化的示例的图。
[图14](a)～(c)是说明在一个实施方式中进行的评估结果的示例的图。
具体实施方式
(实施方式的概要说明)
下面，将对内窥镜系统的一个实施方式进行详细说明。
当对出现在活组织的病变部位等关注部分中的外观特征程度进行量化评估时，在内窥镜系统中，可以量化表示与出现在关注部分中的颜色分量或形状相关的特征程度。但是，此颜色分量或形状有时会与出现在活组织中的其他外观特征重叠。即，别的特征的评估结果有时会重叠在用于量化表示与出现在关注部分中的颜色分量或形状相关的特征程度的评估结果上。
因此，被配置为使用由电子内窥镜拍摄的图像，对出现在活组织的关注部分中的外观特征进行量化评估的实施方式中的图像处理单元具备特征量计算部、典型值计算部以及典型值调整部，并且根据与颜色分量或形状相关的且重叠的其他特征的评估结果，对用于量化表示与出现在关注部分中的颜色分量或形状相关的特征程度的评估结果进行调整。
关注部分并不限定于病变部位，也可以是正常部位，例如也可以是具有作为病变前预兆血管大量出现在活组织表面等这样的特征的没有发展成病变的正常部位。
即，本实施方式中的图像处理单元的特征量计算部被配置为，从图像中按每个像素计算出通过作为第1特征出现在关注部分中的第1颜色分量或第1形状进行表征的第1像素评估值。第1像素评估值是用于表示与关注部分所示的第1颜色分量或第1形状相关的第1特征程度的评估值。
典型值计算部被配置为，通过整合由特征量计算部计算出的各像素的第1像素评估值，来计算出与所拍摄的活组织的第1特征相关的第1典型评估值。
典型值调整部被配置为，通过关注部分的第2颜色分量和关注部分的第2形状中的至少一个来评估与第1特征不同的第2特征的程度，并且根据第2特征程度的评估结果来增减第1典型评估值。第2特征与第1特征共享第1颜色分量或第1形状，是出现在对第1像素评估值的高低产生影响的活组织中的外观特征。第1典型评估值的调整除了减小第1典型评估值的调整之外，还存在第2特征程度越强，第1典型评估值就越小的情况，因此还包括增大第1典型评估值的调整。
如此一来，图像处理单元在计算出对与作为第1特征程度的第1颜色分量或第1形状相关的每个图像的像素评估值进行整合的第1典型评估值后，根据通过第2颜色分量或第2形状对与第1特征共享第1颜色分量或第1形状的第2特征程度进行评估的评估结果，去除第1典型评估值中所包含的第2特征的影响，来求出已对第1典型评估值进行过增减调整的第1典型评估值。第2颜色分量或第2形状例如与第1颜色分量或第1形状不同。
图像处理单元消除包含在第1典型评估值中的第2特征的影响，因此可以对出现在活组织的关注部分中的外观特征、例如血管概率或因炎症引起的红色分量程度进行高精度地量化评估。
在这里，当将第1特征设为血管概率时，例如，使用近似于血管形状的线状图案来量化评估血管概率的程度。在这种情况下，可以列举出溃疡以作为第2特征。血管作为图像出现在活组织的表面的程度根据炎症程度的变化而变化。当将血管概率作为第1特征程度进行评估时，特征量计算部根据与线状图案的匹配程度，量化血管(血管形状)概率，并且按每个像素求出血管概率的像素评估值。典型值计算部通过整合求出的像素评估值，来求出第1特征、即血管概率的典型评估值。在此评估结果中，夹在2个溃疡部位之间的呈带状的细长炎症部位对血管概率的评估结果产生影响。但是，在这种情况下，存在2个溃疡部位的白色区域和夹在2个溃疡部位之间的炎症部位的红色区域，并且溃疡程度越严重，夹在2个溃疡部位之间的炎症部位的红色分量程度也越强。因此，典型值调整部评估图像中的红色分量的分布，并进行调整以便红色分量程度越高，血管概率的评估结果数值的减小量就越大。由此，典型值调整部根据对红色分量程度进行评估的评估结果(第2特征的评估结果)，来增减使用血管概率进行评估的典型评估值。
此外，当将第1特征作为炎症部位的炎症、并且对出现在炎症部位中的红色分量程度进行量化评估时，可以列举出出血程度以作为第2特征。特征量计算部按每个像素来求出对出现在炎症部位中的红色分量程度进行量化后的评估值，典型值计算部对所求出的评估值进行整合后求出第1特征的典型评估值。此评估结果中还包含出血部分的评估结果。出血的部分是出血后血液覆盖活组织表面的部分，与未被血液覆盖的部分之间的边界呈现为边缘。因此，典型值调整部通过使用公知的边缘检测技术，来提取出血部分。更进一步地，典型值调整部求出对所提取的出血部分的红色分量程度进行量化后的评估结果。由此，典型值调整部根据对出血部分的红色分量程度进行量化后的评估结果，来增减用于评估作为第1特征的红色分量程度的典型评估值。在这种情况下，第2特征程度的评估结果是将出现出血(第2特征)的范围作为第2形状进行提取的区域中的、包含红色分量(第2颜色分量)在内的程度的评估结果，而红色分量(第2颜色分量)和用作炎症部位的红色分量(第1颜色分量)是用于确定图像的所述像素值的相同像素颜色分量。
当出现在活组织上的表面塑造作为第1特征时，特征量计算部评估表面塑造的程度。表面塑造程度例如可以使用作为公知的纹理分析技术的共生矩阵等来检测具有表面塑造强的像素值的像素。典型值计算部整合所求出的像素的像素值并求出第1特征的典型评估值。此时，典型评估值中还包含血管形状的评估结果。因此，典型值调整部根据与线状图案的匹配程度按每个像素对血管概率进行量化后整合，并求出血管概率以作为第2特征的评估结果。由此，典型值调整部根据此第2特征的评估结果来增减用于评估作为第1特征的表面塑造程度的典型评估值。
如此一来，在第1特征和第2特征中，可以列举出炎症、溃疡、血管概率、表面塑造，但作为第1特征或第2特征，也可以将残留在生物体物质表面的残留物作为对象。残留物例如是未从肠内排出而残留在肠内的食物残留物等。与活组织相比，残留物中的绿色分量或蓝色分量比较强，这些颜色分量相对于红色分量的比率高。因此，利用此比率，可以检测出图像中出现的残留物的图像。图像中的残留物区域可以在将绿色分量或蓝色分量的上述比率设为像素值的比率图像中使用公知的边缘检测技术进行提取。
本说明书中公开的内窥镜系统根据将第2颜色分量或第2形状作为指标来对与第1特征一起共享作为第1特征指标的第1颜色分量或第1形状的第2特征进行评估的评估结果，来增减第1特征的评估结果，除了第2特征之外，还可以根据将第3颜色分量或第3形状作为指标来对与第1特征一起共享作为第1特征指标的第1颜色分量或第1形状的第3特征进行评估的评估结果，来调整第1特征的评估结果。第3颜色分量或第3形状例如与第1颜色分量或第1形状不同。
当将第1特征作为血管概率时，如上所述，夹在2个溃疡部位之间的呈带状的细长炎症部位也会影响血管概率的评估结果，进而，有时活组织表面的凹凸也会影响血管概率的评估结果。即，可以将表面的凹凸作为第3特征。关于表面的凹凸，根据对按每个像素评估预定的颜色分量、例如红色分量程度而得到的评估值进行统计处理后得到的标准偏差，量化表面凹凸以作为第3特征的评估结果。表面凹凸程度越强，上述标准偏差越高。因此，将根据此标准偏差而量化后的值作为第3特征的评估结果，根据此评估结果来增减血管概率，从而可以去除影响血管概率的表面凹凸的影响。
即，可以根据对红色分量程度进行评估的评估结果(第2特征的评估结果)以及表面凹凸的评估结果(第3特征的评估结果)，来增减用于表示作为第1特征的血管概率程度的典型评估值。
(实施方式的具体说明)
图1为示出本发明的一个实施方式中的电子内窥镜系统1的结构的框图。如图1所示，电子内窥镜系统1具备电子观测器(电子内窥镜)100、电子内窥镜用处理器200、监视器300以及打印机400。
电子内窥镜用处理器200具备系统控制器202及时序控制器206。系统控制器202执行存储在存储器204中的各种程序，并且集成控制整个电子内窥镜系统1。此外，系统控制器202根据输入到操作面板208的用户(外科医生或助手)的指示来变更电子内窥镜系统1的各种设定。时序控制器206向电子内窥镜系统1内的各电路输出用于调整各部操作时间的时钟脉冲。
电子内窥镜用处理器200具备用于向电子观测器100提供照明光的光源部230。尽管图中未示出，但是光源部230具备例如通过接收由灯电源供给的驱动功率来发射白色照明光的高亮度灯，例如氙气灯、金属卤化物灯、水银灯或卤素灯。光源部230被配置为，从高亮度灯射出的照明光在通过图中未示出的聚光透镜聚光后，经由图中未示出的调光装置入射在电子观测器100的光纤束LCB(Light Carrying Bundle)102的入射端上。
或者，光源部230具备多个发光二极管，其用于射出预定颜色的波段的光。光源部230被配置为，使用二向色镜等光学元件合成从发光二极管射出的光，将合成的光作为照明光，并通过图中未示出的聚光透镜聚光后，入射到电子观测器100的LCB(Light CarryingBundle)102的入射端上。可以使用激光二极管代替发光二极管。与其他光源相比，由于发光二极管和激光二极管具有低功耗、低发热量等特征，因此具有能够在抑制功耗和发热量的同时获得明亮图像的优点。通过获取明亮的图像，可以提高与病变相关的评估的精度。
另外，在图1所示的示例中，光源部230内置在电子内窥镜用处理器200中，但是也可以作为与电子内窥镜用处理器200分开的装置而设置在电子内窥镜系统1中。此外，光源部230也可以设置在后述电子观测器100的前端部。在这种情况下，不需要设置用于引导照明光的LCB102。
从入射端入射到LCB102内的照明光在LCB102内传播，并从布置在电子观测器100的前端部内的LCB102的射出端射出，并经由配光透镜104照射作为被摄体的活组织。来自被摄体的反射光经由物镜106在摄像元件108的受光面上形成光学图像。
摄像元件108例如是用于在受光面上布置IR(Infra Red)截止滤光片108a、采用拜耳阵列的滤色片108b等各种滤光片的单片式彩色CCD(Charge-Coupled Device)图像传感器，根据在受光面上成像的光学图像生成R(红色)、G(绿色)、B(蓝色)各原色信号。代替单片式彩色CCD图像传感器，也可以使用单片式彩色CMOS(Complementary Metal OxideSemiconductor)图像传感器。如此一来，电子观测器100使用摄像元件108对体腔内的活组织进行拍摄。
在电子观测器100中的与电子内窥镜用处理器200相连接的连接器部内设置有驱动器信号处理电路112和存储器114。驱动器信号处理电路112对从摄像元件108输入的原色信号执行颜色插值、矩阵运算等预定信号处理后，生成图像信号(亮度信号Y、色差信号Cb、Cr)，并将生成的图像信号输出到电子内窥镜用处理器200的图像处理单元220上。此外，驱动器信号处理电路112访问存储器114并读取电子观测器100的特有信息。记录在存储器114中的电子观测器100的特有信息例如包括摄像元件108的像素数、灵敏度、可操作帧速率、型号等。驱动器信号处理电路112将从存储器114读取的特有信息输出到系统控制器202中。
系统控制器202基于电子观测器100的特有信息执行各种运算，并生成控制信号。系统控制器202使用所生成的控制信号来控制电子内窥镜用处理器200内的各个电路的操作和时间，以便执行与连接于电子内窥镜用处理器200的电子观测器100相适应的处理。
时序控制器206根据由系统控制器202所执行的时序控制，向驱动器信号处理电路112、图像处理单元220以及光源部230供给时钟脉冲。驱动器信号处理电路112根据从时序控制器206所供应的时钟脉冲，按照与在电子内窥镜用处理器200侧上执行处理的图像帧速率同步的时序，驱动控制摄像元件108。
在系统控制器202的控制下，图像处理单元220根据从驱动器信号处理电路112所输入的图像信号，生成用于在监视器上显示内窥镜图像等的视频信号，并输出到监视器300上。更进一步地，图像处理单元220从由电子观测器100获得的活组织的关注部分的图像中，对出现在关注部分中的外观特征程度进行量化评估。此外，图像处理单元220根据对外观特征程度进行量化评估的评估结果，来生成置换了颜色的颜色映射图像。图像处理单元220生成用于在监视器上显示的评估结果信息和颜色映射图像的视频信号，并输出到监视器300上。由此，外科医生可以通过显示在监视器300的显示屏上的图像，来接收与活组织的关注部分的特征相关的评估结果。图像处理单元220根据需要将颜色映射图像和上述评估结果信息输出到打印机400上。
电子内窥镜用处理器200经由NIC(Network Interface Card)210和网络500连接至服务器600上。电子内窥镜用处理器200可以从服务器600下载与内窥镜检查相关的信息(例如，患者的电子病历信息、外科医生信息)。所下载的信息例如显示在监视器300的显示屏或操作面板208上。此外，电子内窥镜用处理器200将内窥镜检查结果(内窥镜图像数据、检查条件、图像分析结果、外科医生的发现等)上传到服务器600上，从而将内窥镜检查结果保存在服务器600上。
图2是说明图像处理单元220的结构的一例的图。图像处理单元220被配置为，通过使用活组织的关注部分的图像，来对出现在活组织的关注部分中的外观特征程度进行量化评估。图像处理单元220具备特征量计算部222、典型值计算部224以及典型值调整部226。
下面，以第1特征为血管概率、第2特征为溃疡的情况为例，对图像处理单元220的操作进行说明。
特征量计算部222评估作为第1特征的血管概率的程度。具体而言，特征量计算部222被配置为，计算由出现在关注部分中的线状(第1形状)进行表征的像素评估值(第1像素评估值)。像素评估值是表示与关注部分所示的线状相关的血管概率的值，其被配置为，从图像中按每个像素计算出此像素评估值。
图3是说明特征量计算部222评估血管概率的方法的图。
如图3所示，特征量计算部222求出用于对活组织图像中的一部分的检查对象区域AR的形状与多个模板TP1～TP4的每个线状之间的相关度进行表示的匹配度，在与多个模板TP1～TP4中的每一个相对应的匹配度中，将值最大的最高匹配度设为检查对象区域AR中的血管概率的值。此血管概率的值作为像素评估值赋予给位于检查对象区域AR的中心的像素。模板TP1～TP4由像素构成，并且模板TP1～TP4具备延伸方向彼此不同的多个线状。模板TP1～TP4结合各自的线状，各像素具有像素值。如图3所示，通过从图像的端部开始沿着箭头方向依次重叠并移动检查对象区域AR，来求出检查对象区域AR内的图像的像素值和与模板TP1～TP4中的每一个相对应的像素的值之间的相关度。根据一个实施方式，模板TP1～TP4作为表征血管的形状，具备在4个不同的延伸方向上延伸的4个线状。当检查对象区域AR包含血管区域时，检查对象区域AR内的像素值包含血管呈条纹状延伸的特征形状信息，因此可以计算出血管概率。模板TP1～TP4具有与图3所示的白色区域和黑色区域相对应的每个像素的值。因此，根据一个实施方式，匹配度是模板TP1～TP4的像素的值和与检查对象区域AR相对应的像素评估值之间的相关系数。此外，根据一个实施方式，匹配度也可以是将模板TP1～TP4的每个像素的值作为空间滤波器的滤波器系数，并且将此滤波器系数中的每一个和与检查对象区域AR相对应的像素的图像值进行相乘后的总值。
在针对模板TP1～TP4中的每一个所计算出的匹配度中，值最大的最高匹配度作为用于表示血管区域概率的值，并且将其赋予给检查对象区域AR的中心像素。
图4是示出将模板TP1用作空间滤波器时的滤波器系数的一例的图。如图4所示，模板TP1具有在图中的垂直方向上直线延伸的形状。在图4中，作为一例，模板TP1构成5×5像素的空间滤波器。在这种情况下，对以线状延伸的部分的像素赋予1/5以作为滤波器系数，而对除此之外的其它像素赋予-1/20以作为滤波器系数。当将滤波器系数中的每一个和与检查对象区域AR相对应的像素的图像值进行相乘后的总值作为匹配度进行计算时，在检查对象区域AR中任意一个像素值都是相同值的情况下，匹配度为零。另一方面，当检查对象区域AR中包含沿垂直方向呈条纹状延伸的血管图像时，匹配度增大。可以说，此匹配度的值越大，所包含的图像就越接近模板TP1。因此，针对模板TP1～TP4中的每一个计算匹配度，将计算出的匹配度中值最大的最高匹配度作为血管概率赋予给检查对象区域AR的中心像素。
特征量计算部222判断各像素中的血管概率的值是否大于预定值，当像素中的血管概率的值大于预定值时，则判断此像素位于血管区域，从而提取血管区域。
用于特征量计算部222求出血管概率的图像，只要是出现血管图像的图像即可，并没有特别限制，例如，当由红色(R)、绿色(G)、蓝色(B)的颜色分量构成彩色图像时，可以是亮度图像，也可以是红色分量的图像，此外，也可以是根据后述的图7中所示的偏移角θ，具有用于量化表示各像素的红色分量程度的红色度以作为各像素值的红色度图像。
典型值计算部224通过整合与特征量计算部222所计算出的各像素的血管概率相关的像素评估值(第1像素评估值)，来计算所拍摄的活组织的血管概率的典型值(第1典型评估值)。
各像素中的像素评估值(第1像素评估值)的整合处理可以是用于计算各像素的像素评估值(第1像素评估值)的平均值的平均化处理，也可以是其他公知的处理，例如求出中值的处理。平均化处理包括求出简单平均值的处理、以及求出加权平均值的处理。此外，作为公知的处理，也可以是将血管概率的像素评估值(第1像素评估值)中的每一个划分为至少2个以上的排序次的等级，并且将属于各个等级的像素数乘以预定加权系数而获得的值的合计值P代入预定公式中来计算典型值的处理。在这种情况下，预定公式例如为1/(1+e-P)。在这种情况下，优选地，加权系数是通过多重逻辑回归分析获得的系数，以便与医生的主观评估结果之间具有相关性。
血管概率的典型值(第1典型评估值)是模板TP1～TP4的匹配度的评估结果。此血管概率的典型值(第1典型评估值)中也可以包含血管以外的呈线状的部分以作为模板TP1～TP4的匹配度高的区域。例如，夹在2个溃疡部位之间的呈带状的细长炎症部位提高了血管概率的评估结果(将呈带状的细长炎症部位作为血管概率高的部分进行评估)。图5的(a)是示意性地示出发生溃疡及炎症的部位的一例的图，图5的(b)是示意性地示出从模板TP1～TP4的匹配度的评估结果中作为血管区域进行提取的结果的一例的图。如图5的(a)所示，当在血管的图像A和2个溃疡部位U之间存在呈带状延伸的炎症部位I时，如图5的(b)所示，将血管的图像A和炎症部位I作为血管区域进行评估。
因此，特征量计算部222除了血管概率的像素评估值之外，还按每个像素求出量化第2特征程度而获得的值，其中，该第2特征程度与将线状与血管概率(第1特征)共享并对血管概率的高低产生影响的出现在活组织的关注部分中的第1特征不同。典型值调整部226使用按每个像素所求出的表示第2特征程度的值来评估第2特征程度，根据此第2特征程度的评估结果，来增减血管概率的典型值(第1典型评估值)。
具体而言，作为第2特征程度，注意到溃疡程度越严重，夹在2个溃疡部位U之间的炎症部位I的红色分量的程度也越强，特征量计算部222按每个像素计算用于表示红色分量强度的程度的红色度。另外，红色度是红色分量的一例，只要能够量化表示包含红色分量的程度，则并不限定于下述说明的红色度。
图6和图7是说明在一个实施方式中计算出的红色度的图。图6表示在活组织的彩色图像中，对红色分量的像素值和绿色成分的像素值进行预处理(颜色校正、色调调整等)后，将各像素值绘制在将横轴设为红色分量值、纵轴设为绿色分量值的RG颜色空间的坐标系上的结果的一例。像素值由8位值表示，该值由0～255之间的值构成。如图6所示，在RG颜色空间内，将穿过(50,0)和(255,76)的直线设为基准轴之一，并且将穿过(0,0)和(255,192)的直线也设为基准轴之一。为了便于说明，将前一个基准轴称为“血红蛋白变化轴AX1”，将后一个基准轴称为“粘膜变化轴AX2”。
图6所示的绘图示出了对体腔内的多个参照图像进行分析的结果的一例。在分析中所使用的参考图像中，包括炎症程度最高的炎症图像示例(严重等级最高的炎症图像示例)、炎症程度最低的炎症图像示例(实质上可视为健康部位的图像示例)等各个阶段的炎症图像示例。
炎症越严重的部分，图像的颜色分量中红色分量相对于其他分量(绿色分量和蓝色分量)就越重。因此，在图6所示的示例中，在绘图分布区域与未分布区域之间的边界线上，将比纵轴更靠近横轴的边界线上的轴、以及穿过(50,0)和(255,76)的边界线上的轴设为炎症程度最严重的部分、即与炎症程度最高的部位的相关性高的轴。此轴是血红蛋白变化轴AX1。在血红蛋白变化轴AX1上，重叠有与在各种拍摄条件、例如，照明光的照射情况下拍摄的炎症程度最严重的炎症部位相对应的绘图。因此，血红蛋白变化轴AX1是随着活组织的炎症程度的增加而所绘制的点就越收敛的轴。
另一方面，越接近健康部位，图像的颜色分量中绿色分量(或者蓝色分量)相对于红色分量就越重。因此，在图6所示的示例中，在绘图分布区域与未分布区域之间的边界线上，将比横轴更靠近纵轴的边界线上的轴、以及穿过(0,0)和(255,192)的边界线上的轴设为炎症程度最轻的部分、即与炎症程度最低的部分、实质上可以视为健康部位的相关性高的轴。此轴是粘膜变化轴AX2。在粘膜变化轴AX2上，重叠有与在各种拍摄条件、例如，照明光的照射情况下拍摄的炎症程度最轻的部分、即实质上可以视为正常部位相对应的绘图。因此，粘膜变化轴AX2是随着炎症程度的降低(越靠近健康部位)而所绘制的像素对应点就越收敛的轴。
因此，越靠近血红蛋白变化轴AX1，红色分量就越强，越靠近粘膜变化轴AX2，红色分量就越低。因此，如图7所示，特征量计算部222将血红蛋白变化轴AX1与粘膜变化轴AX2的交点设为基准点O'，并且计算用于将基准点O'与绘制了各像素的像素值的点P相连接的线段L的方向相对于血红蛋白变化轴AX1偏移的偏移角θ，并且对偏移角度θ进行归一化，以便当偏移角θ为零时值为255，当偏移角θ为θMAX时值为零。特征量计算部222按每个像素计算出归一化后的偏移角θ以作为红色度。即，特征量计算部222通过对各像素执行基于各像素的颜色分量信息来量化红色程度的量化处理，从而求出控制在0～255范围的红色度。
另外，基准点O’位于坐标(-150,-75)。列举了将基准点O’设为坐标(-150,-75)的示例，但是本发明并不限定于此。可以适当地变更基准点O’，例如，也可以是RG颜色空间中横轴和纵轴的交点。在上述实施方式中，通过在RG颜色空间上使用偏移角θ来确定红色度，但也可以在RB颜色空间上计算偏移角，并且使用此偏移角来确定红色度。
如此一来，特征量计算部222从活组织的图像中按每个像素来计算红色度。
典型值调整部226使用特征量计算部222所计算出的红色度来制作红色度的直方图，并且根据红色度的扩展参数和红色度的最大值(最大组)中的至少一个来评估溃疡程度。
图8的(a)～(d)是说明红色度和溃疡之间的关系的图。图8的(a)是示意地示出了血管图像A出现在活组织的表面上，但没有溃疡并且也没有炎症的图像的图。图8的(b)是示出从图8的(a)所示的图像中按每个像素评估红色度的结果的直方图的一例的图。与此相对，图8的(c)是示意地示出出现炎症部位I和溃疡部位U的图像的图。图8的(d)是示出从图8的(c)所示的图像中按每个像素评估红色度的结果的直方图的一例的图。
如图8的(b)、(d)所示，当出现炎症部位I，进而病变程度扩展到出现溃疡部位U时，红色度的分布扩大，并且最大值(最大组)增大。即，由于产生溃疡部位U，因此形成在2个溃疡部位U之间的呈带状的炎症部位I的程度也增强。
图9是示出红色度的标准偏差与最大组之间的关系的示例的图。可知红色度的标准偏差越大，最大组也越大。最大组是用于在直方图中重新排列样本数据而使用的等间隔的多个区间中区间值最大的区间的中间值，并且其与样本数据的最大值相对应，也可以使用最大值来代替最大组。图9中所示的多个点中的每一个表示1个图像的评估结果。红色度的标准偏差是与量化红色分量而获得的值相关的直方图分布中的分布扩展参数的一例，但并不限定于标准偏差，例如也可以是上述分布中的最大值与最小值之间的差。
因此，典型值调整部226根据使用红色度的扩展参数和红色度的最大值(最大组)中的至少一个来评估的溃疡的程度来制作红色度的直方图，并增减血管概率的典型值(第1典型评估值)。例如，如图9所示，当最大组或红色度的标准偏差超过阈值时，在血管概率的评估结果中，判断为不容忽视溃疡程度的影响，并且增减血管概率的典型值(第1典型评估值)。图10的(a)、(b)是说明对实施方式中所使用的血管概率的典型值(第1典型评估值)进行调整的一例的图。图10的(a)、(b)中所示的多个点中的每一个表示1个图像的评估结果。如图9的(a)所示，当最大组超过阈值时，如图10的(a)所示，减小血管概率的典型值，并且如图10的(b)所示，调整血管概率的典型值。当最大组或红色度的标准偏差超过阈值时，对血管概率的典型值的调整，与超过预定阈值的量无关，可以以恒定的减小量来减小血管概率的典型值，而且，也可以设定为最大组或红色度的标准偏差超过阈值的量越大，血管概率的典型值的减小量就越大。
如上所述，典型值调整部226可以在考虑血管概率的评估结果中所包含的、进行错误评估的呈带状的炎症部位的评估结果的基础上来调整血管概率。即，典型值调整部226可以对出现在活组织的关注部分中的外观特征程度进行高精度地量化评估。
图11是分别以作为第1特征的血管概率为例、以及作为第2特征的溃疡为例，来计算作为血管概率的评估结果的血管评分的处理流程的图。血管评分是指上述血管概率的典型值。
首先，图像处理单元220获取当前帧的图像(步骤S10)。
接下来，特征量计算部222使用图3中所示的多个模板TP1～TP4进行模板匹配，并计算各像素中的血管概率的数值(步骤S12)。
更进一步地，特征量计算部222使用图7中所示的RG颜色空间上的偏移角θ按每个像素执行红色度的计算(步骤S14)。
特征量计算部222判断是否对所有像素执行了模板匹配以及红色度的计算(步骤S16)。在完成对所有像素执行模板匹配和红色度的计算之前，反复执行模板匹配和红色度的计算。
当步骤S16中的判断为肯定时，典型值计算部224通过整合按每个像素计算出的血管概率来计算血管概率的典型值(第1典型评估值)，以作为血管评分(步骤S18)。
典型值调整部226从特征量计算部222按每个像素计算出的红色度的直方图中，计算红色度的标准偏差或者红色度的最大组(最大值)(步骤S20)。
更进一步地，典型值调整部226判断红色度的标准偏差或最大组是否超过预定阈值(步骤S22)。当红色度的标准偏差或最大组超过预定阈值时，根据红色度的标准偏差或最大组来调整在步骤S18中求出的血管评分(步骤S24)。当红色度的标准偏差或最大组未超过预定阈值时，则不调整血管评分。
如此一来，可以高精度地计算出用于表示血管概率的血管评分。
典型值调整部226可以在考虑血管概率的评估结果中所包含的、进行错误评估的呈带状的炎症部位的部分的评估结果的基础上来调整血管概率。即，典型值调整部226可以对出现在活组织的关注部分中的外观特征程度进行高精度地量化评估。
这样的血管评分可以用于评估表示病变部位的病变程度的重症度，并且将重症度的评估结果显示在监视器300上。
图12是示出计算重症度的图像处理单元220的结构的一例的图。
除了图2中所示的特征量计算部222、典型值计算部224和典型值调整部226之外，图像处理单元220还具备整合部228。图12中所示的特征量计算部222、典型值计算部224以及典型值调整部226的功能与图2中所示的特征量计算部222、典型值计算部224以及典型值调整部226的功能相同，因此将省略其功能的说明。
重症度的评估由整合部228执行。具体而言，典型值计算部224使用在图11所示的步骤S14中计算出的每个像素的红色度，来计算将各像素的红色度在整个图像中进行整合后的红色度的典型值。将此整合后的红色度称为活组织红色度典型值。
更进一步地，整合部228使用在步骤S18中求出的血管评分和活组织红色度典型值来计算重症度的值。作为一例，重症度通过从活组织红色度典型值中减去血管评分来计算。当重症度表示炎症程度时，炎症程度越严重，活组织红色度典型值就越大，另一方面，在活组织的表面难以显现血管的图像，并且血管评分变小。因此，为了高精度地量化表示炎症的重症度，通过从活组织红色度典型值中减去血管评分来进行计算。
更进一步地，病变并不限定于炎症，当发生溃疡等重症度变强时，活组织红色度典型值增大，而且血管的图像容易出现在活组织的表面，血管评分增大。因此，当重症度变强时，为了高精度地量化表示溃疡的重症度，通过将活组织红色度典型值与血管评分相加来进行计算。
优选地，当病变是炎症时和病变包含炎症和溃疡时，根据活组织红色度典型值是否超过阈值，或者根据血管评分是否超过阈值，选择从活组织红色度典型值中减去血管评分的处理，或者将活组织红色度典型值与血管评分相加的处理。即，优选地，当活组织红色度典型值超过阈值时，而且血管评分小于阈值时，选择将活组织红色度典型值与血管评分相加的处理，当活组织红色度典型值不大于阈值时，而且血管评分不小于阈值时，选择从活组织红色度典型值减去血管评分的处理。这样的加法处理和减法处理也可以对将活组织红色度典型值乘以预定系数而获得的值和/或血管评分乘以预定系数而获得的值执行上述加法处理、减法处理。
图13是说明在一个实施方式中进行的第1特征和第2特征的程度的评估结果随着病变程度的发展而变化的示例的图。在图13中，在横轴表示血管评分、纵轴表示活组织红色度典型值的坐标系中，使用溃疡性大肠炎的病变部位的图像例进行评估的结果表示出随着病变程度的发展而移动的方向。图13中所示的MAYO表示作为医生的主观评估结果的MAYOendoscopic subscore的值，表示随着发展至MAYO0、MAYO1、MAYO2，病变的程度变强。如图13所示，表示在MAYO0～MAYO1的区间(以炎症为主的区域A)中病变程度越强，活组织红色度典型值越大，血管评分的典型值就越小。表示在MAYO1～MAYO2的区间(以溃疡为主的区域B)中病变程度越强，活组织红色度典型值越大，血管评分的典型值也越大。因此，即使活组织红色度典型值偶尔相同，也可以根据血管评分的不同来评估重症度的高低。同样，即使血管评分偶尔相同，也可以根据活组织红色度典型值的不同来评估重症度的高低。
如此一来，从可以高精度地评估病变部的重症度的观点出发，优选采用可以高精度地评估用于病变部的重症度的评估的血管评分。
在上述实施方式中，第1像素评估值是将作为第1特征程度的与形状相关的概率程度进行量化而获得的值，第2特征程度的评估结果是与图像中的颜色分量相关的评估结果，因此可以将第1特征与第2特征区分开并进行高精度地评估。
第2特征程度是活组织的溃疡程度，并且特征量计算部222通过与将图像的每个像素的红色分量量化后的红色度相关的直方图分布中的标准偏差(扩展信息)、以及图像中像素的红色度中的最大值中至少一个来评估第2特征的程度，因此可以求出精度高的血管概率的评估结果。
此外，整合部228被配置为，计算对典型值调整部226调整后的血管评分(第1典型评估值)和典型值计算部224计算出的活组织红色度典型值进行运算并整合成的1个数值以作为病变重症度，因此可以使用血管评分来高精确地计算重症度，该血管分数是由代表值调整部226调整后的高精度评估结果。
在上述实施方式中，关于图像处理单元220的操作，第1特征程度是血管概率的程度，第2特征程度是溃疡程度。在下面说明的实施方式中，第1特征程度是炎症程度，炎症程度是对颜色分量程度进行量化的值，第2特征程度是出血程度，出血程度是对颜色分量程度进行量化的值。图14的(a)～(c)是说明用颜色分量程度对第1特征程度和第2特征程度进行量化的评估结果的示例的图。
在活组织中，除了因炎症而发红的炎症部位以外，还存在因炎症而使粘膜变薄后出血并且活组织的表面呈现红色的出血部分。即，有时将第1特征程度作为炎症部位的炎症程度，通过红色分量程度进行量化评估。在这种情况下，通过红色分量程度进行量化的评估结果中还包含呈深红色的出血部分的红色分量的评估结果。
即，特征量计算部222按每个像素求出用于根据上述偏移角度θ来表示炎症部位中所出现的红色分量程度的各像素的红色度，典型值计算部224将按每个像素求出的红色度进行整合并求出作为第1特征的典型评估值的活组织红色度典型值。
但是，此评估结果中也包含出血部分的评估结果。出血部分是出血后血液覆盖活组织表面的部分，与未被血液覆盖的部分之间的边界呈现为边缘。因此，典型值调整部226通过使用公知的边缘检测技术来确定出血部分。
如图14的(a)所示，当活组织的图像IM1中存在炎症部位I时，可以根据红色度将炎症部位I的区域与非炎症部位区分开并进行评估。另一方面，由于在图像IM1中不存在出血部分，因此通过使用边缘检测技术，未检测作为出血部分与非出血部分之间的边界的边缘，并且评估为不存在出血部分。
与此相对，如图14的(b)所示，在活组织的图像IM2中存在炎症部位I和出血部分B时，可以根据红色度来评估炎症部位I和出血部分B的区域。但是，由于这种情况下的红色度的评估结果中包含出血部分B，因此为了高精度地评估此部分的炎症程度，需要减小对出血部分B的评估结果的影响。
因此，典型值调整部226使用公知的边缘检测技术来提取通过使用边缘检测技术确定出血部分B的范围的边缘。更进一步地，求出通过提取出的边缘确定的出血部分B的范围中的红色度的典型值。由此，根据出血部分的红色度的典型值来增减典型值计算部224求出的活组织红色度典型值，从而调整活组织红色度。出血部分的红色度的典型值可以是红色度的平均值，但考虑到出血部分的扩展，也可以是出血部分的红色度的累计值，而且，也可以是红色度的平均值与根据出血部分的扩展而确定的系数相乘后的值。
图14的(c)示出了横轴表示活组织红色度典型值、纵轴表示出血部分的红色度典型值的多个评估结果的散布图的示例。优选地，在图14的(c)中，当出血部分的红色度典型值超过预定阈值时(在图14的(c)中，为灰色绘图)，活组织红色度典型值中包含出血部分的红色度的程度不容忽视，根据出血部分的红色度典型值通过增减来调整活组织红色度典型值。优选地，在这种情况下，调整的量为出血部分的红色度典型值超过阈值的量越大，则使减小活组织红色度典型值的减小量就越大。
如此一来，由于根据出血部分的红色度典型值来增减活组织红色度典型值，因此可以高精度地评估炎症部位的炎症程度。
图像处理单元220计算的像素评估值是作为炎症程度而对红色度程度进行量化的值。更进一步地，由图像处理单元220执行的出血程度的评估结果是出血部分的红色度程度的评估结果。因此，作为炎症程度指标的红色度和作为出血程度指标的红色度与确定图像像素值的相同红色分量有关。但是，出血程度的评估结果为利用出血部分与非出血部分之间的边界表现为边缘(第2形状)这一情况，由使用公知的边缘检测技术提取出的边缘所包围的区域中的红色度。因此，使用调整后的活组织红色度，可以高精度地评估炎症部位。
在图14的(a)～(c)所示的实施方式中，第1特征程度是炎症部位程度，炎症部位程度通过活组织的红色分量程度进行评估，第2特征程度是因活组织出血而导致血液覆盖活组织的表面的区域中的出血程度，出血程度是将在因出血而导致血液覆盖的区域中包含红色分量的程度进行量化的值。
如此一来，典型值调整部226可以在考虑为了评估炎症部位的炎症程度而计算的活组织红色度典型值中所包含的、进行错误评估的出血部分的红色度的评估结果的基础上来调整炎症部位的炎症程度。即，典型值调整部226可以对出现在活组织的关注部分中的外观特征程度进行高精度地量化评估。
在上文中，对本发明提供的内窥镜系统进行了详细说明，但是本发明并不限于上述实施方式及实施例，在不脱离本发明的主旨的范围内还可以进行各种改进和变化。
符号说明
1 内窥镜系统
100 电子观测器
200 电子内窥镜用处理器
202 系统控制器
204 存储器
206 时序控制器
208 操作面板
220 图像处理单元
222 特征量计算部
224 典型值计算部
226 典型值调整部
228 整合部
230 光源部
300 监视器
400 打印机
600 服务器。

Claims (7)

1.一种内窥镜系统，其特征在于，其具备：电子内窥镜，其被配置为拍摄活组织；
处理器，其包括图像处理单元，该图像处理单元被配置为，使用由所述电子内窥镜拍摄的所述活组织的关注部分的图像，对出现在所述活组织的关注部分中的外观特征程度进行量化评估；
以及监视器，其被配置为显示所述数值的信息；
其中，所述图像处理单元具备：
特征量计算部，其被配置为，从所述图像中按每个像素计算第1像素评估值，该第1像素评估值是通过在所述关注部分中作为第1特征而出现的第1颜色分量或第1形状进行表征的第1像素评估值，并且用于表示与所述关注部分所示的所述第1颜色分量或所述第1形状相关的所述第1特征程度；
典型值计算部，其被配置为，通过整合所述图像中各个像素的所述第1像素评估值来计算与所拍摄的所述活组织的所述第1特征相关的第1典型评估值；
以及典型值调整部，其被配置为，与所述第1特征共享所述第1颜色分量或所述第1形状，通过所述关注部分的第2颜色分量和第2形状中的至少一个来评估出现在对所述第1像素评估值的高低产生影响的所述活组织的所述关注部分中的第2特征程度，并且根据所述第2特征程度的评估结果来增减所述第1典型评估值。
2.根据权利要求1所述的内窥镜系统，其中，所述典型调整部被配置为，与所述第1特征共享所述第1颜色分量或所述第1形状，利用所述关注部分的第3颜色分量和第3形状中的至少一个来评估出现在对所述第1像素评估值的高低产生影响的所述关注部分中的第3特征程度，并且根据所述第2特征程度的评估结果和所述第3特征程度的评估结果来增减所述第1典型评估值。
3.根据权利要求1或2所述的内窥镜系统，其中，所述第1像素评估值是用于量化与作为所述第1特征程度的所述第1形状相关的概率程度而获得的值，
所述第2特征程度的所述评估结果是与所述图像中的所述第2颜色分量相关的评估结果。
4.根据权利要求3所述的内窥镜系统，其中，所述第1特征程度是用于表示出现在所述活组织的表面的血管沿线状延伸的血管概率，
所述第2特征程度是所述活组织的溃疡程度，
所述典型值调整部被配置为，通过与量化所述图像的每个像素的红色分量而获得的值相关的直方图分布中的分布扩展参数、以及量化所述红色分量而获得的值中的最大值中的至少一个，来评估所述第2特征程度。
5.根据权利要求1或2所述的内窥镜系统，其中，所述第1像素评估值是用于量化作为所述第1特征程度的所述第1颜色分量程度而获得的值，
所述第2特征程度的所述评估结果是用于提取作为所述第2形状而出现所述第2特征的范围的区域中的包含所述第2颜色分量的程度的评估结果，所述第2颜色分量和所述第1颜色分量是用于确定所述图像的所述像素值的相同像素颜色分量。
6.根据权利要求5所述的内窥镜系统，其中，所述第1特征程度是所述关注部分的炎症部位的炎症程度，所述炎症程度通过所述图像的红色分量程度来进行评估，
所述第2特征程度是血液因所述活组织出血而覆盖在所述活组织表面的区域中的出血程度，所述出血程度是用于量化所述区域中包含所述红色分量的程度而获得的值。
7.根据权利要求1至4中任意一项所述的内窥镜系统，其具备：所述图像处理单元，其被配置为从由所述电子内窥镜获得的所述活组织图像中，至少利用所述图像的颜色分量信息通过一个值来求出用于表示所述活组织的病变程度的病变重症度；
所述特征量计算部，其被配置为从所述图像中按每个像素计算所述多个像素评估值，该多个像素评估值是可以通过所述病变部位所示的颜色分量或所述病变部位的形状来对出现在所述病变部位中的多个外观特征中的每一个进行表征的、且与所述多个外观特征相对应的多个像素评估值，并且用于表示与所述病变部位所示的颜色分量或所述病变部位的形状相关的所述多个特征中的每一个的程度；
所述多个像素评估值，其包含所述第1像素评估值，
所述典型值计算部，其被配置为通过对每一个所述多个外观特征来整合包含所述图像中各个像素的所述第1像素评估值在内的所述多个像素评估值中的每一个，从而计算出包含所拍摄的活组织的所述第1典型评估值在内的多个典型评估值；
以及整合部，其配置为计算出1个数值以作为所述病变重症度，其中，该数值为对包含所述多个典型评估值中所述典型值调整部调整后的所述第1典型评估值在内的至少2个典型评估值进行运算并整合而成。
CN201980048644.9A 2019-03-20 2019-03-20 内窥镜系统 Active CN112469323B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/011922 WO2020188825A1 (ja) 2019-03-20 2019-03-20 内視鏡システム

Publications (2)

Publication Number Publication Date
CN112469323A true CN112469323A (zh) 2021-03-09
CN112469323B CN112469323B (zh) 2023-08-18

Family

ID=72519205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980048644.9A Active CN112469323B (zh) 2019-03-20 2019-03-20 内窥镜系统

Country Status (5)

Country Link
US (1) US11612310B2 (zh)
JP (1) JP7041318B2 (zh)
CN (1) CN112469323B (zh)
DE (1) DE112019007057T5 (zh)
WO (1) WO2020188825A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156022A1 (ja) * 2018-02-07 2019-08-15 Hoya株式会社 内視鏡システム
JP7455716B2 (ja) 2020-09-25 2024-03-26 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
US20230142219A1 (en) * 2020-09-25 2023-05-11 Hoya Corporation Endoscope processor and endoscope system
JP7455717B2 (ja) 2020-09-28 2024-03-26 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
JP7465409B2 (ja) 2022-01-19 2024-04-10 コ，ジファン 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436638A (zh) * 2010-08-24 2012-05-02 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN102740756A (zh) * 2010-06-30 2012-10-17 奥林巴斯医疗株式会社 图像处理装置和图像处理方法
CN103957771A (zh) * 2011-11-30 2014-07-30 奥林巴斯株式会社 图像处理装置、图像处理方法和图像处理程序
EP2803313A1 (en) * 2013-05-14 2014-11-19 Fujifilm Corporation Processor device, endoscope system, and operation method of endoscope system
CN105310633A (zh) * 2014-08-04 2016-02-10 富士胶片株式会社 医用图像处理装置及其工作方法、以及内窥镜系统
JP2016067706A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5220705B2 (ja) * 2009-07-23 2013-06-26 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
WO2012114600A1 (ja) 2011-02-22 2012-08-30 オリンパスメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
JP6045396B2 (ja) 2013-02-27 2016-12-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5878586B2 (ja) * 2013-05-09 2016-03-08 華碩電腦股▲ふん▼有限公司ＡＳＵＳＴｅＫ ＣＯＭＰＵＴＥＲ ＩＮＣ． 画像色調整方法及びその電子装置
JP2015099104A (ja) * 2013-11-19 2015-05-28 ソニー株式会社 画像処理装置および画像処理方法
US10918270B2 (en) 2015-09-30 2021-02-16 Hoya Corporation Endoscope system and evaluation value calculation device
CN109310301B (zh) 2016-08-31 2021-07-20 Hoya株式会社 电子内窥镜用处理器以及电子内窥镜系统
WO2018163570A1 (ja) * 2017-03-06 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2019156022A1 (ja) 2018-02-07 2019-08-15 Hoya株式会社 内視鏡システム
JP6979510B2 (ja) * 2018-02-22 2021-12-15 富士フイルム株式会社 内視鏡システム及びその作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740756A (zh) * 2010-06-30 2012-10-17 奥林巴斯医疗株式会社 图像处理装置和图像处理方法
CN102436638A (zh) * 2010-08-24 2012-05-02 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN103957771A (zh) * 2011-11-30 2014-07-30 奥林巴斯株式会社 图像处理装置、图像处理方法和图像处理程序
EP2803313A1 (en) * 2013-05-14 2014-11-19 Fujifilm Corporation Processor device, endoscope system, and operation method of endoscope system
CN105310633A (zh) * 2014-08-04 2016-02-10 富士胶片株式会社 医用图像处理装置及其工作方法、以及内窥镜系统
JP2016067706A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム

Also Published As

Publication number Publication date
WO2020188825A1 (ja) 2020-09-24
CN112469323B (zh) 2023-08-18
US20210279498A1 (en) 2021-09-09
DE112019007057T5 (de) 2021-12-30
US11612310B2 (en) 2023-03-28
JPWO2020188825A1 (ja) 2021-09-13
JP7041318B2 (ja) 2022-03-23

Similar Documents

Publication Publication Date Title
CN112469323B (zh) 内窥镜系统
CN112351724B (zh) 电子内窥镜系统
JP6907398B2 (ja) 内視鏡システム
US11944261B2 (en) Electronic endoscope system and data processing device
CN112469324B (zh) 内窥镜系统
US12011142B2 (en) Electronic endoscope system
JP6912608B2 (ja) 内視鏡システム
EP4218535A1 (en) Endoscope processor and endoscope system
JP7455716B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
US11950762B2 (en) Electronic endoscope system and data processing device
CN113556968B (zh) 内窥镜系统
JP7455717B2 (ja) 内視鏡用プロセッサ及び内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant