CN109310303B - 电子内窥镜处理器以及电子内窥镜系统 - Google Patents

电子内窥镜处理器以及电子内窥镜系统 Download PDF

Info

Publication number
CN109310303B
CN109310303B CN201780035283.5A CN201780035283A CN109310303B CN 109310303 B CN109310303 B CN 109310303B CN 201780035283 A CN201780035283 A CN 201780035283A CN 109310303 B CN109310303 B CN 109310303B
Authority
CN
China
Prior art keywords
color
pixel data
color components
evaluation result
electronic endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780035283.5A
Other languages
English (en)
Other versions
CN109310303A (zh
Inventor
牧野贵雄
池本洋祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN109310303A publication Critical patent/CN109310303A/zh
Application granted granted Critical
Publication of CN109310303B publication Critical patent/CN109310303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/644—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

一种电子内窥镜处理器，由下列单元构成：转换单元，将构成由n(n≥3)种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m(m≥2)种颜色分量组成的像素数据；颜色分量校正单元，使用预定的颜色分量校正系数校正由转换的m种颜色分量组成的像素数据；获取单元，基于由校正的m种颜色分量组成的像素数据，获取对目标疾病的评价结果。

Description

电子内窥镜处理器以及电子内窥镜系统
技术领域
本发明涉及电子内窥镜处理器以及电子内窥镜系统。
背景技术
电子内窥镜系统用于人体内部的观察和治疗。在使用电子内窥镜系统的内窥镜观察中，需要准确地识别病变部位和正常部位。病变部位由于例如血管新生等原因，通常颜色与正常部位不同。专利文献1公开了一种电子内窥镜系统，该系统具有基于内窥镜图像的颜色信息确定很可能是病变部位的部位，并通过突出显示所识别的部位来支持内窥镜图像诊断的功能。
为基于如上所述的内窥镜图像的颜色信息准确地确定病变部位等，需要获取在至少用于确定病变部位等的颜色区域中具有准确颜色信息的内窥镜图像。现有的电子内窥镜系统具有白平衡校正功能，作为校正内窥镜图像的颜色信息的功能。
现有技术文献
专利文献
专利文献1：日本特开2010-115243号公报。
发明内容
发明所要解决的问题
由于白平衡校正仅在无彩色轴上用一个点(例如白色)进行色彩校正，因此，无法校正有彩色的误差。因此，在仅具有白平衡校正功能作为校正颜色信息的功能的现有技术的电子内窥镜系统中，颜色信息的误差大，这使得识别病变部位等的精度降低。
本发明是鉴于上述情况而完成的，其目的在于提供一种适合于在基于内窥镜图像的颜色分量识别病变部位等的情况下提高识别精度的电子内窥镜处理器以及电子内窥镜系统。
解决问题的手段
本发明的一个实施方式的电子内窥镜处理器具备下列单元，即：转换单元，其将构成由n(n≥3)种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m(m≥2)种颜色分量构成的像素数据；颜色分量校正单元，其使用预定的颜色分量校正系数校正由转换的m种颜色分量组成的像素数据；获取单元，其基于由校正的m种颜色分量构成的像素数据，获取对目标疾病的评价结果。
另外，本发明的一个实施方式的电子内窥镜处理器具备下列单元，即：转换单元，其将构成由n(n≥3)种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m(m≥2)种颜色分量构成的像素数据；获取单元，其基于由转换的m种颜色分量组成的像素数据，获取对目标疾病的评价结果；评价结果校正单元，其使用预定的评价结果校正系数，校正获取的评价结果。
也就是说，优选本发明的一个实施方式的电子内窥镜处理器具备下列单元：
转换单元，其将构成由n(n≥3)种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m(m≥2)种颜色分量构成的像素数据；
获取单元，其基于由转换的所述m种颜色分量构成的像素数据，获取对目标疾病的评价结果；以及
选自使用预定的颜色分量校正系数校正由通过所述转换装置转换的所述m种颜色分量组成的像素数据的颜色分量校正单元、和使用预定的评价结果校正系数校正通过所述获取单元获取的评价结果的评价结果校正单元中的至少一种校正单元。
在该构成中，根据一个实施方式，优选电子内窥镜处理器还具备颜色分量校正单元，使用预定的颜色分量校正系数校正由m种颜色分量组成的像素数据。另外，这种情况下，根据一个实施方式，优选获取单元基于由通过颜色分量校正系数校正的m种颜色分量组成的像素数据，获取对目标疾病的评价结果。
另外，根据本发明的一个实施方式，优选颜色分量校正系数是用于校正例如由m种颜色分量组成的像素数据的预定的校正矩阵系数。
另外，根据本发明的一个实施方式，优选评价结果校正系数是例如对评价结果进行仿射变换的仿射变换系数。
另外，根据本发明的一个实施方式，优选要由所述颜色分量校正单元进行颜色校正的颜色分量是所述n种颜色分量中的所述m种颜色分量，不包括(n-m)种颜色分量。
另外，根据本发明的一个实施方式，优选所述获取单元在由所述m种颜色分量定义的颜色空间内，设定从预定的基准点观察的所述目标疾病相关的基准方向，对于所述彩色图像的各个像素，基于所述颜色空间中所述转换的像素数据相对应的像素对应点从所述基准点观察的方向上的、从所述基准方向的偏离程度，获取对所述目标疾病的评估结果。
另外，根据本发明的一个实施方式，优选获取单元在由m种颜色分量定义的颜色平面内，设定通过预定基准点的、与目标疾病相关的基准轴，对于各个像素，基于连接该基准点和与该像素数据相对应的像素对应点的线段与该基准轴所形成的角度，获取与该目标疾病相关的评估结果。
另外，根据本发明的一个实施方式，在将所述基准轴称为第一基准轴时，
优选所述获取单元在所述颜色平面内设定第二基准轴，该第二基准轴穿过所述基准点，并与没有所述目标疾病的健康部位相关，
优选将所述第一基准轴和所述第二基准轴的交叉角度作为最大角度，将所述角度θ归一化来计算评价值。
另外，根据本发明的一个实施方式，优选转换单元将由n种颜色分量定义的颜色空间中的各像素数据正交投影到颜色平面上。
另外，根据本发明的一个实施方式，优选基准轴是例如表示目标疾病的最高症状水平的炎症部位的轴。换句话说，优选所述基准轴是随着所述目标疾病的症状水平增加，转换后的所述像素对应点会聚的轴。
另外，根据本发明的一个实施方式，优选颜色平面是例如包括R分量的轴和G分量的轴的平面。
另外，根据本发明的一个实施方式，优选所述转换的像素数据的m种颜色分量中的任一种均是以波长范围彼此不同的方式而设定的颜色分量。
另外，根据本发明的一个实施方式，优选评价结果包括例如表示对目标疾病的评价的值和表示对该目标疾病的评价的彩色图像中的至少一个。
另外，本发明的一个实施方式的电子内窥镜系统具备上述电子内窥镜处理器和颜色分量校正系数计算单元，该颜色分量校正系数计算单元基于通过拍摄与目标疾病相关的至少两个以上指标而获取的至少两种以上的实际拍摄数据，来计算颜色分量校正系数。
另外，本发明的一个实施方式的电子内窥镜系统具备上述电子内窥镜处理器和评价结果校正系数计算单元，该评价结果校正系数计算单元通过拍摄多个指标的每一个而获取每个指标的评价结果，使用获取的每个指标的评价结果来计算评价结果校正系数。
另外，本发明的一个实施方式的电子内窥镜系统具备上述电子内窥镜处理器和显示装置，该显示装置被构成为在显示屏上显示由该电子内窥镜处理器获取的评价结果。
另外，根据本发明的一个实施方式，优选所述电子内窥镜处理器具备：获取单元，将所述彩色图像的各个像素的颜色转换为与作为各像素的所述评价结果计算出的评价值相对应的颜色，并获取颜色映射图像；显示单元，将所述颜色映射图像显示在所述显示装置的显示屏幕上，其中，所述显示装置例如监视器被构成为同时显示所述评价值的代表值和所述颜色映射图像。
另外，根据本发明的一个实施方式，颜色分量中不包括色调和饱和度。
发明效果
根据上述电子内窥镜处理器以及电子内窥镜系统，能够在基于内窥镜图像的颜色分量识别病变部位等的情况下提高识别精度。
附图说明
图1是示出本发明的一个实施方式的电子内窥镜系统的构成的框图。
图2是示出在本发明的一个实施方式的特殊模式期间执行的特殊图像生成处理的流程图。
图3是示出在本发明的实施方式中绘制像素对应点的RG平面的图。
图4是对设定在RG平面内的基准轴进行说明的图。
图5是示出本发明的一个实施方式的特殊模式期间在监视器的显示屏幕上显示的显示屏幕示例的图。
图6是示出本发明的一个实施方式的校准模式期间执行的校准处理的流程图。
图7是示出本发明的一个实施方式的校准夹具的示意构成的图。
具体实施方式
在下文中，将参考附图描述本发明的实施方式。在以下描述中，以电子内窥镜系统为例对本发明的一个实施方式进行说明。
图1是示出本发明的一个实施方式的电子内窥镜系统1的构成的框图。如图1所示，电子内窥镜系统1是专用于医疗用途的系统，其具备电子内视镜100、处理器200和监视器300。
处理器200具备系统控制器202和时序控制器204。系统控制器202执行存储在存储器222中的各种程序，并综合控制整个电子内窥镜系统1。并且，系统控制器202连接至操作面板218。系统控制器202根据来自操作面板218的外科医生输入的指令，改变电子内窥镜系统1的各个操作和各个操作的参数。外科医生的输入指令包括例如切换电子内窥镜系统1的操作模式的指令。在本实施方式中，操作模式包括正常模式、特殊模式和校准模式。时序控制器204向电子内窥镜系统1中的各个电路输出用于调整各个部件的操作时序的时钟脉冲。
灯208在由灯电源点火器206启动之后，发出白光L。灯208是高强度灯，例如氙灯、卤素灯、汞灯和金属卤化物灯。从灯208发射的白光L由聚光透镜210聚光，并经由光阑212限制为适当的光量。另外，灯208可以由LD(激光二极管)或LED(发光二极管)等半导体发光元件代替。与其他光源相比，半导体发光元件具有低功耗和发热量小等特征，因此，具有能够在抑制功耗和发热量的同时获得明亮的图像的优点。能够获得明亮的图像与后面描述的提高炎症评价值的精度相关。半导体发光元件不限于处理器200，可以内置于电子内视镜100中。作为一个示例，半导体发光元件可以设置在电子内视镜100的末端部中。
电机214经由臂或齿轮(未图示出)等传动机构机械地联接到光阑212。电机214例如是DC电机，在驱动器216的驱动控制下驱动。光阑212由电机214操作以改变开度，从而将显示在监视器300的显示屏上的图像设置为适当的亮度。从灯208照射的白光L的量根据光阑212的开度受到限制。适当的图像亮度标准的设定，根据外科医生对操作面板218的亮度调节操作而改变。另外，控制驱动器216以进行亮度调节的调光电路是已知的电路，在本说明书中省略说明。
已经穿过光阑212的白光L在LCB(Light Carrying Bundle：光导束)102的入射端面上聚光，并入射到LCB102中。从入射端面入射在LCB102中的白光L在LCB102中传播。
在LCB102中传播的白光L从配置在电子内视镜100的末端处的LCB102的出射端面发射，并经由配光透镜104照射生物体组织。来自白光L照射的生物体组织的返回光经由物镜106在固态成像元件108的光接收面上形成光学图像。
固态成像元件108是安装有互补色检查过滤器的单板式彩色CCD(Charge-CoupledDevice：电荷耦合器件)图像传感器。固态成像元件108将由光接收面上的各个像素成像的光学图像累积为对应于光量的电荷，生成并输出黄色Ye、青色Cy、绿色G和品红色Mg的像素数据。另外，固态成像元件108不限于CCD图像传感器，也可以使用CMOS(ComplementaryMetal Oxide Semiconductor：互补金属氧化物半导体)图像传感器或其他类型的成像装置代替。
另外，固态成像元件108可以安装有原色过滤器(拜耳阵列过滤器)。原色(RGB)过滤器具有比互补色过滤器更好的成色性能。因此，当使用配备有原色过滤器的成像元件的RGB格式的图像信号来计算稍后描述的炎症评价值时，能够提高评价精度。而且，通过使用原色过滤器，在计算炎症评价值的处理中不必进行信号转换。因此，能够抑制炎症评价值计算的处理负荷。
电子内视镜100的连接部内具有驱动信号处理电路112。在驱动信号处理电路112中，在帧周期中从固态成像元件108输入通过对用白光L照射的生物体组织进行成像而获得的各个像素的像素数据。驱动信号处理电路112将从固态成像元件108输入的像素数据输出到处理器200的信号处理电路220。另外，在以下描述中，“帧”可以用“场”代替。在本实施方式中，帧周期和场周期分别是1/30秒和1/60秒。
驱动信号处理电路112还访问存储器114以读出电子内视镜100的固有信息。记录在存储器114中的电子内视镜100的固有信息包含例如固态成像元件108的像素数和灵敏度、可操作的帧速率、型号等。驱动信号处理电路112将从存储器114读取的固有信息输出到系统控制器202。
系统控制器202基于电子内视镜100的固有信息执行各种运算，并产生控制信号。系统控制器202使用所生成的控制信号控制处理器200中的各种电路的操作和定时，以执行适合于连接至处理器200的电子内视镜的处理。
时序控制器204根据系统控制器202的时序控制，将时钟脉冲提供给驱动信号处理电路112。根据从时序控制器204提供的时钟脉冲，驱动信号处理电路112在与在处理器200侧处理的图像的帧速率同步的定时，驱动和控制固态成像元件108。
[正常模式下的操作]
将描述正常模式下处理器200中的信号处理操作。
处理器200具备的信号处理电路220具有：预处理电路220A、处理电路220B、输出电路220C、校正电路220D、计分电路220E和映射电路220F。
预处理电路220A对来自驱动信号处理电路112的在帧周期输入的RAW格式的像素数据执行去马赛克处理，将其转换为RGB格式的像素数据，执行彩色矩阵处理、白平衡调整、色调增益调整等，并将其输出到处理电路220B。
处理电路220B对从预处理电路220A输入的像素数据执行增强处理、伽玛校正等，生成正常的彩色图像数据，并将其输出到输出电路220C。
输出电路220C对从处理电路220B输入的彩色图像数据执行Y/C分离和色差校正等处理，并将其转换为预定的视频格式信号。转换后的视频格式信号输出到监视器300。由此，在监视器300的显示屏上显示生物体组织的正常的彩色图像。
[特殊模式下的操作]
接下来，将描述特殊模式下的处理器200中的信号处理操作。图2示出了在特殊模式下执行的特殊图像生成处理的流程图。图2的特殊图像生成处理在电子内窥镜系统1的操作模式切换到特殊模式时开始。
[图2的S11(当前帧的像素数据的输入)]
在本处理步骤S11中，当前帧的各个像素的像素数据输入到预处理电路220A。各个像素的像素数据在由预处理电路220A进行信号处理之后，输入到处理电路220B和校正电路220D中。
[图2的S12(向RG平面上的正交投影)]
图3是用于概念性地说明校正电路220D的操作的图，并示出了由相互正交的R轴和G轴限定的RG平面。另外，R轴是R分量(R的像素值)的轴，G轴是G分量(G的像素值)的轴。
在本处理步骤S12中，将由RGB三原色定义的RGB颜色空间中的各个像素的像素数据(由三种颜色分量组成的三维像素数据)转换为RG的像素数据(由两种颜色分量组成的二维像素数据)。从概念上讲，如图3所示，RGB颜色空间中的各个像素的像素数据根据R和G的像素值而绘制在RG平面中(更具体地而言，取R＝0至255，G＝0至255的值的RG平面中的一个部分)。在下文中，为了便于描述，将RGB颜色空间中的各个像素的像素数据的点和在RG平面中绘制的像素数据的点称为“像素对应点”。在图3中，为便于清楚地说明，仅示出了一部分像素的像素对应点，而没有示出所有像素的像素对应点。
另外，在本发明中，颜色分量构成颜色空间(包括颜色平面)。此外，色调和饱和度被排除在“颜色分量”之外。
以这种方式，在本处理步骤S12中，RGB颜色空间中的各个像素数据(三维数据)被正交投影到RG平面上，从与各个像素数据对应的RGB颜色空间中的点绘制到RG平面的垂足是像素对应点(二维数据)。
另外，在本处理步骤S12中执行的将RGB颜色空间中的各个像素的像素数据转换(正交投影)为RG平面的像素数据的操作，通过转换单元执行。根据一个实施方式，优选图2所示的校正电路220D承担转换单元的功能。
[图2的S13(基准轴的设定)]
在本处理步骤S13中，由校正电路220D设定为计算胃炎等目标疾病的炎症强度所需的RG平面内的基准轴。图4示出了辅助说明基准轴的图。
由于血红蛋白色素等的影响，待拍摄对象即患者体腔内的生物体组织中，R分量相对于其他分量(G分量和B分量)是主导的，通常情况下，炎症越强，红色(R分量)相对于其他颜色(G分量和B分量)变强。然而，体腔内的生物体组织的拍摄图像根据影响亮度的拍摄条件(例如，白光L的照射程度)而改变颜色。例如，白光L未到达的阴影部分是黑色(无彩色，例如，R、G、B为零或接近零的值)，白光L强烈照射并镜面反射的部分是白色(无彩色，例如，R、G、B为255或接近255的值)。也就是说，即使拍摄了发生炎症的相同异常部位时，该异常部位图像的像素值也随着白光L强烈地照射而增加。因此，有时根据白光L的照射程度，像素值可以取与炎症强度不相关的值。
通常，体腔内没有发生炎症的正常部位覆盖有足够的粘膜。相反，体腔内发生炎症的异常部位没有覆盖足够的粘膜。具体而言，随着血管扩张，血液和体液从血管中泄漏出来，使得粘膜变得相对薄，血液的颜色变得更醒目。粘膜基本上是白色的，但基调略带黄色，图像上出现的颜色(黄色)根据其深浅(粘膜厚度)而变化。因此，粘膜的深浅被认为是评价炎症强度的评价标准之一。
因此，在本处理步骤S13中，如图4所示，在将通过RG平面内的(50，0)和(255，76)的直线设定为基准轴之一的同时，将通过(0，0)和(255，192)的直线设定为基准轴之一。为便于说明，将前一基准轴称为“血红蛋白变化轴AX1”，将后一基准轴称为“粘膜变化轴AX2”。
图4所示的曲线图是本发明人分析体腔内生物体组织的大量样本图像而得到的结果。用于分析的样本图像中包含各个阶段的炎症图像的示例，例如具有最高症状水平的炎症图像示例(最严重水平的炎症图像)、具有最低症状水平的炎症图像示例(被认为是基本正常的部位或健康部位)等。另外，在图4的示例中，为清楚起见，仅示出了作为分析结果而获得的散点的一部分。作为分析结果实际获得的散点数量远多于图4中所示的散点。
如上所述，作为炎症强的异常部位，R分量相对于其他分量(G分量和B分量)变强。因此，分布散点的区域与未分布散点的区域之间的边界线、即比G轴更靠近R轴的边界线上的轴、在图4的示例中穿过(50，0)和(255，76)的边界线上的轴被设定为与症状水平最高的病变部位(症状水平最高的炎症部位(异常部位))高度相关的轴。该轴是血红蛋白变化轴AX1。在血红蛋白变化轴AX1上，叠加了对应于在各种拍摄条件下拍摄的症状水平最高的炎症部位的散点，例如白光L的照射程度不同的条件。
另一方面，随着炎症程度越小且越接近正常部位，G分量(或B分量)相对于R分量变强。因此，分布散点的区域与未分布散点的区域之间的边界线，即比R轴更靠近G轴的边界线上的轴、在图4的示例中穿过(0，0)和(255，195)的边界线上的轴被设定为与症状水平最低的病变部位(症状水平最低的炎症部位(异常部位)，即与基本上正常的部位、换言之即与被视为健康部位)高度相关的轴。该轴是粘膜变化轴AX2。在粘膜变化轴AX2上，叠加了对应于在各种拍摄条件下、例如白光L的照射程度不同的条件下拍摄的症状水平最低的炎症部位，换言之，被视为基本正常的部位的散点。
补充地说，目标疾病的症状水平最高的炎症部位出血。另一方面，由于症状水平最低的炎症部位是基本正常的部位，因此，覆盖有足够的粘膜。因此，可以理解为，图4所示的RG平面内的散点分布在与血液(血红蛋白色素)相关性最高的轴和与粘膜的颜色相关性最高的轴之间的区域中。因此，在分布散点的区域与未分布散点的区域之间的边界线中，更接近R轴(更强的R分量)的边界线是表示症状水平最高的炎症部位的轴，即相当于血红蛋白变化轴AX1，并且，更靠近G轴的边界线(更强的G分量)表示症状水平最低的炎症部位的轴，即相当于粘膜变化轴AX2。
[图2的S14(像素数据的校正)]
在校正电路220D中的存储器和存储器222等存储介质中保存有在稍后将描述的校准模式期间计算的校正矩阵系数。在本处理步骤S14中，为了抑制由不同的电子内窥镜系统拍摄相同的病变部位时计分值的变化，换句话说，为了抑制电子内视镜的个体差异，校正电路220D通过使用校正矩阵系数校正各个像素的像素对应点即像素数据(R，G)。
·校正矩阵示例
Figure GDA0001894779210000121
Rnew：校正后的像素数据(R分量)
Gnew：校正后的像素数据(G分量)
M00至M11：校正矩阵系数
R：校正前的像素数据(R分量)
G：校正前的像素数据(G分量)
另外，在本处理步骤S14中执行的使用校正矩阵系数校正各个像素的像素对应点的操作通过颜色分量校正单元执行。根据一个实施方式，优选图2所示的校正电路220D承担颜色分量校正单元的功能。
[图2的S15(角度的计算)]
在本处理步骤S15中，通过计分电路220E对在处理步骤S14(像素数据校正)校正的当前帧的所有像素的像素数据(Rnew，Gnew)算出用于计算炎症强度的角度。具体而言，在本处理步骤S15中，对于各个像素，计算由连接基准点O'(即血红蛋白变化轴AX1和粘膜变化轴AX2的交点)和像素对应点(Rnew，Gnew)而成的线段L与血红蛋白变化轴AX1形成的角度θ(参见图3)。另外，基准点O'位于坐标(﹣150，﹣75)。
[图2的S16(归一化处理)]
当体腔内的生物体组织的拍摄图像的亮度根据白光L的照射程度而变化时，拍摄图像的颜色受个体差异、拍摄地点、发炎状态等的影响，但在RG平面内，通常，在症状水平最高的炎症部位，其沿着血红蛋白变化轴AX1而变化，在症状水平最低的炎症部位即在健康部位，其沿着粘膜变化轴AX2而变化。并且，估计中间症状水平的炎症部位的拍摄图像的颜色也以相同的趋势变化。也就是说，当对应于炎症部位的像素对应点根据白光L的照射程度改变时，像素对应点以基准点O'为起点在方位角方向上移位。换言之，当对应于炎症部位的像素对应点根据白光L的照射程度改变时，角度θ保持恒定地移动，其与基准点O'的距离随之而改变。这意味着角度θ是基本上不受拍摄图像的亮度变化影响的参数。
角度θ越小，R分量相对于G分量越强，发炎部位的症状水平越高。并且，角度θ越大，G分量相对于R分量越强，发炎部位的症状水平越低。
因此，在本处理步骤S16中，计分电路220E对当前帧的所有像素的角度进行归一化，使得角度θ为零时该值为255，角度θ为θMAX时该值变为零。另外，θMAX等于由血红蛋白变化轴AX1和粘膜变化轴AX2形成的角度。由此，能够获得落在0至255范围内的炎症强度的信息，即8bit的信息。
[图2的S17(炎症评价值的计算)]
在本处理步骤S17中，计分电路220E计算通过平均当前帧的所有像素的炎症强度而获得的平均值，或者所有像素的炎症强度的积分值，作为整个拍摄图像的临时炎症评价值。
另外，在本处理步骤S17中执行的计算炎症评价值的操作通过获取单元执行。根据一个实施方式，优选图2所示的计分电路220E承担获取单元的功能。
[图2的S18(炎症评价值的确定)]
校正电路220D中的存储器或存储器222等存储介质存储有稍后描述的校准模式期间计算的仿射变换系数α和β。在本处理步骤S18中，为了抑制由不同的电子内窥镜系统拍摄相同病变部位时的计分值的变化，换句话说，为了抑制电子内视镜的个体差异，在处理步骤S17中(炎症评价值的计算)计算的临时炎症评价值使用仿射变换系数α和β进行仿射变换以变为确定值，如下面的等式所示。另外，在本处理步骤S18中，生成转换为确定值的炎症评价值的显示数据(显示数据示例：得分：○○)。
·仿射变换示例
H＝αH'+β
H：炎症评价值(确定值)
H'：炎症评价值(临时值)
举例说明计算仿射变换系数α和β的方法。在计算仿射变换系数α和β时，针对多个样本图像计算临时炎症评价值(以下为了便于说明，称为“样本炎症评价值”)。在计算的各个值中，将最高样本炎症评价值转换为第一特定值，例如转换为炎症评价值的最大值，并且将最低样本炎症评价值转换为比第一特定值低的第二特定值，例如求出转换为炎症评价值的最小值的系数集(斜率α、截距β)作为仿射变换系数。
另外，可以想到各种仿射变换系数α和β。举例而言，也可以将用于将所有计算的样本炎症评价值的平均值转换为特定值的系数集、或用于最小化各个样本炎症评价值与预定目标值之间的误差之和的系数集作为仿射变换系数α和β。
另外，在本处理步骤S18中执行的使用仿射变换系数α和β对炎症评价值进行仿射变换的操作通过评价结果校正单元执行。根据一个实施方式，优选图2所示的计分电路220E承担评价结果校正单元的功能。
[图2中的S19(颜色映射图像上的显示颜色的确定)]
在本实施方式中，能够显示使用对应于炎症强度的显示颜色对拍摄图像马赛克化之后的颜色映射图像。为了能够显示颜色映射图像，将炎症强度的值与预定的显示颜色相关联的表存储在计分电路220E的预定的存储区域中。在该表中，例如，不同的显示颜色与5增量的值相关联。举例而言，当炎症强度的值在0到5的范围内时，与黄色相关联，并且每当该值增加5时，根据色调圆上的颜色的排列顺序而关联不同的显示颜色，当值在250到255范围内时，与红色相关联。
在本处理步骤S19中，映射电路220F基于上述表格，将当前帧的各个像素的颜色映射图像上的显示颜色确定为与在S17(炎症评价值的计算)中获得的炎症强度的值所对应的颜色。
[图2的S20(颜色映射图像数据的生成)]
在本处理步骤S20中，映射电路220F将当前帧的各个像素的颜色数据转换为在处理步骤S19(确定颜色映射图像上的显示颜色)确定的显示颜色的数据，并生成由以转换后的显示颜色显示的像素组成的颜色映射图像数据。
另外，在本处理步骤S20中执行的生成颜色映射图像数据的操作通过获取单元执行。根据一个实施方式，优选图2所示的映射电路220F承担颜色映射图像的获取单元的功能。
[图2的S21(叠加处理)]
在本处理步骤S21中，利用输出电路220C，将使正常彩色图像和颜色映射图像叠加的比率作为系数，将前一图像数据(正常彩色图像数据)和后一图像数据(颜色映射图像数据)相加在一起，其中，所述正常彩色图像基于处理电路220B输入的正常彩色图像数据，所述颜色映射图像基于在处理步骤S20(颜色映射图像数据的生成)生成的颜色映射图像数据。
另外，系数的设定可以通过用户操作适当地改变。例如，当希望将正常的彩色图像显示得更暗时，就将彩色图像数据的系数设定得更高，当希望将颜色映射图像显示得更暗时，就将颜色映射图像数据的系数设定得更高。
[图2的S22(结束判定)]
在本处理步骤S22中，判定电子内窥镜系统1的操作模式是否已经切换到与特殊模式不同的模式。当判定模式尚未切换到另一模式时(S22：否)，图2的特殊图像生成处理返回到处理步骤S11(当前帧的像素数据的输入)。另一方面，如果判定模式已经切换到另一模式(S22：是)，则图2的特殊图像生成处理结束。
[屏幕显示示例]
输出电路220C基于在图2的处理步骤S21(叠加处理)中经过相加处理的图像数据生成正常的彩色图像和颜色映射图像的叠加图像的显示数据，同时还执行掩蔽处理以掩蔽监视器300的显示屏幕的周边区域(图像显示区域的周围)，此外，在经过掩蔽处理而生成的掩蔽区域生成重叠了炎症评价值的用于监视器显示的屏幕数据。输出电路220C将所生成的监视器显示用的屏幕数据转换为预定的视频格式信号，并输出至监视器300。
图5示出了特殊模式下的屏幕显示的示例。如图5所示，在监视器300的显示屏幕上，在其中央区域显示体腔内的拍摄图像(正常图像和颜色映射图像以重叠方式显示的叠加图像)，同时显示图像显示区域的周围被掩蔽后的屏幕。并且，在掩蔽区域中显示炎症评价值(得分)。
另外，特殊模式下拍摄图像的显示方式不限于正常的彩色图像和颜色映射图像的叠加显示。例如，可以举出这样的显示方式，其中正常的彩色图像和颜色映射图像在一个屏幕中并排显示，或者仅显示颜色映射图像。在前一种情况下，正常的彩色图像和颜色映射图像都可以以相同的尺寸显示，或者正常的彩色图像和颜色映射图像中的一个显示为主图像，同时另一个显示为比主图像更小的子图像。
另外，由输出电路220C执行的、在监视器300的显示屏幕上显示包含炎症评价值和颜色映射图像的图像的操作通过显示单元执行。根据一个实施方式，优选图2所示的输出电路220C承担显示单元的功能。
如上所述，根据本实施方式，通过仅执行简单的计算处理而不执行色调强调处理等非线性计算处理或复杂的颜色空间转换处理等，就能够获得高精度的炎症评价值和颜色映射图像。也就是说，极大地抑制了计算炎症评价值和生成颜色映射图像所需的硬件资源。
另外，根据实施方式，炎症评价值和颜色映射图像基本上不会由于影响体腔内的拍摄图像的亮度的拍摄条件而变化，例如，照射光的照射程度等。因此，外科医生能够高精度地识别例如病变部位等，并能够进行更客观和准确的诊断。
[校准模式期间的操作]
接下来，将描述处于校准模式的电子内窥镜系统1的操作。在校准模式下执行的校准处理中，使用与目标疾病相关的特定颜色作为校正目标来执行校准。
图6示出了在校准模式期间执行的校准处理的流程图。图6的校准处理在例如工厂出货或维护时等定时执行，并在电子内窥镜系统1的操作模式切换到校准模式时开始。
另外，在执行校准处理之前，操作者执行准备工作。具体而言，操作者使用白平衡专用夹具、以及与白平衡专用夹具相同规格的白板、灰卡等来调节电子内窥镜系统1的白平衡。
当完成白平衡的调节时，操作者将电子内窥镜系统1设置在校准用夹具中，同时，在连接到处理器200的电子内窥镜系统的终端(PC)上启动校准用软件。
接下来，操作者通过电子内视镜100进行拍摄图像的亮度调整。举例而言，操作者手动调节光阑212的开度，使得当拍摄用于亮度调节的被拍摄对象时拍摄图像的亮度值落在目标亮度值内。另外，拍摄图像的亮度值可以在校准用软件上确认。
图7示出了本实施方式的校准用夹具400的简要构成。如图7所示，校准用夹具400具备测量盒402。在测量盒402中形成有引入口402a。
操作者经由引入口402a将电子内视镜100的末端部分插入测量盒402中的预定位置。电子内视镜100的末端插入测量盒402中，由此引入口402a基本上闭合。由此，外部光不会进入测量盒402，测量盒402可作为暗盒发挥作用。由于校准处理时不受外部光的影响，因此，可提高校准的精度。
在测量盒402中，一对指示器(特定颜色样本)404A、404B被放置在面对引入口402a的位置处，换句话说，在面对电子内视镜100的末端表面(光分配透镜或物镜等配置面)的位置处。指示器(特定颜色样本)是模仿与目标疾病相关的特定颜色的颜色指标，可以根据目标疾病适当地交换。
指标器(特定颜色样本)404A是模仿第一颜色的指标，例如，当目标疾病的症状水平最高时，该第一颜色是生物体组织的颜色。在本实施方式中，指示器404A是涂有对应于RG平面内的血红蛋白变化轴AX1上的预定点(稍后描述的校正目标点PT1)的颜色的板状部件。
指标器(特定颜色样本)404B是模仿第二颜色的指标，例如是健康的生物体组织的颜色。在本实施方式中，指示器404B是涂有对应于RG平面内的粘膜变化轴AX2上的预定点(稍后描述的校正目标点PT2)的颜色的板状部件。
[图6的S31(指标器的拍摄)]
操作者在视觉上识别显示在监视器300的显示屏幕上的拍摄图像的同时，调整测量盒402中的电子内视镜100的末端部的位置，使得指示器404A和404B落入电子内视镜1的视角内。在本处理步骤S31中，根据操作者的操作输入，落入视角内的指示器404A和404B被电子内视镜100拍摄，该拍摄的图像数据被输入处理器200。另外，指示器404A和404B也可以被单独拍摄。操作者通过使用校准用夹具400，能够在相同条件下拍摄指标器404A和指标器404B。
[图6的S32(实际拍摄数据点P的计算)]
根据操作者的操作输入，或在自动拍摄指定数量的纸张(这里是一张纸)之后，自动开始执行本处理步骤S32。
在本处理步骤S32中，通过校准用软件从在处理步骤S31(指标器的拍摄)拍摄的拍摄图像数据计算实际拍摄数据点PD1、PD2作为指标器404A、404B的实际测量值。
[图6的S33(对RG平面上的实际拍摄数据点的正交投影)]
在本处理步骤S33中，通过校准用软件将RGB颜色空间的实际拍摄数据点PD1(RD1，GD1，BD1)和实际拍摄数据点PD2(RD2，GD2，BD2)分别正交投影到与目标疾病相关联的RG平面上，并转换为实际拍摄数据点PD1(RD1，GD1)和实际拍摄数据点PD2(RD2，GD2)。
[图6的S34(校正矩阵系数的计算)]
在本处理步骤S34中，通过校准用软件计算校正矩阵系数。如下式所示，校正矩阵系数是将实际测量值，即实际拍摄数据点PD1(RD1，GD1)和实际拍摄数据点PD2(RD2，GD2)校正为目标值，即校正为校正目标点PT1(RT1，GT1)和校正目标点PT2(RT2，GT2)的系数。另外，校正目标点PT1(RT1，GT1)对应于由指标器404A模仿的血红蛋白变化轴AX1上的颜色，校正目标点PT2(RT2，GT2)对应于由指示器404B模仿的粘膜变化轴AX2上的颜色。
Figure GDA0001894779210000191
从上面的等式可知，校正矩阵系数通过以下等式获得。
Figure GDA0001894779210000192
另外，在本处理步骤S34中执行的计算校正矩阵系数的操作由颜色分量校正系数计算单元执行。根据一个实施方式，优选连接到处理器200的电子内窥镜系统用的终端(PC)中的软件模块承担颜色分量校正系数计算单元的功能。
[图6的S35(拍摄样本图像)]
在本处理步骤S35中，使用电子内视镜100拍摄多个样本图像。作为示例，样本图像可以是在测量盒402中设置的指标器(指标器404A和404B或其他指标器等)的拍摄图像，或者是使用不同于校准用夹具400的手段拍摄的指标器的图像。
[图6的S36(样本炎症评价值的计算)]
在本处理步骤S36中，针对在处理步骤S35(拍摄样本图像)中拍摄的各个样本图像计算样本炎症评价值。
[图6的S37(仿射变换系数的计算)]
在本处理步骤S37中，使用在处理步骤S36(样本炎症评价值的计算)计算的各个样本图像的样本炎症评价值来计算仿射变换系数α、β。另外，关于仿射变换系数α和β的计算方法，可以采用图2的处理步骤S18(炎症评价值的确定)中列出的任何方法，并且，也可以采用其他方法。
另外，在本处理步骤S37中执行的计算仿射变换系数α，β的操作由评估结果校正系数计算单元执行。根据一个实施方式，优选连接到处理器200的电子内窥镜系统用的终端(PC)中的软件模块承担评估结果校正系数计算单元的功能。
[图6的S38(系数的保存)]
在本处理步骤S38中，在处理步骤S34(校正矩阵系数的计算)中计算的校正矩阵系数、以及在处理步骤S37(仿射变换系数的计算)中计算的仿射变换系数α、β存储在处理器200的校正电路220D中的存储器中或存储器222等存储介质中。由此，完成了图6所示的校准处理。
通过对各个电子内窥镜系统执行校准处理，当各个电子内窥镜系统拍摄与目标疾病相关的指标时，获得大致相同的评估结果，即，获得相同的炎症评价值和相同的颜色映射图像。因此可知，即使在各个电子内窥镜系统实际拍摄目标疾病时，也可以抑制评价结果的波动。
也就是说，根据该实施方式，通过限定校正目标，具体而言，通过将与目标疾病相关的特定颜色作为校正对象，极好地消除了在进行目标疾病的评价时使用的颜色数据中残存的误差、主要由电子内视镜100的光学部件的个体差异引起的变化而导致的误差。由此，可提高评价精度。
另外，根据另一实施方式，使用校正矩阵系数进行颜色校正的颜色分量仅是从n种颜色分量转换的m种颜色分量，不含(n-m)种颜色分量。(n-m)种颜色分量不用于炎症评价值，因此，不需要进行颜色校正。以这种方式，由于仅对用于炎症评价值的颜色分量执行颜色校正，因此，校正矩阵系数能够基于指标而高精度地创建。
另外，通过校正矩阵系数进行校正和通过仿射变换系数进行校正不是必不可少的。通过执行一个校正，在各个电子内窥镜系统拍摄具有目标疾病的生物体组织时，能够获得抑制评价结果的波动的效果。
另外，该实施方式的电子内窥镜系统为本技术领域带来以下效果，并提供了解决问题的方案。
第一，该实施方式的电子内窥镜系统是用于早期发现炎症性疾病的诊断辅助。
第二，根据实施方式的构成，能够在屏幕上显示炎症程度或者强调发生炎症的区域的图像，使得外科医生能够发现难以在视觉上看到的轻微炎症。特别是，由于难以判别轻度炎症与正常部位，因此，本实施方式的构成对轻度炎症的评价所带来的效果显著。
第三，根据实施方式的构成，能够向外科医生提供客观评价值作为炎症程度的评价，从而能够减少外科医生之间的诊断差异。特别是，具有如下很大的优点，即能够向经验尚浅的外科医生提供根据本实施方式的构成的客观评价值。
第四，根据实施方式的构成，通过减少图像处理的负荷，能够将炎症部位实时显示为图像。因此，能够提高诊断精度。
第五，根据实施方式的构成，由于评价值计算的处理负荷减小，因此，能够无延迟地将颜色映射图像(显示炎症程度的图像)和正常图像并排，或组合显示。因此，能够在不延长检查时间的情况下显示颜色映射图像，结果，能够避免增加患者的负担。
实施方式中的目标观察部位是例如呼吸器官、消化器官等。呼吸器官例如是肺、耳鼻和咽喉。消化器官等是例如大肠、小肠、胃、十二指肠、子宫等。该实施方式的电子内窥镜系统被认为在观察目标是大肠时效果更显著。这具体是由于以下原因所致。
在大肠中，有些疾病可以根据炎症情况进行评价，其优势在于，相比其他器官更容易发现炎症部位。其中，根据该实施方式的炎症评价值作为用于评价以溃疡性大肠炎为代表的炎症性肠病(IBD)的判定标准是有效的。由于针对溃疡性大肠炎的治疗方法尚未确立，因此，通过使用本实施方式的构造的电子内窥镜系统，早期发现并抑制病情进展的效果非常大。
与胃等相比，大肠是细长的器官，所生成的图像具有深度，并且越深变得更暗。根据实施方式的构成，能够抑制由于图像中的亮度变化引起的评价值的波动。因此，将本实施方式的电子内窥镜系统应用于大肠的观察时，该实施方式的效果变得显著。也就是说，该实施方式的电子内窥镜系统优选是用于呼吸器官的电子内窥镜系统或是用于消化器官的电子内窥镜系统，更优选是用于大肠的电子内窥镜系统。
另外，虽然轻度炎症通常难以诊断，但根据实施方式的构成，例如，通过在屏幕上显示炎症程度的评价结果，能够避免外科医生忽略轻度炎症。特别是对于轻度炎症，由于判断基准不明确，因此，是增大外科医生之间的个体差异的一个主要因素。关于这一点，根据实施方式的构成，能够向外科医生提供客观的评价值，从而能够减少由于个体差异导致的诊断变化。
另外，本实施方式的上述构成不仅能够应用于炎症程度的计算，还能够应用于癌症、息肉或伴随颜色变化的其他各种病变的评价值的计算，甚至在这些情况下，也能够带来和上述同样的有利效果。也就是说，优选该实施方式的评价值是伴随颜色变化的病变的评价值，其包括炎症程度、癌症和息肉三者中的至少一个的评价值。
以上是对本发明的示例性实施方式的描述。本发明的实施方式不限于上述描述的实施例，在本发明的技术构思的范围内，可以进行各种修改。例如，将说明书中具体示例的实施方式等或普通实施方式等适当组合后的实施方式，也包括在本申请的实施方式中。
在上述实施方式中，作为指标之一，操作者选择具有第一颜色的指标，例如目标疾病的症状水平最高时生物体组织的颜色，而作为其他指标之一，选择具有第二颜色的指标，例如，健康状态时生物体组织的颜色。因此，在上述实施方式中，颜色越接近于颜色空间内的第一颜色或第二颜色，即越接近于校正目标的颜色，越能够以高精度被校准。换句话说，在颜色空间内，越是远离校正目标的颜色，例如浅蓝色这样的证明不可能有炎症的颜色，校准精度就越低。
因此，对于要在校准模式下设置在校准用夹具上的指标器，操作者可以使用电子内窥镜系统1，选择与要以特别高的精度计分的症状水平相对应的指标器。例如，在期望提高轻度炎症的计分精度的情况下，操作者可以选择当轻度炎症发生时模仿生物体组织颜色的指标器作为指标器。
另外，由于指标器是以细分的方式准备的，因此，外科医生很难在其中选择适当的指标器。因此，当系统控制器202经由连接的外围设备(键盘等)接收到由操作者指定症状水平的操作时，系统控制器202能够在监视器300的显示屏幕上显示与指定的症状水平相对应的指标器，或能够通过声音再现通知。由此，外科医生可以从多个指标中可靠地选择适当的指标。
另外，至少需要两个指标器才能执行校准处理。换句话说，可以使用三个以上指标器来执行校准处理。
另外，在上述实施方式中，通过校正矩阵系数的校正、通过仿射变换系数的校正以及炎症评价值的计算等所有处理都在RG平面上执行，但其中的一部分处理，例如通过校正矩阵系数的校正等，也可以在YUV等其他颜色空间上执行。
另外，根据用户的设定，伴随颜色变化的图像处理，例如TE(色调增强)处理可以在处理电路220B中执行。校正矩阵系数和仿射变换系数的各种系数的适当值在执行伴随颜色变化的图像处理和不执行伴随颜色变化的图像处理时是不同的。因此，在校正电路220D内的存储器或存储器222等存储介质中，可以存储适合于TE处理的各种系数和适合于不执行TE处理的各种系数。当执行TE处理时，执行使用前者的各种系数的校正，当不执行TE处理时，执行使用后者的各种系数的校正。
另外，在上述实施方式中，RGB颜色空间的像素数据被转换为RG平面的像素数据，并使用每个转换后的像素数据中包括的R分量和G分量来计算炎症评价值，然而，在其他实施方式中，通过使用将CIE 1976L*a*b*颜色空间、CIE LCh颜色空间、CIE 1976L*u*v*颜色空间、HSB颜色空间、sRGB颜色空间、CMK颜色空间、CMYK颜色空间、CMYG颜色空间等其他颜色空间(由n(n≥3)种类的颜色成分定义的颜色空间)的像素数据转换成比其低阶的颜色空间(由m(n＞m≥2)种类的颜色成分定义的颜色空间)的像素数据之后的颜色空间，而不是RGB颜色空间，还能够计算与对应于每个颜色空间的上述实施方式不同的目标疾病(胃萎缩或大肠肿瘤等)相关的评价值。在这种情况下，使用与上述实施方式不同的指标器和目标点，计算校正矩阵系数和仿射变换系数。
在处理器200的存储器222和校正电路220D中的存储器中，可以存储对应于各种目标疾病的多种校正矩阵系数和仿射变换系数。通过根据待诊断的疾病切换校正矩阵系数和仿射变换系数，计算每个目标疾病中稳定的(由个体差异引起的变化较小的)评价值。
作为用于电子内窥镜系统1的光源，可以使用各种类型的光源。另一方面，根据电子内窥镜系统1的观察目的等，可以存在限制光源类型的方式(例如，光源类型剔除激光等)。其中，校正矩阵系数和仿射变换系数的最佳值根据所使用的光源的光谱特性而变化。因此，例如，在处理器200具备多种类型的光源时，或者在多种类型的外部光源之间切换使用时，用于每种类型的光源的校正矩阵系数和仿射转换系数可以存储在处理器200的存储器222或校正电路220D的存储器中。由此，可抑制由于所使用的光源的光谱特性引起的炎症评价值等的变化。
此外，在上述实施方式中，计算由连接基准点O'和目标像素的像素对应点的线段L与血红蛋白变化轴AX1形成的角度θ，并基于计算出的角度θ计算炎症评价值，但本发明不限于此。例如，可以计算由线段L与粘膜变化轴AX2形成的角度，并基于计算出的角度计算炎症评价值。在这种情况下，计算出的角度越小，G分量相对于R分量越强，表明炎症部位的严重程度越低，计算出的角度越大，R分量相对于G成分越强，表明炎症部位越严重。因此，在图2中的处理步骤S16(归一化处理)中，将炎症评价值归一化，使得当计算出的角度为零时该值变为零，当计算出的角度为θMAX时该值变为255。
另外，在上述实施方式中，将血红蛋白变化轴AX1和粘膜变化轴AX2的交点设定为基准点O'，以使拍摄图像的亮度对炎症评价值的影响最小化，但本发明不限于此。例如，位于粘膜改变轴AX2上的RG平面的原点(0，0)可以被设定为基准点O'。在这种情况下，所需的最小基准轴可以是单轴(粘膜改变轴AX2)，因此，减轻了图2中的特殊图像生成处理的负荷，并提高了处理速度。
另外，在上述实施方式中，包括灯电源点火器206、灯208、聚光透镜210、光阑212和电机214等的光源部与处理器一体设置，但光源部也可以与处理器分开而单独设置。
如在上述实施方式中所述，可以使用CMOS图像传感器替代CCD图像传感器作为固态成像元件108。在CMOS图像传感器的情况下，与CCD图像传感器相比，图像整体上通常趋于变暗。因此，能够抑制由于上述实施方式的构成带来的图像亮度所引起的评价值的变动这种更有利的效果，在CMOS图像传感器用作固态成像元件的情况下表现得更加显著。
优选获得高精细的图像，以精确地进行诊断。因此，从进一步提高诊断精度的观点来看，图像的分辨率优选为100万像素以上，较优选为200万像素，更优选为800万像素以上。随着图像的分辨率增加，用于计算所有像素的上述评价值的处理负荷变得更重。然而，根据上述实施方式的构成，由于能够抑制评价值计算的处理负荷，因此，在处理高精细图像的情况下，基于该实施方式的构成的有利效果表现得更加显著。
另外，在上述实施方式中，处理对象为图像中的所有像素，但是例如，也可以从处理对象中排除极高亮度的像素和极低亮度的像素等。具体而言，例如，通过仅将被判定为具有预定基准亮度范围内的亮度的像素作为评价值计算目标，能够提高评价值的准确度。
附图标记说明
1 电子内窥镜系统 100 电子内视镜
102 LCB 104 配光透镜
106 物镜 108 固态成像元件
112 驱动信号处理电路 114 存储器
200 处理器 202 系统控制器
204 时序控制器 206 灯电源点火器
208 灯 210 聚光透镜
212 光阑 214 电机
216 驱动器 218 操作面板
220 信号处理电路 220A 预处理电路
220B 处理电路 220C 输出电路
220D 校正电路 220E 计分电路
220F 映射电路 222 存储器。

Claims (18)

1.一种电子内窥镜处理器，其特征在于，具备：
转换单元，设n为3以上的自然数，设m为2以上的自然数，所述转换单元将构成由n种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m种颜色分量组成的像素数据，所述m种颜色分量是所述n种颜色分量中的所述颜色分量；
颜色分量校正单元，使用预定的颜色分量校正系数校正由转换的m种颜色分量组成的像素数据；以及
获取单元，基于由校正的m种颜色分量组成的像素数据，获取对目标疾病的评价结果。
2.一种电子内窥镜处理器，其特征在于，具备：
转换单元，设n为3以上的自然数，设m为2以上的自然数，所述转换单元将构成由n种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m种颜色分量组成的像素数据，所述m种颜色分量是所述n种颜色分量中的所述颜色分量；
获取单元，基于由转换的m种颜色分量组成的像素数据，获取对目标疾病的评价结果；以及
评价结果校正单元，使用预定的评价结果校正系数，校正获取的评价结果。
3.一种电子内窥镜处理器，其特征在于，具备：
转换单元，设n为3以上的自然数，设m为2以上的自然数，所述转换单元将构成由n种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m种颜色分量组成的像素数据；
颜色分量校正单元，使用预定的颜色分量校正系数校正由转换的m种颜色分量组成的像素数据；以及
获取单元，基于由校正的m种颜色分量组成的像素数据，获取对目标疾病的评价结果，
所述颜色分量校正系数是校正由所述m种颜色分量组成的像素数据的预定的校正矩阵系数。
4.一种电子内窥镜处理器，其特征在于，具备：
转换单元，设n为3以上的自然数，设m为2以上的自然数，所述转换单元将构成由n种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m种颜色分量组成的像素数据；
获取单元，基于由转换的m种颜色分量组成的像素数据，获取对目标疾病的评价结果；以及
评价结果校正单元，使用预定的评价结果校正系数，校正获取的评价结果，
所述评价结果校正系数是对所述评价结果进行仿射变换的仿射变换系数。
5.一种电子内窥镜处理器，其特征在于，具备：
转换单元，设n为3以上的自然数，设m为2以上的自然数，所述转换单元将构成由n种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m种颜色分量组成的像素数据；
颜色分量校正单元，使用预定的颜色分量校正系数校正由转换的m种颜色分量组成的像素数据；以及
获取单元，基于由校正的m种颜色分量组成的像素数据，获取对目标疾病的评价结果，
所述获取单元在由所述m种颜色分量定义的颜色空间内，设定从预定的基准点观察的所述目标疾病相关的基准方向，对于所述彩色图像的各个像素，基于所述颜色空间中转换的所述像素数据相对应的像素对应点从所述基准点观察的方向上的、从所述基准方向的偏离程度，获取对所述目标疾病的评估结果。
6.一种电子内窥镜处理器，其特征在于，具备：
转换单元，设n为3以上的自然数，设m为2以上的自然数，所述转换单元将构成由n种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m种颜色分量组成的像素数据；
获取单元，基于由转换的m种颜色分量组成的像素数据，获取对目标疾病的评价结果；以及
评价结果校正单元，使用预定的评价结果校正系数，校正获取的评价结果，
所述获取单元在由所述m种颜色分量定义的颜色空间内，设定从预定的基准点观察的所述目标疾病相关的基准方向，对于所述彩色图像的各个像素，基于所述颜色空间中转换的所述像素数据相对应的像素对应点从所述基准点观察的方向上的、从所述基准方向的偏离程度，获取对所述目标疾病的评估结果。
7.根据权利要求1至6中任一项所述的电子内窥镜处理器，其中，
所述获取单元在由所述m种颜色分量定义的颜色平面内，设定通过预定基准点的、与所述目标疾病相关的基准轴，对于各个像素，基于连接所述基准点和与所述像素数据相对应的像素对应点的线段与所述基准轴所形成的角度θ，获取与所述目标疾病相关的评估结果。
8.根据权利要求7所述的电子内窥镜处理器，其中，
在将所述基准轴称为第一基准轴时，
所述获取单元在所述颜色平面内设定第二基准轴，所述第二基准轴穿过所述基准点，并与没有所述目标疾病的健康部位相关，
将所述第一基准轴和所述第二基准轴的交叉角度作为最大角度，将所述角度θ归一化来计算评价值。
9.根据权利要求7所述的电子内窥镜处理器，其中，
所述转换单元将由所述n种颜色分量定义的颜色空间中的所述各个像素数据正交投影到所述颜色平面上。
10.根据权利要求7所述的电子内窥镜处理器，其中，
所述基准轴是随着所述目标疾病的症状水平增加，转换后的所述像素对应点会聚的轴。
11.根据权利要求7所述的电子内窥镜处理器，其中，
所述颜色平面是包括R分量的轴和G分量的轴的平面。
12.一种电子内窥镜处理器，其特征在于，具备：
转换单元，设n为3以上的自然数，设m为2以上的自然数，所述转换单元将构成由n种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m种颜色分量组成的像素数据；
颜色分量校正单元，使用预定的颜色分量校正系数校正由转换的m种颜色分量组成的像素数据；以及
获取单元，基于由校正的m种颜色分量组成的像素数据，获取对目标疾病的评价结果，
转换的所述像素数据的m种颜色分量中的任一种均是以波长范围彼此不同的方式而设定的颜色分量。
13.一种电子内窥镜处理器，其特征在于，具备：
转换单元，设n为3以上的自然数，设m为2以上的自然数，所述转换单元将构成由n种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m种颜色分量组成的像素数据；
获取单元，基于由转换的m种颜色分量组成的像素数据，获取对目标疾病的评价结果；以及
评价结果校正单元，使用预定的评价结果校正系数，校正获取的评价结果，
转换的所述像素数据的m种颜色分量中的任一种均是以波长范围彼此不同的方式而设定的颜色分量。
14.一种电子内窥镜处理器，其特征在于，具备：
转换单元，设n为3以上的自然数，设m为2以上的自然数，所述转换单元将构成由n种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m种颜色分量组成的像素数据；
颜色分量校正单元，使用预定的颜色分量校正系数校正由转换的m种颜色分量组成的像素数据；以及
获取单元，基于由校正的m种颜色分量组成的像素数据，获取对目标疾病的评价结果，
所述评价结果包括表示对所述目标疾病的评价的值和表示对所述目标疾病的评价的彩色图像中的至少一个。
15.一种电子内窥镜处理器，其特征在于，具备：
转换单元，设n为3以上的自然数，设m为2以上的自然数，所述转换单元将构成由n种颜色分量组成的体腔内的生物体组织的彩色图像的各个像素数据转换为由小于n种的m种颜色分量组成的像素数据；
获取单元，基于由转换的m种颜色分量组成的像素数据，获取对目标疾病的评价结果；以及
评价结果校正单元，使用预定的评价结果校正系数，校正获取的评价结果，
所述评价结果包括表示对所述目标疾病的评价的值和表示对所述目标疾病的评价的彩色图像中的至少一个。
16.根据权利要求2、4、6、13及15中任一项所述的电子内窥镜处理器，其中，
所述电子内窥镜处理器还具备颜色分量校正单元，使用预定的颜色分量校正系数校正由所述m种颜色分量组成的转换的像素数据，
所述获取单元基于由通过所述颜色分量校正系数校正的m种颜色分量组成的像素数据，获取对目标疾病的评价结果。
17.一种电子内窥镜系统，其特征在于，具备：
权利要求1至6及权利要求12至15中任一项所述的电子内窥镜处理器；以及
显示装置，被构成为在显示屏上显示由所述电子内窥镜处理器获取的所述评价结果。
18.根据权利要求17所述的电子内窥镜系统，其中，
所述电子内窥镜处理器具备：
颜色映射图像获取单元，将所述彩色图像的各个像素的颜色转换为与作为各像素的所述评价结果计算出的评价值相对应的颜色，获取颜色映射图像；以及
显示单元，将所述颜色映射图像显示在所述显示装置的显示屏幕上，
所述显示装置被构成为同时显示所述评价值的代表值和所述颜色映射图像。
CN201780035283.5A 2016-08-31 2017-08-30 电子内窥镜处理器以及电子内窥镜系统 Active CN109310303B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016169233 2016-08-31
JP2016-169233 2016-08-31
PCT/JP2017/031126 WO2018043552A1 (ja) 2016-08-31 2017-08-30 電子内視鏡用プロセッサ及び電子内視鏡システム

Publications (2)

Publication Number Publication Date
CN109310303A CN109310303A (zh) 2019-02-05
CN109310303B true CN109310303B (zh) 2021-07-16

Family

ID=61300812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780035283.5A Active CN109310303B (zh) 2016-08-31 2017-08-30 电子内窥镜处理器以及电子内窥镜系统

Country Status (5)

Country Link
US (1) US10659658B2 (zh)
JP (1) JP6591688B2 (zh)
CN (1) CN109310303B (zh)
DE (1) DE112017002943T8 (zh)
WO (1) WO2018043552A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6926242B2 (ja) * 2018-01-19 2021-08-25 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6912608B2 (ja) * 2018-02-07 2021-08-04 Hoya株式会社 内視鏡システム
TWI687899B (zh) * 2019-06-27 2020-03-11 鈺緯科技開發股份有限公司 應用於內視鏡的顯示校正系統及其校正方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010045615A (ja) * 2008-08-13 2010-02-25 Olympus Corp 撮像装置および内視鏡システム
JP2010115243A (ja) 2008-11-11 2010-05-27 Hoya Corp 電子内視鏡用画像信号処理装置
JP5581237B2 (ja) * 2011-01-24 2014-08-27 Ｈｏｙａ株式会社 画像処理装置、電子内視鏡用プロセッサ装置、画像処理装置の作動方法および画像処理用コンピュータプログラム
JP5851160B2 (ja) 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5702893B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
JP6097629B2 (ja) 2013-04-26 2017-03-15 Hoya株式会社 病変評価情報生成装置
JP6367683B2 (ja) * 2014-10-21 2018-08-01 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Also Published As

Publication number Publication date
DE112017002943T5 (de) 2019-03-14
DE112017002943T8 (de) 2019-03-21
US20190273840A1 (en) 2019-09-05
US10659658B2 (en) 2020-05-19
JPWO2018043552A1 (ja) 2019-01-31
CN109310303A (zh) 2019-02-05
JP6591688B2 (ja) 2019-10-16
WO2018043552A1 (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
US11701032B2 (en) Electronic endoscope processor and electronic endoscopic system
JP6125740B1 (ja) 内視鏡システム及び評価値計算装置
JP6427280B2 (ja) 補正データ生成方法及び補正データ生成装置
US11571108B2 (en) Evaluation value calculation device and electronic endoscope system
CN109310303B (zh) 电子内窥镜处理器以及电子内窥镜系统
JP6433634B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2016015995A (ja) 電子内視鏡システム及び電子内視鏡用プロセッサ
JP6420358B2 (ja) 内視鏡システム及び評価値計算装置
US11559186B2 (en) Evaluation value calculation device and electronic endoscope system
JP6926242B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2018023497A (ja) 色補正用治具及び電子内視鏡システム
JP2018011797A (ja) 補正効果確認方法及び指標

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant