CN107405050A - 内窥镜系统以及评价值计算装置 - Google Patents

内窥镜系统以及评价值计算装置 Download PDF

Info

Publication number
CN107405050A
CN107405050A CN201680015825.8A CN201680015825A CN107405050A CN 107405050 A CN107405050 A CN 107405050A CN 201680015825 A CN201680015825 A CN 201680015825A CN 107405050 A CN107405050 A CN 107405050A
Authority
CN
China
Prior art keywords
axle
evaluation
pixel
component
estimate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680015825.8A
Other languages
English (en)
Other versions
CN107405050B (zh
Inventor
牧野贵雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN107405050A publication Critical patent/CN107405050A/zh
Application granted granted Critical
Publication of CN107405050B publication Critical patent/CN107405050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00048—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

内窥镜系统由下述单元构成：图像获取单元，获取拥有至少三种以上的颜色成分的彩色图像；配置单元，把对应于构成彩色图像的各个像素的点根据其颜色成分配置于包括第一轴和第二轴的平面内，第一轴是至少三种以上的颜色成分中的第一成分的轴，第二轴是至少三种以上的颜色成分中的第二成分的轴且与第一轴相交；距离数据计算单元，定义在平面内过第一轴和第二轴的交点且与第一轴和第二轴都不平行的第三轴，计算该第三轴和对应于各个像素的点之间的距离数据；以及评价值计算单元，基于计算出的距离数据计算关于彩色图像的规定的评价值。

Description

内窥镜系统以及评价值计算装置
技术领域
本发明涉及一种计算规定的评价值的内窥镜系统以及评价值计算装置。
背景技术
病变部位在一般情况下呈现和正常粘膜组织不同的颜色。近几年，伴随着彩色内窥镜装置的性能提高，手术人员可以掌握和诊断相对于正常组织颜色仅有一点不同的病变部位。但是，手术人员为了能够通过内窥镜的拍摄图像上的仅仅一点点的颜色的不同从正常组织掌握和诊断病变部位，需要在熟练者的指导下接收长期的训练。而且，即使是熟练的手术人员，从一点点的颜色区别掌握和诊断病变部位也是不容易的，需要慎重的操作。
于是，在特开2014-18332号公报(在下文中称为“专利文献1”)中，记载了为了辅助手术人员所进行的病变部位的诊断，给拍摄于拍摄图像中的病变部位评分的装置。具体而言，专利文献1中记载的装置，对构成内窥镜的拍摄图像的各个像素进行给像素值非线性的增益的色调强调处理，扩展了被判定为病变部位的像素值的区域的边界附近的动态范围之后，将用RGB三原色定义的RGB空间的进行了色调强调的像素数据转化为HSI颜色空间、HSV颜色空间等的规定的颜色空间，获取色相和彩度的信息，基于获取的色相和彩度的信息判定是否为病变部位的像素，基于判定的像素的数目计算评价值(病变指数)。
发明内容
但是，问题是色调强调处理等的非线性的计算处理和颜色空间的转换处理的负荷比较重，所以处理的执行需要大量硬件资源。而且，还有一个问题是作为进行了色调强调处理的结果，拍摄图像的评价值随着影响图像亮度的拍摄条件(例如照射光的照射情况等)的变化而变化。
本发明是鉴于上述缘由进行的发明，其目的是，提供一种可以抑制基于图像的亮度的评价值的变动且抑制评价值计算的处理负荷的内窥镜系统以及评价值计算装置。
本发明的一个实施方式所涉及的内窥镜系统包括：图像获取单元，获取具有至少三种以上的颜色成分的彩色图像；配置单元，将对应于构成彩色图像的各个像素的点根据其颜色成分配置于包括第一轴和第二轴的平面内，第一轴是至少三种以上的颜色成分中的第一成分的轴，第二轴是至少三种以上的颜色成分中的第二成分的轴并且与第一轴相交；距离数据计算单元，定义在平面内过第一轴和第二轴的交点且与该第一轴和该第二轴都不平行的第三轴，计算该第三轴和对应于各个像素的点之间的距离数据；评价值计算单元，基于计算出的距离数据计算关于彩色图像的规定的评价值。
通过上述构成，可以抑制基于图像的亮度的评价值的变动且抑制评价值计算的处理负荷。
在上述内窥镜系统中，彩色图像可以为具有R(红)、G(绿)、B(蓝)的各个颜色成分的彩色图像。在这种情况下，第一轴可以为R成分的轴，而且第二轴可以为G成分或B成分的轴。而且，配置单元可以构成为将对应于构成彩色图像的各个像素的点根据其颜色成分配置于包括R成分的轴即第一轴和G成分或B成分的轴即第二轴的平面内。
在上述内窥镜系统中，第三轴可以为在平面内与第一轴成45°角且与第二轴成45°角的轴。
在上述内窥镜系统中，距离数据计算单元可以构成为针对各个像素通过从第一轴的值减去第二轴的值算出距离数据。
在上述内窥镜系统中，评价值计算单元可以构成为使用规定的基准距离数据将由距离计算单元算出的第三轴和对应于各个像素的点之间的距离数据标准化，基于被标准化的各个像素的距离数据算出彩色图像整体的评价值。
在上述内窥镜系统，规定的评价值可以为有关炎症的严重程度的炎症评价值。
上述内窥镜系统还可以具有图像显示单元，显示基于炎症评价值把具有炎症的像素和正常部位的像素通过不同的颜色表示为能够识别后的图像。
本发明的一个实施方式所涉及的内窥镜系统具备：图像获取单元，获取具有至少三种以上的颜色成分的彩色图像；以及评价值计算单元，计算关于彩色图像的规定的评价值。在该构成中，至少三种以上的颜色成分包括第一成分和第二成分，评价值计算单元针对构成彩色图像的各个像素求出从第一成分减去第二成分后的值，基于通过减法算出的该值计算评价值。
通过上述构成，可以抑制基于图像的亮度的评价值的变动且抑制评价值计算的处理负荷。
在上述内窥镜系统中，第一成分可以为R成分，第二成分可以为G成分或B成分。
本发明的一个实施方式所涉及的评价值计算装置具备：配置单元，将对应于构成具有至少三种以上的颜色成分的彩色图像的各个像素的点根据其颜色成分配置于包括第一轴和第二轴的平面内，第一轴是至少三种以上的颜色成分中的第一成分的轴，第二轴是至少三种以上的颜色成分中的第二成分的轴且与第一轴相交；距离数据计算单元，定义在平面内过第一轴和第二轴的交点且与第一轴和第二轴都不平行的第三轴，计算该第三轴和对应于各个像素的点之间的距离数据；以及评价值计算单元，基于计算出的距离数据计算关于彩色图像的规定的评价值。
通过上述构成，可以抑制基于图像的亮度的评价值的变动且抑制评价值计算的处理负荷。
本发明的一个实施方式所涉及的评价值计算装置具备：将对应于构成具有R(红)、G(绿)、B(蓝)的各个颜色成分的彩色图像的各个像素的点基于其颜色成分配置于包括R成分的轴即第一轴和与该第一轴垂直的G成分或B成分的轴即第二轴的平面内的配置单元；定义在平面内过第一轴和第二轴的交点且与第一轴和第二轴都不平行的第三轴，计算该第三轴和对应于各个像素的点之间的距离数据的距离数据计算单元；基于算出的距离数据计算关于彩色图像的规定的评价值的评价值计算单元。
通过上述构成，可以抑制基于图像的亮度的评价值的变动且抑制评价值计算的处理负荷。
在上述评价值计算装置中，第三轴可以为在平面内与第一轴成45°角且与第二轴成45°角的轴。
在上述评价值计算装置中，距离数据计算单元可以构成为针对各个像素通过从第一轴的值减去第二轴的值算出距离数据。
在上述评价值计算装置中，评价值计算单元可以构成为使用规定的基准距离数据将由距离计算单元算出的第三轴和对应于各个像素的点之间的距离数据标准化，基于被标准化的各个像素的距离数据计算彩色图像整体的评价值。
本发明的一个实施方式所涉及的评价值计算装置具备：针对构成具有R、G、B的各个颜色成分的彩色图像的各个像素求出从R成分减去G成分的值的减法单元；基于通过减法单元求出的值计算关于彩色图像的规定的评价值的评价值计算单元。
通过上述构成，可以抑制基于图像的亮度的评价值的变动且抑制评价值计算的处理负荷。
在上述评价值计算装置中，减法单元还可以构成为针对各个像素从R成分减去B成分来代替从R成分减去G成分。
附图说明
图1为示出本发明的一个实施方式所涉及的电子内窥镜系统的构成的框图。
图2为示出本发明的一个实施方式所涉及的处理器所具备的特殊图像处理电路的特殊图像生成处理的流程的图。
图3为辅助说明图2的处理步骤S13中的R-G数据的计算处理的图。
图4为辅助说明图2的处理步骤S13中的R-G数据的计算处理的图。
图5为示出本发明的一个实施方式中在特殊模式时在监测器的显示画面上显示的显示画面的例子的图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。在下文中，作为本发明的一个实施方式，将电子内窥镜系统作为例子进行说明。
[电子内窥镜系统1的构成]
图1为示出本发明的一个实施方式所涉及的电子内窥镜系统1的构成的框图。如图1所示，电子内窥镜系统1具备：电子观测器100、处理器200、监测器300。
处理器200具备：系统控制器202以及定时控制器204。系统控制器202执行存储于存储器222的各种程序，综合控制电子内窥镜系统1整体。而且系统控制器202连接于操作面板218。系统控制器202根据从操作面板218输入的来自手术人员的指示，变更电子内窥镜系统1的各个动作以及各个动作的参数。手术人员的输入指示例如有内窥镜系统1的动作模式的切换指示。在本实施方式中，作为动作模式有一般模式和特殊模式。定时控制器204向电子内窥镜系统1内的各个电路输出调整各部分的动作的定时的时钟脉冲。
灯208通过灯电源点火器206起动后，发出白光L。灯208例如为疝气灯、卤素灯、水银灯、金卤灯等高亮度灯、LED(发光二极管)、激光器。灯208发出的白光L通过聚光透镜210聚光，通过光圈212被限制在适当的光量。另外，LED和激光器与其他光源相比具有功耗低，发热量小等的特征，所以具有可以在抑制功耗和发热量的同时获得明亮的图像的优点。可以获得明亮的图像这一点有助于将在后文中提到的评价值的精度的提高。
通过在附图中省略的臂和齿轮等传动结构在光圈212机械地连接电机214。电机214例如为直流电机，在驱动器216的驱动控制下被驱动。为了将在监测器300的显示画面显示的影像调整为适当的亮度，通过电机214控制光圈212改变其开度。灯208照射的白光L的光量根据光圈212的开度被限制。根据手术人员所进行的操作面板218的亮度调节操作，设定和改变适当的影像的亮度的基准。另外，控制驱动器216进行亮度调整的调光电路是众所周知的电路，所以在本发明书中将其省略。
通过光圈212的白光L被聚光于LCB(光传输束)102的入射端面，入射至LCB102内。通过入射端面入射至LCB102内的白光L在LCB102内传播。在LCB102内传播的白光L从配置于电子观测器100的前端的LCB102的射出端面射出，通过配光透镜104照射于活体组织上。从照射白光L的活体组织返回的光，通过物镜106在固体成像元件108的受光面上结成光学图像。
固体成像元件108为具有拜耳型像素布置的单板式彩色CCD(电荷耦合器件)图像传感器。固体成像元件108将在受光面上的各个像素上成像的光学图像作为基于光量的电荷进行存储，生成R(红)、G(绿)、B(蓝)的图像信号并将其输出。在下文中，将从固体成像元件108依次输出的各个像素(各个像素地址)的图像信号标记为“像素信号”。另外，固体成像元件108不仅仅局限于CCD图像传感器，还可以置换为CMOS(互补金属氧化物半导体)图像传感器或其他类型的摄像装置。固体成像元件108还可以搭载补色系滤色镜。补色系滤色镜的一个例子为CMYG(青色、品红色、黄色、绿色)滤色器。
原色系统(RGB)滤色镜与补色系滤色镜相比发色性较好，将搭载了原色系统滤色镜的成像元件的RGB像素信号用于炎症评价值的计算时可以提高评价精度。而且，通过使用原色系统滤色镜在将在后文中提到的炎症评价值计算的处理中不需要进行信号的转换，所以可以抑制炎症评价值计算的处理负荷。
在电子观测器100的连接部内具备驱动器信号处理电路112。固体成像元件108按照帧周期将照射了白光L的活体组织的像素信号输入驱动器信号处理电路112。驱动器信号处理电路112将由固体成像元件108输入的像素信号向处理器200的前段信号处理电路220输出。另外，在下文的说明中也可以将“帧”置换为“场”。在本实施方式中，帧周期、场周期分别为1/30秒、1/60秒。
驱动器信号处理电路112访问存储器114，读取电子观测器100的固有信息。存储于存储器114的电子观测器100的固有信息例如包括固体成像元件108的像素数和灵敏度、可操作帧速率、型号等。驱动器信号处理电路112将从存储器114读取的固有信息向系统控制器202输出。
系统控制器202基于电子观测器100的固有信息进行各种演算，生成控制信号。系统控制器202使用生成的控制信号控制处理器200内的各种电路的动作和定时使得在连接于处理器200的电子观测器适当的处理被实施。
定时控制器204根据系统控制器202所进行的定时控制向驱动器信号处理电路112供给时钟脉冲。驱动器信号处理电路112根据从定时控制器204供给的时钟脉冲，按照与在处理器200侧被处理的影像的帧速率同步的定时对固体成像元件108进行驱动控制。
[一般模式时的动作]
对一般模式时的处理器200中的信号处理动作进行说明。
前段信号处理电路220对通过驱动器信号处理电路112按照帧周期输入的R、G、B的各个像素信号实施去马赛克处理。具体而言，使用G、B的周边像素对R的各个像素信号实施插值处理，使用R、B的周边像素对G的各个像素信号实施插值处理，使用R、G的周边像素对B的各个像素信号实施插值处理。这样，只具有一个颜色成分的信息的像素信号被转换为具有R、G、B的3种颜色成分的信息的像素数据。
前段信号处理电路220对去马赛克处理后像素数据实施矩阵演算、白平衡调整处理、伽马校正处理等规定的信号处理，并将其输出至特殊图像处理电路230。获取彩色图像的图像获取单元例如构成为包括固体成像元件108和驱动器信号处理电路112和前段信号处理电路220。
特殊图像处理电路230使从前段信号处理电路220输入的像素数据通过并将其输入至后段信号处理电路240。
后段信号处理电路240对从特殊图像处理电路230输入的像素数据实施规定的信号处理生成监测器显示用的画面数据，将生成的监测器用的画面数据转换为规定的视频格式信号。被转换的视频格式信号被输出至监测器300。这样，在监测器300的显示画面显示活体组织的彩色图像。
[特殊模式时的动作]
下面，对特殊模式时的处理器200中的信号处理动作进行说明。
前段信号处理电路220对由驱动器信号处理电路112按照帧周期输入的像素信号实施去马赛克处理、矩阵演算、白平衡调整处理、伽马校正处理等规定的信号处理，并将其输出至特殊图像处理电路230。
[特殊图像生成处理]
图2示出了特殊图像处理电路230所进行的特殊图像生成处理的流程图。图2的特殊图像生成处理开始于电子内窥镜系统1的动作模式被切换至特殊模式的时间点。
[图2的S11(当前帧的像素数据的输入)]
在本处理步骤S11中，通过前段信号处理电路220输入当前帧的各个像素的像素数据。
[图2的S12(注目像素的选择)]
在本处理步骤S12中，从全部的像素中按照规定的顺序选择一个注目像素。
[图2的S13(R-G数据的计算)]
在本处理步骤S13中，计算在处理步骤S12(注目像素的选择)中选择的注目像素的R-G数据。图3以及图4示出了辅助说明R-G数据的计算处理的图。
图3示出了由相互垂直的R轴和G轴限定的RG平面。另外，R轴为R成分(R的像素值)的轴，G轴为G成分(G的像素值)的轴。在本处理步骤S13中，将由RGB3原色定义的RGB空间的注目像素数据(三维数据)转换为RG的二维数据，如图3所示，根据R、G的像素值将其标注在RG平面内。在下文中，为了方面说明，将在RG平面内标注的注目像素数据的点称为“注目像素对应点”。另外，在步骤S13中执行的将注目像素数据配置于RG平面内的动作是由配置单元进行的。
作为拍摄对象的患者的腔体内由于血红蛋白色素的影响R成分相对于其他的成分(G成分以及B成分)是主导的，其中一个典型就是，炎症越严重红色(即R成分)越深。因此，注目像素的R轴的值基本上与炎症的严重程度成正比。但是，体腔内的拍摄图像的色感随着影响亮度的拍摄条件(例如白光L的照射情况)的变化而变化。例如，白光L照射不到的阴影部分为黑色(无彩色)，白光L照射强烈并且正反射的部分为白色(无彩色)。即，根据白光L的照射情况，注目像素的R轴的值也可能取与炎症的严重程度无关的值。
体腔内的拍摄图像的亮度随着白光L的照射情况的变化而变化时，拍摄图像的色感受到个人差异、拍摄位置、炎症的状况等的影响，但是在RGB的各个颜色成分中变化基本上相同。因此，如图3所示，在本实施方式中，定义了在RG平面中通过R轴和G轴的交点(原点)且与R轴、G轴均成45°角的轴(在下文中，为了方便说明，称为“白色变化轴”)。
体腔内的拍摄图像的亮度随着白光L的照射情况而变化时，在RG平面内，注目像素数据(注目像素对应点)大致沿着白色变化轴变化。因此，在RG平面内，可以将白色变化轴定义为对拍摄图像的亮度的灵敏度最高的轴。而且，可以将与对拍摄图像的亮度的灵敏度最高的白色变化轴垂直的R-G轴(参照图3)定义为最难受到拍摄图像的亮度的影响的轴(实质上没有收到拍摄图像的亮度的影响的轴)。
根据上述各个定义，注目像素对应点和白色变化轴的距离(沿R-G轴的距离)表示炎症的严重程度，实质上没有受到拍摄图像的亮度的影响(实质上没有发生由拍摄图像的亮度引起的色感的变化)。因此，在本处理步骤S13中，针对在处理步骤S12(注目像素的选择)中选择的注目像素计算注目像素对应点和白色变化轴之间的距离数据。
具体而言，在本处理步骤S13中，针对在处理步骤12(注目像素的选择)中选择的注目像素求出R-G数据，即通过从R的像素值减去G的像素值的简单的计算处理，求出注目像素对应点和白色变化轴之间的距离(沿R-G轴的距离)数据。另外，在步骤S13中执行的计算注目像素对应点和白色变化轴之间的距离数据的动作是由距离数据计算单元进行的。
[图2的S14(标准化处理)]
在图4中示出了在步骤S13(R-G数据的计算)中算出的R-G数据(表示炎症的严重程度的数据)。在图4中，横轴为R-G数据的轴。在本实施方式中，炎症发展能看到血液本身时为最严重的炎症，基于这样的思想，规定了作为基准的R-G数据。在下文中，为了方便说明，将作为基准的R-G数据称为“基准RG数据”。基准RG数据例如为预先拍摄的多个血液图像样品的R-G数据的平均值。
在本处理步骤S14中，在处理步骤S13(R-G数据的计算)中计算的R-G数据被标准化为将基准RG数据设定为1.00时的值。在下文中，为了方便说明，将标准化的R-G数据标记为“标准化RG数据”。在图4的例子中，标准化RG数据分布在值0.20～0.40的范围内。
[图2的S15(彩色地图图像上的显示颜色的决定)]
在本实施方式中，可以用基于炎症的严重程度的显示颜色显示将拍摄图像马赛克化后的彩色地图图像。为了能够显示彩色地图图像，标准化RG数据的值和规定的显示颜色相关联的表格被存储至存储器222等的存储区域。在本表格中，例如每改变0.05对应于不同的显示颜色。例如，标准化RG数据的值在0.00～0.05的范围时对应于黄色，该值每增加0.05按照色调圈的排列顺序对应于不同的显示颜色，该值在0.95～1.00的范围时对应于红色。
在本处理步骤S15中，在处理步骤S12(注目像素的选择)中选择的注目像素的在彩色地图图像上的显示颜色基于上述表格被决定为对应于在处理步骤S14(标准化处理)中求出的注目像素的标准化RG数据的颜色。
[图2的S16(对全部像素的处理的执行完毕判定)]
在本处理步骤S16中，判定是否对当前帧的全部的像素执行了处理步骤S12～S15。
当残留了未执行处理步骤S12～S15的像素时(步骤S16：否)，图2的特殊图像生成处理为了对下一个注目像素执行处理步骤S12～S15，返回处理步骤S12(注目像素的选择)。
[图2的S17(关于炎症的严重程度的炎症评价值的计算)]
在判定为对当前帧的全部的像素执行了处理步骤S12～S15时(S16：是)，执行本处理步骤S17。在本处理步骤S17中，计算作为拍摄图像整体的炎症评价值的将当前帧的全部的像素的标准化RG数据平均化的平均值，生成算出的炎症评价值的显示数据。另外，在步骤S17中执行的计算作为对于彩色图像的规定的评价值的炎症评价值的动作是由评价值计算单元进行的。
[图2的S18(叠加处理)]
在本处理步骤S18中，将使基于由前段信号处理电路220输入的像素数据(即，具有RGB的三个颜色成分的像素数据)的一般图像和基于在处理步骤S15(彩色地图图像上的显示颜色的决定)中被定为规定的显示颜色的像素数据的彩色地图图像叠加的比例作为系数，将前者的像素数据(一般的像素数据)和后者的像素数据(彩色地图用的像素数据)相加。系数的设定可以通过用户的操作进行适当的设定以及变更。想要将一般图像显示得较深时，就将一般的像素数据的系数设定得比较高，想要将彩色地图图像显示得较深时，就将彩色地图用的像素数据的系数设定得比较高。
[图2的S19(完结判定)]
在本处理步骤S19中，判定电子内窥镜系统1的动作模式是否被切换到了与特殊模式不同的别的模式。当判定为没有被切换到别的模式时(S19：否)，图2的特殊图像生成处理回到处理步骤S11(当前帧的像素数据的输入)。另一方面，判定为切换到了别的模式时(S19：是)，结束图2的特殊图像生成处理。
[画面显示的例子]
后段信号处理电路240基于在图2的处理步骤S18(叠加处理)中实施了加法处理的像素数据生成一般图像和彩色地图图像的叠加图像的显示数据且进行掩盖监测器300的显示画面的周边区域(图像显示区域的周围)的掩盖处理，进而，生成在通过掩盖处理生成的掩盖区域叠加炎症评价值的监测器显示用的画面数据。后段信号处理电路240将生成的监测器显示用的画面数据转换为视频格式信号，将其输出至监测器300。另外，基于炎症评价值，显示把具有炎症的像素和正常部位的像素通过不同的颜色表示为能够识别后的图像的图像显示单元例如为监测器300。
在图5中示出了特殊模式时的画面显示例子。如图5中所示的例子，在监测器300的显示屏幕显示在其中央区域显示体腔内的拍摄图像(一般的图像和彩色地图图像叠加而得的叠加图像)且图像显示区域的周围被掩盖的画面。而且，在掩盖区域显示炎症评价值(分数)。
这样，通过本实施方式，不进行例如色调强调处理等的非线性计算处理或复杂的颜色空间转换处理等，只进行单纯的计算处理就可以求出炎症评价值(在此为与拍摄部位的血红蛋白色素的增减有关的值)。即，可以大幅抑制炎症评价值的计算所需的硬件资源。而且，炎症评价值不会随着影响图像亮度的拍摄条件(例如照射光的照射情况等)的变化而变化，手术人员可以对炎症进行客观的正确的判断。
具体而言，本实施方式的内窥镜系统可以带来本技术领域中的如下所述的各种效果或者课题的解决。第一，本实施方式的内窥镜系统可以作为早期发现炎症性疾病的诊断辅助。第二，通过本实施方式的构成，在画面显示炎症程度使得手术人员可以发现难以看清的轻度炎症，或者可以强调炎症发生的区域的图像。特别是，由于区分辨别轻度炎症和正常部位比较难，所以对于轻度炎症的评价，本实施方式的构成带来的效果是显著的。第三，通过本实施方式的构成，可以向医生提供作为炎症程度的评价的客观的评价值，所以可以降低医生之间的诊断差。特别是，对于经验比较浅的医生，本实施方式的构成的可以提供客观的评价值的优点是比较大的。第四，通过本实施方式的构成，可以通过减少图像处理的负荷，及时地将炎症部位作为图像显示出来，所以可以提高诊断精度。第五，通过本实施方式的构成，与上述背景技术相比减轻了评价值计算的处理负荷，所以可以无延迟地排列彩色地图图像(示出炎症程度的图像)和一般图像，或将它们合成并显示出来。因此，可以不伴随检查时间的延长地显示彩色地图图像，最终可以避免患者负担的增加。
本实施方式中的观察的目标部位例如为呼吸器官等、消化器官等。呼吸器官等例如为肺、耳鼻咽喉。消化器官等例如为大肠、小肠、胃、十二指肠、子宫等。上述实施方式的内窥镜系统在观察目标为大肠时效果更为显著。具体而言，理由如下。第一，在大肠有可以将炎症作为基准进行评价的病，发现有炎症的地方的优点与其他的器官相比更大。特别是作为以溃疡性结肠炎为代表的炎性肠病(IBD)的指标，本实施方式的炎症评价值比较有效。由于溃疡性结肠炎的治疗方法还不确定，通过本实施方式的构成的内窥镜系统的使用早期发现并抑制其发展的效果非常大。大肠与胃等相比为细长的器官，得到的图像有深度，越往深约暗。由于通过本实施方式可以抑制由图像内的亮度的变化引起的评价值的变动，所以将本实施方式的内窥镜系统用于大肠的观察时本实施方式的效果是显著的。即，本实施方式的内窥镜系统为呼吸器官用内窥镜系统或消化器官用内窥镜系统比较好，为大肠用内窥镜系统更好。
而且，轻度的炎症在一般情况下诊断比较难，通过本实施方式的构成，例如通过在画面上显示评价了炎症程度的结果，医生可以避免漏看轻度炎症。特别是轻度炎症的判断基准不是很明确，这是加大医生之间的个体差异的重要原因。关于这一点，通过本实施方式的构成，可以向医生提供客观的评价值，所以可以降低由个体差异引起的诊断的差异。
另外，本实施方式的上述构成不仅仅是炎症程度，还可以应用于癌症、息肉等其他伴随着颜色变化的各种病变的评价值的计算，在这些情况下，也可以带来与上述内容相同的有利的效果。即，本实施方式的评价值为伴随有颜色变化的病变的评价值比较好，包括炎症程度、癌症、息肉的至少任意一种的评价值。
以上是对本发明的示例性的实施方式的说明。本发明的实施方式不仅仅局限于上述说明的内容，可以在本发明的技术思路内进行各种各样的变形。例如适当组合了说明书中示例性地明示的实施方式等或自明的实施方式等的内容也属于本申请的实施方式。
在上述实施方式中，用包括于各个像素的R成分和G成分计算炎症评价值，在别的实施方式中还可以用R成分和B成分代替R成分和G成分计算炎症评价值。
在上述实施方式中，使用R、G、B的原色成分计算炎症等的评价值，本发明的计算评价值的构成不仅仅局限于R、G、B的原色成分的使用。还可以使用C、M、Y、G(青色、品红色、黄色、绿色)的补色系的成分来代替使用R、G、B原色成分，并通过和上述实施方式相同的方法算出炎症等的评价值。
在上述实施方式中，包括灯电源点火器206、灯208、聚光透镜210、光圈212、电机214等的光源部一体地设置于处理器，也可以将光源部作为与处理器分开的装置进行设置。
和在上述实施方式中说明过的一样，作为固体成像元件108可以使用CMOS图像传感器代替CCD图像传感器。CMOS图像传感器在一般情况下与CCD图像传感器相比图像整体有变暗的倾向。因此，上述实施方式的构成带来的可以抑制由图像的亮度引起的评价值的变动的有益的效果在作为固体成像元件使用CMOS图像传感器的情况下表现得更显著。
为了提高诊断精度，获取高分辨率的图像比较好。因此，从提高诊断精度的观点出发，图像的分辨率优选为100万像素以上，更优选为200万像素，甚至更优选为800万像素以上。图像的分辨率越高对所有像素进行上述评价值计算的处理负荷就越重，但是通过上述实施方式的构成可以抑制评价值计算的处理负荷，在处理高分辨率图像的情况下本实施方式的构成带来的有益的效果表现得更显著。
上述实施方式中的特殊图像生成处理将图像中的全部的像素作为处理的目标，例如，也可以将亮度极高的像素和亮度极低的像素等从处理的目标中排除。具体而言，例如，可以通过只将具有预先设定的基准亮度范围的亮度的像素作为评价值计算的目标从而提高评价值的精度。
像在上述实施方式的说明中阐述过的一样，作为用于内窥镜系统1的光源可以使用各种各样的光源。另一方面，也可以根据内窥镜系统1的观察目的等限定光源的种类(例如，作为光源的种类排除激光器等)。
而且，可以不使用用于评价值计算的颜色成分的色相和彩度计算评价值。

Claims (16)

1.一种内窥镜系统，其特征在于，具备：
图像获取单元，获取拥有至少三种以上的颜色成分的彩色图像；
配置单元，把对应于构成所述彩色图像的各个像素的点根据其颜色成分配置于包括第一轴和第二轴的平面内，所述第一轴是所述至少三种以上的颜色成分中的第一成分的轴，所述第二轴是所述至少三种以上的颜色成分中的第二成分的轴且与所述第一轴相交；
距离数据计算单元，定义在所述平面内过所述第一轴和所述第二轴的交点且与所述第一轴、所述第二轴的任意一个都不平行的第三轴，计算所述第三轴和对应于所述各个像素的点之间的距离数据；以及
评价值计算单元，基于算出的所述距离数据计算关于所述彩色图像的规定的评价值。
2.根据权利要求1所述的内窥镜系统，其特征在于，
所述彩色图像具有红R、绿G、蓝B的各种颜色成分，
所述第一轴是R成分的轴，且所述第二轴是G成分或者B成分的轴，
所述配置单元把对应于构成所述彩色图像的各个像素的点根据其颜色成分配置于包括所述R成分的轴即第一轴和所述G成分或者B成分的轴即第二轴的平面内。
3.根据权利要求1或2所述的内窥镜系统，其特征在于，
所述第三轴是在所述平面内与所述第一轴成45°角且与所述第二轴成45°角的轴。
4.根据权利要求1至3中任一项所述的内窥镜系统，其特征在于，
所述距离数据计算单元针对所述各个像素通过从所述第一轴的值减去所述第二轴的值求出所述距离数据。
5.根据权利要求1至4中任一项所述的内窥镜系统，其特征在于，
所述评价值计算单元使用规定的标准距离数据把所述距离计算单元算出的第三轴和对应于各个像素的点之间的距离数据标准化，基于被标准化的各个像素的距离数据计算所述彩色图像整体的评价值。
6.根据权利要求1至5中任一项所述的内窥镜系统，其特征在于，
所述规定的评价值是有关炎症的严重程度的炎症评价值。
7.根据权利要求6所述的内窥镜系统，其特征在于，
还具备图像显示单元，基于所述炎症评价值，显示把具有炎症的像素和正常部位的像素用不同颜色表示为能够识别后的图像。
8.一种内窥镜系统，其特征在于，具备：
图像获取单元，获取拥有至少三种以上的颜色成分的彩色图像；以及
评价值计算单元，计算关于所述彩色图像的规定的评价值，
所述至少三种以上的颜色成分包括第一成分和第二成分，
所述评价值计算单元求出针对构成所述彩色图像的各个像素从第一成分减去第二成分的值，基于通过减法求出的所述值计算所述评价值。
9.根据权利要求8所述的内窥镜系统，其特征在于，
所述第一成分是R成分，所述第二成分是G成分或B成分。
10.一种评价值计算装置，其特征在于，具备：
配置单元，把对应于构成拥有至少三种以上颜色成分的彩色图像的各个像素的点根据其颜色成分配置于包括第一轴和第二轴的平面内，所述第一轴是所述至少三种以上的颜色成分中的第一成分的轴，所述第二轴是所述至少三种以上的颜色成分中的第二成分的轴且与所述第一轴相交；
距离数据计算单元，定义在所述平面内过所述第一轴和所述第二轴的交点且与所述第一轴、所述第二轴的任意一个都不平行的第三轴，计算所述第三轴和对应于所述各个像素的点之间的距离数据；以及
评价值计算单元，基于算出的所述距离数据计算关于所述彩色图像的规定的评价值。
11.一种评价值计算装置，其特征在于，具备：
配置单元，把对应于构成拥有红R、绿G、蓝B的各种颜色成分的彩色图像的各个像素的点根据其颜色成分配置于包括R成分的轴即第一轴和与所述第一轴垂直的G成分或者B成分的轴即第二轴的平面内；
距离数据计算单元，定义在所述平面内过所述第一轴和所述第二轴的交点且与所述第一轴、所述第二轴的任意一个都不平行的第三轴，计算所述第三轴和对应于所述各个像素的点之间的距离数据；以及
评价值计算单元，基于算出的距离数据计算关于所述彩色图像的规定的评价值。
12.根据权利要求10或11所述的评价值计算装置，其特征在于，
所述第三轴是在所述平面内与所述第一轴成45°角且与所述第二轴成45°角的轴。
13.根据权利要求10至12中任一项所述的评价值计算装置，其特征在于，
所述距离数据计算单元针对所述各个像素通过从所述第一轴的值减去所述第二轴的值求出所述距离数据。
14.根据权利要求10至13中任一项所述的评价值计算装置，其特征在于，
所述评价值计算单元使用规定的标准距离数据把所述距离计算单元算出的第三轴和对应于各个像素的点之间的距离数据标准化，基于被标准化的各个像素的距离数据计算所述彩色图像整体的评价值。
15.一种评价值计算装置，其特征在于，具备：
减法单元，求出针对构成拥有R、G、B的各种颜色成分的彩色图像的各个像素从R成分减去G成分的值；以及
评价值计算单元，基于所述减法单元求出的值计算关于所述彩色图像的规定的评价值。
16.根据权利要求15所述的评价值计算装置，其特征在于，
所述减法单元针对所述各个像素从R成分减去B成分来代替从R成分减去G成分。
CN201680015825.8A 2015-06-25 2016-06-24 内窥镜系统以及评价值计算装置 Active CN107405050B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-128001 2015-06-25
JP2015128001 2015-06-25
PCT/JP2016/068908 WO2016208748A1 (ja) 2015-06-25 2016-06-24 内視鏡システム及び評価値計算装置

Publications (2)

Publication Number Publication Date
CN107405050A true CN107405050A (zh) 2017-11-28
CN107405050B CN107405050B (zh) 2019-11-22

Family

ID=57585237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680015825.8A Active CN107405050B (zh) 2015-06-25 2016-06-24 内窥镜系统以及评价值计算装置

Country Status (5)

Country Link
US (1) US10702127B2 (zh)
JP (1) JP6420358B2 (zh)
CN (1) CN107405050B (zh)
DE (1) DE112016001722T5 (zh)
WO (1) WO2016208748A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0490285A (ja) * 1990-08-01 1992-03-24 Fuji Photo Optical Co Ltd 電子内視鏡装置
US20130051642A1 (en) * 2011-08-31 2013-02-28 Olympus Corporation Image processing device, image processing method and computer readable recording device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS506759B1 (zh) 1971-04-13 1975-03-17
JPS5269216A (en) 1975-12-05 1977-06-08 Matsushita Electric Ind Co Ltd Still picture and voice transmitting system for stationary picture
JP2807487B2 (ja) * 1988-11-02 1998-10-08 オリンパス光学工業株式会社 内視鏡装置
JPH0935056A (ja) 1995-07-24 1997-02-07 Olympus Optical Co Ltd 画像処理装置
US6128144A (en) * 1996-12-02 2000-10-03 Olympus Optical Co., Ltd. Optical system for camera and camera apparatus
US7042488B2 (en) 2001-09-27 2006-05-09 Fujinon Corporation Electronic endoscope for highlighting blood vessel
JP2003093337A (ja) * 2001-09-27 2003-04-02 Fuji Photo Optical Co Ltd 電子内視鏡装置
US7469069B2 (en) * 2003-05-16 2008-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
JP4815107B2 (ja) * 2003-07-16 2011-11-16 三星電子株式会社 カラー平面間予測を利用した無損失映像符号化／復号化方法及び装置
JP5006759B2 (ja) 2007-10-29 2012-08-22 Ｈｏｙａ株式会社 電子内視鏡用信号処理装置および電子内視鏡装置
JP4857393B2 (ja) * 2009-06-10 2012-01-18 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡装置
JP5576739B2 (ja) * 2010-08-04 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、撮像装置及びプログラム
JP5331904B2 (ja) * 2011-04-15 2013-10-30 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6067264B2 (ja) 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
CN105101862B (zh) * 2013-03-27 2017-04-12 富士胶片株式会社 图像处理装置和内窥镜系统的工作方法
JP6097629B2 (ja) * 2013-04-26 2017-03-15 Hoya株式会社 病変評価情報生成装置
JP6140056B2 (ja) 2013-09-26 2017-05-31 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0490285A (ja) * 1990-08-01 1992-03-24 Fuji Photo Optical Co Ltd 電子内視鏡装置
US20130051642A1 (en) * 2011-08-31 2013-02-28 Olympus Corporation Image processing device, image processing method and computer readable recording device
CN103164852A (zh) * 2011-08-31 2013-06-19 奥林巴斯株式会社 图像处理装置以及图像处理方法

Also Published As

Publication number Publication date
JP6420358B2 (ja) 2018-11-07
US10702127B2 (en) 2020-07-07
CN107405050B (zh) 2019-11-22
WO2016208748A1 (ja) 2016-12-29
US20180184882A1 (en) 2018-07-05
JPWO2016208748A1 (ja) 2017-06-29
DE112016001722T5 (de) 2017-12-28

Similar Documents

Publication Publication Date Title
CN107072509B (zh) 内窥镜系统以及评价值计算装置
CN106068092B (zh) 图像处理装置
CN104470416B (zh) 图像处理装置和内窥镜装置
CN109310301A (zh) 电子内窥镜用处理器以及电子内窥镜系统
CN106999019B (zh) 图像处理装置、图像处理方法、记录介质以及内窥镜装置
CN107529957B (zh) 修正数据生成方法以及修正数据生成装置
CN107252299A (zh) 内窥镜装置以及内窥镜装置的工作方法
CN107105987B (zh) 图像处理装置及其工作方法、记录介质和内窥镜装置
CN107847117A (zh) 图像处理装置、方法及程序
US20230112696A1 (en) Evaluation value calculation device and electronic endoscope system
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
CN107005683A (zh) 内窥镜装置
US20230113382A1 (en) Evaluation value calculation device and electronic endoscope system
CN109152520A (zh) 图像信号处理装置、图像信号处理方法以及图像信号处理程序
JP6591688B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
CN107405050B (zh) 内窥镜系统以及评价值计算装置
JP6535435B2 (ja) プロセッサ及び内視鏡システム
JP6681971B2 (ja) プロセッサ及び内視鏡システム
CN117442144A (zh) 内窥镜系统及其成像方法
CN112991367A (zh) 成像系统及生成可见光视频和彩色光视频的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant