CN109310299B - 电子内窥镜用处理器以及电子内窥镜系统 - Google Patents
电子内窥镜用处理器以及电子内窥镜系统 Download PDFInfo
- Publication number
- CN109310299B CN109310299B CN201780035202.1A CN201780035202A CN109310299B CN 109310299 B CN109310299 B CN 109310299B CN 201780035202 A CN201780035202 A CN 201780035202A CN 109310299 B CN109310299 B CN 109310299B
- Authority
- CN
- China
- Prior art keywords
- color
- correlation
- pixel
- component
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0676—Endoscope light sources at distal tip of an endoscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种电子内窥镜用处理器以及电子内窥镜系统。电子内窥镜用处理器设为如下结构,即,具备:转换单元,将由n(n≥3)种颜色成分组成的构成体腔内的彩色图像的各像素数据转换为由比n种少的m(m≥2)种颜色成分组成的像素数据;相关值算出单元,在由m种颜色成分定义的颜色平面内设定有通过预定的基准点的关于对象疾病的基准轴,对所述彩色图像的各像素,根据将该基准点和对应于该像素数据的像素对应点连接的线段与该基准轴所成的角度来对每个像素算出与关于该对象疾病的预定的基准的相关值;以及评价值算出单元,对已算出的各像素中的相关值进行累计,将通过累计而得到的相关值的总和作为关于对象疾病的评价值。
Description
技术领域
本发明涉及与用于评价患者的病变部的症状等级的装置,详细而言,涉及基于彩色内窥镜图像的颜色成分而生成评价病变部的症状等级的评价信息的电子内窥镜用处理器及电子内窥镜系统。
背景技术
病变部一般呈现与正常的粘膜组织不同的颜色。通过提高彩色内窥镜装置的性能,也能够识别颜色与正常组织稍微不同的病变部。但是,为了手术者能够根据内窥镜图像内所包含的微小的颜色不同而识别正常组织和病变部,需要在熟练者的指导下接受长时间的训练。另外,即使是熟练的手术者,从微小的颜色差异识别病变部也并不容易,要求慎重的操作。因此,例如在专利文献1中提出了一种电子内窥镜系统,其为了使病变部等的识别变容易,具备对使用白色光拍摄而得的内窥镜图像数据进行增强颜色差异的颜色转换处理的功能。
现有技术文献
专利文献
专利文献1日本特开2009-106424号公报
发明内容
发明要解决的技术问题
可以说,由专利文献1记载的电子内窥镜系统生成的图像与通常的内窥镜图像相比,容易识别正常组织和病变部。但是,病变部的颜色根据症状的程度而变化。由于根据症状程度的变化是微妙的,因此经验浅的手术者即使能够使用以专利文献1记载的技术为首的公知的技术来识别正常组织和病变部,也难以准确地评价病变部的症状等级。而且,即使是熟练的手术者,症状等级的评价也全凭依赖于手术者个人的经验和知识的读取图像技能,因此不能进行客观性的且具有再现性(不依赖于手术者的技术)的评价。
本发明鉴于上述情况而提出的,其目的在于提供一种能够对病变部的对象疾病的症状等级进行确保了客观性和再现性的评价的电子内窥镜用处理器以及电子内窥镜系统。
用于解决技术问题的方案
根据本发明的一实施方式,电子内窥镜用处理器具备:转换单元,将由n(n≥3)种颜色成分组成的构成体腔内的生物体组织的彩色图像的各像素数据转换为由比n种少的m(m≥2)种颜色成分组成的像素数据;相关值算出单元,在由所述m种颜色成分定义的颜色平面内设定有通过预定的基准点的、关于对象疾病的基准轴,对所述彩色图像的各像素,根据将所述基准点和对应于转换后的所述像素数据的像素对应点连接的线段与所述基准轴所成的角度来对每个像素算出与关于该对象疾病的预定的基准的相关值;以及评价值算出单元,对计算出的各像素中的相关值进行累计,将通过累计而得到的相关值的总和作为关于对象疾病的评价值。
根据本发明的一实施方式,优选的是,所述相关值为第一值以下且第二值以上,在所述角度为预定角度以下的范围内,所述角度越小则所述相关值越接近所述第一值;在所述角度大于所述预定角度的范围内,所述相关值成为所述第二值。
特别是,根据一实施方式,优选,所述相关值为标准化后的值,所述第一值为1,所述第二值为0。
另外,根据一实施方式,转换单元可以采用将由n种颜色成分定义的颜色空间中的各像素数据正投影到颜色平面的结构。
另外,根据一实施方式,优选,所述基准轴是关于所述对象疾病的症状等级越高而被转换后的所述像素对应点越收敛的轴。
另外,根据一实施方式,优选,基准轴是表示关于对象疾病的症状等级最高的炎症部位的轴。
另外,根据一实施方式,优选转换后的所述像素数据的m种颜色成分包含R成分、G成分和B成分中的至少两种。在这种情况下,优选转换后的所述像素数据的m种颜色成分包含所述R成分、所述G成分和所述B成分中的任意一种颜色成分。
另外,根据本发明的一实施方式,优选,对象平面为包含R成分的轴和G成分的轴的平面。
另外,根据本发明的一实施方式,优选,所述电子内窥镜用处理器还具备使评价值显示在预定的显示画面上的显示单元。
另外,根据本发明的一实施方式,优选,所述电子内窥镜用处理器还具备将计算出相关值的各像素的颜色成分置换为与该相关值对应的颜色成分的颜色成分置换单元。在该情况下,优选显示单元使由颜色成分被置换后的像素构成的内窥镜图像显示于显示画面。
另外,根据本发明的一实施方式,所述电子内窥镜用处理器可以采用还具备颜色成分校正单元的结构,该颜色成分校正单元使用预定的颜色成分校正系数来校正由转换单元转换后的由m种颜色成分构成的像素数据。在该情况下,优选,相关值算出单元基于连接与由颜色成分校正系数校正后的由m种颜色成分构成的像素数据对应的像素对应点和基准点的线段与基准轴所成的角度来针对每个像素算出相关值。
根据本发明的一实施方式,电子内窥镜用处理器具备:相关值算出单元,将n设为3以上的自然数、将m设为2以上的自然数,在由n种颜色成分的体腔内的彩色图像的像素数据中的比n种少的m种颜色成分定义的颜色空间内设定有从预定的基准点观察的关于对象疾病的基准方向,对所述彩色像素的各像素,根据所述颜色空间中的对应于所述像素数据的像素对应点从所述基准点观察的方向与所述基准方向偏离的程度来算出与关于所述对象疾病的预定的基准状态的相关值;以及评价值算出单元,对各像素中的已算出的所述相关值进行累计,将通过累计而得到的相关值的总和作为关于所述对象疾病的评价值。
根据一实施方式,优选,所述相关值为表示体腔内的生物体组织的粘膜的炎症的强度的程度的值。
另外,根据本发明的一实施方式,优选,颜色成分校正系数为对由m种颜色成分构成的像素数据进行校正的预定的校正矩阵系数。
另外,根据本发明的一实施方式,所述电子内窥镜系统具备:上述的电子内窥镜用处理器;电子镜,生成彩色图像的数据并输出到电子内窥镜用处理器;以及显示装置,被构成为显示由电子内窥镜用处理器求出的评价值。
另外,根据本发明的一实施方式,从颜色成分中除去色相和彩度。
发明的效果
根据本发明的一实施方式所涉及的电子内窥镜用处理器以及电子内窥镜系统,能够得到适于对对象疾病的症状等级进行确保了客观性且再现性的评价的评价信息。
附图说明
图1是示出本发明的一实施方式所涉及的电子内窥镜系统的结构的框图。
图2是示出图1所示的图像处理单元的结构的一例的图。
图3是示出由本发明的一实施方式所涉及的电子内窥镜系统所具备的电子内窥镜用处理器执行的病变评价信息生成处理的流程图的图。
图4是示出描绘像素对应点的RG平面的图。
图5是对在RG平面内设定的基准轴进行说明的图。
图6是示意性地示出预定角度θ与相关值CV的关系的相关表的图。
图7是示出图3的处理步骤S16(相关值CV的算出)的子程序的图。
图8是示意性地示出显示色表的图。
图9是在显示器的显示画面中显示的评价图像例。
具体实施方式
下面,参照附图来对本发明的实施方式进行说明。在以下,作为本发明的一实施方式,以电子内窥镜系统为例进行说明。
图1是示出本发明的一实施方式所涉及的电子内窥镜系统1的结构的框图。如图1所示,电子内窥镜系统1具备:电子镜100、电子内窥镜用处理器200、显示器300以及打印机400。
电子内窥镜用处理器200具备系统控制器202和定时控制器206。系统控制器202执行存储在存储器204中的各种程序,总括地控制电子内窥镜系统1的整体。另外,系统控制器202根据输入到操作面板208的由用户(手术者或辅助者)进行的指示来变更电子内窥镜系统1的各种设定。定时控制器206将调整各部的动作的定时的时钟脉冲输出到电子内窥镜系统1内的各电路。
另外,电子内窥镜用处理器200具备向电子镜100供给照明光的光源装置230。光源装置230具备灯232、灯电源234、聚光透镜236以及调光装置240。灯232是通过从灯电源234接受驱动电力的供给而放射白色的照明光的高亮度灯,例如可适用氙灯、金属卤化物灯、汞灯或卤素灯。由灯232放射的照明光被聚光透镜236聚光之后,经由调光装置240而入射至电子镜100的LCB(光导束)102的入射端。
需要说明的是,灯232也可以替换为LD(Laser Diode:激光二极管)或LED(LightEmitting Diode:发光二极管)等半导体发光元件。关于半导体发光元件,与其他光源相比,具有低功耗、发热量小等特征,因此具有能够在抑制功耗和发热量的同时取得明亮的图像的优点。能够取得明亮的图像与使后述的关于炎症的评价值的精度提高相关联。半导体发光元件不局限于内置于处理器200,也可以内置于电子镜100。作为一例,半导体发光元件也可以设置在电子镜100的前端部内。
调光装置240是基于系统控制器202的控制来调整入射至LCB102的入射端的照明光的光量的装置,具备光圈242、马达243以及驱动器244。驱动器244生成用于驱动马达243的驱动电流并供给至马达243。光圈242通过利用马达243的驱动使照明光所通过的开口变化来调整通过开口的照明光的光量。
从入射端入射至LCB102内的照明光在LCB102内传播,从配置于电子镜100的前端部内的LCB102的射出端射出,经由配光透镜104而照射到被摄体。来自被摄体的反射光经由物镜106而在固体摄像元件108的受光面上连结光学像。
固体摄像元件108是在受光面配置有IR(Infra Red:红外)截止滤光片108a、拜耳排列滤色片108b等各种滤光片的单板式彩色CCD(Charge-Coupled Device:电荷耦合器件)图像传感器,生成与在受光面上成像的光学图像相应的R(红)、G(绿)、B(蓝)的各原色信号。
在电子镜100的连接部内具备驱动器信号处理电路112。驱动器信号处理电路112对从固体摄像元件108输入的原色信号实施颜色插值、矩阵运算、Y/C分离等预定的信号处理而生成图像信号(亮度信号Y、色差信号Cb、Cr),并将所生成的图像信号输出到电子内窥镜用处理器200的图像处理单元220。另外,驱动器信号处理电路112访问存储器114来读出电子镜100的固有信息。记录在存储器114中的电子镜100的固有信息包括例如固体摄像元件108的像素数、灵敏度、可动作的帧率、型号等。驱动器信号处理电路112将从存储器114读出的固有信息输出到系统控制器202。
需要说明的是,用于固体摄像元件108的拜耳排列滤色片108b优选使用原色系(RGB)滤光片。原色系(RGB)滤光片与补色系滤光片相比显色性良好。因此,若将由搭载有原色系滤光片的摄像元件产生的RGB形式的图像信号用于后述的关于炎症的评价值的计算,则能够使其评价精度提高。另外,通过使用原色系滤光片,在关于炎症的评价值的计算处理中不需要进行信号的转换。因此,能够抑制评价计算的处理负荷。
系统控制器202基于电子镜100的固有信息而进行各种运算,生成控制信号。系统控制器202使用所生成的控制信号来控制电子内窥镜用处理器200内的各电路的动作和定时,以进行适合于与电子内窥镜用处理器200正在连接的电子镜100的处理。
定时控制器206根据系统控制器202的定时控制而向驱动器信号处理电路112和图像处理单元220供给时钟脉冲。驱动器信号处理电路112根据从定时控制器206供给的时钟脉冲而以与在电子内窥镜用处理器200侧处理的影像的帧率同步的定时对固体摄像元件108进行驱动控制。
图像处理单元220在系统控制器202的控制之下,基于从驱动器信号处理电路112输入的图像信号而生成用于监视显示内窥镜图像等的视频信号,并输出到显示器300。并且,图像处理单元220进行后述的病变评价信息生成处理,基于病变评价信息生成处理结果而生成置换了摄像图像的颜色的颜色映射图像。图像处理单元220生成用于监视显示病变评价信息生成处理的结果和颜色映射图像的视频信号,并输出到显示器300。由此,手术者能够通过显示器300的显示画面所显示的内窥镜图像来进行例如消化管内的诊断等。
电子内窥镜用处理器200经由NIC(网络接口卡)210以及网络500而与服务器600连接。电子内窥镜用处理器200能够从服务器600上下载关于内窥镜检查的信息(例如,患者的电子病历信息或手术者的信息)。所下载的信息显示于例如显示器300的显示画面、操作面板208。另外,电子内窥镜用处理器200通过将内窥镜检查结果(内窥镜图像数据、检查条件、图像分析结果、手术者所见等)上传到服务器600,能够将其保存于服务器600中。
图2是示出图像处理单元220的结构的一个例子的图。
图像处理单元220具备RGB转换部220a、颜色空间转换部220b、颜色校正部220c、相关值算出部220d、评价值算出部220e、评价图像制作部220f、存储器222以及图像存储器224。图像处理单元220既可以是系统控制器202启动程序而形成各部分的功能的软件模块,也可以是由FPGA(现场可编程门阵列)等专用电路构成的硬件模块。
RGB转换部220a构成为进行后述的图3所示的处理步骤S11的处理。
颜色空间转换部220b构成为进行后述的图3所示的处理步骤S12、13的处理。
颜色校正部220c构成为进行后述的图3所示的处理步骤S14的处理。
相关值算出部220d构成为进行后述的图3所示的处理步骤S15、16的处理。
评价值算出部220e构成为进行后述的图3所示的处理步骤S17的处理。
评价图像制作部220f构成为进行后述的图3所示的处理步骤S18、19的处理。
存储器222存储图像处理单元220实施的处理所需的信息。存储的信息中包含颜色校正部220c进行颜色校正时使用的校正矩阵系数、评价值算出部220e算出评价值时所使用的相关表、评价图像制作部220f制作颜色映射图像时所使用的显示色表等。
图像存储器224将从驱动器信号处理电路112发送的图像信号记录保持为摄像图像,并且根据需要来记录保持作为图像处理单元220实施的处理的结果的处理图像。被记录保持在图像存储器224中的图像根据需要而被调出、处理。关于处理,将在以下进行说明。
[病变评价信息生成处理]
图3示出由电子内窥镜用处理器200执行的病变评价信息生成处理的流程图。以下说明的病变评价信息生成处理是用于客观性地评价由电子镜100拍摄的生物体组织的对象疾病(例示性地,作为炎症性肠病(IBD)的病变的炎症(包含水肿、易出血性的红变病变))的症状等级的处理。病变评价信息生成处理概略性地针对彩色内窥镜图像数据中包含的各像素算出表示对象疾病的症状等级的相关值(炎症强度)。接着,根据计算出的全部像素中的相关值,算出用于评价与作为被摄体的生物体组织的对象疾病的炎症相关的症状等级的评价值、即炎症评价值。
炎症评价值是通过执行预定的算法(图3所示的病变评价信息生成处理)而算出的确保了再现性的数值数据。因此,手术者通过掌握炎症评价值,能够客观性地评价对象疾病的症状等级。
[图3的(RGB转换)]
在本处理步骤S11中,从驱动器信号处理电路112输入的图像信号(亮度信号Y、色差信号Cb、Cr)使用预定的矩阵系数而被转换为原色信号(R、G、B)。
[图3的S12(向RG平面的正投影)]
接着,转换为原色信号的图像数据被正投影到RG平面。
在图4中示出由相互正交的R轴和G轴定义的RG平面。需要说明的是,R轴是R成分(R的像素值)的轴,G轴是G成分(G的像素值)的轴。
在本处理步骤S12中,将由RGB三原色定义的RGB颜色空间的各像素的像素数据(由三种颜色成分构成的三维的像素数据)转换为RG的像素数据(由两种颜色成分构成的二维的像素数据)。示意性地,如图4所示,RGB颜色空间的各像素的像素数据根据R、G的像素值而被描绘在RG平面内(更详细而言,取R=0~255、G=0~255的值的RG平面内的分区)。以下,为了便于说明,将RGB颜色空间的各像素的像素数据的点以及在RG平面内描绘的像素数据的点记作“像素对应点”。需要注意的是,在图4中,为便于使附图明了,并非示出全部像素的像素对应点,而仅示出了一部分像素的像素对应点。RGB颜色空间的RGB各自的颜色成分依次是例如波长620~750nm、波长495~570nm、以及波长450~495nm的颜色成分。
需要说明的是,在本发明中,颜色成分是构成颜色空间(也包括颜色平面)的。另外,从“颜色成分”中去除色相和彩度。
这样,在本处理步骤S12中,RGB颜色空间的各像素数据(三维数据)被正投影到RG平面,从对应于各像素数据的RGB颜色空间内的点落下到RG平面的垂足成为各像素对应点(二维数据)。
需要说明的是,在本处理步骤S12中执行的将RGB颜色空间的各像素的像素数据转换(正投影)为RG平面的像素数据的动作由转换单元进行。根据一实施方式,优选图2所示的颜色转换部220a承担转换单元的功能。
[图3的S13(基准轴的设定)]
在本处理步骤S13中,设定有为了计算作为关于对象疾病的客观性的数值数据的炎症强度所需的RG平面内的基准轴。在图5中示出辅助基准轴的说明的图。
在成为被摄体的患者的体腔内的生物体组织中,由于血红蛋白色素等的影响,R成分相对于其他成分(G成分和B成分)是支配性的,典型地,炎症越强,红色调(R成分)相对于其他色调(G成分和B成分)越强。但是,体腔内的摄像图像的色调根据影响明亮度的摄影条件(例如照明光的照射情况)而变化。例示性地,照明光不能到达的阴影部分成为黑色(为无彩色,例如,R、G、B为零或接近零的值),照明光强烈照射而进行镜面反射的部分成为白色(为无彩色,例如,R、G、B为255或接近255的值)。即,即使在拍摄了发生炎症的同一异常部位的情况下,照明光越强烈照射,该异常部位图像的像素值越大。因此,根据照明光的照射情况,像素值有时取与炎症强度无相关的值。
一般而言,未发生炎症的体腔内的正常部位被足够的粘膜覆盖。与此相反,发生炎症的体腔内的异常部位未被足够的粘膜覆盖。具体而言,血管扩张的同时,血液、体液从血管中漏出,因此,粘膜相对变薄,血液的颜色容易映入眼睛。粘膜基本上是白色基调,但作为色调有些泛黄,根据其浓淡(粘膜的厚度)而显现在图像上的色调(黄色的色调)发生变化。因此,认为粘膜的浓淡也是评价炎症强度的指标之一。
因此,在本处理步骤S13中,如图5所示,在RG平面内,通过(50,0)以及(255,76)的直线被设定为基准轴的一个,并且通过(0,0)以及(255,192)的直线被设定为基准轴的一个。为了便于说明,将前者的基准轴记作“血红蛋白变化轴AX1”,将后者的基准轴记作“粘膜变化轴AX2”。
图5所示的描绘点是本发明人对体腔内的多个样本图像进行分析的结果而得到的图。在分析中使用的样本图像中包含症状等级最高的炎症图像例(最严重程度的炎症图像例)、症状等级最低的炎症图像例(实质上被视为正常部位的图像例)等各等级的炎症图像例。需要说明的是,在图5的例子中,为便于使附图明了,只示出了一部分作为分析结果而得到的描绘点。分析的结果实际得到的描绘点远比图5所示的描绘点的数量多。
如上所述,越是炎症强的异常部位,R成分相对于其他成分(G成分及B成分)越强。因此,描绘点分布的区域与不分布的区域的边界线且比G轴更靠近R轴一方的边界线上的轴、在图5的例子中通过(50,0)以及(255,76)的边界线上的轴被设定为与症状等级最高的病变部(症状等级最高的炎症(异常)部位)相关性高的轴。该轴是血红蛋白变化轴AX1。在血红蛋白变化轴AX1上重叠有与以各种各样的摄影条件(例如照明光的照射情况)拍摄到的症状等级最高的炎症部位对应的描绘点。因此,血红蛋白变化轴AX1是关于对象疾病的症状等级越高而描绘的像素对应点越收敛的轴。
另一方面,越接近正常部位,G成分(或B成分)相对于R成分越强。因此,描绘点分布的区域与不分布的区域的边界线且比R轴更靠近G轴一方的边界线上的轴即在图5的例子中通过(0,0)以及(255,192)的边界线上的轴被设定为与症状等级最低的病变部(是症状等级最低的炎症(异常)部位,实质上被视为是正常(健康)部位的部位)相关性高的轴。该轴是粘膜变化轴AX2。在粘膜变化轴AX2上重叠有与以各种各样的摄影条件(例如照明光的照射情况)拍摄到的症状等级最低的炎症部位(实质上被视为正常部位的部位)对应的描绘点。因此,粘膜变化轴AX2是关于对象疾病的症状等级越低(越接近健康部位)而描绘的像素对应点越收敛的轴。
进行补充说明,关于对象疾病的症状等级最高的炎症部位伴有出血。另一方面,症状等级最低的炎症部位实质上是正常部位或健康部位,因此被足够的粘膜覆盖。因此,可以认为图5所示的RG平面内的描绘点分布在与血液(血红蛋白色素)相关性最高的轴和与粘膜的色调相关性最高的轴所夹持的区域内。因此,描绘点分布的区域与不分布的区域的边界线中的、接近于R轴(R成分强)一方的边界线相当于表示症状等级最高的炎症部位的轴(血红蛋白变化轴AX1),接近G轴(G成分强)一方的边界线相当于表示症状等级最低的炎症部位的轴(粘膜变化轴AX2)。
在进行了这样的基准轴设定之后,对在S12中正投影后的像素数据进行后述的处理步骤S15的处理。在处理步骤S15之前,对在处理步骤S14中正投影后的像素数据进行颜色校正。
[图3的S14(像素数据的校正)]
在存储器222中保存有校正矩阵系数。在本处理步骤S14中,为了抑制在不同的电子内窥镜系统中对同一病变部进行摄像时的得分值的差异(换言之,电子镜的个体差),使用校正矩阵系数来校正作为各像素的像素对应点的像素数据(R、G)。
·校正矩阵例子
使用校正矩阵系数M00~M11将像素数据R、G校正为校正后的像素数据Rnew、Gnew。
Rnew:校正后的像素数据(R成分)
Gnew:校正后的像素数据(G成分)
M00~M11:校正矩阵系数
R:校正前的像素数据(R成分)
G:校正前的像素数据(G成分)
需要说明的是,在本处理步骤S14中执行的使用校正矩阵系数来对各像素的像素对应点进行颜色校正的动作由颜色成分校正单元进行。根据一实施方式,优选图2所示的颜色校正部220c承担颜色成分校正单元的功能。
[图3的S15(角度的算出)]
在本处理步骤S15中,针对在处理步骤S14(像素数据的颜色校正)中校正后的各像素的像素数据(Rnew,Gnew),算出用于计算炎症强度的角度。具体而言,在本处理步骤S15中,针对各像素,算出线段L与血红蛋白变化轴AX1所成的角度θ(参照图4),该线段L连接血红蛋白变化轴AX1与粘膜变化轴AX2的交点(基准点)O’和像素对应点(Rnew,Gnew)。需要说明的是,基准点O’位于坐标(-150,-75)。
当体腔内的摄像图像的明亮度根据照明光的照射情况而变化时,摄影图像的色调虽然有个人差异、拍摄部位、炎症的状态等的影响,但在RG平面内,大体上若是症状等级最高的炎症部位则沿着血红蛋白变化轴AX1上变化、若是症状等级最低的炎症部位换言之健康正常部位则沿着粘膜变化轴AX2上变化。另外,推定中间症状等级的炎症部位的摄像图像的色调也以相同的倾向变化。即,与炎症部位对应的像素对应点当根据照明光的照射情况而变化时,向以基准点O’为起点的方位角方向偏移。换言之,与炎症部位对应的像素对应点当根据照明光的照射情况而变化时,角度θ保持一定的状态而移动,与基准点O’的距离发生变化。这意味着角度θ是实质上不受摄像图像的明亮度变化的影响的参数。
角度θ越小,R成分相对于G成分越强,表示炎症部位的症状等级越高。另外,角度θ越大,G成分相对于R成分越强,表示炎症部位的症状等级越低。
[图3的S16(相关值CV的算出)]
在图3的处理步骤S16中,基于在处理步骤S15(角度的算出)中计算出的角度θ来计算相关值CV。越是角度θ小的像素中显现的部位,与症状等级最高的炎症部位换言之具有作为基准轴之一的血红蛋白变化轴AX1上的颜色成分的炎症部位的相关性越高,基于此,对每个像素算出相关值CV(炎症强度)。
图6示意性地示出预定角度θ与相关值CV的关系的相关表。相关表的相关值在第一值以下第二值以上。按如下方式构成相关表:在角度θ为预定角度以下的范围内,角度θ越小,相关值越接近第一值,在角度θ大于预定角度的范围内,相关值成为第二值。在角度θ为预定角度以下的范围内,在相关表中,相关值既可以随着角度θ的变化而呈线性变化,也可以呈非线性变化。相关值CV例如是标准化后的值(=0.0~1.0)。相关表存储在存储器222中。
落入角度θ为预定阈值T以下的范围(角度θ为零以上且预定阈值T以下的范围,为了便于说明,记为“第一范围R1”。)内的像素具有血液(血红蛋白色素)或与其接近的颜色的信息。在第一范围R1中,角度θ越小,与血红蛋白色素的相关性越高,关于对象疾病的症状等级越高,因此如图6所示,相关值CV越高。
另一方面,落入第一范围R1以外的范围(角度θ比预定阈值T大且为血红蛋白变化轴AX1与粘膜变化轴AX2所成的角度θMAX以下的范围,为了便于说明,记为“第二范围R2”。)的像素甚至连接近于血液(血红蛋白色素)的颜色都不是。因此,如图6所示,在第二范围R2中,相关值CV一律为零。
图7是示出本处理步骤S16的子程序的图。
·图7的S16a
在本处理步骤S16a中,针对以预定的顺序选择的一个关注像素,判定在处理步骤S15(角度的算出)中计算出的角度θ是否落入第一范围R1。
·图7的S16b
本处理步骤S16b在处理步骤S16a中判定为关注像素的角度θ落入第一范围R1的情况(S16a:是)下执行。在本处理步骤S16b中,按照相关表,对关注像素赋予与角度θ对应的相关值CV(=0.0~1.0)。
·图7的S16c
本处理步骤S16c在处理步骤S16a中判定为关注像素的角度θ未落入第一范围R1内、换言之关注像素的角度θ落入第二范围R2的情况(S16a:否)下执行。在本处理步骤S16c中,按照相关表,对关注像素赋予相关值CV=0。
·图7的S16d
在本处理步骤S16d中,判定是否对全部像素执行了处理步骤S16a。在残留有未执行处理步骤S16a的像素的情况(S16d:否)下,返回到处理步骤S16a,针对下一个关注像素执行处理步骤S16a以后的处理。在对全部像素执行了处理步骤S16a的情况(S16d:是)下,前进至处理步骤S17(相关值CV的累计)。
通过执行本处理步骤S16,得到各像素与血红蛋白色素的相关值CV(=0.0~1.0)。通过利用R和G的二维信息算出各像素与血红蛋白色素的相关值CV,从而对各像素而得到反映了炎症部的症状等级的精度高的评价结果。
需要说明的是,在本处理步骤S16中执行的针对各像素算出相关值CV的动作由相关值算出单元进行。根据一实施方式,优选图2所示的相关值算出部220d承担相关值算出单元的功能。
[图3的S17(炎症评价值的算出)]
在本处理步骤S17中,对通过对在处理步骤S16(相关值CV的算出)中计算出的全部像素的相关值CV进行累计,通过累计而得到的总和是用于评价对象疾病的症状等级的评价值,作为对拍到内窥镜图像内的病变部的症状等级进行数值化而得的客观的且具有再现性的(不依赖于手术者的技术的)炎症评价值而算出。
需要说明的是,在本处理步骤S17中执行的、算出炎症评价值的动作由评价值算出单元进行。根据一实施方式,优选图2所示的评价值算出部220e承担相关值算出单元的功能。
[图3的S18(在颜色映射图像上的显示色的决定)]
在本实施方式中,能够显示以与相关值CV(炎症强度)对应的显示色将摄像图像马赛克后的颜色映射图像。为了能够显示颜色映射图像,将相关值CV与预定的显示色建立了关联的显示色表已存储在存储器222的存储介质中。
图8示出显示色表的示意图。如图8所示,显示色表将相关值CV(=0.0~1.0)分为11个等级,对各等级关联预定的显示色。在本处理步骤S18中,按照显示色表而将各像素的颜色置换为与相关值CV相关联的显示色的颜色、换言之基于显示色表来决定颜色映射图像的显示色。各像素例如相关值CV越接近0则被置换为越冷色系的颜色,相关值CV越接近1则被置换为越暖色系的颜色。
需要说明的是,在本处理步骤S18中执行的、将各像素的颜色置换为与相关值CV相关联的显示色的颜色的动作由颜色置换单元进行。根据一实施方式,优选图2所示的评价图像创建部220f承担颜色置换单元的功能。
[图3的S19(评价图像的显示)]
在本处理步骤S19中,在显示器300的显示画面上显示预定的评价图像。在图9中例示评价图像。如图9所例示的那样,在评价图像中包含在处理步骤S18(在颜色映射图像上的显示色的决定)中置换了各像素的颜色的颜色映射图像。如图9所示,颜色映射图像是各像素以与对象疾病的症状等级对应的11个等级的颜色区分的灰度图像。因此,手术者能够容易地辨认在摄像视场角内的哪个位置发生了何种程度的症状的炎症。
另外,在评价图像中,在显示器300上显示作为各像素的相关值CV的总和的炎症评价值。在图9的示例中,显示“得分:1917”。这样,在本实施方式中,对象疾病的症状被显示为确保了客观性且再现性的数值。因此,手术者能够客观地掌握对象疾病的症状。
需要说明的是,在本处理步骤S19中执行的、显示包含颜色映射图像以及炎症评价值的评价图像的动作由显示单元进行。根据一实施方式,优选图2所示的评价图像创建部220f承担显示单元的功能。
以往,炎症性肠病的炎症的症状通过MAYO分数等意见评价划分为4个等级。另一方面,近年来,已知的是,在粘膜治愈的实现与缓解维持期之间发现相关。因此,认为,对相当于MAYO0或相当于MAYO1的轻病例精细地评价症状对于炎症性肠病的治疗有效。在本实施方式中,炎症部的症状被显示为精细的数值,因此手术者能够精细地评价炎症部的症状。即,在实施方式中,能够对相当于MAYO0或相当于MAYO1的轻病例精细地评价症状,因此有益于炎症性肠病的治疗。
这样,图像处理单元220在由m种颜色成分例如两种颜色成分定义的颜色平面内设定有通过预定的基准点例如基准点O’的、关于对象疾病的基准轴例如血红蛋白变化轴AX1,关于彩色图像的各像素,基于将基准点和像素对应点连接的线段与基准轴所成的角度θ,按每个像素算出与关于对象疾病的预定的基准的相关值。进一步来说,图像处理单元220在由比体腔内的彩色图像的像素数据的颜色成分少的m种颜色成分定义的颜色空间内设定有从预定的基准点观察的关于对象疾病的基准方向,对于彩色图像的各像素,基于颜色空间中的像素对应点从基准点来观察的方向与基准方向偏离的程度来算出与关于对象疾病的预定的基准状态的相关值。因此,能够得到适于对对象疾病的症状等级进行确保了客观性和再现性的评价的评价信息。
在上述实施方式中,相关值为第一值以下且第二值以上,在角度θ为预定角度以下的范围(例如,图6所示的第一范围R1)中,角度θ越小,相关值越接近第一值,在角度θ大于预定角度的范围(例如,图6所示的第二范围R2)中,相关值成为第二值。在图4所示的例子中,预定角度可以设为血红蛋白轴AX1与粘膜变化轴AX2之间所成的角度。在图4所示的以粘膜变化轴AX2为界而G成分变大的区域中几乎不可能有存在像素对应点的情况,即使有,也是由于噪声的混入等可靠性低的像素对应点。这样,根据角度θ的大小而给予非线性的评价值,从对像素对应点的每一个给予符合实际的炎症水平的相关值的观点出发是优选的。特别是,通过将相关值在0~1之间标准化并将第二值设为0,从而角度θ大于预定角度的范围的像素对应点的相关值对累计相关值而得到的炎症评价值不造成影响,所以能够通过炎症评价值的大小来客观性地评价对象疾病的症状等级。
在上述实施方式中,使用像血红蛋白轴AX1那样的用于算出角度θ的基准轴。该基准轴是关于对象疾病的症状等级越高则像素对应点越收敛的轴。因此,可以说,随着接近角度θ,症状等级变高。利用这一点,能够高精度地算出相关值。
关于作为电子内窥镜系统1摄像的对象的体腔内的生物体组织的颜色成分,来源于血红蛋白的色素等而R成分多。另外,来源于粘膜或其他组织而G成分、B成分也比较多。因此,从在正常部位与病变部位之间高精度地评价症状等级的观点出发,构成像素对应点的颜色成分优选包含R成分、G成分和B成分中的至少两种,特别优选包含R成分、G成分和B成分中的任一种颜色成分。在体腔体的生物体组织的表面存在黄色~绿色的粘膜。由于黄色~绿色的颜色成分根据粘膜的炎症程度而变化,与此同时,红色的颜色成分发生变化,因此用于算出角度θ的颜色平面优选为包含R成分的轴和G成分的轴的平面。因此,相关值优选为表示体腔内的生物体组织的粘膜的炎症的强度的程度的值。
电子内窥镜用处理器200具备:使用显示色表将彩色图像的各像素的颜色置换为与各像素的相关值对应的颜色的颜色置换单元、和使通过颜色置换而得到的颜色映射图像显示在显示器300的显示画面上的显示控制单元,显示器300如图9所示构成为同时显示炎症评价值和颜色映射图像。因此,手术者能够边观察显示画面边对病变部的症状等级进行确保了客观性和再现性的评价。
实施方式所涉及的电子内窥镜系统带来了本技术领域中的如下的效果以及问题的解决。
第一,本实施方式所涉及的电子内窥镜系统就是成为用于早期发现炎症性疾病的诊断辅助。
第二,根据实施方式的结构,能够对炎症程度(评价图像等)进行画面显示、或者增强炎症所产生的区域的图像,以使手术者能够发现难以辨认的轻度炎症。特别是轻度炎症难以进行与正常部的辨别,因此关于轻度炎症的评价,由实施方式的结构带来的效果变得显著。
第三,根据实施方式的结构,能够向手术者提供客观性的评价值作为炎症度的评价,因此能够减小手术者间的诊断差。特别是能够对经验浅的手术者提供基于本实施方式的结构的客观性评价值的优点大。
第四,根据本实施方式的结构,通过减轻图像处理的负荷,能够将炎症部实时地显示为图像。因此,能够使诊断精度提高。
实施方式中的观察的对象部位例如是呼吸器官等、消化器官等。呼吸器等例如是肺、耳鼻咽喉。消化器官等例如是大肠、小肠、胃、十二指肠、子宫等。认为,本实施方式所涉及的电子内窥镜系统在观察对象为大肠的情况下效果变得更加显著。具体而言,这是基于如下这样的理由。
大肠中有能够以炎症为基准进行评价的病,就是说,发现已发生炎症的部位的优点比其他器官大。特别是,作为以溃疡性结肠炎所代表的炎症性肠病(IBD)的指标,实施方式中例示的炎症评价值是有效的。由于溃疡性结肠炎尚未确立治疗法,因此通过使用实施方式的结构的电子内窥镜系统来早期发现而抑制发展的效果非常大。
大肠是与胃等相比而较细长的器官,得到的图像有纵深,越深处越暗。根据实施方式的结构,能够抑制评价值起因于图像内的明亮度的变化的变动。因此,将实施方式所涉及的电子内窥镜系统应用于大肠的观察时,实施方式的效果变得显著。即,实施方式所涉及的电子内窥镜系统优选为呼吸器官用电子内窥镜系统或消化器官用电子内窥镜系统,更优选为大肠用电子内窥镜系统。
另外,轻度的炎症一般难以诊断,但根据实施方式的结构,例如通过在画面上显示评价炎症度而得的结果,能够避免手术者漏看轻度炎症。特别是,关于轻度的炎症,其判断基准并不明确,因此成为使手术者间的个人差异增大的主要原因。关于这一点,根据实施方式的结构,也能够向手术者提供客观性的评价值,因此能够减小由个人差异导致的诊断偏差。
需要说明的是,实施方式的上述结构不仅能够应用于炎症度,还能够应用于癌、息肉及其他伴有颜色变化的各种病变的评价值的算出,在那些情况下,也能够带来与上述同样的有利效果。也就是说,本实施方式的评价值优选为伴有颜色变化的病变的评价值,包括炎症度、癌症、息肉至少任一个的评价值。
以上是本发明的例示性的实施方式的说明。本发明的实施方式并不限定于上述说明的实施方式,在本发明的技术思想的范围内能够进行各种变形。例如,将说明书中例示性地明示的实施方式等或显而易见的实施方式等适当组合后的内容也包含在本申请的实施方式中。例如,相关值CV也可以不对全部像素进行算出,而只对满足预定条件的一部分像素(例如亮度值落入适当范围内的像素等)进行算出。
在上述的实施方式中,RGB颜色空间的像素数据被转换为RG平面的像素数据,使用转换后的各像素数据中包含的R成分和G成分来计算炎症评价值,而在另一实施方式中,通过使用代替RGB颜色空间而将CIE1976L*a*b*颜色空间、CIE LCh颜色空间、CIE1976L*u*v*颜色空间、HSB颜色空间、sRGB颜色空间、CMK颜色空间、CMYK颜色空间、CMYG颜色空间等其他颜色空间(由n(n≥3)种颜色成分定义的颜色空间)的像素数据转换为比该颜色空间低维的颜色空间(由m(n>m≥2)种颜色成分定义的颜色空间)的像素数据而得的成分,也能够进行与各个颜色空间对应的、关于与上述的实施方式不同的对象疾病(胃的萎缩或大肠肿瘤等)的评价。
作为在电子内窥镜系统1中使用的光源,能够使用各种类型的光源。另一方面,依赖于电子内窥镜系统1的观察目的等,也可能有使光源的类型设为限定性类型的方式(例如,作为光源的类型而将激光除外等)。这里,校正矩阵系数的最佳值根据使用光源的分光特性而变化。因此,例如在处理器200具备多种光源的情况(或者切换使用多种外部光源的情况)下,也可以将每个光源种类的校正矩阵系数保存在存储器222中。由此,抑制了由使用光源的分光特性引起的评价结果差异。
另外,在上述的实施方式中,算出将基准点O’和像素对应点连接的线段L与血红蛋白变化轴AX1所成的角度θ,并基于算出的角度θ来进行关于对象疾病的评价,但本发明不限于此。例如,也可以算出线段L与粘膜变化轴AX2所成的角度并基于算出的角度来进行关于对象疾病的评价。在该情况下,算出角度越小,G成分相对于R成分越强,表示炎症部位的重症度越低;算出角度越大,R成分相对于G成分越强,表示炎症部位的重症度越高。
另外,在上述的实施方式中,为了极力抑制由拍摄图像的亮度引起的对炎症评价值的影响,将血红蛋白变化轴AX1与粘膜变化轴AX2的交点设定为基准点O’,但本发明不局限于此。例如,也可以将位于粘膜变化轴AX2上的RG平面的原点(0,0)设定为基准点O’。在该情况下,最低限度需要的基准轴是一轴(粘膜变化轴AX2)就够了,所以处理负荷变轻,处理速度提高。
另外,在上述的实施方式中,光源装置230与电子内窥镜用处理器200一体设置,但是,光源装置230也可以作为与电子内窥镜用处理器200分体的装置而设置。
另外,作为固体摄像元件108,也可以使用CMOS(互补金属氧化物半导体)图像传感器来代替CCD图像传感器。CMOS图像传感器一般具有与CCD图像传感器相比图像整体变暗的倾向。因此,由上述实施方式的结构所带来的、能够抑制由图像的亮度引起的评价值变动这样的有利效果在使用CMOS图像传感器作为固体摄像元件的情况下得以更显著地显现。
为了高精度地进行诊断,优选得到高精细的图像。因此,在使电子内窥镜系统1诊断的精度进一步提高的观点而言,图像的分辨率优选为100万像素以上,更优选为200万像素,进一步优选为800万像素以上。图像的分辨率越高,用于对所有像素进行上述的评价值计算的处理负荷越重。但是,根据上述实施方式的结构,能够抑制评价值计算的处理负荷,因此在处理高精细的图像的情况下由本实施方式的结构所带来的有利效果得以显著地显现。
另外,在本实施方式中,虽然使用了具有R、G、B的拜耳排列滤色片108b的固体摄像元件108,但也可以使用具有补色系的Cy(青色)、Mg(品红色)、Ye(黄色)、G(绿色)的滤光片的固体摄像元件。
附图标记的说明
1…电子内窥镜系统;100…电子镜;200…电子内窥镜用处理器;220…图像处理单元;220a…RGB转换部;220b…颜色空间转换部;220c…颜色校正部;220d…相关值算出部;220e…评价值算出部;220f…评价图像创建部;222…存储器;224…图像存储器;300…显示器;400…打印机;600…服务器。
Claims (12)
1.一种电子内窥镜用处理器,具备:
转换单元,将n设为3以上的自然数,将m设为2以上的自然数,将由n种颜色成分组成的构成体腔内的生物体组织的彩色图像的各像素数据转换为由比n种少的m种颜色成分组成的像素数据;
相关值算出单元,在由所述m种颜色成分定义的颜色平面内设定有通过预定的基准点的关于对象疾病的基准轴,针对所述彩色图像的各像素,根据将所述基准点和对应于转换后的所述像素数据的像素对应点连接的线段与所述基准轴所成的角度,来对每个像素算出与关于该对象疾病的预定的基准的相关值;以及
评价值算出单元,对各像素中的已算出的所述相关值进行累计,将通过累计而得到的相关值的总和作为关于所述对象疾病的评价值。
2.根据权利要求1所述的电子内窥镜用处理器,其中,
所述相关值为第一值以下且第二值以上,
在所述角度为预定角度以下的范围内,所述角度越小则所述相关值越接近所述第一值,
在所述角度大于所述预定角度的范围内,所述相关值成为所述第二值。
3.根据权利要求2所述的电子内窥镜用处理器,其中,
所述相关值为标准化后的值,
所述第一值为1,所述第二值为0。
4.根据权利要求1至3中任一项所述的电子内窥镜用处理器,其中,
所述基准轴是关于所述对象疾病的症状等级越高而被转换后的所述像素对应点越收敛的轴。
5.根据权利要求1至3中任一项所述的电子内窥镜用处理器,其中,
转换后的所述像素数据的m种颜色成分包含R成分、G成分和B成分中的至少两种。
6.根据权利要求1至3中任一项所述的电子内窥镜用处理器,其中,
转换后的所述像素数据的m种颜色成分包含R成分、G成分和B成分中的任意一种颜色成分。
7.根据权利要求1至3中任一项所述的电子内窥镜用处理器,其中,
所述颜色平面为包含R成分的轴和G成分的轴的平面。
8.根据权利要求1至3中任一项所述的电子内窥镜用处理器,其中,
所述相关值为表示体腔内的生物体组织的粘膜的炎症的强度的程度的值。
9.一种电子内窥镜用处理器,具备:
相关值算出单元,将n设为3以上的自然数,将m设为2以上的自然数,在由n种颜色成分的体腔内的生物体组织的彩色图像的像素数据中的比n种少的m种颜色成分定义的颜色空间内,设定有从预定的基准点观察的关于对象疾病的基准方向,针对所述彩色图像的各像素,根据所述颜色空间中的对应于所述像素数据的像素对应点从所述基准点观察的方向与所述基准方向偏离的程度,来算出与关于所述对象疾病的预定的基准状态的相关值;以及
评价值算出单元,对各像素中的已算出的所述相关值进行累计,将通过累计而得到的相关值的总和作为关于所述对象疾病的评价值。
10.根据权利要求9所述的电子内窥镜用处理器,其中,
所述相关值为表示体腔内的生物体组织的粘膜的炎症的强度的程度的值。
11.一种电子内窥镜系统,具备:
权利要求1至10中任一项所述的电子内窥镜用处理器;
电子镜,生成所述彩色图像的数据并输出到所述电子内窥镜用处理器;以及
显示装置,构成为显示由所述电子内窥镜用处理器求出的所述评价值。
12.根据权利要求11所述的电子内窥镜系统,其中,
所述电子内窥镜用处理器具备:
颜色置换单元,将所述彩色图像的各像素的颜色置换为与各像素的所述相关值对应的颜色;以及
显示控制单元,使由置换了颜色的各像素构成的颜色映射图像显示于所述显示装置的显示画面,
所述显示装置构成为同时显示所述评价值和所述颜色映射图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-169232 | 2016-08-31 | ||
JP2016169232 | 2016-08-31 | ||
PCT/JP2017/031125 WO2018043551A1 (ja) | 2016-08-31 | 2017-08-30 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109310299A CN109310299A (zh) | 2019-02-05 |
CN109310299B true CN109310299B (zh) | 2019-11-01 |
Family
ID=61309408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780035202.1A Active CN109310299B (zh) | 2016-08-31 | 2017-08-30 | 电子内窥镜用处理器以及电子内窥镜系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10646102B2 (zh) |
JP (1) | JP6433634B2 (zh) |
CN (1) | CN109310299B (zh) |
DE (1) | DE112017002933B4 (zh) |
WO (1) | WO2018043551A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019159435A1 (ja) | 2018-02-13 | 2019-08-22 | Hoya株式会社 | 内視鏡システム |
CN111387910B (zh) * | 2018-12-13 | 2023-04-07 | 杭州海康慧影科技有限公司 | 一种用于内窥镜辅助检查的方法和装置 |
WO2020166697A1 (ja) * | 2019-02-14 | 2020-08-20 | 大日本印刷株式会社 | 医療機器用色修正装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1828432A (zh) * | 2005-02-28 | 2006-09-06 | 村田机械株式会社 | 颜色判断装置及颜色判断方法 |
CN104116485A (zh) * | 2013-04-26 | 2014-10-29 | Hoya株式会社 | 损伤评估信息生成器及其方法 |
CN104540438A (zh) * | 2012-07-17 | 2015-04-22 | Hoya株式会社 | 图像处理装置和内窥镜装置 |
CN105705075A (zh) * | 2013-10-28 | 2016-06-22 | 富士胶片株式会社 | 图像处理装置及其工作方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4534340B2 (ja) * | 2000-10-31 | 2010-09-01 | ソニー株式会社 | 色再現補正装置 |
US7319781B2 (en) * | 2003-10-06 | 2008-01-15 | Carestream Health, Inc. | Method and system for multiple passes diagnostic alignment for in vivo images |
JP5006759B2 (ja) | 2007-10-29 | 2012-08-22 | Hoya株式会社 | 電子内視鏡用信号処理装置および電子内視鏡装置 |
JP5380973B2 (ja) * | 2008-09-25 | 2014-01-08 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
JP5581237B2 (ja) * | 2011-01-24 | 2014-08-27 | Hoya株式会社 | 画像処理装置、電子内視鏡用プロセッサ装置、画像処理装置の作動方法および画像処理用コンピュータプログラム |
JP6067264B2 (ja) * | 2012-07-17 | 2017-01-25 | Hoya株式会社 | 画像処理装置及び内視鏡装置 |
JP6367683B2 (ja) * | 2014-10-21 | 2018-08-01 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
-
2017
- 2017-08-30 US US16/308,452 patent/US10646102B2/en active Active
- 2017-08-30 DE DE112017002933.3T patent/DE112017002933B4/de active Active
- 2017-08-30 CN CN201780035202.1A patent/CN109310299B/zh active Active
- 2017-08-30 JP JP2018537337A patent/JP6433634B2/ja active Active
- 2017-08-30 WO PCT/JP2017/031125 patent/WO2018043551A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1828432A (zh) * | 2005-02-28 | 2006-09-06 | 村田机械株式会社 | 颜色判断装置及颜色判断方法 |
CN104540438A (zh) * | 2012-07-17 | 2015-04-22 | Hoya株式会社 | 图像处理装置和内窥镜装置 |
CN104116485A (zh) * | 2013-04-26 | 2014-10-29 | Hoya株式会社 | 损伤评估信息生成器及其方法 |
CN105705075A (zh) * | 2013-10-28 | 2016-06-22 | 富士胶片株式会社 | 图像处理装置及其工作方法 |
Also Published As
Publication number | Publication date |
---|---|
DE112017002933T8 (de) | 2019-03-21 |
DE112017002933B4 (de) | 2020-09-17 |
WO2018043551A1 (ja) | 2018-03-08 |
US10646102B2 (en) | 2020-05-12 |
JPWO2018043551A1 (ja) | 2019-01-10 |
US20190343369A1 (en) | 2019-11-14 |
DE112017002933T5 (de) | 2019-03-14 |
CN109310299A (zh) | 2019-02-05 |
JP6433634B2 (ja) | 2018-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11701032B2 (en) | Electronic endoscope processor and electronic endoscopic system | |
CN107072509B (zh) | 内窥镜系统以及评价值计算装置 | |
CN107529957B (zh) | 修正数据生成方法以及修正数据生成装置 | |
US11571108B2 (en) | Evaluation value calculation device and electronic endoscope system | |
US11436728B2 (en) | Endoscope system | |
CN109310299B (zh) | 电子内窥镜用处理器以及电子内窥镜系统 | |
US11521319B2 (en) | Endoscope system | |
JP6591688B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
CN106687023B (zh) | 评价值计算装置以及电子内窥镜系统 | |
US10702127B2 (en) | Endoscope system and evaluation value calculation device | |
JP6926242B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
US20220409029A1 (en) | Endoscope and endoscope system | |
JP2018011797A (ja) | 補正効果確認方法及び指標 | |
JP2018011796A (ja) | キャリブレーション方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |