CN106102557A - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN106102557A
CN106102557A CN201680000516.3A CN201680000516A CN106102557A CN 106102557 A CN106102557 A CN 106102557A CN 201680000516 A CN201680000516 A CN 201680000516A CN 106102557 A CN106102557 A CN 106102557A
Authority
CN
China
Prior art keywords
pixel
reliability
scoring
image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680000516.3A
Other languages
English (en)
Other versions
CN106102557B (zh
Inventor
池本洋祐
水口直志
小师敦
橘俊雄
太田纪子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN106102557A publication Critical patent/CN106102557A/zh
Application granted granted Critical
Publication of CN106102557B publication Critical patent/CN106102557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明提供一种图像处理装置，其具备：图像数据获取单元，其获取由拍摄有生物体组织的多个图像数据构成的彩色动态图像数据；评分计算单元，其基于图像数据，对每个像素计算表示拍摄在图像数据所表示的图像上的生物体组织的病变的重症度的评分；可靠性评价单元，其基于图像数据评价评分的可靠性；评分可靠度计算单元，其计算表示图像数据的全像素中评分具有规定的可靠性的像素的比例的评分可靠度。

Description

图像处理装置
技术领域
本发明涉及处理生物体组织的图像的图像处理装置。
背景技术
已知有分析内窥镜图像的颜色信息，得到与作为被摄体的生物体组织的状态相关的信息(以下称作“生物体信息”。)的内窥镜装置。
专利第5302984号公报(以下记为0“专利文献1”。)中记载有生成将与血中血红蛋白的氧饱和度相关的信息图像化的氧饱和度图像的内窥镜系统。专利文献1的内窥镜系统中，根据交互使用波长光谱不同的2种照明光(白色光和窄频带的氧饱和度测定光)连续地拍摄到的2帧的颜色信号的关系对每个像素求氧饱和度，生成以与氧饱和度相关的色差信号(疑似彩色)表示的氧饱和度图像。另外，专利文献1的内窥镜系统中，根据上述2帧的颜色信号的关系对每个像素计算氧饱和度的可靠度，并根据可靠度来决定疑似彩色的饱和度。
发明内容
专利文献1的内窥镜系统中，只不过是对每个像素评价/显示生物体信息的可靠性，而未进行适于图像整体的可靠性(即拍摄条件的好坏)的图像处理。
本发明是鉴于上述情况而创立的，其目的在于提供一种图像处理装置，能够进行与图像整体上的生物体信息的可靠性相对应的图像处理。
根据本发明的一实施方式，提供一种图像处理装置，其具备：图像数据获取单元，其获取由拍摄有生物体组织的多个图像数据构成的彩色动态图像数据；评分计算单元，其基于图像数据，对每个像素计算表示拍摄在该图像数据所表示的图像上的生物体组织的病变的重症度的评分；可靠性评价单元，其基于图像数据评价评分的可靠性；评分可靠度计算单元，其计算表示图像数据的全像素中评分具有规定的可靠性的像素的比例的评分可靠度。
所述的图像处理装置中，也可以为如下结构，可靠性评价单元具备基于像素值来判定是否是晕光的像素的晕光判定单元，将判定为晕光的像素的像素从评分具有规定的可靠性的像素中除去。
所述的图像处理装置中，也可以为如下结构，可靠性评价单元具备基于像素值来判定是否是暗部的像素的暗部判定单元，将判定为暗部的像素的像素从评分具有规定的可靠性的像素中除去。
由于亮度过高或过低的像素的颜色信息的精度低，所以评分的可靠性也低。通过设置判定晕光的发生部或暗部的像素的单元，并将判定为晕光的发生部或暗部的像素分类为缺乏评分的可靠性的像素，能够进行适当的可靠性的评价。
所述的图像处理装置中，也可以为如下结构，具备将图像数据的像素值转换成HSI(Heu-Saturation-Intensity)空间的像素值的色彩空间转换单元，可靠性评价单元基于从色彩空间转换单元输出的像素的亮度来评价评分的可靠性。
评分的可靠性的计算需要亮度信息，因此，通过使用在HSI空间上表现的图像数据，评分的可靠性的计算变得容易。
所述的图像处理装置中，也可以为如下结构，可靠性评价单元具备基于像素值来判定哪个颜色通道是饱和的饱和像素的饱和判定单元，将判定为饱和像素的像素从评分具有规定的可靠性的像素除去。
根据该结构，由于基于目前未考虑到的颜色通道的饱和来评价评分的可靠性，所以能够更精密地进行适当的可靠性的评价。
所述的图像处理装置中，也可以为如下结构，饱和判定单元具备基于像素值对饱和的颜色通道数进行计数的饱和通道数计数单元，将饱和的颜色通道数为规定数以上的像素判定为饱和像素。
所述的图像处理装置中，也可以为如下结构，具备在图像上标注表示评分的分布的标记的标记单元，标记单元根据评分可靠度变更标记的样式。
根据该结构，能够进行适于评分可靠度的评分分布的显示。
所述的图像处理装置中，也可以为如下结构，标记单元进行将病变部的像素的颜色变更为与评分相对应的颜色的第一彩色绘图。
所述的图像处理装置中，也可以为如下结构，标记单元将评分的可靠性低的像素局部存在的图像的区域从进行第一彩色绘图的区域除去。
根据该结构，消减了第一彩色绘图所需的计算量。
所述的图像处理装置中，也可以为如下结构，标记单元通过评分具有规定的可靠性的像素和不具有该可靠性的像素，使用分别不同的颜色进行第一彩色绘图。
根据该结构，得到能够更直观地把握可靠性的有无和评分的彩色图像。
所述的图像处理装置中，也可以为如下结构，标记单元进行在图像中于评分为规定值以上的区域上标注标记的第一种简易标记处理。
根据该结构，能够以少的计算量进行能够容易地把握可靠性的有无或评分的分布的标记
所述的图像处理装置中，也可以为如下结构，标记是符号或图形，标记单元根据评分变更标记的大小、颜色及种类的至少之一。
所述的图像处理装置中，也可以为如下结构，第一种简易标记处理在评分为规定值以上的区域的重心、或评分为最大的像素上标注单一的标记。
所述的图像处理装置中，也可以为如下结构，第一种简易标记处理在评分为规定值以上的区域标注多个标记。
所述的图像处理装置中，也可以为如下结构，第一种简易标记处理以多个标记相互不重合的方式进行。
所述的图像处理装置中，也可以为如下结构，第一种简易标记处理在评分为规定值以上的像素上标注与评分相对应的大小的标记。
所述的图像处理装置中，也可以为如下结构，标记单元进行在图像中以包围评分高的区域的方式标注标记的第二种简易标记处理。
所述的图像处理装置中，也可以为如下结构，标记为包围评分高的区域的环、或以包围评分高的区域的方式排列的多个符号或图形。
所述的图像处理装置中，也可以为如下结构，具备显示评分的可靠性的评价结果的可靠性显示单元。
所述的图像处理装置中，也可以为如下结构，可靠性显示单元具备显示评分可靠度的评分可靠度显示单元。
所述的图像处理装置中，也可以为如下结构，可靠性显示单元具备显示与暗部的像素的数量相关的信息的暗部信息显示单元。
所述的图像处理装置中，也可以为如下结构，可靠性显示单元具备显示与晕光的像素的数量相关的信息的晕光信息显示单元。
所述的图像处理装置中，也可以为如下结构，可靠性显示单元具备显示与饱和的颜色通道的数量相关的信息的饱和信息显示单元。
所述的图像处理装置中，也可以为如下结构，饱和信息显示单元进行将像素的颜色变更为与饱和的颜色通道的数量相对应的颜色的第二彩色绘图。
所述的图像处理装置中，也可以为如下结构，饱和信息显示单元使用与第一彩色绘图不同的颜色进行第二彩色绘图。
所述的图像处理装置中，也可以为如下结构，标记单元使用有彩色进行第一彩色绘图，饱和信息显示单元使用无彩色进行第二彩色绘图。
所述的图像处理装置中，也可以为如下结构，基于图像的色彩平衡来判定拍摄条件的好坏。
所述的图像处理装置中，也可以为如下结构，图像是使用单一的宽频带照明光拍摄到的图像。
根据本发明的一实施方式，能够进行与图像整体上的生物体信息的可靠性相对应的图像处理。
附图说明
图1是表示本发明实施方式的电子内窥镜装置的概略结构的框图。
图2是表示与本发明实施方式的电子内窥镜装置的图像处理相关的电路的概略结构的框图。
图3是表示图像存储器的存储区域的概略结构的图。
图4是表示图像处理电路进行的处理的顺序的流程图。
图5是用于TE处理的增益曲线的一例。
图6是表示有效像素判定处理的顺序的流程图。
图7是表示病变判定处理的顺序的流程图。
图8是在HS坐标空间内绘制了生物体组织图像的像素值的散布图。
图9是表示评分计算处理的顺序的流程图。
图10是表示色调距离、饱和度距离和相关值的关系的图表。
图11是说明可靠性评价处理的顺序的流程图。
图12是表示标记处理S9的顺序的流程图。
图13是表示标记图像生成处理的顺序的流程图。
图14是通过标记图像生成处理生成的合成图像CP。
图15是通过显示画面生成处理生成的分析模式观察画面。
图16是第二实施方式的标记图像MP2(彩色图像)。
具体实施方式
以下，参照附图说明本发明的图像处理装置的实施方式。此外，以下，作为本发明的一实施方式，以电子内窥镜系统为例进行说明。
[电子内窥镜装置1整体的结构]
图1是表示本发明的电子内窥镜装置1的结构的框图。如图1所示，电子内窥镜装置1具备电子镜100、处理器200及监视器900。
处理器200具备系统控制器202及时序控制器204。系统控制器202执行存储于存储器212中的各种程序，并统一控制电子内窥镜装置1整体。另外，系统控制器202与操作面板214连接。系统控制器202根据由操作面板214输入的来自医生的指示而变更电子内窥镜装置1的各动作及用于各动作的参数。时序控制器204将调整各部分的动作的时刻的同步信号输出至电子内窥镜装置1内的各电路。
灯208在通过灯电源启动器206启动后，射出照射光L。灯208例如是氙灯、卤素灯、汞灯、金属卤素灯等高亮度灯或LED(发光二极管)。照射光L主要为具有从可见光区域扩展至不可见的红外光区域的光谱的宽频带光(或至少包含可见光区域的白色光)。
从灯208射出的照射光L通过聚光透镜210会聚于LCB(光导束)102的入射端面，并向LCB102内入射。
入射到LCB102内的照射光L在LCB102内传播，并从配置于电子镜100的前端的LCB102的射出端面射出，经由配光透镜104向被摄体进行照射。来自被照射光L照射的被摄体的返回光经由物镜106在固体拍摄元件108的受光面上形成光学图像。
固体拍摄元件108是补色方格色差线顺序方式(補色市松色差線順次方式)的单板式彩色CCD(电荷耦合装置)图像传感器。固体拍摄元件108对在受光面上成像的被摄体的光学图像进行拍摄，输出模拟拍摄信号。具体而言，固体拍摄元件108将由受光面上的各像素成像的光学图像作为与光量相对应的电荷蓄积，生成黄色Ye、青色Cy、绿色G、品红色Mg的颜色信号，将所生成的在垂直方向上相邻的两个像素的颜色信号相加并混合而得到扫描线，并将得到的上述扫描线依次输出。此外，固体拍摄元件108不限于CCD图像传感器，也可以代换为CMOS(互补金属氧化物半导体)图像传感器或其它种类的拍摄装置。固体拍摄元件108还可以是搭载有原色系滤光片(拜耳阵列滤光片)的元件。
在电子镜100的连接部内具备驱动器信号处理电路110。以半帧周期通过固体拍摄元件108向驱动器信号处理电路110输入由上述的扫描线构成的模拟拍摄信号。此外，在以后的说明中，“半帧”也可以替换为“帧”。本实施方式中，半帧周期、帧周期分别为1/60秒、1/30秒。驱动器信号处理电路110对由固体拍摄元件108输入的模拟拍摄信号实施规定的处理，并向处理器200的图像处理电路220输出。
驱动器信号处理电路110还访问存储器120并读出电子镜100的固有信息。存储器120中所记录的电子镜100的固有信息中包含例如固体拍摄元件108的像素数或敏感度、可动作的半帧速率、型号等。驱动器信号处理电路110将从存储器120读出的固有信息输出至系统控制器202。
系统控制器202基于电子镜100的固有信息进行各种运算，并生成控制信号。系统控制器202使用所生成的控制信号控制处理器200内的各种电路的动作及时刻，以进行适于与处理器200连接的电子镜的处理。
时序控制器204根据系统控制器202的时刻控制生成同步信号。驱动器信号处理电路110根据从时序控制器204供给的同步信号，以与处理器200生成的视频信号的半帧速率同步的时刻驱动控制固体拍摄元件108。
在系统控制器202的控制下，图像处理电路220基于从电子镜100输出的拍摄信号生成图像数据。另外，图像处理电路220使用所生成的图像数据生成监视器显示用的画面数据，并将该画面数据转换为规定的视频格式的视频信号并输出。视频信号被输入到监视器900，从而在监视器900的显示画面上显示被摄体的彩色图像。
图2是表示与电子内窥镜装置1的图像处理有关的电路的概略结构的框图。
驱动器信号处理电路110具备驱动电路112和AFE(模拟前端)114。驱动电路112基于同步信号生成固体拍摄元件108的驱动信号。AFE114对从固体拍摄元件108输出的模拟拍摄信号进行噪声除去、信号放大/增益修正及A/D转换，并输出数字拍摄信号。此外，本实施方式中，也可以为由固体拍摄元件108或图像处理电路220进行AFE114所进行的所有处理或一部分处理的结构。
图像处理电路220具备基本处理部220a、输出电路220b、TE(Tone Enhancement：色调增强)处理部221、有效像素判定部222、色彩空间转换部223、病变判定部224、评分计算部225、标记处理部226、图像存储器227、显示画面生成部228、存储器229及可靠性评价部230。有关图像处理电路220的各部分进行的处理将于后述。
图3是表示图像存储器227所具备的存储区域的概略结构的图。在本实施方式的图像存储器227中设有四个存储区域Pn、Pe、Pc、Pm。存储区域Pn是存储基本处理部220a所生成的通常观察图像数据N(表示通常观察图像NP的图像数据)的区域。此外，可以在存储区域Pn内存储连续生成的二个以上的通常观察图像数据N。另外，数据向存储区域Pn的写入/读出通过先入先出方式(FIFO)进行。存储区域Pe是存储TE处理部221所生成的TE图像数据E(显示TE图像EP的图像数据)的区域。存储区域Pm是存储标记处理部226所生成的标记图像数据M(表示标记图像MP的图像数据)的区域。存储区域Pc是存储将通常观察图像数据N(或TE图像数据E)和标记图像数据M进行了合成而得到的合成图像数据C(表示合成图像CP的图像数据)的区域。
另外，如图2所示，在存储器229中存储标识表FT、评分表ST、色调相关值表HCT、饱和度相关值表SCT、可靠性信息表CT及显示色表DCT。标识表FT及评分表ST是分别由表示与通常观察图像数据N的各像素(x，y)相关的分析结果的标识F(x，y)、评分Sc(x，y)构成的数值表。具体而言，标识F(x，y)是表示在对应的像素(x，y)上所拍摄的组织有无病变的参数，评分Sc(x，y)是表示该病变的重症度的参数。显示色表DCT是规定评分Sc(x，y)和后述的彩色图像(标记图像MP的一方式)的显示色(色码)的对应关系的数值表。后述色调相关值表HCT及饱和度相关值表SCT。
[基本处理S1]
接着，说明图像处理电路220进行的处理。
图4是表示图像处理电路220进行的处理的顺序的流程图。从AFE114输出的数字信号首先通过基本处理部220a进行一般的信号处理(基本处理S1)，生成通常观察图像数据N。
基本处理S1包含：将从AFE114输出的数字拍摄信号转换为亮度信号Y及色差信号Cb、Cr的处理；从亮度信号Y及色差信号Cb、Cr分离原色信号R、G、B的原色分离处理；除去偏置成分的钳位处理(クランプ処理)；使用周围像素的像素值修正缺陷像素的像素值的缺陷修正处理；将由单色的像素值构成的拍摄数据(RAW数据)转换为由全彩色的像素值构成的图像数据的去马赛克处理(デモザイク処理)(插值处理)；使用颜色矩阵修正拍摄元件的分光特性的线性矩阵处理；修正照明光的光谱特性的白平衡处理；补偿空间频率特性的劣化的轮廓修正等。
此外，本实施方式中，也可以设为由驱动器信号处理电路110或固体拍摄元件108进行基本处理部220a所进行的全部处理或一部分处理的结构。
由基本处理部220a生成的通常观察图像数据N被输入TE处理部221及可靠性评价部230，同时被存储于图像存储器227的存储区域Pn。
[动作模式判定处理S2]
接着，判断是否设定为图像分析模式(S2)。本发明的实施方式的图像分析模式是对图像数据的各像素分析颜色信息，基于规定的判定基准根据颜色信息的分析结果判定是否为拍下病变部的像素(以下称为“病变像素”。)，并识别显示病变像素的动作模式。所判定的病变的种类可根据检查内容来选择。以下说明的例子中，提取炎症性肠病(IBD)的病变即炎症(包含水肿或易出血性的红色病变)的观察图像所特有的色域的像素并进行识别显示。
此外，本实施方式的电子内窥镜装置1构成为在图像分析模式和通常观察模式这两个动作模式下进行动作。动作模式通过用户对电子镜100的操作部130或处理器200的操作面板214的操作进行切换。在设定为通常观察模式的情况下(S2：否)，处理进入S12。
[TE(色调增强)处理S3]
在选择图像分析模式的情况下(S2：是)，接着进行TE处理部221所进行的TE处理S3。TE处理S3是这样的处理，为了提高病变的判定精度，进行对通常观察图像数据N的各原色信号R、G、B提供非线性增益(收益)的增益调整，实质性扩展判定对象的病变所特有的色域(特别是其边界部)附近的动态范围，提高颜色表现的实效的分辨率。具体而言，在TE处理S3中进行如下处理：对各原色信号R、G、B提供图5所示的非线性的增益而取得原色信号R′、G′、B′(TE图像数据E)。例如，从图5的增益曲线来看，从溃疡所特有的色域的边界区域RA到炎症所特有的色域的边界区域RB，斜率变得陡峭。根据这样的增益曲线赋予增益，从边界区域RA到边界区域RB，能够扩展原色信号R′(对原色信号R实施了TE处理S3的信号)的实质的动态范围，可以进行更精确的阈值判定。
此外，通过TE处理S3，炎症部变红，溃疡部变白，正常部变绿。因此，在监视器900上显示通过TE处理S3生成的TE图像数据E时，与显示TE处理S3前的通常观察图像数据N的情况相比，能够容易地肉眼识别病变部(炎症部或溃疡部)。此外，上述的TE处理S3是可适用于本发明的色彩增强处理的一例，也可以代替TE处理S3而使用提高颜色的性质、具体而言提高色调或饱和度(或色度)的对比度的其它种类的色彩增强处理。
[有效像素判定处理S4]
TE处理S3完成后，接着对TE图像数据E进行有效像素判定部222所进行的有效像素判定处理S4。此外，也可以省略TE处理S3而对通常观察图像数据N进行有效像素判定处理S4。
图6是表示有效像素判定处理S4的顺序的流程图。有效像素判定处理S4是判定像素值是否适合图像分析的处理，对构成图像数据的所有像素(x，y)依次执行。在有效像素判定处理S4中，首先，对于各像素(x，y)，根据下述公式1，从TE图像数据E的原色信号R′(x，y)，G′(x，y)，B′(x，y)计算修正亮度int(x，y)(S41)。
【数学式1】
int(x，y)＝0.3*R′(x，y)+0.59*G′(x，y)+0.11*B′(x，y)
此外，计算出的修正亮度int(x，y)的值用于下面的适当曝光判定处理S42。另外，如公式1表明，修正亮度int(x，y)不是原色信号R′(x，y)，G′(x，y)，B′(x，y)的单纯平均，而是作为基于个人(医生)的相对可见度特性的加权平均可求出。
接着，基于处理S41中计算出的TE图像数据E的修正亮度int(x，y)及原色信号R′(x，y)，G′(x，y)，B′(x，y)，对于各像素(x，y)进行判定是否为适于图像分析的曝光等级的适当曝光判定处理S42。适当曝光判定处理S42中，在满足下面两个条件(公式2、公式3)的至少一方(或两方)的情况下，判定为适当曝光(S42：是)。此外，通过公式2规定修正亮度int(x，y)(整体的光量)的上限值，通过公式3规定各原色信号R′(x，y)，G′(x，y)，B′(x，y)的下限值。
【数学式2】
int(x，y)＜235
【数学式3】
Max{R′(x，y)，G′(x，y)，B′(x，y)}＞20
对于像素(x，y)，如果满足公式2或公式3(或者公式2及公式3)而判定为适当曝光(S42：是)，则有效像素判定部222将与存储于存储器229的标识表FT的像素(x，y)相对应的标识F(x，y)的值改写为“1”(S43)。
此外，标识F(x，y)取0～2中任一个标识值。各标识值的定义如下。
0：像素数据无效
1：正常或未判定(像素数据有效)
2：病变(炎症)
另外，在适当曝光判定处理S42中，在既不满足公式2也不满足公式3的条件(或者不满足任一个条件)而判定为曝光不适当时(S42：否)，有效像素判定部222将标识F(x，y)的值改写为“0”(S44)。
接着，在处理S45中判定是否完成了对所有的像素(x，y)的处理。重复上述的处理S41～S45直到所有的像素(x，y)的处理均完成为止。
[色彩空间转换处理S5]
如果有效像素判定处理S4完成，则接着通过色彩空间转换部223对TE图像数据E进行色彩空间转换处理S5。色彩空间转换处理S5是将由RGB3原色定义的RGB空间的像素值转换为由色调(Hew)/饱和度(Saturation)/亮度(Intensity)的3要素定义的HSI(Heu-Saturation-Intensity)空间的像素值的处理。具体而言，在色彩空间转换处理S5中，将TE图像数据E的各像素(x，y)的原色信号R′(x，y)、G′(x，y)、B′(x，y)转换为色调H(x，y)、饱和度S(x，y)、亮度I(x，y)。
另外，曝光不足或过剩的像素(x，y)的数据的精度低，会降低分析结果的可靠性。因此，色彩空间转换处理S5仅对将标识F(x，y)的值设定为“1”(即在上述的有效像素判定处理S4中判定为适当曝光)的像素(x，y)进行。
由色彩空间转换部223生成的各像素(x，y)的色调H(x，y)、饱和度S(x，y)及亮度I(x，y)构成的判定用图像数据J{H(x，y)、S(x，y)、I(x，y)}被输入病变判定部224。
[病变判定处理S6]
如果色彩空间转换处理S5完成，则接下来通过病变判定部224进行使用了判定用图像数据J的病变判定处理S6。病变判定处理S6是对于内窥镜图像的各像素(x，y)，根据判定用图像数据J被绘制在HS空间(色调－饱和度空间)内的后述的区域α还是区域β(图8)来判定拍摄在该像素上的生物体组织的状态(是否为炎症部)的处理。此外，HS空间与色度空间同样地，是表示颜色性质(除明亮度/亮度以外的颜色的要素)的空间。例如，在CIE1976L*a*b*色彩空间等的其它色彩空间上进行图像分析时，病变判定部224在色度空间(例如a*b*空间)上进行。
图7是表示病变判定处理S6的顺序的流程图。病变判定处理S6对构成图像数据的所有的像素(x，y)依次进行。在病变判定处理S6中，首先，参照标识表FT判断各像素(x，y)的数据是否有效(S61)。如果标识F(x，y)的值为“1”(像素数据有效)，则接下来进行炎症判定处理S62。另外，如果标识F(x，y)的值为“0”(像素数据无效)，则不进行炎症判定处理S62而进入处理S64。
在此，说明炎症判定处理S62。图8是在HS空间内绘制了从多个炎症性肠病患者的内窥镜图像数据取得的判定用图像数据J的散布图。
图8的散布图被区分为由右侧下方的虚线包围的区域β、和其以外的区域α。根据本发明者的研究判明了，被熟练掌握炎症性肠病的内窥镜诊断的医生判断为炎症部的部位的像素的大部分被绘制于区域β，被判断为非炎症部的部位的像素的大部分被绘制于区域α。这意味着，根据拍摄生物体组织得到的内窥镜观察图像的色调(颜色的色调)和饱和度(鲜明度)这两个信息，能够非常可靠地判别生物体组织的状态(有无炎症)。
在炎症判定处理S62中，判定各像素(x，y)的判定用图像数据J{(H(x，y)，S(x，y)}是否绘制在图8的区域β中。具体而言，在满足以下的公式4及公式5这两方的情况下，判定用图像数据J{(H(x，y)，S(x，y)}绘制在区域β中(即，判定为炎症部的像素)。另外，在不满足公式4及公式5的至少一方的情况下，判定用图像数据J{(H(x，y)，S(x，y)}绘制在区域α中(即，判定为非炎症部的像素)。此外，δS1、δH1及δH2是医生可设定的修正值，通过设定这些修正值，能够适宜调整判定的严苛度(敏感度)等。
【数学式4】
130+δS1≤S(x，y)
【数学式5】
60+δH1≤H(x，y)≤100+δH2
在像素(x，y)的判定用图像数据J{(H(x，y)，S(x，y)}被绘制在区域β中时(S62：是)，对应于像素(x，y)的标识F(x，y)的值被改写为“2”(炎症)(S63)，进入处理S64。另外，判定用图像数据J{H(x，y)，S(x，y)}未被绘制在区域β中时(S62：否)，标识F(x，y)不被改写而进入处理S64。
在处理S64中，判定是否完成对所有的像素(x，y)的处理。重复上述的处理S61～S64，直至所有的像素(x，y)的处理完成为止。
[评分计算：S7]
如果病变判定处理S6完成，则接下来进行评分计算处理S7。评分计算处理S7是基于判定用图像数据J的像素值来计算病变部的重症度的评价值即评分Sc(x，y)的处理。评分计算处理S7对所有的像素(x，y)依次进行。此外，以下所说明的评分计算的算法是一例，本发明可适用于通过各种算法算出的评分的画面显示。
[评分计算的原理]
在此，简单说明本实施方式的评分计算的原理。已知炎症随着血管的扩张及血浆成分向血管外的漏出等的发展，症状越重，则表面的正常粘膜脱落越厉害，症状部的颜色就越接近血液的颜色。因此，炎症部的颜色和血液的颜色的相关程度(后述的相关值CV)成为显示炎症部的重症度的优良的指标。本实施方式中，计算各像素(x，y)的判定用图像数据J{H(x，y)、S(x，y)}和血液的颜色(色调、饱和度)的相关值CV(x，y)，将其作为显示炎症部的重症度的评分Sc(x，y)使用。
[病变部的判定：S71]
图9是表示评分计算处理S7的顺序的流程图。在评分计算处理S7中，首先读出标识表FT，判断对应于像素(x，y)的标识F(x，y)的值是否为“2”(炎症)(S71)。
在标识F(x，y)的值为“2”(炎症)的情况下，即像素(x，y)为病变像素的情况下(S71：是)，处理进入S72。另外，在像素(x，y)不是病变像素的情况下(S71：否)，处理进入S79。
[饱和度的修正：S72]
已知血液和包含血液的生物体组织的图像的饱和度依赖于亮度。具体而言，亮度和饱和度具有负的相关，亮度越亮，饱和度越低。在S72中，使用本发明者所开发的以下的修正式(公式6)来修正判定用图像数据J(x，y)的亮度I(x，y)带来的饱和度S(x，y)的变动。通过该修正，能够提高评分计算的精度。
【数学式6】
I c o r r . ( x , y ) S c o r r . ( x , y ) = c o s θ - sin θ s i n θ cos θ I ( x , y ) S ( x , y ) + I r e f S r e f
其中，
Icorr.(x,y)：判定用图像数据J的修正后的亮度
Scorr.(x,y)：判定用图像数据J的修正后的饱和度
Iref：作为基准值的血样数据的亮度
Sref：作为基准值的血样数据的饱和度
θ：赋予血样数据的亮度值和饱和度值的相关系数(cosθ)的角度
此外，血样的饱和度和亮度的相关系数(实测值)为－0.86，应用θ＝149.32(deg)。
[色调距离DHUE的计算：S73]
接着，通过公式7计算色调距离DHUE(x，y)(S73)。色调距离DHUE是以血样数据的色调Href为基准的、判定用图像数据J(x，y)的色调的相对值。
【数学式7】
DHUE(x，y)＝H(x，y)-Href
[色调相关值HCV的确定：S74]
接着，根据色调距离DHUE(x，y)确定色调相关值HCV(x，y)(S74)。色调相关值HCV(x，y)是与炎症部的重症度具有强的相关的参数。图10(a)是图示色调距离DHUE和色调相关值HCV的关系的图表。色调距离DHUE在±30°以内的范围(以下称作“色调近似范围R11”。)内与炎症部的重症度具有强的相关，在其以外的范围(以下称作“色调近似外范围R12”。)内几乎没有相关。因此，本实施方式的色调相关值HCV(x，y)在色调近似外范围R12被设定为最小值的0.0，在色调近似范围R11内被设定为色调距离DHUE(x，y)越接近0°越线性增加。另外，色调相关值HCV(x，y)被标准化为最小值为0.0，最大值为1.0。
图10(a)所示的色调距离DHUE和色调相关值HCV的关系作为色调相关值表HCT存储于存储器229。通过参照色调相关值表HCT，取得与色调距离DHUE(x，y)相对应的色调相关值HCV(x，y)。
[饱和度距离DSAT的计算：S75]
接着，通过公式8计算饱和度距离DSAT(x，y)(S75)。饱和度距离DSAT(x，y)是以血样数据的饱和度Sref为基准的、判定用图像数据J(x，y)的饱和度的相对值。
【数学式8】
DSAT(x，y)＝Scorr.(x，y)-Sref
[饱和度相关值SCV的确定：S76]
接着，根据饱和度距离DSAT(x，y)确定饱和度相关值SCV(x，y)(S76)。饱和度相关值SCV(x，y)也是与炎症部的重症度具有强的相关的参数。图10(b)是图示饱和度距离DSAT与饱和度相关值SCV的关系的图表。饱和度距离DSAT在规定值以上的负的范围(以下称作“饱和度近似范围R22”。)内与炎症部的重症度具有强的相关，在负的规定值以下的范围(以下称作“饱和度近似外范围R23”。)内几乎没有相关。另外，可以认为是在饱和度距离DSAT为零以上的范围，即病变像素的饱和度为血样数据的饱和度Sref以上的范围(以下称作“饱和度一致范围R21”。)内，重症度极高。因此，本实施方式的饱和度相关值SCV(x，y)在饱和度一致范围R21被设定为最大值的1.0，在饱和度近似外范围R23被设定为最小值的0.0，被设定为在饱和度近似范围R22线性增加。另外，饱和度相关值SCV(x，y)也是标准化为最小值为0.0、最大值为1.0的值。
图10(b)所示的饱和度距离DSAT与饱和度相关值SCV的关系作为饱和度相关值表SCT存储于存储器229。通过参照饱和度相关值表SCT，取得与饱和度距离DSAT(x，y)相对应的饱和度相关值SCV(x，y)。
[相关值CV的计算：S77]
接着，通过将色调相关值HCV(x，y)与饱和度相关值SCV(x，y)相乘，得到病变像素(x，y)的颜色和血液的颜色的相关值CV(x，y)。此外，相关值CV(x，y)也是标准化为最小值为0.0、最大值为1.0的值。另外，相关值CV(x，y)以每0.1的点刻度被区分为11段。
[评分Sc更新：S78]
另外，由于相关值CV(x，y)为炎症的重症度的优良指标，所以评分表ST的评分Sc(x，y)的值通过相关值CV(x，y)改写(S78)。
[评分Sc更新：S79]
另外，在像素(x，y)不是病变像素的情况下(S71：否)，不进行上述的相关值CV(x，y)的计算，并将评分表ST的评分Sc(x，y)的值改写为“0”(S79)。由此，可以以少的计算量对所有的像素(x，y)赋予评分Sc(x，y)。
在处理S80中，判定是否完成对所有的像素(x，y)的处理。重复上述的处理S71～S80，直至所有的像素(x，y)的处理完成为止。
[可靠性评价：S8]
评分计算处理S7之后，进行可靠性评价部230所进行的可靠性评价处理S8。
在此，说明本发明实施方式的可靠性评价处理S8的概要。如上述，评分Sc(x，y)基于TE图像EP的颜色信息计算出。因此，评分Sc(x，y)的精度依赖于TE图像EP的颜色信息的精度，根据颜色信息的精度低的像素值算出的评分Sc(x，y)为精度低的评分。
通常，彩色图像的颜色在亮度为中等程度时最为鲜艳(颜色信息多)，亮度越低，另外亮度越高，则饱和度越低(颜色信息減少)。即，彩色图像的颜色信息的精度受亮度的影响。在亮度过高时(典型而言，产生了晕光的情况下)或相反亮度过低时，彩色图像的饱和度显著降低，且被拍摄在彩色图像上的被摄体的颜色信息的精度也显著降低。另外，颜色信息的精度也因颜色通道(颜色成分)的饱和(颜色成分的值取最大值或大致最大值)而降低。
此外，本说明书中，颜色通道是指由彩色图像的像素值的各颜色成分(例如RGB彩色图像中的R(x，y)、G(x，y)、B(x，y))、或颜色成分之一构成的灰度图像。
精度(可靠性)低的评分Sc(x，y)会成为诊断的妨碍，因此，期望不提示给用户(医护人员)，或者与可靠性的信息一同提示给用户。
因此，本实施方式的可靠性评价处理S8中，基于评分Sc(x，y)的计算所使用的判定用图像数据J{H(x，y)，S(x，y)，I(x，y)}及TE图像数据E{R′(x，y)，G′(x，y)，B′(x，y)}，来评价各像素的评分Sc(x，y)的可靠性(即，基于内窥镜图像的色彩平衡来判定拍摄条件的好坏)。
图11是说明可靠性评价处理S8的顺序的流程图。可靠性评价处理S8对所有的像素(x，y)依次进行。
[低亮度判定：S81]
在可靠性评价处理S8中，首先，进行判定是否是低亮度的低亮度判定处理S81。具体而言，判定亮度I(x，y)的值是否低于规定的低亮度基准值(例如0.3)。在亮度I(x，y)的值低于低亮度基准值时(S81：是)，可能会成为颜色信息的精度过低的暗部，因此，接着进行色调判定处理S82。另外，在亮度I(x，y)的值为低亮度基准值以上时(S81：否)，接着进行高亮度判定处理S84。
[色调判定：S82/暗部登记：S83]
在色调判定处理S82中，判定色调H(x，y)的值是否在规定的正常范围内(例如60～270°)。该正常范围是红色调的通常的内窥镜图像的色调的分布范围。在色调H(x，y)的值不在正常范围内的情况下(即，色调偏离红色的情况下)，可认为由于为低亮度而色调H(x，y)的精度显著降低。因此，在色调H(x，y)的值低于60°或超过270°的情况下(S82：否)，将该像素(x，y)判定为“暗部”的像素，进行在可靠性信息表CT中登记“暗部”的判定结果的暗部登记(S83)。
另外，如果色调H(x，y)的值在60°以上且270°以下的正常范围内(S82：是)，则接着进行高亮度判定处理S84。
如上，通过低亮度判定处理S81及色调判定处理S82，判定该像素(x，y)是否为“暗部”的像素。
[高亮度判定：S84]
在高亮度判定处理S84中，判定是否为高亮度的像素。具体而言，判定亮度I(x，y)的值是否超过规定的高亮度基准值(例如0.8)。在亮度I(x，y)的值超过高亮度基准值的情况下(S84：是)，可能是颜色信息的精度过低的晕光部，所以接着进行饱和度判定处理S85。另外，在亮度I(x，y)的值为高亮度基准值以下的情况下(S84：否)，接着进行处理S86。
[饱和度判定：S85/晕光登记：S87]
在饱和度判定处理S85中，判定饱和度S(x，y)的值是否在规定的正常范围内(例如0.3～0.7)。该正常范围是通常的内窥镜图像的饱和度的分布范围。如果饱和度S(x，y)的值不在正常范围内，可认为由于为高亮度而饱和度S(x，y)的精度显著降低。因此，在饱和度S(x，y)的值低于0.3或超过0.7的情况下(S85：否)，将该像素(x，y)判定为“晕光”的像素(即产生了晕光的部分的像素)，进行在可靠性信息表CT中登记“晕光”的判定结果的晕光登记(S87)。
另外，如果饱和度S(x，y)的值在0.3以上且0.7以下的正常范围内(S85：是)，则接着进行处理S86。
[颜色通道饱和判定：S86/饱和颜色通道数量登记：S88]
在处理S86中，检测TE图像数据E中的饱和的颜色通道的数量，判定所有的颜色通道是否饱和。具体而言，判定TE图像数据E的要素R′(x，y)，G′(x，y)，B′(x，y)是否均超过饱和基准值(例如220)。在所有的要素R′(x，y)，G′(x，y)，B′(x，y)超过饱和基准值的情况下(S86：是)，将该像素(x，y)判定为“晕光”的像素，在可靠性信息表CT中登记判定结果(S87)。
另外，如果TE图像数据E的要素R′(x，y)，G′(x，y)，B′(x，y)的至少一个在饱和基准值以下(S86：否)，则将饱和的颜色通道的数量记录在可靠性信息表CT中(S88)。
重复上述的处理S81～S88，直至所有的像素(x，y)的处理完成(S89)。
[标记：S9]
接着，基于评分Sc(x，y)，进行在TE图像数据E(或通常观察图像NP)上标注了显示病变部的位置或重症度的标记的标记处理S9。
图12是表示标记处理S9的顺序的流程图。
[评分可靠度计算：S91]
在标记处理S9中，首先进行计算评分可靠度SR的评分可靠度计算处理S91。
此外，以下所说明的本实施方式的评分可靠度计算处理S91基于TE图像数据E进行，但也可以是基于通常观察图像数据N来进行评分可靠度计算处理S91的结构。例如，在评分计算处理S7是基于通过通常观察图像数据N的色彩空间转换处理S5得到的判定用图像数据J进行的情况下，评分可靠度计算处理S91基于通常观察图像数据N进行。
评分可靠度SR作为具有确认了一定的可靠性的评分Sc(x，y)的像素(x，y)的比例，通过公式9计算。即，评分可靠度SR作为在可靠性评价处理S8中暗部登记S83及晕光登记S87均未进行的像素的数量相对于TE图像EP的全像素数量的比例来计算。
【数学式9】
S R = N E P - ( N d a r k + N h a l a t i o n ) N E P
其中，
NEP：TE图像EP的全像素数量
Ndark：TE图像EP的进行了暗部登记S83的像素数量
Nhalation：TE图像EP的进行了晕光登记S87的像素数量
[标记图像生成：S92]
接着评分可靠度计算处理S91，进行生成标记图像MP的标记图像生成处理S92。
图13是表示标记图像生成处理S92的顺序的流程图。
图14是在标记图像生成处理S92中生成的标记图像MP(准确地说是在TE图像EP上叠加标记图像MP并进行合成处理而成的合成图像CP)。
在标记图像生成处理S92，根据TE图像EP的评分可靠度SR生成5种标记图像MP(S921～S928)。进而，生成将所生成的标记图像MP叠加在TE图像EP上并进行合成处理而成的合成图像CP(S929)。
此外，在本实施方式的标记图像生成处理S92中，在TE图像EP上叠加标记图像MP进行合成处理，但也可以为在通常观察图像NP上叠加标记图像MP进行合成处理的结构。
评分Sc(x，y)的可靠性过低的像素(x，y)(即不能确认一定的可靠性的像素)占TE图像EP的大部分像素，在评分可靠度SR极低(例如评分可靠度SR低于25％)的情况下(S921：是)，不能生成非常有用的标记图像MP，因此，不能生成标记图像MP。
此时，在图像生成处理S929中，将空的标记图像MP叠加在TE图像EP上进行合成处理。即，如图14(a)所示，将未标注标记的TE图像EP直接作为合成图像CP存储在存储区域Pc。
[第一种简易标记处理：S923]
另外，在可靠度较低(例如评分可靠度SR为25％以上～低于50％)的情况下(S922：是)，如图14(b－1)所示，生成在最大评分Sc的像素上标注了规定的标记(例如▲记号)的标记图像MP，并进行存储于存储区域Pm的第一种简易标记处理S923。根据该结构，用户能够可靠地掌握重症度最高的部位(病变部的中心附近的情况居多)。
在第一种简易标记处理S923中，标注预先决定的符号(文字、数字、记号)或图形作为标记。另外，以标记的重心与最大评分Sc的像素(或者最大评分Sc的图像区域的重心)一致的方式标注标记。此外，也可以为根据最大评分Sc的值来变更标记的颜色、大小及种类的结构。通过该结构，用户也能够直观地把握重症度。
图14(b－2)是第一种简易标记处理S923中生成的标记图像MP的变形例。该变形例中，在具有规定的阈值以上的评分Sc(x，y)的像素(x，y)上标注具有与评分Sc(x，y)相对应的大小的多个规定的标记(×标记)。另外，标记以相互不重合的方式标注，以能够识别标记。根据该结构，能够容易地掌握重症度高的区域的位置及分布(形状)。
[第二种简易标记处理：S925]
另外，在可靠度较高(例如评分可靠度SR为50％以上～低于75％)的情况下(S924：是)，如图14(c－1)、(c－2)所示，进行生成标注了包围评分Sc(x，y)高的区域这种标记的标记图像MP的、第二种简易标记处理S925。此外，图14(c－1)是标注了由以包围评分Sc(x，y)高的区域的方式排列的多个符号或图形(例如箭头)构成的标记的例子，图14(c－2)是标注了包围评分Sc(x，y)高的区域的环状的标记的例子。
[彩色绘图处理：S928]
另外，在可靠度极高(例如评分可靠度SR为75％以上)(S924：否)、评分Sc(x，y)的可靠性过低的像素(x，y)不局部存在的情况下(S926：否)，进行彩色绘图处理S928(全体彩色绘图处理)。在彩色绘图处理S928中，如图14(d)所示，生成以与评分Sc(x，y)相对应的颜色对病变部的像素进行着色的彩色图像作为标记图像MP。
在彩色绘图处理S928中，首先，参照存储于存储器229的显示色表DCT，基于评分Sc(x，y)决定适用于各像素(x，y)的显示色Col(x，y)。接着，生成以显示色Col(x，y)作为像素值的彩色图像数据M(标记图像MP)，并将其存储于图像存储器227的存储区域Pm。
此外，显示色表DCT是规定评分Sc(x，y)与定义彩色图像的显示色Col(x，y)的色码的对应关系的数值表。表1表示显示色表DCT的一例。显示色对11阶段的每个评分Sc(x，y)设定不同的颜色。此外，由于相对于评分Sc(x，y)的值为零(正常组织)的像素(x，y)赋予显示无色透明的空值(null值)，所以正常组织的像素不会通过彩色绘图处理S928进行着色。另外，应对各像素(x，y)标注的颜色的指定不限于RGB进行的指定，也可以通过其它颜色表现(例如色调和/或饱和度)来指定。
【表1】
图14(e)是彩色图像的变形例。该变形例是由仅具有亮度信息的无彩色构成的灰度的彩色图像。例如，在评分可靠度SR低的情况下，也可以代替图14(a)～(c－2)的标记图像MP而显示本变形例的彩色图像。通过设为无彩色，用户能够直观上把握评分可靠度SR低，且能够得到有关重症度的详细的信息。
另外，在彩色绘图处理S928中，例如，也可以为如下结构：根据评分Sc(x，y)的可靠性的有无，使用两种显示色表DCT(有彩色色表和无彩色色表)，对评分Sc(x，y)具有一定的可靠性的像素(x，y)进行采用有彩色的彩色绘图，对评分Sc(x，y)不具有一定的可靠性的像素(x，y)进行采用无彩色的彩色绘图。
[部分彩色绘图处理：S927]
另外，在评分可靠度SR极高(S924：否)、评分Sc(x，y)的可靠性过低的像素(x，y)局部存在的情况下(S926：是)，如图14(f)所示，进行对除评分Sc(x，y)的可靠性过低的像素(x，y)局部存在的区域LC之外的区域进行彩色绘图的部分彩色绘图处理S927。在区域LC中也含有具有可靠性高的评分Sc(x，y)的像素(x，y)，但用于这样的像素的数量少，所以不能形成有用的绘图图像。在部分彩色绘图处理S928中，也含有具有可靠性高的评分Sc(x，y)的像素(x，y)，通过统一区域LC而设为彩色绘图的对象外，能够大幅减轻彩色绘图所需的计算量。另外，通过统一区域LC而设为彩色绘图的对象外，用户能够容易地把握评分Sc(x，y)的可靠性低的区域LC。
[显示画面生成：S10]
如果标记处理S9完成，则接着进行显示画面生成处理S10。显示画面生成处理S10是使用存储于图像存储器227的各种图像数据生成用于在监视器900上显示的显示画面数据的处理，通过图像处理电路220的显示画面生成部228进行。显示画面生成部228根据系统控制器202的控制，可以生成多种显示画面数据。
图15是通过显示画面生成处理S10生成的显示画面的一例，是在图像分析模式下的内窥镜观察中显示的分析模式观察画面320。分析模式观察画面320具备显示拍摄日期时间的日期时间显示区域321、显示与检查相关的基本的信息(例如患者的病历号、年龄、性别及主治医生名)的基本信息显示区域322、显示标记图像MP和/或TE图像EP(或通常观察图像NP)的图像显示区域323、显示有关分析精度(可靠性评价处理S8下的评价结果)的信息的分析精度信息显示区域324。
分析精度信息显示区域324中包含：评分可靠度SR的显示324a、进行了暗部登记S83的像素(x，y)的比例的显示(暗部比例显示)324b、进行了晕光登记S87的像素(x，y)的比例的显示(反射部比例显示)324c及饱和的颜色通道的显示(饱和通道显示)324d。
评分可靠度SR的显示324a根据评分可靠度SR的值，以“高”、“中”、“低”这3阶段进行显示。例如，在评分可靠度SR为75％以上的情况下显示“高”，在25％以上～低于75％的情况下显示“中”，在低于25％的情况下显示“低”。
另外，也可以对应评分可靠度SR的值使评分可靠度SR的显示324a的颜色(色调、饱和度、亮度的一个以上)或大小变化。另外，也可以通过分析模式观察画面320(或者分析精度信息显示区域324)的背景色按颜色类别显示评分可靠度SR。
暗部比例显示324b根据进行了暗部登记S83的像素数Ndark相对于TE图像EP的全像素数NEP的比例，以“多”、“中”、“少”这3阶段进行显示。例如，在进行了暗部登记S83的像素数Ndark的比例为50％以上的情况下，显示“多”，在10％以上～低于50％的情况下，显示“中”，在低于10％的情况下显示“少”。
反射部比例显示324c也与暗部比例显示324b同样地，根据进行了晕光登记S87的像素数Nhalation相对于TE图像EP的全像素数NEP的比例，以“多”、“中”、“少”这3阶段进行显示。例如，在晕光登记S87了的像素数Nhalation相对于TE图像EP的全像素数NEP的比例为50％以上的情况下，显示“多”，在10％以上～低于50％的情况下，显示“中”，在低于10％的情况下，显示“少”。
此外，也可以根据进行了暗部登记S83(或进行了晕光登记S87)的像素的比例使暗部比例显示324b(或反射部比例显示324c)的颜色(色调、饱和度、亮度的一个以上)或大小变化。
在饱和通道显示324d中显示饱和的颜色通道(例如以超过规定数的像素产生饱和的通道)。例如，表示饱和的颜色通道的记号(例如文字“R”、“G”、“B”)或图形以与该颜色通道相同的色调(例如，如果为R通道则为红色)，并以饱和度及亮度高的颜色进行显示。另外，表示未饱和的颜色通道(例如B通道)的记号(例如文字“B”)未显示，或者按照例如以亮度低的无彩色(例如灰色)不显眼的方式进行显示。另外，在饱和的(或者不饱和的)颜色通道的显示中，也可以不使用记号等而进行简单的色别显示。
在显示画面生成处理S12中，显示画面生成部228从图像存储器227的存储区域组Pm读出标记图像数据M，和/或从存储区域组Pe读出TE图像数据E(或者从存储区域群Pn读出通常观察图像数据N)，并在图像显示区域323进行显示。另外，在日期时间显示区域321及基本信息显示区域322显示由系统控制器202提供的信息。
[输出处理：S11]
通过显示画面生成处理S10而生成的显示画面数据在通过输出电路220b进行了伽玛修正等的处理后，被转换为规定的视频格式的视频信号并向监视器900输出(输出处理S11)。
医生一边观看分析模式观察画面320一边进行内窥镜观察。具体而言，一边观看显示于图像显示区域323的标记图像MP，一边进行内窥镜观察。通过对在标记图像MP上标记的部位特别慎重地进行观察，能够在不遗漏病变部的情况下进行准确的诊断。
如果显示画面生成处理S10及输出处理S11完成，则接着判断是否继续内窥镜观察(S12)。重复上述的处理S1～S11，直至对处理器200的操作面板214进行指示内窥镜观察结束或电子内窥镜装置1的运行停止的用户操作(S12：否)为止。
[第二实施方式]
接着，说明本发明的第二实施方式。
图16是第二实施方式的标记图像MP2(彩色图像)。
本实施方式的彩色绘图处理中，参照可靠性信息表CT，对于产生了颜色通道的饱和的像素不进行基于表1所示的显示色表DCT的着色，而着色为具有与饱和的颜色通道数相对应的亮度信息的无彩色(即灰度)。本实施方式中，饱和的颜色通道数越多，赋予越高的亮度。在图16的标记图像MP2中，区域MP21是在一个颜色通道产生了饱和的区域，区域MP22是在两个颜色通道产生了饱和的区域，区域MP23是在三个颜色通道产生了饱和的区域。
此外，对于未产生颜色通道的饱和，且均未进行暗部登记S83及晕光登记S87的像素，根据表1进行对应于重症度的彩色绘图。由于表示重症度的彩色图由饱和度大的颜色构成，所以即使与表示颜色通道的饱和数的无彩色的彩色图混合，也能够容易地识别两者。
另外，也可以为通过与区域MP23相同的颜色(或者比区域MP23亮的无彩色)对进行了晕光登记S87的像素进行着色的结构。另外，也可以为通过比区域MP21暗的无彩色对进行了暗部登记S83的像素进行着色的结构。
此外，上述实施方式是将本发明适用于电子内窥镜装置的例子，但本发明不限于该结构。例如，可以将本发明适用于将由电子内窥镜装置拍摄的内窥镜观察视频再生的视频再生装置。另外，也可以将本发明适用于内窥镜图像以外的观察图像(例如由通常的摄像机拍摄的体表的观察图像或手术中的体内的观察图像)的分析。
以上是本发明的例示性的实施方式的说明。本发明的实施方式不限于上述所说明的方式，在本发明的技术思想的范围内可以进行各种变形。例如，适宜组合有说明书中例示性明示的实施方式等或众所周知的实施方式等的内容也包含于本发明的实施方式中。

Claims (15)

1.一种图像处理装置，其具备：
图像数据获取单元，其获取拍摄有生物体组织的图像数据；
评分计算单元，其基于所述图像数据，对每个像素计算表示拍摄在该图像数据所表示的图像上的所述生物体组织的病变的重症度的评分；
可靠性评价单元，其基于所述图像数据评价所述评分的可靠性；
评分可靠度计算单元，其计算表示所述图像数据的全像素中所述评分具有规定的可靠性的像素的比例的评分可靠度。
2.根据权利要求1所述的图像处理装置，其中，
所述可靠性评价单元具备基于像素值来判定是否是晕光的像素的晕光判定单元，
将判定为晕光的像素的像素从所述评分具有规定的可靠性的像素中除去。
3.根据权利要求1或2所述的图像处理装置，其中，
所述可靠性评价单元具备基于像素值来判定是否是暗部的像素的暗部判定单元，
将判定为暗部的像素的像素从所述评分具有规定的可靠性的像素中除去。
4.根据权利要求1～3中任一项所述的图像处理装置，其中，
具备将所述图像数据的像素值转换成HSI(Heu-Saturation-Intensity)空间的像素值的色彩空间转换单元，
所述可靠性评价单元基于从所述色彩空间转换单元输出的像素的亮度来评价所述评分的可靠性。
5.根据权利要求1～4中任一项所述的图像处理装置，其中，
所述可靠性评价单元具备基于像素值来判定哪个颜色通道是饱和的饱和像素的饱和判定单元，
将判定为所述饱和像素的像素从所述评分具有规定的可靠性的像素中除去。
6.根据权利要求5所述的图像处理装置，其中，
所述饱和判定单元具备基于像素值对饱和的颜色通道数进行计数的饱和通道数计数单元，
将饱和的颜色通道数为规定数以上的像素判定为所述饱和像素。
7.根据权利要求1～6中任一项所述的图像处理装置，其中，
具备在所述图像上标注表示所述评分的分布的标记的标记单元，
所述标记单元根据所述评分可靠度变更所述标记的样式。
8.根据权利要求7所述的图像处理装置，其中，
所述标记单元进行将病变部的像素的颜色变更为与所述评分相对应的颜色的第一彩色绘图。
9.根据权利要求8所述的图像处理装置，其中，
所述标记单元将所述评分的可靠性低的像素局部存在的所述图像的区域从进行所述第一彩色绘图的区域除去。
10.根据权利要求8所述的图像处理装置，其中，
所述标记单元通过所述评分具有规定的可靠性的像素和不具有该可靠性的像素，使用分别不同的颜色进行所述第一彩色绘图。
11.根据权利要求7所述的图像处理装置，其中，
所述标记单元在所述图像中进行在所述评分为规定值以上的区域上标注标记的第一种简易标记处理。
12.根据权利要求7所述的图像处理装置，其中，
所述标记单元进行在所述图像中以包围所述评分高的区域的方式标注标记的第二种简易标记处理。
13.根据权利要求1～12中任一项所述的图像处理装置，其中，
具备显示所述评分的可靠性的评价结果的可靠性显示单元。
14.根据权利要求1～13中任一项所述的图像处理装置，其中，
基于所述图像的色彩平衡来判定拍摄条件的好坏。
15.根据权利要求1～14中任一项所述的图像处理装置，其中，
所述图像是使用单一的宽频带照明光拍摄到的图像。
CN201680000516.3A 2015-02-27 2016-02-23 图像处理装置 Active CN106102557B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015037539A JP6346576B2 (ja) 2015-02-27 2015-02-27 画像処理装置
JP2015-037539 2015-02-27
PCT/JP2016/055144 WO2016136698A1 (ja) 2015-02-27 2016-02-23 画像処理装置

Publications (2)

Publication Number Publication Date
CN106102557A true CN106102557A (zh) 2016-11-09
CN106102557B CN106102557B (zh) 2018-05-01

Family

ID=56788836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680000516.3A Active CN106102557B (zh) 2015-02-27 2016-02-23 图像处理装置

Country Status (5)

Country Link
US (1) US10521901B2 (zh)
EP (1) EP3269295B1 (zh)
JP (1) JP6346576B2 (zh)
CN (1) CN106102557B (zh)
WO (1) WO2016136698A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106769891A (zh) * 2015-11-19 2017-05-31 光宝电子(广州)有限公司 生化检测装置及方法
CN111064934A (zh) * 2019-12-30 2020-04-24 元力(天津)科技有限公司 一种医用影像处理系统及方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6346576B2 (ja) * 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
US10575718B2 (en) 2016-09-02 2020-03-03 Hoya Corporation Endoscope system
DE112017005214T5 (de) * 2016-10-14 2019-07-11 Hoya Corporation Endoskopiesystem
DE102016125524A1 (de) * 2016-12-22 2018-06-28 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronisches Mikroskop
WO2018229831A1 (ja) * 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229832A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018230098A1 (ja) * 2017-06-15 2018-12-20 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
JP6891304B2 (ja) * 2018-02-09 2021-06-18 富士フイルム株式会社 内視鏡システム
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム
WO2019220916A1 (ja) 2018-05-14 2019-11-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び内視鏡システム
CN112236067A (zh) 2018-06-05 2021-01-15 奥林巴斯株式会社 内窥镜系统
JP7093409B2 (ja) 2018-06-05 2022-06-29 オリンパス株式会社 内視鏡システム
WO2020054541A1 (ja) 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
WO2020054604A1 (ja) 2018-09-11 2020-03-19 日本電気株式会社 情報処理装置、制御方法、及びプログラム
EP3861921A4 (en) 2018-10-04 2021-12-01 NEC Corporation INFORMATION PROCESSING DEVICE, CONTROL METHOD AND PROGRAM
WO2020170791A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置及び方法
WO2020184522A1 (ja) * 2019-03-08 2020-09-17 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム
JP6999597B2 (ja) * 2019-03-27 2022-01-18 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム
EP3719746A1 (en) * 2019-04-04 2020-10-07 Koninklijke Philips N.V. Identifying boundaries of lesions within image data
JP2021173665A (ja) * 2020-04-27 2021-11-01 ソニーグループ株式会社 画像処理装置、画像処理方法及び画像処理システム
US20220375604A1 (en) * 2021-04-18 2022-11-24 Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic System and method for automation of surgical pathology processes using artificial intelligence
JP2023039392A (ja) * 2021-09-08 2023-03-20 株式会社エビデント 検査支援方法、検査支援装置、検査支援システム、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389261A (zh) * 2006-03-15 2009-03-18 奥林巴斯医疗株式会社 医疗用图像处理装置和医疗用图像处理方法
CN101389260A (zh) * 2006-03-14 2009-03-18 奥林巴斯医疗株式会社 医疗用图像处理装置和医疗用图像处理方法
CN102665526A (zh) * 2009-11-13 2012-09-12 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜系统和程序
WO2014013777A1 (ja) * 2012-07-17 2014-01-23 Hoya株式会社 画像処理装置及び内視鏡装置
WO2014013778A1 (ja) * 2012-07-17 2014-01-23 Hoya株式会社 画像処理装置及び内視鏡装置
CN104116485A (zh) * 2013-04-26 2014-10-29 Hoya株式会社 损伤评估信息生成器及其方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS532984A (en) 1976-06-30 1978-01-12 Shimadzu Corp Blood pressure measuring system
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US20030165263A1 (en) * 2002-02-19 2003-09-04 Hamer Michael J. Histological assessment
US6956967B2 (en) * 2002-05-20 2005-10-18 Eastman Kodak Company Color transformation for processing digital images
US8374682B2 (en) * 2005-04-04 2013-02-12 Hypermed Imaging, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
EP1693782B1 (en) * 2005-02-21 2009-02-11 Mitsubishi Electric Information Technology Centre Europe B.V. Method for facial features detection
JP4710426B2 (ja) * 2005-06-14 2011-06-29 富士ゼロックス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20070081699A1 (en) * 2005-09-29 2007-04-12 General Electric Company Systems, methods and apparatus for diagnosis of disease from categorical indices
US20070081700A1 (en) * 2005-09-29 2007-04-12 General Electric Company Systems, methods and apparatus for creation of a database of images from categorical indices
EP2126841A2 (en) * 2007-01-16 2009-12-02 Optasia Medical, Limited Image processing systems and methods
CN101854855B (zh) * 2007-09-25 2012-11-14 国立大学法人岐阜大学 磁共振成像装置及其工作方法、图像诊断系统
US7995798B2 (en) * 2007-10-15 2011-08-09 Given Imaging Ltd. Device, system and method for estimating the size of an object in a body lumen
US8358846B2 (en) * 2007-11-13 2013-01-22 Symantec Corporation Scanning images for pornography
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5800468B2 (ja) * 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US20120052063A1 (en) * 2010-08-31 2012-03-01 The Board Of Trustees Of The University Of Illinois Automated detection of breast cancer lesions in tissue
US8351676B2 (en) * 2010-10-12 2013-01-08 Sony Corporation Digital image analysis using multi-step analysis
JP5670695B2 (ja) * 2010-10-18 2015-02-18 ソニー株式会社 情報処理装置及び方法、並びにプログラム
US8913807B1 (en) * 2010-12-30 2014-12-16 Given Imaging Ltd. System and method for detecting anomalies in a tissue imaged in-vivo
JP5302984B2 (ja) * 2011-01-12 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
US9678007B2 (en) * 2011-10-14 2017-06-13 Northwestern University Biological tissue analysis by inverse spectroscopic optical coherence tomography
WO2013065220A1 (ja) * 2011-11-02 2013-05-10 パナソニック株式会社 画像認識装置、画像認識方法、及び集積回路
US9245334B2 (en) * 2012-02-28 2016-01-26 Albert Einstein College Of Medicine, Inc. Methods for quantitative assessment of volumetric image from a subject and uses therof
WO2014031086A1 (en) * 2012-08-24 2014-02-27 Agency For Science, Technology And Research Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation
US9786050B2 (en) * 2013-03-15 2017-10-10 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
JP5946800B2 (ja) * 2013-07-22 2016-07-06 株式会社日立製作所 磁気共鳴イメージング装置、画像処理装置、画像処理方法、及び画像処理プログラム
AU2015212984A1 (en) * 2014-01-28 2016-06-23 Ventana Medical Systems, Inc. Adaptive classification for whole slide tissue segmentation
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
JP6393106B2 (ja) * 2014-07-24 2018-09-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6346576B2 (ja) * 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
JP6570460B2 (ja) * 2016-02-25 2019-09-04 富士フイルム株式会社 評価装置、方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389260A (zh) * 2006-03-14 2009-03-18 奥林巴斯医疗株式会社 医疗用图像处理装置和医疗用图像处理方法
CN101389261A (zh) * 2006-03-15 2009-03-18 奥林巴斯医疗株式会社 医疗用图像处理装置和医疗用图像处理方法
CN102665526A (zh) * 2009-11-13 2012-09-12 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜系统和程序
WO2014013777A1 (ja) * 2012-07-17 2014-01-23 Hoya株式会社 画像処理装置及び内視鏡装置
WO2014013778A1 (ja) * 2012-07-17 2014-01-23 Hoya株式会社 画像処理装置及び内視鏡装置
CN104116485A (zh) * 2013-04-26 2014-10-29 Hoya株式会社 损伤评估信息生成器及其方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106769891A (zh) * 2015-11-19 2017-05-31 光宝电子(广州)有限公司 生化检测装置及方法
CN106769891B (zh) * 2015-11-19 2019-09-27 光宝电子(广州)有限公司 生化检测装置及方法
CN111064934A (zh) * 2019-12-30 2020-04-24 元力(天津)科技有限公司 一种医用影像处理系统及方法

Also Published As

Publication number Publication date
EP3269295B1 (en) 2020-01-08
EP3269295A4 (en) 2018-08-01
US10521901B2 (en) 2019-12-31
JP2016158681A (ja) 2016-09-05
CN106102557B (zh) 2018-05-01
JP6346576B2 (ja) 2018-06-20
WO2016136698A1 (ja) 2016-09-01
US20170098301A1 (en) 2017-04-06
EP3269295A1 (en) 2018-01-17

Similar Documents

Publication Publication Date Title
CN106102557B (zh) 图像处理装置
CN106068092B (zh) 图像处理装置
CN106102556B (zh) 图像处理装置
CN104470416B (zh) 图像处理装置和内窥镜装置
US7454046B2 (en) Method and system for analyzing skin conditions using digital images
CN109310301A (zh) 电子内窥镜用处理器以及电子内窥镜系统
CN104540438A (zh) 图像处理装置和内窥镜装置
US20140320620A1 (en) Lesion evaluation information generator, and method and computer readable medium therefor
JP7068487B2 (ja) 電子内視鏡システム
CN107252299A (zh) 内窥镜装置以及内窥镜装置的工作方法
CN106999019B (zh) 图像处理装置、图像处理方法、记录介质以及内窥镜装置
CN106388756A (zh) 图像处理装置及其工作方法以及内窥镜系统
CN104203075B (zh) 医疗用图像处理装置
JPWO2015029537A1 (ja) 器官画像撮影装置
CN112351723B (zh) 电子内窥镜系统与数据处理装置
CN107005683A (zh) 内窥镜装置
CN107072546A (zh) 健康度输出装置、健康度输出系统以及程序
CN107529957A (zh) 修正数据生成方法以及修正数据生成装置
CN106714651A (zh) 评价值计算装置以及电子内窥镜系统
JP6531202B2 (ja) 画像処理装置
CN109310303A (zh) 电子内窥镜处理器以及电子内窥镜系统
JPWO2015049936A1 (ja) 器官画像撮影装置
US20230239419A1 (en) Image display system and image display method
CN107405050B (zh) 内窥镜系统以及评价值计算装置
TWI818372B (zh) 口腔檢測系統

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant