CN107835654B - 图像处理装置、图像处理方法和记录介质 - Google Patents

图像处理装置、图像处理方法和记录介质 Download PDF

Info

Publication number
CN107835654B
CN107835654B CN201580081615.4A CN201580081615A CN107835654B CN 107835654 B CN107835654 B CN 107835654B CN 201580081615 A CN201580081615 A CN 201580081615A CN 107835654 B CN107835654 B CN 107835654B
Authority
CN
China
Prior art keywords
candidate region
recognition
region
unit
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580081615.4A
Other languages
English (en)
Other versions
CN107835654A (zh
Inventor
上山都士也
北村诚
木村光隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107835654A publication Critical patent/CN107835654A/zh
Application granted granted Critical
Publication of CN107835654B publication Critical patent/CN107835654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

提供能够使用适当的特征量和识别器、高精度地识别异常区域的图像处理装置等。图像处理装置(1)具有：异常候选检测部(110)，其从拍摄活体的管腔内而得到的图像中检测异常候选区域；异常候选区域取得部(120)，其取得与异常候选检测部(110)检测到的异常候选区域有关的信息；识别方法决定部(130)，其根据与异常候选区域有关的信息，决定用于识别该异常候选区域是否是异常区域的识别方法；以及识别部(140)，其使用识别方法决定部(130)决定的识别方法，识别异常候选区域是否是异常区域。

Description

图像处理装置、图像处理方法和记录介质
技术领域
本发明涉及对拍摄活体的管腔内而得到的图像进行图像处理的图像处理装置、图像处理方法和记录介质。
背景技术
公知有如下技术：针对使用内窥镜或胶囊型内窥镜等医用观察装置拍摄活体的管腔内(消化道内)而得到的图像即管腔内图像，检测或识别肿瘤或病变等异常区域。
例如，在专利文献1中公开了一种类别识别装置，该类别识别装置具有根据表示图像整体的特征的整体特征量识别图像所属的类别的整体识别器、以及根据表示图像内的部分特征的部分特征量识别图像所属的类别的部分识别器。
在上述专利文献1中，整体识别器通过使用输入图像的整体的颜色方差和颜色平均等作为特征量的支持向量机，识别输入图像的场景。另一方面，部分识别器通过将输入图像内的某个区域的颜色方差和颜色平均等作为特征量的支持向量机，识别输入图像的场景。然后，针对整体识别器和部分识别器无法识别场景的图像，统合识别器根据整体识别器和部分识别器各自的识别结果，求出最终识别结果。
现有技术文献
专利文献
专利文献1：日本特开2008-234623号公报
发明内容
发明要解决的课题
在上述专利文献1中，单独使用预定种类的特征量和识别器取得识别结果。因此，在将上述专利文献1的技术应用于管腔内图像来检测异常区域等特定区域时，根据作为检测对象的区域的种类和状态、具体而言为病变等异常的种类和状态，很难进行识别，存在识别精度降低这样的问题。
本发明是鉴于上述情况而完成的，其目的在于，提供能够使用与要检测的区域的种类和状态等对应的适当的特征量和识别器、高精度地识别特定区域的图像处理装置、图像处理方法和图像处理程序。
用于解决课题的手段
为了解决上述课题并实现目的，本发明的图像处理装置的特征在于，所述图像处理装置具有：候选区域检测部，其从拍摄活体的管腔内而得到的图像中，检测拍摄到该管腔内的特定部位的区域即特定区域的候选区域；候选区域信息取得部，其取得与所述候选区域检测部检测到的所述候选区域有关的信息；识别方法决定部，其根据与所述候选区域有关的信息，决定用于识别该候选区域是否是所述特定区域的识别方法；以及识别部，其使用所述识别方法决定部决定的识别方法，识别所述候选区域是否是所述特定区域。
本发明的图像处理方法的特征在于，所述图像处理方法包括以下步骤：候选区域检测步骤，从拍摄活体的管腔内而得到的图像中，检测拍摄到该管腔内的特定部位的区域即特定区域的候选区域；候选区域信息取得步骤，取得与所述候选区域检测步骤中检测到的所述候选区域有关的信息；识别方法决定步骤，根据与所述候选区域有关的信息，决定用于识别该候选区域是否是所述特定区域的识别方法；以及识别步骤，使用所述识别方法决定步骤中决定的识别方法，识别所述候选区域是否是所述特定区域。
本发明的图像处理程序的特征在于，所述图像处理程序使计算机执行以下步骤：候选区域检测步骤，从拍摄活体的管腔内而得到的图像中，检测拍摄到该管腔内的特定部位的区域即特定区域的候选区域；候选区域信息取得步骤，取得与所述候选区域检测步骤中检测到的所述候选区域有关的信息；识别方法决定步骤，根据与所述候选区域有关的信息，决定用于识别该候选区域是否是所述特定区域的识别方法；以及识别步骤，使用所述识别方法决定步骤中决定的识别方法，识别所述候选区域是否是所述特定区域。
发明效果
根据本发明，从管腔内图像中检测特定区域的候选区域，根据基于与该候选区域有关的信息决定的识别方法，识别该候选区域是否是特定区域，所以，能够使用与候选区域的特性对应的适当的特征量和识别器进行高精度的识别。
附图说明
图1是示出本发明的实施方式1的图像处理装置的结构的框图。
图2是示出图1所示的图像处理装置的动作的流程图。
图3是示出图2所示的检测异常候选区域的处理的流程图。
图4是示出图2所示的与异常候选区域有关的信息的取得处理的流程图。
图5是示出图2所示的根据与异常候选区域有关的信息决定识别方法的处理的流程图。
图6是示出本发明的实施方式1的本变形例1的图像处理装置所具有的运算部的结构的框图。
图7是示出本发明的实施方式2的图像处理装置所具有的运算部的结构的框图。
图8是示出本发明的实施方式2的图像处理装置的动作的流程图。
图9是示出图8所示的多个识别器的选择处理的流程图。
图10是用于说明图9所示的多个识别器的选择处理的示意图。
图11是示出图8所示的选择出的多个识别器的统合方法的决定处理的流程图。
图12是示出图8所示的基于所决定的识别方法的异常候选区域的识别处理的流程图。
图13是用于说明图12所示的对多个识别结果进行统合的处理的示意图。
图14是示出本发明的实施方式3的图像处理装置所具有的运算部的结构的框图。
图15是用于说明线性识别函数的分类的示意图。
图16是示出本发明的实施方式3的图像处理装置的动作的流程图。
图17是示出图16所示的与异常候选区域有关的信息的取得处理的流程图。
图18是示出图16所示的选择识别方法的处理的流程图。
具体实施方式
下面，参照附图对本发明的实施方式的图像处理装置、图像处理方法和图像处理程序进行说明。另外，本发明不由这些实施方式进行限定。并且，在各附图的记载中，对相同部分标注相同标号进行表示。
(实施方式1)
图1是示出本发明的实施方式1的图像处理装置的结构的框图。本实施方式1的图像处理装置1是如下装置：对由内窥镜等医用观察装置拍摄活体的管腔内而取得的图像即管腔内图像进行图像处理，由此，从管腔内图像中检测拍摄到管腔内的特定部位的区域即特定区域。在本实施方式1中，作为特定区域，检测拍摄到出血、发红、凝血、肿瘤、糜烂、溃疡、口疮、绒毛异常等视为病变或异常的部位的区域即异常区域。这些异常大致能够分成出血、发红、凝血等血管性异常；息肉等肿瘤性异常；糜烂、溃疡、口疮、绒毛异常等粘膜性异常这3种。并且，管腔内图像通常是在各像素位置具有针对R(红色)、G(绿色)、B(蓝色)的波长成分的像素级别(像素值)的彩色图像。
如图1所示，图像处理装置1具有对该图像处理装置1整体的动作进行控制的控制部10、取得医用观察装置拍摄管腔内而生成的图像数据的图像取得部20、对控制部10输入与来自外部的操作对应的信号的输入部30、进行各种信息和图像的显示的显示部40、存储由图像取得部20取得的图像数据和各种程序的存储部50、对图像数据执行规定的图像处理的运算部100。
控制部10使用CPU(Central Processing Unit)等通用处理器或ASIC(Application Specific Integrated Circuit)等执行特定功能的各种运算电路等专用处理器构成。在控制部10是通用处理器的情况下，通过读入存储部50存储的各种程序，针对构成图像处理装置1的各部进行指示和数据的转送等，对图像处理装置1整体的动作进行总括控制。并且，在控制部10是专用处理器的情况下，处理器可以单独执行各种处理，通过使用存储部50存储的各种数据等，处理器和存储部50也可以协作或结合执行各种处理。
图像取得部20根据包含医用观察装置的系统的方式而适当构成。例如，在将医用观察装置与图像处理装置1连接的情况下，图像取得部20由取入医用观察装置中生成的图像数据的接口构成。并且，在设置预先保存由医用观察装置生成的图像数据的服务器的情况下，图像取得部20由与服务器连接的通信装置等构成，与服务器进行数据通信而取得图像数据。或者，也可以使用移动型存储介质交接由医用观察装置生成的图像数据，该情况下，图像取得部20由以拆装自如的方式装配移动型存储介质并读出所存储的图像的图像数据的读取装置构成。
输入部30例如由键盘、鼠标、触摸面板、各种开关等输入器件实现，对控制部10输出根据从外部对这些输入器件的操作而产生的输入信号。
显示部40由LCD或EL显示器等显示装置实现，在控制部10的控制下显示包含管腔内图像的各种画面。
存储部50由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或利用数据通信端子连接的硬盘或CD-ROM等信息存储装置和针对该信息存储装置的信息的写入读取装置等实现。存储部50除了存储由图像取得部20取得的管腔内图像的图像数据以外，还存储用于使图像处理装置1进行动作并使图像处理装置1执行各种功能的程序、该程序的执行中使用的数据等。具体而言，存储部50具有程序存储部51，该程序存储部51存储从管腔内图像中检测异常区域的图像处理程序。并且，存储部50存储该图像处理中使用的识别基准等信息。
运算部100使用CPU等通用处理器或ASIC等执行特定功能的各种运算电路等专用处理器构成。在运算部100是通用处理器的情况下，通过读入程序存储部51存储的图像处理程序，执行从所取得的管腔内图像中检测异常区域的图像处理。并且，在运算部100是专用处理器的情况下，处理器可以单独执行各种处理，通过使用存储部50存储的各种数据等，处理器和存储部50也可以协作或结合执行图像处理。
接着，对运算部100的结构进行说明。如图1所示，运算部100具有从管腔内图像中检测异常区域的候选区域(以下称为异常候选区域)的作为候选区域检测部的异常候选检测部110、取得与异常候选检测部110检测到的异常候选区域有关的信息的作为候选区域信息取得部的异常候选信息取得部120、根据与异常候选区域有关的信息决定用于识别该异常候选区域是否是异常区域的识别方法的识别方法决定部130、使用识别方法决定部130决定的识别方法识别异常候选区域是否是异常区域的识别部140。
异常候选检测部110将管腔内图像分割成多个区域，按照分割后的每个区域计算颜色特征量、形状特征量和纹理特征量，求出事前学习的异常模型与这些特征量的一致度，由此判定各区域是否是异常候选区域。
异常候选信息取得部120取得与异常候选区域有关的信息。在本实施方式1中，异常候选信息取得部120具有异常候选种类估计部121，作为与异常候选区域有关的信息，取得估计异常候选区域所属的异常的种类、即出血、发红、凝血等血管性异常、息肉等肿瘤性异常、糜烂、溃疡、口疮、绒毛异常等粘膜性异常中的任意一方。
识别方法决定部130根据与异常候选区域有关的信息，决定该异常候选区域的识别所使用的识别方法。在本实施方式1中，识别方法决定部130具有识别器选择部131。
这里，作为异常区域的识别方法，存在识别精度根据上述异常的种类而不同的多个识别器。例如，出血、发红、凝血等血管性异常相对于正常粘膜表面，颜色的差异较大。因此，在识别血管性异常时，当使用根据色比、色相、彩度等颜色特征量进行识别的颜色特征量识别器时，能够进行高精度的识别。并且，息肉等肿瘤性异常相对于正常粘膜表面的构造，呈圆形状鼓出这样的形状的差异较大。因此，在识别肿瘤性异常时，当使用根据圆形度、面积、费雷特径等形状特征量进行识别的形状特征量识别器时，能够进行高精度的识别。糜烂、溃疡、口疮、绒毛异常等粘膜性异常相对于正常粘膜表面，伴随泛红或泛白这样的与炎症对应的颜色变化，还产生表面构造的变化。因此，在识别粘膜性异常时，当与颜色特征量识别器一起使用纹理特征量识别器时，能够进行高精度的识别，其中，该纹理特征量识别器根据通过Local Binary Pattern(LBP)或Difference of Gaussian(DoG)等计算出的高频成分的强度等纹理特征量进行识别。
识别器选择部131取得异常候选区域属于血管性异常、肿瘤性异常和粘膜性异常中的哪种异常的信息，选择与异常候选区域所属的异常的种类对应的识别器。
识别部140使用识别方法决定部130决定的识别方法、即颜色特征量识别器、形状特征量识别器、以及颜色特征量识别器和纹理特征量识别器的组合中的任意一方，识别异常候选区域是否是异常区域。
接着，对图像处理装置1的动作进行说明。图2是示出图像处理装置1针对处理对象的管腔内图像的处理的流程图。
首先，在步骤S10中，图像处理装置1经由图像取得部20取得管腔内图像。在本实施方式1中，取得通过内窥镜对管腔内照射包含R、G、B的各波长成分的照明光(白色光)并进行摄像而生成的、在各像素位置具有与这些波长成分对应的像素值(R值、G值、B值)的管腔内图像。
在接下来的步骤S11中，异常候选检测部110从管腔内图像中检测异常候选区域。图3是示出检测异常候选区域的处理的流程图。
在步骤S111中，异常候选检测部110对管腔内图像进行区域分割(参考：CG-ART协会、《数字图像处理》第2版、第196页)。详细地讲，进行基于接近相似像素的统合的区域分割处理。即，通过光栅扫描来探索像素，在对图像整体进行了对像素值与关注像素相同的附近像素附加与关注像素相同的标签的作业后，反复进行求出具有相同标签的像素的像素值的平均值的处理、以及对接近像素的集合中像素值的平均值之差最小的集合彼此进行统合这样的处理。由此，能够将管腔内图像分割成由像素值接近的像素彼此的集合构成的多个区域。另外，除了接近相似像素的统合以外，还可以通过公知的各种方法进行区域分割。
在接下来的步骤S112中，异常候选检测部110针对对管腔内图像进行分割后的各区域，求出区域内的颜色特征量、形状特征量和纹理特征量。作为颜色特征量，根据各像素的像素值(R值、G值、B值)计算色比G/R和B/G值的平均值。或者，也可以代替色比而使用RGB值本身、RGB值的方差值、彩度、色相、色差等，还可以代替平均值而使用中央值或最频值等统计值。
并且，作为形状特征量，计算区域的圆形度、费雷特径和面积(参考：CG-ARTS协会、《数字图像处理》第2版、第182～183页)。当设区域的面积为S、周长为L时，圆形度由4πS/L2给出，值越接近1，表示形状越接近正圆。另外，面积S是作为处理对象的区域中包含的像素的总数给出的。并且，周长L能够通过针对处理对象的区域的8连结的轮廓追踪而求出(CG-ARTS协会、“数字图像处理”第2版、第178～179页)。即，反复进行以贴标签后的像素为基点探索周围像素并移动到下一个贴标签像素这样的追踪处理。设上下左右的像素的追踪移动的数量为C1、倾斜追踪移动的数量为C2时，周长L由(C1+√2×C2)给出。
费雷特径使用水平费雷特径和垂直费雷特径这2种值。并且，如上所述，面积是区域中包含的像素的总数。除此之外，作为形状特征量，也可以使用HOG特征量(Histogram ofOriented Gradients)、SIFT特征量(Scale Invariant Feature Transform)等。
作为纹理特征量，例如使用作为公知技术的Local Binary Pattern(LBP)(参考：野坂龙佑等、《基于Local Binary Pattern的相邻关系的照明变动中强健的特征提取》中“2.LBP直方图”、电子信息通信学会技术研究报告、图案识别/媒体理解、PRMU2011-69、第75～80页(2011年9月5～6日))。LBP是利用2的8次方即256维的直方图表示关注像素及其周围8个方向的像素的像素值的大小关系的特征量。在将LBP应用于本实施方式1的情况下，利用直方图表示区域内的各像素和周围8个方向的像素的像素值的大小关系，使用对其进行相加而得到的值作为纹理特征量。
或者，也可以将区域内转换为特定频率成分图像，使用特定频率成分的强度的平均值作为纹理特征量。作为转换为特定频率成分图像的方法，例如能够使用作为公知技术的Difference of Gaussian(DoG)(参考：adcom-media株式会社、《计算机视觉最前端引导2》、第7～12页)。
并且，作为纹理特征量，可以使用共生矩阵的不同角度2阶矩(Angular SecondMoment)、对比度(Contrast)、熵(Entropy)(参考：东京大学出版社、《图像解析指南》、第517～521页)等。
在接下来的步骤S113中，异常候选检测部110根据通过事前学习而取得的异常模型，检测异常候选区域。详细地讲，将步骤S112中求出的颜色特征量、形状特征量和纹理特征量分别作为向量进行处理，结合各向量列，按照每个区域生成特征向量。此时，进行归一化，根据需要对各向量进行加权。然后，使用事前生成的异常的识别函数进行判定。
具体而言，计算由下式(1)给出的基于概率模型的判定指标P(x)。
[数学式1]
Figure GDA0001544711890000081
判定指标P(x)是表示异常候选区域的特征向量是否像异常区域的特征向量的指标。可以说判定指标P(x)的值越大，则异常候选区域越像异常区域。即，判定指标P(x)表示异常候选区域与异常区域的一致度。并且，式(1)所示的记号x表示判定对象的异常候选区域的特征向量(k行1列)。并且，记号μ是事前取得的多个异常区域的样本中的特征向量的平均向量(k行1列)。记号Z是事前取得的异常区域的多个样本中的特征向量的方差协方差矩阵(k行k列)。记号|Z|是该矩阵Z的矩阵式，号Z-1是矩阵Z的逆矩阵。
使用式(1)计算表示异常候选区域的异常区域相似度的判定指标P(x)，在该判定指标为阈值以上的情况下，将该区域检测为异常候选区域。然后，处理返回主进程。
在接着步骤S11的步骤S12中，异常候选信息取得部120取得与异常候选区域有关的信息。具体而言，异常候选种类估计部121取得估计异常候选区域所属的异常的种类、即血管性异常、肿瘤性异常、粘膜性异常中的任意一方。
图4是示出与异常候选区域有关的信息的取得处理的流程图。在步骤S121中，异常候选种类估计部121对异常候选区域进行贴标签(labeling)(参考：CG-ART协会、“数字图像处理”第2版、第181～182页)。即，进行对具有相同连结成分的异常候选区域标注相同标签、对具有不同连结成分的异常候选区域标注不同标签的处理。
在接下来的步骤S122中，异常候选种类估计部121按照贴标签的每个区域求出颜色特征量、形状特征量和纹理特征量。具体而言，与步骤S112同样，计算色比的平均值等作为颜色特征量，计算区域的圆形度、费雷特径和面积等作为形状特征量，计算LBP等作为纹理特征量。
在接下来的步骤S123中，异常候选种类估计部121求出与通过事前学习而取得的各种异常模型之间的一致度。详细地讲，按照被贴标签的每个区域对步骤S122中求出的颜色特征量、形状特征量和纹理特征量进行统合，生成特征向量。此时，进行归一化，根据需要对各向量进行加权。
然后，针对式(1)所示的判定指标P(x)应用贴标签的各区域的特征向量和事前取得的出血、发红、凝血等血管性异常的多个样本的特征向量，由此计算血管性异常的判定指标P(x)血管。同样，将事前取得的息肉等肿瘤性异常的多个样本的特征向量应用于式(1)的判定指标P(x)，由此计算肿瘤性异常的判定指标P(x)肿瘤。针对式(1)所示的判定指标P(x)，同样将事前取得的糜烂、溃疡、口疮、绒毛异常等粘膜性异常的多个样本的特征向量应用于式(1)的判定指标P(x)，由此计算粘膜性异常的判定指标P(x)粘膜。这些判定指标P(x)血管、P(x)肿瘤、P(x)粘膜的值表示贴标签的各区域与各种异常模型的一致度。
在接下来的步骤S124中，异常候选种类估计部121判定一致度最高的异常模型的种类。即，估计步骤S123中计算出的判定指标P(x)血管、P(x)肿瘤、P(x)粘膜的值最大的异常作为异常候选区域的种类。
在接下来的步骤S125中，异常候选种类估计部121对异常候选区域内的各像素附加表示异常候选区域的种类的标签。然后，处理返回主进程。
在接着步骤S12的步骤S13中，识别方法决定部130根据步骤S12中取得的与异常候选区域有关的信息、即针对异常候选区域估计出的异常的种类，决定识别方法。详细地讲，识别器选择部131根据异常候选区域的异常的种类选择识别器。
图5是示出根据与异常候选区域有关的信息决定识别方法的处理的流程图。在步骤S131中，识别器选择部131从异常候选信息取得部120取得与异常候选区域有关的信息即异常的种类。
在接下来的步骤S132～S136中，识别器选择部131根据与异常候选区域有关的信息选择识别器。
详细地讲，首先，在步骤S132中，识别器选择部131判定针对异常候选区域估计出的异常的种类是否是血管性异常。在血管性异常的情况下(步骤S132：是)，识别器选择部131选择颜色特征量识别器(步骤S133)。这是因为，出血等血管性异常区域相对于正常粘膜区域的表面，颜色的差异特别大，所以，通过使用颜色特征量，能够进行高精度的识别。具体而言，选择根据异常候选区域中的色比的强度、色相、彩度等颜色特征量进行识别的颜色特征量识别器。然后，处理返回主进程。
另一方面，在异常的种类不是血管性异常的情况下(步骤S132：否)，识别器选择部131判定异常的种类是否是肿瘤性异常(步骤S134)。在肿瘤性异常的情况下(步骤S134：是)，识别器选择部131选择形状特征量识别器(步骤S135)。这是因为，息肉等肿瘤性异常区域如呈圆形状鼓出那样，相对于正常粘膜区域的表面构造，形状的差异特别大，所以，通过使用形状特征量，能够进行高精度的识别。具体而言，选择根据异常候选区域的圆形度、面积、费雷特径等形状特征量进行识别的形状特征量识别器。然后，处理返回主进程。
另一方面，在异常的种类不是肿瘤性异常的情况下(步骤S134：否)，识别器选择部131判断为异常的种类是粘膜性异常，选择颜色特征量识别器和纹理特征量识别器(步骤S136)。这是因为，糜烂和溃疡等粘膜性异常区域相对于正常粘膜区域的表面，伴随泛红或泛白这样的基于炎症的颜色变化，表面构造也变化，所以，通过与颜色特征量一起使用纹理特征量，能够进行高精度的识别。具体而言，选择上述颜色特征量识别器，并且，选择根据通过LBP或DoG计算出的高频成分强度等纹理特征量进行识别的纹理特征量识别器。然后，处理返回主进程。
在接着步骤S13的步骤S14中，识别部140通过步骤S13中决定的识别方法(识别器)进行异常候选区域的识别。此时，通过支持向量机(SVM)等公知方法，预先生成各识别器中使用的识别边界。由此，识别异常候选区域是否是异常区域。
在接下来的步骤S15中，运算部100输出步骤S14中取得的识别结果。具体而言，针对识别为异常候选区域是异常区域的管腔内图像，附加表示检测到异常区域的意思的标志。也可以一并对该管腔内图像附加表示异常区域的种类(血管性异常、肿瘤性异常、粘膜性异常)的标志。然后，针对该管腔内图像的处理结束。
如以上说明的那样，在本发明的实施方式1中，从管腔内图像中检测异常候选区域，并且，取得估计出的异常的种类作为与该异常候选区域有关的信息，选择使用与异常的种类对应的识别器，由此识别异常候选区域是否是异常区域。由此，能够排除与是否是异常的识别不太相关的特征量的影响，能够进行高精度的识别。并且，通过选择适当的识别器，还能够使识别处理高速化。
(变形例1)
接着，对本发明的实施方式1的变形例1进行说明。图6是示出本变形例1的图像处理装置所具有的运算部的结构的框图。如图6所示，本变形例1的图像处理装置代替图1所示的运算部100而具有运算部150。该运算部150代替图1所示的异常候选信息取得部120和识别方法决定部130而具有异常候选信息取得部160和识别方法决定部170。运算部150以外的图像处理装置的各部的结构和动作、以及异常候选信息取得部160和识别方法决定部170以外的运算部150的结构和动作与实施方式1相同。
异常候选信息取得部160具有判定估计为异常候选区域所属的异常的种类的异常候选种类估计部121、以及判别拍摄了处理对象的管腔内图像的脏器的种类的脏器判别部161，取得基于异常候选种类估计部121的异常的种类的估计结果和基于脏器判别部161的脏器的种类的判别结果作为与异常候选区域有关的信息。异常候选种类估计部121的动作与实施方式1相同。
在基于脏器判别部161的脏器的种类的判别处理中能够应用公知的各种技术。作为一例，胃、小肠、大肠等各脏器分别具有特有的颜和纹理，所以，能够根据颜色特征量和纹理特征量判别这些脏器。具体而言，具有如下特征：胃的粘膜比较红，小肠的粘膜比较黄，并且观察到绒毛的褶皱的模样，大肠的粘膜比较白，另一方面还观察到残渣。因此，计算管腔内图像整体或管腔内图像中的异常候选区域以外的区域的颜色特征量和纹理特征量，求出与通过事前学习而取得的脏器模型之间的一致度，由此能够判别脏器的种类。具体而言，针对由上述式(1)给出的判定指标P(x)应用基于事前取得的各脏器的颜色特征量和纹理特征量的特征向量，由此计算各脏器的判定指标、具体而言为胃的判定指标P(x)胃、小肠的判定指标P(x)小肠、和大肠的判定指标P(x)大肠，将这些判定指标的值最大的脏器判别为拍摄了该管腔内图像的脏器。
识别方法决定部170具有识别器选择部171，该识别器选择部171根据针对异常候选区域估计出的异常的种类和拍摄了管腔内图像的脏器，选择识别器。这里，在消化道内产生的异常中，根据脏器的种类，发生的容易度不同。例如，在胃中，糜烂和溃疡成为主要异常。该情况下，优选提高针对颜色特征量和纹理特征量的识别精度。并且，在小肠中，出血成为主要异常。该情况下，优选提高针对颜色特征量的识别精度。在大肠中，息肉等肿瘤成为主要异常。该情况下，优选提高针对形状特征量的识别精度。
因此，识别器选择部171根据异常的种类和脏器的种类来选择识别器。作为选择方法的一例，举出简单地组合根据异常的种类选择出的识别器和根据脏器的种类选择出的判别器的方法。例如，在判定指标P(x)血管、P(x)肿瘤、P(x)粘膜之间判定指标P(x)血管最高、且在脏器的判定指标P(x)胃、P(x)小肠、P(x)大肠之间判定指标P(x)胃最高的情况下，根据异常的种类，选择针对血管性异常具有较高识别精度的颜色特征量识别器，根据脏器的种类，选择针对胃中主要产生的糜烂或溃疡具有较高识别精度的颜色特征量识别器和纹理特征量识别器。因此，作为这些识别器的组合(逻辑和)，选择颜色特征量识别器和纹理特征量识别器。
(实施方式2)
接着，对本发明的实施方式2进行说明。图7是示出本发明的实施方式2的图像处理装置所具有的运算部的结构的框图。如图7所示，本实施方式2的图像处理装置代替图1所示的运算部100而具有运算部200。该运算部200代替图1所示的识别方法决定部130和识别部140而具有识别方法决定部210和识别部220。运算部200以外的图像处理装置的各部的结构和动作、以及识别方法决定部210和识别部220以外的运算部200的结构和动作与实施方式1相同。
识别方法决定部210具有在一个异常候选区域的识别时选择多个识别器的识别器选择部211、以及决定对识别器选择部211选择出的多个识别器进行统合时的处理的统合处理决定部212。统合处理决定部212具有统合权重决定部212a，该统合权重决定部212a决定对选择出的多个识别器的识别结果进行统合时使用的权重。
识别部220具有识别结果统合部221，该识别结果统合部221对识别器选择部211选择出的多个识别器的多个识别结果进行统合，输出统合后的识别结果作为该异常候选区域的最终识别结果。
接着，对本实施方式2的图像处理装置的动作进行说明。图8是示出本实施方式2的图像处理装置的动作的流程图。另外，图8的步骤S10～S12与实施方式1相同。并且，本实施方式2中使用的颜色特征量、形状特征量和纹理特征量的具体例与实施方式1中说明的特征量相同。
在接着步骤S12的步骤S21中，识别方法决定部210根据步骤S12中取得的与异常候选区域有关的信息，选择多个识别器。图9是示出多个识别器的选择处理的流程图。并且，图10是用于说明多个识别器的选择处理的示意图。
首先，在步骤S211中，识别器选择部211从异常候选信息取得部120取得与异常候选区域有关的信息。即，取得针对异常候选区域估计出的异常的种类。
在接下来的步骤S212～S216中，识别器选择部211根据与异常候选区域有关的信息，选择多个识别器。
这里，作为组合多个识别器的方法，作为一例，使用通过具有简易识别能力的弱识别器的组合来构成识别器整体的套袋(bagging)或提升(boosting)等公知的学习方法(参照：C.M.Bishop著、《图案识别和机器学习下》、Springer Japan株式会社、第373～375页)。另外，在图10中，示出组合了7个识别器的图案，但是，一个图案中包含的识别器的总数是任意的，不限于7个。例如，用户经由输入部30输入识别器的总数，由此可以设定进行选择和组合的识别器的数量。
详细地讲，首先，在步骤S212中，识别器选择部211判定针对异常候选区域估计出的异常的种类是否是血管性异常。在血管性异常的情况下(步骤S212：是)，识别器选择部211优先选择颜色特征量识别器(步骤S213)。
具体而言，与形状特征量识别器和纹理特征量识别器相比，更多地选择颜色特征量的种类不同的颜色特征量识别器。图10的(a)是示出优先选择了颜色特征量识别器的情况下的多个识别器的组合图案的示意图。在图10的(a)中，示出组合了5种颜色特征量识别器c1～c5、1种形状特征量识别器f1、1种纹理特征量识别器t1的例子。
关于选择颜色特征量识别器、形状特征量识别器和纹理特征量识别器的数量的比率，只要颜色特征量识别器较多即可，没有特别限定。该比率可以是固定值，也可以是变动值。作为一例，可以根据估计异常候选区域的异常的种类时计算出的一致度(判定指标P(x)血管、P(x)肿瘤、P(x)粘膜)的比率，决定各种识别器的选择数的比率。然后，处理返回主进程。
另一方面，在异常的种类不是血管性异常的情况下(步骤S212：否)，识别器选择部211判定异常的种类是否是肿瘤性异常(步骤S214)。在肿瘤性异常的情况下(步骤S214：是)，识别器选择部211优先选择形状特征量识别器(步骤S215)。关于选择各种识别器的数量的比率，只要形状特征量识别器较多即可，没有特别限定。比率的决定方法与血管性异常的情况相同。图10的(b)是示出优先选择了形状特征量识别器的情况下的多个识别器的组合图案的示意图。在图10的(b)中，示出组合了5种形状特征量识别器f1～f5、1种颜色特征量识别器c1、1种纹理特征量识别器t1的例子。然后，处理返回主进程。
另一方面，在异常的种类不是肿瘤性异常的情况下(步骤S214：否)，识别器选择部211判断为异常的种类是粘膜性异常，优先选择颜色特征量识别器和纹理特征量识别器(步骤S216)。关于选择各种识别器的数量的比率，只要颜色特征量识别器和纹理特征量识别器较多即可，没有特别限定。比率的决定方法与血管性异常的情况相同。图10的(c)是示出优先选择了颜色特征量识别器和纹理特征量识别器的情况下的多个识别器的组合图案的示意图。在图10的(c)中，示出组合了3种颜色特征量识别器c1～d3、3种纹理特征量识别器t1～t3、1种形状特征量识别器f1的例子。然后，处理返回主进程。
在接着步骤S21的步骤S22中，统合处理决定部212决定所选择出的多个识别器的统合方法。图11是示出所选择出的多个识别器的统合方法的决定处理的流程图。
首先，在步骤S221中，统合处理决定部212取得与异常候选区域有关的信息。
在接下来的步骤S222～S226中，统合权重决定部212a根据与异常候选区域有关的信息，决定对步骤S21中选择出的多个识别器的识别结果赋予的权重的比率。
这里，设在步骤S21中选择出多个识别器y1～ym(m是选择出的识别器的总数)时，统合权重决定部212a决定对这些识别器y1～ym各自的识别结果即准确度P1～Pm赋予的权重w1～wm，以使得根据针对异常候选区域估计出的异常的种类而变化。另外，权重w1～wm进行归一化，以使得总和为1。
详细地讲，首先，在步骤S222中，统合权重决定部212a判定针对异常候选区域估计出的异常的种类是否是血管性异常。在血管性异常的情况下(步骤S222：是)，统合权重决定部212a提高对颜色特征量识别器赋予的权重的比率(步骤S223)。关于权重的比率，只要对颜色特征量识别器赋予的权重较高即可，没有特别限定，可以是任意值。或者，可以预先生成表示与异常候选区域有关的信息(异常的种类)和权重的比率之间的关系的表，通过参照该表，决定权重的比率。然后，处理返回主进程。
另一方面，在异常的种类不是血管性异常的情况下(步骤S222：否)，统合权重决定部212a判定异常的种类是否是肿瘤性异常(步骤S224)。在肿瘤性异常的情况下(步骤S224：是)，统合权重决定部212a提高对形状特征量识别器赋予的权重的比率(步骤S225)。提高权重的比率的方法与血管性异常的情况相同。然后，处理返回主进程。
另一方面，在异常的种类不是肿瘤性异常的情况下(步骤S224：否)，统合权重决定部212a判断为异常的种类是粘膜性异常，提高对颜色特征量识别器和纹理特征量识别器赋予的权重的比率(步骤S226)。提高权重的比率的方法与血管性异常的情况相同。然后，处理返回主进程。
在接着步骤S22的步骤S23中，识别部220通过所决定的识别方法识别异常候选区域。图12是示出基于所决定的识别方法的异常候选区域的识别处理的流程图。并且，图13是用于说明对多个识别结果进行统合的处理的示意图。
首先，在步骤S231中，识别部220进行基于步骤S21中选择出的多个识别器的识别运算。具体而言，如图13所示，进行基于多个识别器(例如颜色特征量识别器c1、c2、…、形状特征量识别器f1、纹理特征量识别器t1等)的识别运算，取得准确度P1～Pm作为识别结果。
在接下来的步骤S232中，识别结果统合部221通过步骤S22中决定的统合方法，对步骤S231中输出的多个识别结果进行统合。即，如下式(2)所示，针对作为多个识别结果而取得的准确度P1～Pm，使用步骤S22中决定的对各识别器赋予的权重w1～wm进行加权相加，由此计算统合后的识别结果(准确度P)。
P＝P1×w1+P2×w2+…+Pm×wm…(2)
或者，识别结果统合部221也可以代替式(2)这种加权相加而进行更加复杂的加权运算。例如，可以根据准确度P的值而使权重的赋予方式变化，以使得在准确度P在某个范围内的情况下，单纯地对准确度P1～Pm乘以权重w1～wm并进行相加，但是，在准确度P超过某个范围的情况下，对权重w1～wm乘以进一步乘以系数α而得到的值。该情况下，也可以预先生成用于进行加权运算的计算表，通过参照该计算表来进行运算。然后，处理返回主进程。
在接着步骤S23的步骤S24中，运算部200输出步骤S23中取得的识别结果。该输出处理与实施方式1相同。然后，针对该管腔内图像的处理结束。
如以上说明的那样，根据本发明的实施方式2，根据针对异常候选区域估计出的异常的种类，使适合于该异常的种类的识别的特征量识别器优先来选择多个识别器，对由这些识别器得到的多个识别结果进行与异常的种类对应的加权后进行统合，所以，能够根据异常的种类进行适当的识别处理，能够得到更高精度的识别结果。
(变形例2-1)
接着，对本发明的实施方式2的变形例2-1进行说明。在上述实施方式2中，对选择出的多个识别器的识别结果，进行与针对异常候选区域估计出的异常的种类对应的加权相加。但是，也可以不进行该加权，仅进行相加平均。在步骤S21中，根据异常的种类，优先选出特定种类的特征量识别器。作为一例，在异常候选区域的异常的种类是血管性异常的情况下，相对于其他特征量识别器，选出数量较多的颜色特征量识别器。因此，在以等比率对这些识别器的识别结果进行相加平均的情况下，针对统合后的识别结果，也能够增大特定种类的特征量识别器的识别结果的作用。
(变形例2-2)
接着，对本发明的实施方式2的变形例2-2进行说明。在上述实施方式2中，也可以与实施方式1的变形例1同样设置脏器判别部161(参照图6)，考虑拍摄了处理对象的管腔内图像的脏器的种类来进行识别器的选择和权重的决定。
具体而言，在胃中，糜烂和溃疡成为主要异常，所以，在脏器的种类是胃的情况下，识别器选择部211优先选择颜色特征量识别器和纹理特征量识别器，以使得针对颜色和纹理的识别精度较高。并且，统合权重决定部212a提高分别对颜色特征量识别器和纹理特征量识别器的识别结果赋予的权重的比率。
或者，在小肠中，出血成为主要异常，所以，在脏器的种类是小肠的情况下，识别器选择部211优先选择颜色特征量识别器。并且，统合权重决定部212a提高对颜色特征量识别器的识别结果赋予的权重的比率。
进而，在大肠中，息肉等肿瘤成为主要异常，所以，在脏器的种类是大肠的情况下，识别器选择部211优先选择形状特征量识别器。并且，统合权重决定部212a提高对形状特征量识别器的识别结果赋予的权重的比率。
在根据脏器的种类决定权重的情况下，能够使用根据异常的种类决定的权重w1～wm、以及根据脏器的种类决定的权重w1’～wm’，例如通过下式(3)对各种识别器的识别结果即准确度P1～Pm进行统合。
P＝P1×(w1+w1’)+P2×(w2+w2’)+…+Pm×(wm+wm’)…(3)
作为考虑了脏器的种类的其他处理，也可以在识别器选择部211中，根据针对异常候选区域估计出的异常的种类选择多个识别器，在统合权重决定部212a中，根据脏器的种类决定对各识别器的识别结果赋予的权重的比率。或者，也可以在识别器选择部211中，以与脏器的种类对应的优先级选择多个识别器，在统合权重决定部212a中，根据异常候选区域的异常的种类决定对各识别器的识别结果赋予的权重的比率。
(实施方式3)
接着，对本发明的实施方式3进行说明。图14是示出本实施方式3的图像处理装置所具有的运算部的结构的框图。如图14所示，本实施方式3的图像处理装置代替图1所示的运算部100而具有运算部300。该运算部300具有异常候选检测部110、异常候选信息取得部310、识别方法决定部320、识别部330。其中，异常候选检测部110的动作与实施方式1相同。
异常候选信息取得部310具有识别难易度判定部311，该识别难易度判定部311判定针对异常候选检测部110检测到的异常候选区域的识别的难易度，输出识别难易度判定部311的判定结果作为与异常候选区域有关的信息。根据检测到异常候选区域时附加的标签(参照图4的步骤S125)来判定识别难易度。具体而言，根据针对异常候选区域估计出的异常的种类(血管性异常、肿瘤性异常、粘膜性异常)来判定识别难易度。
识别方法决定部320具有识别处理选择部321，该识别处理选择部321根据作为与异常候选区域有关的信息取得的识别难易度来选择识别方法。详细地讲，识别处理选择部321选择生成识别异常候选区域是否是异常区域时的识别边界的方法。作为识别边界的生成方法，举出上述套袋、支持向量机、基于线性识别函数的分类(参考：C.M.Bishop著、《图案识别和机器学习上》、Springer Japan株式会社、第182～185页)等。这里，基于线性识别函数的分类是如下方法：如图15的(a)所示，根据正常和异常的2类数据求出线性识别函数，如图15的(b)所示，将该线性识别函数应用于新样本，由此进行分类。
识别部330使用识别方法决定部320决定的识别方法，识别异常候选区域是否是异常区域。
接着，对本实施方式3的图像处理装置的动作进行说明。图16是示出本实施方式3的图像处理装置的动作的流程图。另外，图16的步骤S10、S11与实施方式1相同。并且，本实施方式3中使用的颜色特征量、形状特征量和纹理特征量的具体例与实施方式1中说明的特征量相同。
在接着步骤S11的步骤S31中，异常候选信息取得部310取得识别难易度作为与异常候选区域有关的信息。图17是示出与异常候选区域有关的信息的取得处理的流程图。另外，图17的步骤S121～S125与实施方式1相同(参照图4)。
在接着步骤S125的步骤S311中，识别难易度判定部311按照异常候选区域的每个标签，判定识别难易度。具体而言，血管性异常具有出血的颜色与消化道内的粘膜大幅不同这样的特征，所以，识别比较容易。因此，识别难易度判定部311针对附加了血管性异常的标签的异常候选区域，判定为识别难易度较低。并且，肿瘤性异常具有特征性的形状，但是，有时在粘膜表面存在可能误识别为槽等的构造，进而，颜色与粘膜表面的颜色接近，所以识别困难。因此，识别难易度判定部311针对附加了肿瘤性异常的标签的异常候选区域，判定为识别难易度较高。进而，关于粘膜性异常，根据摄像环境，粘膜表面的构造的不均匀性的外观不同，所以，识别比较困难。因此，识别难易度判定部311针对附加了粘膜性异常的标签的异常候选区域，判定为识别难易度较高。
另外，识别难易度的级别可以是识别容易和识别困难这两个值，也可以从识别容易到识别困难设置多个阶段，还可以从识别容易到识别困难连续设定。并且，也可以使用户能够任意设定这些级别。
在接下来的步骤S312中，异常候选信息取得部310取得识别难易度判定部311判定出的识别难易度作为与异常候选区域有关的信息。然后，处理返回主进程。
在接着步骤S31的步骤S32中，识别方法决定部320根据步骤S31中取得的与异常候选区域有关的信息即识别难易度，决定识别方法。详细地讲，识别处理选择部321根据识别难易度，选择生成异常候选区域的识别基准的算法。
图18是示出选择识别方法的处理的流程图。首先，在步骤S321中，识别处理选择部321从异常候选信息取得部310取得异常候选区域的识别难易度。
在接下来的步骤S322中，识别处理选择部321判定所取得的识别难易度是否较高。
此时，在从异常候选信息取得部310取得的识别难易度设定为两个值(识别困难、识别容易)的情况下，直接使用所取得的识别难易度作为判定结果即可。另一方面，在从异常候选信息取得部310取得的识别难易度为多个阶段或连续设定的情况下，识别处理选择部321通过对识别难易度进行阈值处理，判定识别难易度是否较高。此时的阈值可以由用户任意设定。
在识别难易度较高的情况下(步骤S322：是)，识别处理选择部321选择识别精度较高的识别方法(步骤S323)。识别精度较高的识别方法一般是复杂、且具有较大的特征量维数和计算量的方法。具体而言，举出非线性支持向量机、提升等方法。
另一方面，在识别难易度不高的情况下(步骤S322：否)、即识别难易度较低的情况下，识别处理选择部321选择简易的识别方法(步骤S324)。简易的识别方法是识别精度没有步骤S323中选择的方法那么高、但是视觉上容易理解的、容易的识别方法。在这种识别方法中，特征量维数和计算量的规模远远小于步骤S323中选择的精度较高的识别方法。具体而言，举出概率密度函数、线性识别函数的分类、线性支持向量机等方法。然后，处理返回主进程。
在接着步骤S32的步骤S33中，识别部330通过步骤S32中决定的识别方法来识别异常候选区域。详细地讲，识别部330通过步骤S32中决定的方法生成识别基准，使用该识别基准识别步骤S11中检测到的异常候选区域是否是异常区域。
在接下来的步骤S34中，运算部300输出步骤S33中取得的识别结果。该输出处理与实施方式1相同。然后，针对该管腔内图像的处理结束。
如以上说明的那样，在本发明的实施方式3中，根据异常候选区域的识别难易度来选择识别方法，使用所选择出的识别方法识别该异常候选区域是否是异常区域。即，针对识别难易度较高的异常候选区域，使用计算量较多且复杂、但是识别精度较高的识别方法，针对识别难易度较低的异常候选区域，使用识别精度不高、但是视觉上容易理解的简易且计算量较少的识别方法。这样，根据异常候选区域的识别难易度使用适当方法，由此，能够确保必要的识别精度，并且高效进行识别。
通过由个人计算机或工作站等计算机系统执行存储装置中存储的图像处理程序，能够实现以上说明的实施方式1～3和它们的变形例。并且，也可以经由局域网(LAN)、广域网(WAN)或因特网等公共线路将这种计算机系统与其他计算机系统或服务器等设备连接起来进行使用。该情况下，实施方式1～3和它们的变形例的图像处理装置也可以经由这些网络取得管腔内图像的图像数据，并且对经由这些网络连接的各种输出设备(观测仪或打印机等)输出图像处理结果，并且在经由这些网络连接的存储装置(存储介质及其读取装置等)中存储图像处理结果。
本发明不限于实施方式1～3和它们的变形例，通过适当组合各实施方式或变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式或变形例所示的全部结构要素中删除若干个结构要素而形成，也可以适当组合不同实施方式或变形例所示的结构要素而形成。
标号说明
1：图像处理装置；10：控制部；20：图像取得部；30：输入部；40：显示部；50：存储部；51：图像处理程序；100、150、200、300：运算部；110：异常候选检测部；120、160、310：异常候选信息取得部；121：异常候选种类估计部；130、170、210、320：识别方法决定部；140、220、330：识别部；131、171、211：识别器选择部；161：脏器判别部；212：统合处理决定部；212a：统合权重决定部；221：识别结果统合部；311：识别难易度判定部；321：识别处理选择部。

Claims (9)

1.一种图像处理装置，其特征在于，所述图像处理装置具有：
候选区域检测部，其从拍摄活体的管腔内而得到的图像中，检测拍摄到该管腔内的特定部位的区域即特定区域的候选区域；
候选区域信息取得部，其取得与所述候选区域检测部检测到的所述候选区域有关的信息；
识别方法决定部，其根据与所述候选区域有关的信息，决定用于识别该候选区域是否是所述特定区域的识别方法；以及
识别部，其使用所述识别方法决定部决定的识别方法，识别所述候选区域是否是所述特定区域，
其中，所述候选区域信息取得部具有识别难易度判定部，该识别难易度判定部判定识别所述候选区域是否是所述特定区域的识别难易度，
所述识别方法决定部具有识别处理选择部，所述识别难易度越高，则所述识别处理选择部选择识别精度越高的识别方法。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述识别方法决定部具有识别器选择部，该识别器选择部根据与所述候选区域有关的信息，从多个识别器中选择该候选区域的识别所使用的识别器。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述候选区域信息取得部具有候选区域种类估计部，该候选区域种类估计部根据所述图像的特征量，估计所述候选区域所属的特定区域的种类，
所述识别器选择部根据所述候选区域种类估计部估计出的特定区域的种类来选择所述识别器。
4.根据权利要求2所述的图像处理装置，其特征在于，
所述识别器选择部从所述多个识别器中选择2个以上的识别器，
所述识别方法决定部具有统合处理决定部，该统合处理决定部决定对由所述识别器选择部选择出的所述2个以上的识别器分别得到的2个以上的识别结果进行统合时的统合处理，
所述识别部通过所述统合处理决定部决定的统合处理对所述2个以上的识别结果进行统合，由此识别所述候选区域是否是所述特定区域。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述候选区域信息取得部具有候选区域种类估计部，该候选区域种类估计部使用所述图像的特征量估计所述候选区域所属的特定区域的种类，
所述识别器选择部按照与所述候选区域种类估计部估计出的特定区域的种类对应的优先级，选择所述2个以上的识别器。
6.根据权利要求4所述的图像处理装置，其特征在于，
所述统合处理决定部具有统合权重决定部，该统合权重决定部决定在对所述2个以上的识别结果进行统合时分别对这2个以上的识别结果赋予的2个以上的权重。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述候选区域信息取得部具有候选区域种类估计部，该候选区域种类估计部使用所述图像的特征量估计所述候选区域所属的特定区域的种类，
所述统合权重决定部根据所述候选区域种类估计部估计出的特定区域的种类，决定所述2个以上的权重。
8.一种图像处理方法，其特征在于，所述图像处理方法包括以下步骤：
候选区域检测步骤，从拍摄活体的管腔内而得到的图像中，检测拍摄到该管腔内的特定部位的区域即特定区域的候选区域；
候选区域信息取得步骤，取得与所述候选区域检测步骤中检测到的所述候选区域有关的信息；
识别方法决定步骤，根据与所述候选区域有关的信息，决定用于识别该候选区域是否是所述特定区域的识别方法；以及
识别步骤，使用所述识别方法决定步骤中决定的识别方法，识别所述候选区域是否是所述特定区域，
所述候选区域信息取得步骤包括识别难易度判定步骤，该识别难易度判定步骤判定识别所述候选区域是否是所述特定区域的识别难易度，
所述识别方法决定步骤包括识别处理选择步骤，所述识别难易度越高，则所述识别处理选择步骤选择识别精度越高的识别方法。
9.一种记录有图像处理程序的记录介质，其特征在于，所述图像处理程序使计算机执行以下步骤：
候选区域检测步骤，从拍摄活体的管腔内而得到的图像中，检测拍摄到该管腔内的特定部位的区域即特定区域的候选区域；
候选区域信息取得步骤，取得与所述候选区域检测步骤中检测到的所述候选区域有关的信息；
识别方法决定步骤，根据与所述候选区域有关的信息，决定用于识别该候选区域是否是所述特定区域的识别方法；以及
识别步骤，使用所述识别方法决定步骤中决定的识别方法，识别所述候选区域是否是所述特定区域，
所述候选区域信息取得步骤包括识别难易度判定步骤，该识别难易度判定步骤判定识别所述候选区域是否是所述特定区域的识别难易度，
所述识别方法决定步骤包括识别处理选择步骤，所述识别难易度越高，则所述识别处理选择步骤选择识别精度越高的识别方法。
CN201580081615.4A 2015-05-21 2015-05-21 图像处理装置、图像处理方法和记录介质 Active CN107835654B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/064662 WO2016185617A1 (ja) 2015-05-21 2015-05-21 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN107835654A CN107835654A (zh) 2018-03-23
CN107835654B true CN107835654B (zh) 2020-03-13

Family

ID=57319557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081615.4A Active CN107835654B (zh) 2015-05-21 2015-05-21 图像处理装置、图像处理方法和记录介质

Country Status (4)

Country Link
US (1) US10456009B2 (zh)
JP (1) JP6552613B2 (zh)
CN (1) CN107835654B (zh)
WO (1) WO2016185617A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3705025A4 (en) * 2017-10-30 2021-09-08 Japanese Foundation For Cancer Research IMAGE DIAGNOSIS ASSISTANT APPARATUS, DATA COLLECTION PROCESS, IMAGE DIAGNOSIS ASSISTANCE PROCESS AND IMAGE DIAGNOSIS ASSISTANCE PROGRAM
WO2019146075A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法
JP7015385B2 (ja) * 2018-05-15 2022-02-02 富士フイルム株式会社 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム
WO2020049935A1 (ja) * 2018-09-05 2020-03-12 日本電産株式会社 物体認識装置および物体認識方法
WO2020110278A1 (ja) * 2018-11-30 2020-06-04 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
CN109919187B (zh) * 2019-01-28 2021-02-12 浙江工商大学 用bagging微调CNN来分类甲状腺滤泡状图片的方法
JP2020139842A (ja) * 2019-02-28 2020-09-03 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
CN109965829B (zh) * 2019-03-06 2022-05-06 重庆金山医疗技术研究院有限公司 成像优化方法、图像处理装置、成像装置及内窥镜系统
JP2020156903A (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
WO2021054477A2 (ja) * 2019-09-20 2021-03-25 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7044120B2 (ja) 2020-02-07 2022-03-30 カシオ計算機株式会社 識別装置、識別器学習方法、識別方法及びプログラム
KR102344084B1 (ko) * 2020-05-13 2021-12-27 연세대학교 산학협력단 귀의 병변에 대한 정보 제공 방법 및 이를 이용한 귀의 병변에 대한 정보 제공용 디바이스
JP2021196711A (ja) * 2020-06-10 2021-12-27 日立造船株式会社 情報処理装置、判定方法、および情報処理プログラム
WO2022029824A1 (ja) * 2020-08-03 2022-02-10 オリンパス株式会社 診断支援システム、診断支援方法及び診断支援プログラム
CN113223041B (zh) * 2021-06-25 2024-01-12 上海添音生物科技有限公司 用于自动提取图像中目标区域的方法、系统及存储介质
CN114259197B (zh) * 2022-03-03 2022-05-10 深圳市资福医疗技术有限公司 一种胶囊内窥镜质控方法及系统
CN115035118B (zh) * 2022-08-11 2022-11-01 南通华钛电子科技有限公司 一种基于识别模型的pcb生产线残缺检测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4450973B2 (ja) * 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
JP4912787B2 (ja) * 2006-08-08 2012-04-11 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理装置の作動方法
JP2008234623A (ja) 2007-02-19 2008-10-02 Seiko Epson Corp カテゴリー識別装置、カテゴリー識別方法、及び、プログラム
JP5576711B2 (ja) * 2010-05-14 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP6265588B2 (ja) 2012-06-12 2018-01-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Also Published As

Publication number Publication date
CN107835654A (zh) 2018-03-23
WO2016185617A1 (ja) 2016-11-24
JP6552613B2 (ja) 2019-07-31
JPWO2016185617A1 (ja) 2018-03-08
US10456009B2 (en) 2019-10-29
US20180070798A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
CN107835654B (zh) 图像处理装置、图像处理方法和记录介质
Kim et al. Salient region detection via high-dimensional color transform and local spatial support
Li et al. Segmentation of white blood cell from acute lymphoblastic leukemia images using dual-threshold method
Zhu et al. Learning to recognize shadows in monochromatic natural images
US10360474B2 (en) Image processing device, endoscope system, and image processing method
Pereira et al. Dermoscopic skin lesion image segmentation based on Local Binary Pattern Clustering: Comparative study
KR20090131626A (ko) 영상 데이터내의 특정 클래스의 오브젝트를 세그멘테이션하기 위한 시스템 및 방법
US11450087B2 (en) System and method for multimedia analytic processing and display
JP2011053953A (ja) 画像処理装置及びプログラム
Yang et al. Real-time traffic sign detection via color probability model and integral channel features
Tareef et al. Automated three-stage nucleus and cytoplasm segmentation of overlapping cells
Kaushik et al. Medical image segmentation using genetic algorithm
Häfner et al. A novel shape feature descriptor for the classification of polyps in HD colonoscopy
CN111684461B (zh) 确定图像数据的特征数据的方法、装置、系统及存储介质
Pereira et al. Image Segmentation using Gradient-based Histogram Thresholding for Skin Lesion Delineation.
Hegenbart et al. Systematic assessment of performance prediction techniques in medical image classification a case study on celiac disease
Di Ruberto et al. A feature learning framework for histology images classification
Vasilakakis et al. DINOSARC: Color features based on selective aggregation of chromatic image components for wireless capsule endoscopy
Fernández-Carrobles et al. Frequential versus spatial colour textons for breast TMA classification
Wu et al. Automatic skin lesion segmentation based on supervised learning
Sundar et al. An effective deep learning model for grading abnormalities in retinal fundus images using variational auto‐encoders
Tuba et al. Bleeding detection in wireless capsule endoscopy images using texture and color features
Maghsoudi Superpixels based segmentation and SVM based classification method to distinguish five diseases from normal regions in wireless capsule endoscopy
Abdelsamea An enhancement neighborhood connected segmentation for 2D-cellular image
Song et al. Cell nuclei segmentation in fluorescence microscopy images using inter-and intra-region discriminative information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant