CN107105988B - 图像处理装置、图像处理方法和记录介质 - Google Patents

图像处理装置、图像处理方法和记录介质 Download PDF

Info

Publication number
CN107105988B
CN107105988B CN201580072815.3A CN201580072815A CN107105988B CN 107105988 B CN107105988 B CN 107105988B CN 201580072815 A CN201580072815 A CN 201580072815A CN 107105988 B CN107105988 B CN 107105988B
Authority
CN
China
Prior art keywords
region
image processing
particular candidate
regional area
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580072815.3A
Other languages
English (en)
Other versions
CN107105988A (zh
Inventor
北村诚
上山都士也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107105988A publication Critical patent/CN107105988A/zh
Application granted granted Critical
Publication of CN107105988B publication Critical patent/CN107105988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

图像处理装置具有：特定候选区域提取单元，其从对活体内管腔进行摄像而得到的活体内管腔图像中提取满足规定条件的特定候选区域；基准区域设定单元，其设定包含特定候选区域中的至少一部分的基准区域；局部区域提取单元，其根据基准区域提取局部区域；局部特征量计算单元，其计算局部区域的特征量即局部特征量；权重设定单元，其根据特定候选区域设定与局部区域对应的权重；以及特征量统合单元，其对局部特征量进行统合。

Description

图像处理装置、图像处理方法和记录介质
技术领域
本发明涉及针对拍摄活体内管腔而得到的活体内管腔图像实施图像处理的图像处理装置、图像处理方法和记录介质。
背景技术
以往，公开了根据图像计算局部特征量、从而使用对各局部特征量进行统合后的统合特征量进行高精度识别的方法(BoF：Bag of Features特征袋)(例如参照专利文献1和非专利文献1)。该方法的处理步骤如下所述。
步骤1.从图像内计算局部特征量。
步骤2.将图像分割成多个尺寸的矩形区域，生成金字塔图像。
步骤3.计算各矩形区域内的局部特征量与事先生成的代表向量组在局部特征空间内的距离，求出最近的代表向量，计算其频度分布(统合特征量)。
步骤4.对按照每个矩形区域计算出的频度分布和事先生成的正常/异常的频度分布进行比较，判别正常/异常。
现有技术文献
专利文献
专利文献1：美国专利第8233711号说明书
非专利文献
非专利文献1：计算机视觉最前端引导3，八木康史、齐藤英雄著，adcom-media株式会社，2010年11月25日，p.90-95
发明内容
发明要解决的课题
但是，在上述现有技术中，在按照每个矩形区域对局部特征量进行统合的情况下，表现对象所需要的局部特征量可能未充分包含在同一矩形区域内，该情况下，存在无法高精度地识别对象这样的问题。
本发明是鉴于上述情况而完成的，其目的在于，提供能够计算能够高精度识别对象的局部特征量的图像处理装置、图像处理方法和图像处理程序。
用于解决课题的手段
为了解决上述课题并实现目的，本发明的图像处理装置的特征在于，所述图像处理装置具有：特定候选区域提取单元，其从对活体内管腔进行摄像而得到的活体内管腔图像中提取满足规定条件的特定候选区域；基准区域设定单元，其设定包含所述特定候选区域中的至少一部分的基准区域；局部区域提取单元，其根据所述基准区域提取局部区域；局部特征量计算单元，其计算所述局部区域的特征量即局部特征量；权重设定单元，其根据所述特定候选区域设定与所述局部区域对应的权重；以及特征量统合单元，其对所述局部特征量进行统合。
本发明的图像处理方法的特征在于，所述图像处理方法包括以下步骤：特定候选区域提取步骤，从对活体内管腔进行摄像而得到的活体内管腔图像中提取满足规定条件的特定候选区域；基准区域设定步骤，设定包含所述特定候选区域中的至少一部分的基准区域；局部区域提取步骤，根据所述基准区域提取局部区域；局部特征量计算步骤，计算所述局部区域的特征量即局部特征量；权重设定步骤，根据所述特定候选区域设定与所述局部区域对应的权重；以及特征量统合步骤，对所述局部特征量进行统合。
本发明的计算机能够读取的记录介质记录有图像处理程序，其特征在于，所述图像处理程序使计算机执行以下步骤：特定候选区域提取步骤，从对活体内管腔进行摄像而得到的活体内管腔图像中提取满足规定条件的特定候选区域；基准区域设定步骤，设定包含所述特定候选区域中的至少一部分的基准区域；局部区域提取步骤，根据所述基准区域提取局部区域；局部特征量计算步骤，计算所述局部区域的特征量即局部特征量；权重设定步骤，根据所述特定候选区域设定与所述局部区域对应的权重；以及特征量统合步骤，对所述局部特征量进行统合。
发明效果
根据本发明，设定与活体内管腔图像内的局部区域对应的权重，对局部区域的局部特征量进行统合，所以，能够计算能够高精度识别对象的局部特征量。
附图说明
图1是示出本发明的实施方式1的图像处理装置的功能结构的框图。
图2是示出本发明的实施方式1的图像处理装置执行的处理的概要的流程图。
图3是示意地示出本发明的实施方式1的图像处理装置所具有的基准区域设定部进行的基准区域设定处理的图。
图4是示意地示出本发明的实施方式1的图像处理装置所具有的局部区域提取部进行的局部区域提取处理的图。
图5是示意地示出本发明的实施方式1的图像处理装置所具有的区域分割部进行的缩小区域提取处理的图。
图6是示意地示出本发明的实施方式1的图像处理装置所具有的区域分割部进行的分割设定处理的图。
图7是示出本发明的实施方式1的图像处理装置计算的代表向量的频度分布的例子的图。
图8是示出不对与图7相同的代表向量乘以权重系数的情况下的代表向量的频度分布的例子的图。
图9是示意地示出本发明的实施方式1的变形例1-3的图像处理装置所具有的区域分割部进行的距离图像计算处理的图。
图10是示意地示出本发明的实施方式1的变形例1-3的图像处理装置所具有的区域分割部计算出的距离图像的图。
图11是示出本发明的实施方式2的图像处理装置的功能结构的框图。
图12是示出本发明的实施方式2的图像处理装置进行的处理的概要的流程图。
图13是示出本发明的实施方式3的图像处理装置的功能结构的框图。
图14是示出本发明的实施方式3的图像处理装置进行的处理的概要的流程图。
具体实施方式
下面，对用于实施本发明的方式(以下称为“实施方式”)进行说明。
(实施方式1)
图1是示出本发明的实施方式1的图像处理装置的功能结构的框图。该图所示的图像处理装置1具有运算部2和存储部3。图像处理装置1具有根据由胶囊内窥镜进行摄像而得到的活体内管腔图像检测满足规定条件的特定区域的功能。作为活体内管腔图像，使用在各像素位置处针对R(红)、G(绿)、B(蓝)的波长成分(颜色成分)具有像素级别(像素值)的彩色图像。
运算部2具有从活体内管腔图像中提取与病变部等异常部位对应的特定候选区域的特定候选区域提取部21、设定包含特定候选区域的基准区域的基准区域设定部22、从基准区域中提取局部区域的局部区域提取部23、计算提取出的各个局部区域的特征量即局部特征量的局部特征量计算部24、根据特定候选区域设定局部特征量的权重的权重设定部25、使用所设定的权重对局部特征量进行统合的特征量统合部26、根据统合后的局部特征量检测特定区域的检测部27。
特定候选区域提取部21根据颜色特征量和/或形状特征量，从活体内管腔图像中提取与病变部等异常部位对应的特定候选区域。例如，口疮、溃疡等示出白色的特定颜色，出血和发红示出红色的特定颜色。并且，息肉和肿瘤多为圆形的区域。特定候选区域提取部21根据颜色特征量和/或形状特征量提取能够作为这些特定区域的候选的特定候选区域。
首先，对特定候选区域提取部21根据颜色特征量提取特定候选区域的情况进行说明。该情况下，特定候选区域提取部21例如提取具有白色和红色的颜色特征量的特定颜色区域作为特定候选区域。具体而言，特定候选区域提取部21根据事先收集的特定区域的RGB各成分的像素值、根据这些像素值并通过已经公知的转换被二次计算出的值、色差(YCbCr转换)、色相、彩度(HSI转换)、色比(G/R、B/G)等颜色特征量，决定特定区域的判别基准(颜色范围)，将其存储在存储部3中。然后，特定候选区域提取部21根据处理对象的各像素的颜色特征量和判别基准，判定各像素是否是特定候选区域。
另外，这里示出根据事先生成的判别基准来提取特定候选区域的方法，但是，只要能够从图像内提取特定颜色区域即可，可以采用任意方法，例如也可以通过基于与代表颜色特征量之间的特征空间距离的方法来提取特定候选区域。并且，也可以代替使用像素单位的颜色特征量，而在根据图像内的边缘信息等分割成小区域后，使用小区域单位的颜色特征量。
接着，对特定候选区域提取部21根据形状特征量提取特定候选区域的情况进行说明。该情况下，特定候选区域提取部21例如提取具有与圆形对应的形状特征量的区域作为特定候选区域。具体而言，通过公知的Sobel或Laplacian等计算图像内的各像素(亮度值、G值等)的梯度强度。计算所计算出的梯度强度与事先生成的圆形模型的相关值，提取相关值为规定阈值以上的圆形区域作为特定候选区域。
另外，这里示出通过与事先生成的圆形模型之间的图案匹配来提取特定候选区域的方法，但是，只要能够从图像内提取圆形区域即可，可以采用任意方法，例如可以采用公知的霍夫变换、RANSAC(Random Sample Consensus：随机抽样一致)、DPM(Deformable PartModel：可变形部件模型)、ELSD(Ellipse and Line Segment Detector：椭圆线检测)等。
基准区域设定部22提取外切于特定候选区域的外切矩形区域，通过对该外切矩形区域进行变形，设定基准区域。基准区域设定部22具有将基准区域至少分割成边界区域和内部区域的区域分割部221。区域分割部221对外切于特定候选区域的外切矩形区域进行缩小，提取缩小区域，根据该缩小区域，将基准区域分割设定为边界区域和内部区域。
局部区域提取部23从基准区域中提取作为代表的像素位置，提取以该像素位置为中心的规定区域作为局部区域。局部区域提取部23可以等间隔地提取像素位置，也可以随机提取像素位置。并且，局部区域提取部23例如提取以像素位置为中心的规定半径的圆形作为局部区域。
局部特征量计算部24例如计算局部区域内的颜色特征量(RGB平均值、YCbCr平均值、HSI平均值、G/R平均值、B/G平均值等)、纹理特征量(LBP：Local Binary Pattern局部二值模式、方差、峰度、偏度等)、梯度特征量(HoG：Histograms of Oriented Gradients面向梯度的直方图、SIFT：Scale-invariant Feature Transform尺度不变特征转换等)中的任意一方作为局部特征量。另外，上述特征量只不过是一例，也可以使用其他特征量。
权重设定部25根据基准区域的分割设定结果来设定局部特征量的权重。特定区域的边界附近的信息在检测特定区域时成为重要信息。因此，权重设定部25将对局部特征量进行统合时位于边界附近的局部特征量的统合比率设定为较高。
特征量统合部26根据针对局部特征量设定的权重，例如使用上述公知的BoF对局部特征量进行统合。
检测部27根据统合后的局部特征量，例如通过公知的SVM(Support VectorMachine：支持向量机)等识别器来检测特定区域(关于SVM，例如参照adcom-media株式会社：计算机视觉最前端引导3，p.95～102)。
运算部2使用CPU(Central Processing Unit：中央处理单元)和各种运算电路等硬件构成，通过读入存储部3存储的各种程序，对构成图像处理装置1的各部进行指示和数据的转送等，对图像处理装置1整体的动作进行总括控制。
存储部3存储与权重设定部25设定的权重系数有关的信息。存储部3由ROM(ReadOnly Memory：只读存储器)或RAM(Random Access Memory：随机存取存储器)等各种IC存储器、内置或通过数据通信端子连接的硬盘、或CD-ROM等信息记录装置及其读取装置等实现。存储部3除了存储图像处理装置1取得的活体内管腔图像的图像数据以外，还存储用于使图像处理装置1进行动作并使图像处理装置1执行各种功能的程序、该程序的执行中使用的数据等。具体而言，存储部3存储本实施方式的图像处理程序、该图像处理中使用的阈值等各种参数。
存储部3存储的图像处理程序等各种程序还可以记录在计算机可读取的记录介质中。并且，关于各种程序针对存储部3或记录介质的记录，可以在计算机或记录介质作为产品出厂时进行，也可以通过经由通信网络的下载来进行。这里所说的通信网络例如由现有的公共线路网、LAN(Local Area Network：局域网)、WAN(Wide Area Network：广域网)等实现，与有线、无线无关。
具有以上结构的图像处理装置1可以使用一个计算机实现，也可以使用多个计算机实现。后者的情况下，能够经由通信网络进行数据的发送接收，并且相互协作进行处理。另外，这里所说的计算机可以由通用的个人计算机或服务器等构成。
图2是示出图像处理装置1执行的处理的概要的流程图。首先，在步骤S1中，运算部2取得处理对象即活体内管腔图像并将其写入存储部3中(步骤S1)。
在步骤S2中，特定候选区域提取部21根据颜色特征量和/或形状特征量，从活体内管腔图像内提取特定候选区域(步骤S2)。通过该步骤S2，例如提取与口疮、溃疡、息肉、肿瘤等对应的特定候选区域。
在步骤S3中，基准区域设定部22设定包含特定候选区域的基准区域(步骤S3)。图3是示意地示出基准区域设定部22进行的基准区域设定处理的图。下面，参照图3对基准区域设定处理的概要进行说明。
首先，基准区域设定部22首先对特定候选区域进行贴标签处理。作为该贴标签处理，例如能够应用CG-ARTS协会：数字图像处理，p.181～182中记载的公知的贴标签处理。
接着，基准区域设定部22提取特定候选区域101的外切矩形区域102。
然后，基准区域设定部22设定将外切矩形区域102扩张n(1.0<n≦2.0)倍后的扩张区域作为基准区域103。例如根据特定候选区域101的面积，此时的n的值被定义为：
n＝1.0+(特定候选区域的面积/最大面积)…(1)
其中，最大面积是作为用于设定外切矩形区域的基准的面积，相当于假设为特定候选区域的面积的最大值。
在步骤S4中，局部区域提取部23从基准区域中提取局部区域(步骤S4)。
首先，局部区域提取部23从基准区域103内等间隔(或随机)地提取像素位置。
接着，如图4所示，局部区域提取部23提取以所提取出的像素位置为中心的圆形区域作为局部区域104。这里，示出局部区域提取部23从基准区域内等间隔地提取圆形区域的方法(称为DENS)，但是，除此之外，也可以使用公知的SIFT(关键点检测)从基准区域内提取局部区域(例如参照adcom-media株式会社：计算机视觉最前端引导2，p.5～22)。
在步骤S5中，局部特征量计算部24根据局部区域计算局部特征量(步骤S5)。
在步骤S6中，区域分割部221将基准区域分割设定为边界区域和内部区域(步骤S6)。
首先，如图5所示，区域分割部221提取使外切矩形区域102成为n(0.5≦n<1.0)倍的缩小区域105。例如根据特定候选区域101的面积，此时的n的值被定义为：
n＝1.0-(特定候选区域的面积/最大面积)×0.5…(2)
接着，如图6所示，区域分割部221设缩小区域105为内部区域106，将未包含在缩小区域105内的基准区域103分割设定为边界区域107。
在步骤S7中，权重设定部25根据基准区域的分割设定结果来设定局部特征量的权重(步骤S7)。如上所述，权重设定部25将对局部特征量进行统合时位于边界附近的局部特征量的统合比率设定为较高。具体而言，权重设定部25从存储部3读入规定权重系数k1(＝边界区域的权重系数)、k2(＝内部区域的权重系数)、k3(＝边界区域、内部区域以外的其余区域的权重系数)。这里，权重系数k1～k3满足k1>k2>k3且k1+k2+k3＝1.0。并且，其余区域被确定为基准区域的外侧的规定范围的区域，例如被确定为具有基准区域的2～3倍左右的面积的区域。
在步骤S8中，特征量统合部26使用权重系数k1～k3对局部特征量进行统合(步骤S8)。具体而言，特征量统合部26在计算上述BoF中的最近的代表向量的频度分布时，分别对边界区域、内部区域、其余区域中的代表向量的频度乘以权重系数k1～k3。这里，代表向量是根据在特征量空间内对局部特征量进行聚类时的聚簇而确定的向量，例如是根据聚簇的重心而确定的向量。
图7是示出该步骤S8中得到的代表向量的频度分布的例子的图。图8是示出不对与图7相同的代表向量乘以权重系数的情况下的代表向量的频度分布的例子的图。对图7和图8进行比较可知，编号1、2的代表向量的权重系数最大，编号3、4的代表向量的权重系数最小。换言之，可知编号1、2的代表向量对应于边界区域(权重系数k1)的局部特征量，编号5的代表向量对应于内部区域(权重系数k2)的局部特征量，编号3、4的代表向量对应于其余区域(权重系数k3)的局部特征量。这样，在本实施方式1中，对通过乘以权重系数而相对增大了边界区域的信息的局部特征量进行统合，由此，能够高精度地提取特定区域。
在步骤S9中，检测部27根据统合后的局部特征量来检测特定区域(步骤S9)。具体而言，如上所述，检测部27通过公知的SVM等识别器来检测特定区域。
根据以上说明的本发明的实施方式1，设定活体内管腔图像内的局部区域中的局部特征量的权重，根据该权重对局部特征量进行统合，所以，能够计算能够高精度识别对象的局部特征量。
并且，根据本实施方式1，根据特定候选区域的信息来设定对局部特征量进行统合时的权重，由此，表现对象所需要的局部特征量充分包含在统合后的局部特征量的集合中。
并且，根据本实施方式1，通过将基准区域分割设定为边界区域和内部区域，按照每个区域设定权重，由此，能够更高精度地计算局部特征量。特别是通过相对增大边界区域的权重，能够取得更多的边界区域的信息，能够实现局部特征量的高精度化。
另外，在本实施方式1中，也可以在基准区域设定部22设定基准区域后，区域分割部221将基准区域分割设定为边界区域和内部区域，权重设定部25设定为按照边界区域、内部区域、其余区域的顺序减小局部区域的提取密度(每单位面积的局部特征量的提取数)。该情况下，局部区域提取部23按照根据所设定的提取密度而分割设定的每个区域，随机提取局部区域。然后，局部特征量计算部24计算局部特征量，特征量统合部26对局部特征量进行统合。这样，在根据分割后的区域限制了局部区域的提取密度的情况下，实现处理的高速化。
(变形例1-1)
对区域分割部221进行的区域分割的另一例(第2例)进行说明。在本变形例1-1中，区域分割部221根据活体内管腔图像计算颜色信息(颜色特征量)，根据计算出的颜色信息进行分割设定。
首先，区域分割部221计算基准区域内的各像素的颜色特征量(RGB平均值、YCbCr平均值、HSI平均值、G/R平均值、B/G平均值等)。
接着，区域分割部221计算特定候选区域中的颜色特征量的平均值。
然后，区域分割部221针对具有与特定候选区域相似的颜色特征量的区域彼此，通过公知的区域统合法(例如参照CG-ARTS协会：数字图像处理，p.198)进行相似区域的统合。
最后，区域分割部221将统合区域分割设定为内部区域，将未包含在统合区域内的基准区域分割设定为边界区域。
(变形例1-2)
对区域分割部221进行的区域分割的另一例(第3例)进行说明。在本变形例1-2中，区域分割部221对活体内管腔图像进行形状应用，根据应用结果进行分割设定。
首先，区域分割部221通过公知的Sobel或Laplacian等滤波器计算基准区域内的各像素(亮度值、G值等)的梯度强度。
接着，区域分割部221计算所计算出的梯度强度与事先生成的特定形状模型的相关值，提取相关值最大的特定形状区域。作为该特定形状，例如能够应用圆形。
然后，区域分割部221将提取出的圆形区域分割设定为内部区域，将未包含在内部区域内的基准区域分割设定为边界区域。
(变形例1-3)
对区域分割部221进行的区域分割的另一例(第4例)进行说明。在本变形例1-3中，区域分割部221根据活体内管腔图像计算像素值的轮廓信息，根据该轮廓信息进行分割设定。
首先，如图9所示，区域分割部221针对各基准区域，将关注像素在特定候选区域、且其相邻像素(附近8个)中的任意一个不在特定候选区域的情况下的关注像素设为边界像素111。
接着，如图10所示，区域分割部221计算从边界像素起的距离图像。此时，区域分割部221根据位于特定候选区域的内侧还是外侧，对距离值赋予±符号。在图10所示的距离图像121的情况下，从边界像素起的距离越远则图像越白，距离越近则图像越黑。
然后，区域分割部221计算从边界像素起的距离相同的像素(RGB值等)的平均值。
接着，区域分割部221计算处于相邻(附近)距离的像素平均值的差，计算像素值的差最大的距离。
最后，区域分割部221在基准区域内，将比像素值的差最大的位置更靠外侧的区域分割设定为边界区域，将更靠内侧的区域分割设定为内部区域。
以上说明的变形例1-1～1-3当然发挥与实施方式1相同的效果。
(实施方式2)
图11是示出本发明的实施方式2的图像处理装置的功能结构的框图。该图所示的图像处理装置4具有运算部5和存储部3。下面，对与实施方式1的图像处理装置1的运算部2所具有的结构部位相同的结构部位标注相同标号进行说明。
运算部5具有特定候选区域提取部21、基准区域设定部51、局部区域提取部23、局部特征量计算部24、权重设定部52、特征量统合部26、检测部27。
基准区域设定部51不像实施方式1中说明的基准区域设定部22那样具有区域分割部221。除了这点以外的基准区域设定部51的功能与基准区域设定部22相同。
权重设定部52具有区域特性计算部521，该区域特性计算部521根据到与特定候选区域相似的三维进深位置的进深距离来提取位于该位置的粘膜区域，由此计算局部区域的特性。
图12是示出图像处理装置4进行的处理的概要的流程图。步骤S11～S15的处理分别与图2中的步骤S1～S5相同。
在步骤S16中，区域特性计算部521计算局部区域的特性(步骤S16)。下面，对区域特性计算部521的处理进行详细说明。
首先，区域特性计算部521计算在活体内吸收而不容易散射的波长成分即R成分的值作为三维进深距离。另外，也可以通过其他方法计算图像内的进深距离。
接着，区域特性计算部521计算特定候选区域的距离平均值。
然后，区域特性计算部521计算特定候选区域的距离平均值与对应的局部区域的距离平均值的差分绝对值。
最后，区域特性计算部521判定为差分绝对值为规定值以下的局部区域位于相似的进深位置。
在步骤S17中，权重设定部52根据局部特征量的特性来设定局部特征量的权重(步骤S17)。权重设定部52将位于与对应的特定候选区域相似的进深位置的局部特征量的统合比率设定为较大。具体而言，权重设定部52从存储部3读入规定权重系数k11(＝位于相似的进深位置的局部特征量的权重)、k12(＝不位于相似的进深位置的局部特征量的权重)。这里，权重系数k11、k12满足k11>k12且k11+k12＝1.0。
步骤S18、S19的处理分别与图2中的步骤S8、S9相同。
根据以上说明的本发明的实施方式2，设定活体内管腔图像内的局部区域中的局部特征量的权重，根据该权重对局部特征量进行统合，所以，能够计算能够高精度识别对象的局部特征量。
并且，根据本实施方式2，根据局部特征量的特性来设定权重，所以，能够更高精度地计算局部特征量。特别是通过相对增大位于与特定候选区域相似的进深位置的粘膜区域的权重，能够实现局部特征量的高精度化。
另外，在本实施方式2中，区域特性计算部521也可以使用日本特开2008-278965号公报所公开的方法等，判定特定候选区域所在的脏器的种类。该情况下，权重设定部52针对检查对象的脏器，将局部特征量的提取密度设定为较高，根据脏器种类来决定权重即可。
并且，在本实施方式2中，区域特性计算部521也可以判定特定候选区域的种类。该情况下，权重设定部52将很难检测的糜烂、溃疡、口疮、息肉等特定候选区域的提取密度设定为较高，另一方面，将容易检测的出血等特定候选区域的提取密度设定为较低等，根据特定候选区域的种类来决定权重即可。另外，也可以根据事先收集的糜烂、溃疡、口疮、息肉、出血等的R、G、B各成分的像素值、以及根据这些像素值并通过公知的转换而二次计算出的特征量来决定判别基准，根据该判别基准来判定特定候选区域的种类。
(变形例2-1)
对区域特性计算部521进行的区域特性计算处理的另一例(第2例)进行说明。
首先，区域特性计算部521根据公知的动态轮廓提取方法(例如参照日本特开2012-45057号公报、日本特开2012-45055号公报)，通过分割成不包含槽和轮廓且未进入槽和轮廓内侧的闭合区域的方法，提取同一粘膜区域。
然后，区域特性计算部521判定特定候选区域和对应的局部区域是否是同一粘膜区域。
在本变形例2-1的情况下，权重设定部52将位于与对应的特定候选区域相同的粘膜区域内的局部特征量的统合比率设定为较大。具体而言，权重设定部52从存储部3读入规定权重系数k21(＝位于同一粘膜区域内的局部特征量的权重)、k22(＝不位于同一粘膜区域内的局部特征量的权重)。这里，权重系数k21、k22满足k21>k22且k21+k22＝1.0。
(变形例2-2)
对区域特性计算部521进行的区域特性计算处理的另一例(第3例)进行说明。
首先，区域特性计算部521计算局部区域内的颜色特征量(YCbCr平均值、HSI平均值、G/R平均值等)。
然后，与特定候选区域提取部21进行的特定候选区域提取处理同样，区域特性计算部521根据事先生成的判别基准，提取红色和白色较强的区域。
该情况下，权重设定部52将位于红色或白色较强的区域内的局部特征量的统合比率设定为较大。具体而言，权重设定部52从存储部3读入规定权重系数k31(＝位于红色或白色较强的区域内的局部特征量的权重)、k32(＝不位于红色或白色较强的区域内的局部特征量的权重)。这里，权重系数k31、k32满足k31>k32且k31+k32＝1.0。
(变形例2-3)
对区域特性计算部521进行的区域特性计算处理的另一例(第4例)进行说明。
首先，区域特性计算部521计算局部区域内的纹理特征量(LBP、方差、峰度、偏度等)。
然后，与特定候选区域提取部21进行的特定候选区域提取处理同样，区域特性计算部521根据事先生成的判别基准，提取粘膜表面的凹凸变化显著的区域。
该情况下，权重设定部52将位于粘膜表面的凹凸变化显著的区域内的局部特征量的统合比率设定为较大。具体而言，权重设定部52从存储部3读入规定权重系数k41(＝位于粘膜表面的凹凸变化显著的区域内的局部特征量的权重)、k42(＝不位于粘膜表面的凹凸变化显著的区域内的局部特征量的权重)。这里，权重系数k41、k42满足k41>k42且k41+k42＝1.0。
以上说明的变形例2-1～2-3当然发挥与实施方式2相同的效果。
(实施方式3)
图13是示出本发明的实施方式3的图像处理装置的功能结构的框图。该图所示的图像处理装置6具有运算部7和存储部3。下面，对与实施方式1的图像处理装置1的运算部2所具有的结构部位相同的结构部位标注相同标号进行说明。
运算部7具有特定候选区域提取部21、基准区域设定部51、局部区域提取部71、局部特征量计算部24、权重设定部25、特征量统合部26、检测部27。
局部区域提取部71计算基准区域的颜色信息，根据计算出的颜色信息提取局部区域。
图14是示出图像处理装置6进行的处理的概要的流程图。步骤S21～S23的处理分别与图2中的步骤S1～S3的处理相同。
在步骤S24中，局部区域提取部71从基准区域中提取局部区域(步骤S24)。下面，对局部区域提取部71进行的局部区域提取处理的概要进行说明。
首先，局部区域提取部71计算基准区域内的各像素的亮度值。
接着，局部特征量计算部24通过Sobel、Laplacian等滤波器计算亮度值的梯度信息。
然后，局部区域提取部71根据梯度信息，通过公知的分水岭法等，将基准区域分割成小区域。
局部区域提取部71计算小区域的颜色特征量(RGB平均值、YCbCr平均值、HSI平均值、G/R平均值、B/G平均值等)。
最后，局部区域提取部71针对小区域，对具有相似的颜色特征量的区域彼此进行统合，提取统合后的区域作为局部区域。这里，通过上述公知的区域统合法进行相似区域的统合，但是，只要能够分割成相似区域即可，可以使用任意方法。
步骤S25～S28依次对应于图2中的步骤S5、S7～S9。在本实施方式3中，不需要将基准区域分割设定为边界区域和内部区域。
根据以上说明的本发明的实施方式3，设定活体内管腔图像内的局部区域中的局部特征量的权重，根据该权重对局部特征量进行统合，所以，能够计算能够高精度识别对象的局部特征量。
并且，根据本实施方式3，计算基准区域的图像的特征量，根据该特征量来提取局部区域，所以，能够高精度地提取局部区域。其结果，能够得到高精度的局部特征量。
另外，代替计算小区域的颜色特征量，局部区域提取部71也可以计算小区域的纹理特征量(LBP、方差、峰度、偏度等)，根据计算出的纹理信息来提取局部区域。该情况下，局部区域提取部71对具有相似的纹理特征量的区域彼此进行统合，提取统合后的区域作为局部区域。
(其他实施方式)
至此，说明了用于实施本发明的方式，但是，本发明不应该由上述实施方式1～3进行限定。例如，在实施方式1中，基准区域设定部22根据上述式(1)对特定候选区域进行扩张，由此设定基准区域，但是，也可以对特定候选区域进行缩小，由此设定基准区域。
并且，通过使用特征量统合部26统合后的局部特征量，还能够生成学习用数据。
这样，本发明能够包含这里未记载的各种实施方式等。
标号说明
1、4、6：图像处理装置；2、5、7：运算部；3：存储部；21：特定候选区域提取部；22、51：基准区域设定部；23、71：局部区域提取部；24：局部特征量计算部；25、52：权重设定部；26：特征量统合部；27：检测部；101：特定候选区域；102：外切矩形区域；103：基准区域；104：局部区域；105：缩小区域；106：内部区域；107：边界区域；111：边界像素；121：距离图像；221：区域分割部；521：区域特性计算部。

Claims (17)

1.一种图像处理装置，其特征在于，所述图像处理装置具有：
特定候选区域提取单元，其从对活体内管腔进行摄像而得到的活体内管腔图像中提取满足规定条件的特定候选区域；
基准区域设定单元，其设定包含所述特定候选区域中的至少一部分的基准区域；
局部区域提取单元，其从所述基准区域中提取局部区域；
局部特征量计算单元，其计算所述局部区域的特征量即局部特征量；
权重设定单元，其根据所述特定候选区域设定与所述局部区域对应的权重；以及
特征量统合单元，其对所述局部特征量进行统合。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述权重设定单元设定所述局部特征量的权重，
所述特征量统合单元根据所述局部特征量的权重对所述局部特征量进行统合。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述权重设定单元设定所述局部区域提取单元提取所述局部区域时的提取密度作为权重，
所述局部区域提取单元根据所述提取密度提取所述局部区域。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述基准区域设定单元具有区域分割单元，该区域分割单元将所述基准区域至少分割设定成边界区域和内部区域。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述权重设定单元设定为所述边界区域的权重大于所述内部区域的权重。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述权重设定单元具有计算所述局部区域的特性的区域特性计算单元，根据各局部区域的特性来设定权重。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述权重设定单元具有计算所述局部区域的特性的区域特性计算单元，根据所述局部区域的特性来设定权重，所述局部区域的数量为一个。
8.根据权利要求6或7所述的图像处理装置，其特征在于，
所述区域特性计算单元提取位于与所述特定候选区域相似的进深位置的粘膜区域。
9.根据权利要求6或7所述的图像处理装置，其特征在于，
所述区域特性计算单元提取与所述特定候选区域相同的粘膜区域。
10.根据权利要求6或7所述的图像处理装置，其特征在于，
所述区域特性计算单元计算由所述局部区域提取单元提取出的各个局部区域的颜色特性和纹理特性中的至少任意一方作为所述特性。
11.根据权利要求6或7所述的图像处理装置，其特征在于，
所述区域特性计算单元判定所述特定候选区域所在的脏器的种类，
所述权重设定单元根据所述脏器的种类来设定权重。
12.根据权利要求6或7所述的图像处理装置，其特征在于，
所述区域特性计算单元判定所述特定候选区域的种类，
所述权重设定单元根据所述特定候选区域的种类来设定权重。
13.根据权利要求1所述的图像处理装置，其特征在于，
所述局部区域提取单元计算所述基准区域的图像的特征量，根据该基准区域的图像的特征量来提取所述局部区域。
14.根据权利要求13所述的图像处理装置，其特征在于，
所述基准区域的图像的特征量是颜色信息。
15.根据权利要求13所述的图像处理装置，其特征在于，
所述基准区域的图像的特征量是纹理信息。
16.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具有检测单元，该检测单元根据所述特征量统合单元统合的所述局部特征量来检测所述特定候选区域。
17.一种计算机能够读取的记录介质，其记录有图像处理程序，其特征在于，所述图像处理程序使计算机执行以下步骤：
特定候选区域提取步骤，从对活体内管腔进行摄像而得到的活体内管腔图像中提取满足规定条件的特定候选区域；
基准区域设定步骤，设定包含所述特定候选区域中的至少一部分的基准区域；
局部区域提取步骤，从所述基准区域中提取局部区域；
局部特征量计算步骤，计算所述局部区域的特征量即局部特征量；
权重设定步骤，根据所述特定候选区域设定与所述局部区域对应的权重；以及
特征量统合步骤，对所述局部特征量进行统合。
CN201580072815.3A 2015-01-20 2015-01-20 图像处理装置、图像处理方法和记录介质 Active CN107105988B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/051319 WO2016117018A1 (ja) 2015-01-20 2015-01-20 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN107105988A CN107105988A (zh) 2017-08-29
CN107105988B true CN107105988B (zh) 2019-02-05

Family

ID=56416584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580072815.3A Active CN107105988B (zh) 2015-01-20 2015-01-20 图像处理装置、图像处理方法和记录介质

Country Status (5)

Country Link
US (1) US10229498B2 (zh)
JP (1) JPWO2016117018A1 (zh)
CN (1) CN107105988B (zh)
DE (1) DE112015005697T5 (zh)
WO (1) WO2016117018A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11281926B2 (en) * 2018-06-04 2022-03-22 Denso Corporation Feature extraction method and apparatus
JP7127785B2 (ja) * 2018-11-30 2022-08-30 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
JPWO2022044642A1 (zh) * 2020-08-28 2022-03-03
US20220385721A1 (en) * 2021-05-28 2022-12-01 Streem, Llc 3d mesh generation on a server
CN113269757B (zh) * 2021-05-28 2022-05-27 浙江中烟工业有限责任公司 一种基于层次聚类分析的沟槽特征参数处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542564A (zh) * 2010-12-10 2012-07-04 奥林巴斯株式会社 图像处理装置以及图像处理方法
JP2014030548A (ja) * 2012-08-02 2014-02-20 Olympus Medical Systems Corp 画像処理装置
CN104244801A (zh) * 2012-04-18 2014-12-24 奥林巴斯株式会社 图像处理装置、程序和图像处理方法
CN104244802A (zh) * 2012-04-23 2014-12-24 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4855868B2 (ja) * 2006-08-24 2012-01-18 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
JP4932588B2 (ja) 2007-05-08 2012-05-16 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP4994400B2 (ja) * 2009-01-22 2012-08-08 三菱電機株式会社 画像処理装置及び方法並びに画像表示装置
US8233711B2 (en) 2009-11-18 2012-07-31 Nec Laboratories America, Inc. Locality-constrained linear coding systems and methods for image classification
JP5620194B2 (ja) 2010-08-24 2014-11-05 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5658945B2 (ja) 2010-08-24 2015-01-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP6045396B2 (ja) * 2013-02-27 2016-12-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542564A (zh) * 2010-12-10 2012-07-04 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN104244801A (zh) * 2012-04-18 2014-12-24 奥林巴斯株式会社 图像处理装置、程序和图像处理方法
CN104244802A (zh) * 2012-04-23 2014-12-24 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
JP2014030548A (ja) * 2012-08-02 2014-02-20 Olympus Medical Systems Corp 画像処理装置

Also Published As

Publication number Publication date
US20170309024A1 (en) 2017-10-26
JPWO2016117018A1 (ja) 2017-10-26
US10229498B2 (en) 2019-03-12
DE112015005697T5 (de) 2017-09-07
CN107105988A (zh) 2017-08-29
WO2016117018A1 (ja) 2016-07-28

Similar Documents

Publication Publication Date Title
CN107105988B (zh) 图像处理装置、图像处理方法和记录介质
Rodrigues et al. Segmentation of optic disc and blood vessels in retinal images using wavelets, mathematical morphology and Hessian-based multi-scale filtering
ES2641480T3 (es) Sistema de aprendizaje automático basado en objetos de tejido para puntuación automatizada de portaobjetos digitales completos
Mirsharif et al. Automated characterization of blood vessels as arteries and veins in retinal images
Zhao et al. Intensity and compactness enabled saliency estimation for leakage detection in diabetic and malarial retinopathy
CN107850586B (zh) 图像解析装置、图像解析方法、图像解析系统、以及存储介质
CN102243762B (zh) 图像处理装置以及图像处理方法
CN101794434B (zh) 图像处理装置及图像处理方法
Mahapatra et al. A field of experts model for optic cup and disc segmentation from retinal fundus images
CN103327883A (zh) 医用图像处理装置和医用图像处理方法
JP6552601B2 (ja) 画像処理装置、画像処理装置の作動方法および画像処理プログラム
Joshi et al. Vessel bend-based cup segmentation in retinal images
Casanova et al. Texture analysis using fractal descriptors estimated by the mutual interference of color channels
JP2002203242A (ja) 植物認識システム
US12039722B2 (en) Image analysis method, storage medium, image analysis device, and image analysis system
CN112185523A (zh) 基于多尺度卷积神经网络的糖尿病视网膜病变分类方法
Anandgaonkar et al. Detection and identification of brain tumor in brain MR images using Fuzzy C-means segmentation
Ahmed et al. High speed detection of optical disc in retinal fundus image
Firmansyah et al. Detection melanoma cancer using ABCD rule based on mobile device
Pal et al. Mathematical morphology aided optic disk segmentation from retinal images
Taori et al. Segmentation of macula in retinal images using automated seeding region growing technique
Castelo-Quispe et al. Optimization of brazil-nuts classification process through automation using colour spaces in computer vision
Ibrahim et al. Texture and pixel intensity characterization-based image segmentation with morphology and watershed techniques
CN106372593B (zh) 一种基于血管收敛的视盘区定位方法
CN105874508A (zh) 用于具有经改进的可靠性的宫颈图像分析的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant