CN103561631A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN103561631A
CN103561631A CN201280026923.3A CN201280026923A CN103561631A CN 103561631 A CN103561631 A CN 103561631A CN 201280026923 A CN201280026923 A CN 201280026923A CN 103561631 A CN103561631 A CN 103561631A
Authority
CN
China
Prior art keywords
basic configuration
mentioned
region segmentation
characteristic quantity
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280026923.3A
Other languages
English (en)
Other versions
CN103561631B (zh
Inventor
登本悠介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN103561631A publication Critical patent/CN103561631A/zh
Application granted granted Critical
Publication of CN103561631B publication Critical patent/CN103561631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本发明的图像处理装置具有：基本形状运用部，其抽出拍摄生物体粘膜表面而得到的图像中包含的任意的构造物来作为构造区域，针对所抽出的构造区域内的各像素或者各区域运用与规定的多种基本形状的对应关联；构造物区域分割部，其基于由基本形状运用部得到的运用结果，按规定的多种基本形状中包含的各个基本形状对构造物进行区域分割；以及特征量计算部，其基于由构造物区域分割部得到的区域分割结果来计算与该区域分割结果中的每个基本形状的出现频率和该区域分割结果中的一种以上的基本形状之间的位置关系中的至少一方相应的特征量。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置和图像处理方法，特别是涉及用于生物体组织的诊断等的图像处理装置和图像处理方法。
背景技术
近年来提出了一种利用管腔内图像等医用图像中包含的粘膜下的血管的图案和(或者)粘膜表面的微小构造的图案的诊断方法，该管腔内图像是通过将内窥镜插入被检者的体腔内而拍摄到的。
另外，作为用于能够通过计算机等来辅助上述诊断方法的技术，例如近年来提出了如下一种图像处理：抽出医用图像中包含的生物体粘膜下的血管形状的图案和(或者)生物体粘膜表面的微小构造的图案等并进行量化。
例如，在日本特开2005-157902号公报中公开了如下一种图像分析方法：获取通过操作装置的操作而指定的原始图像的图像数据，对所获取到的该原始图像的图像数据进行处理，由此生成二值化图像、标记图像、细线化图像、血管形状特征量、血管特征量以及分析处理图像。
但是，根据日本特开2005-157902号公报所公开的技术，例如产生了以下问题：在原始图像中包含的血管形状具有复杂的图案那样的情况下，难以将该图案量化。
本发明是鉴于上述情况而完成的，其目的在于提供如下的图像处理装置和图像处理方法：即使在与生物体组织有关的构造物的形状具有复杂的图案那样的情况下，也能够容易地将该图案量化。
发明内容
用于解决问题的方案
本发明的一个方式的图像处理装置具有：基本形状运用部，其抽出拍摄生物体粘膜表面而得到的图像中包含的任意的构造物来作为构造区域，针对所抽出的该构造区域内的各像素或者各区域运用与规定的多种基本形状的对应关联；构造物区域分割部，其基于由上述基本形状运用部得到的运用结果，按上述规定的多种基本形状中包含的各个基本形状来对上述构造物进行区域分割；以及特征量计算部，其基于由上述构造物区域分割部得到的区域分割结果来计算与该区域分割结果中的每个基本形状的出现频率和该区域分割结果中的一种以上的基本形状之间的位置关系中的至少一方相应的特征量。
本发明的一个方式的图像处理方法具有以下步骤：基本形状运用步骤，抽出拍摄生物体粘膜表面而得到的图像中包含的任意的构造物来作为构造区域，针对所抽出的该构造区域内的各像素或者各区域，运用与规定的多种基本形状的对应关联；构造物区域分割步骤，基于通过上述基本形状运用步骤得到的运用结果，按上述规定的多种基本形状中包含的每个基本形状来对上述构造物进行区域分割；以及特征量计算步骤，基于通过上述构造物区域分割步骤得到的区域分割结果，计算与该区域分割结果中的每个基本形状的出现频率和该区域分割结果中的一种以上的基本形状之间的位置关系中的至少一方相应的特征量。
附图说明
图1是表示具备本发明的实施例所涉及的图像处理装置的医用系统的主要部分的结构的图。
图2是表示本实施例的运算处理部所具备的主要的处理功能的图。
图3是表示由本实施例的图像处理装置进行的处理等的一例的流程图。
图4是表示与基本形状的对应关联有关的处理等的一例的流程图。
图5是表示成为处理对象的图像数据所包含的图像区域的一例的图。
图6是表示图5的图像区域中的形状特征量的计算结果的一例的图。
图7是表示按每个基本形状对图5的图像区域中包含的各构造物进行区域分割时的一例的图。
图8是表示矩阵的一例的图，该矩阵表示相对于与关注像素对应关联的基本形状而存在多少与相邻像素对应关联的基本形状的像素数。
图9是表示矩阵的一例的图，该矩阵表示相对于与关注区域对应关联的基本形状而存在多少与相邻区域对应关联的基本形状的区域数。
图10是表示用树结构示出图7的区域AR1中包含的基本形状时的一例的图。
具体实施方式
下面，参照附图来说明本发明的实施方式。
图1至图10是本发明的实施例所涉及的图。
图1是表示具备本发明的实施例所涉及的图像处理装置的医用系统的主要部分的结构的图。
如图1所示，医用系统1构成为具有：医用观察装置2，其拍摄体腔内的生物体粘膜表面等的被摄体并输出影像信号；图像处理装置3，其由个人计算机等构成，对从医用观察装置2输出的影像信号进行图像处理，并且将进行该图像处理后的影像信号作为图像信号进行输出；以及监视器4，其显示基于从图像处理装置3输出的图像信号的图像。
另外，医用观察装置2构成为具有：内窥镜6，其被插入到体腔内，并且拍摄该体腔内的被摄体作为摄像信号而输出；光源装置7，其提供照明光(例如RGB光)，该照明光(例如RGB光)用于对由内窥镜6拍摄的被摄体进行照明；摄像机控制单元(以后简称为CCU)8，其对内窥镜6进行各种控制，并且对从内窥镜6输出的摄像信号实施信号处理，由此生成影像信号而输出；以及监视器9，其基于从CCU8输出的影像信号，对由内窥镜6拍摄到的被摄体的图像进行图像显示。
作为医用摄像装置的内窥镜6构成为具有：插入部11，其被插入到体腔内；以及操作部12，其设置于插入部11的基端侧。另外，在从插入部11的基端侧至前端侧的前端部14的内部贯穿光导件13，该光导件13用于传送从光源装置7提供的照明光。
光导件13构成为前端侧配置于内窥镜6的前端部14并且后端侧能够与光源装置7相连接。而且，根据这种结构，在从光源装置7提供的照明光通过光导件13传送之后，从设置于插入部11的前端部14的前端面上的照明窗(未图示)射出。而且，通过从上述照明窗射出的照明光对作为被摄体的生物体组织等进行照明。
在内窥镜6的前端部14设置有摄像部17，该摄像部17具有：对物光学系统15，其安装于在与上述照明窗相邻的位置处配置的观察窗(未图示)；以及摄像元件16，其由配置于对物光学系统15的成像位置处的CCD等构成。
摄像元件16经由信号线与CCU8相连接。而且，摄像元件16基于从CCU8输出的驱动信号来驱动，并且将对由对物光学系统15成像得到的被摄体进行拍摄而得到的摄像信号输出到CCU8。
在设置于CCU8内部的信号处理电路(未图示)中对输入到CCU8的摄像信号进行信号处理，由此将该摄像信号转换为影像信号而输出。而且，从CCU8输出的影像信号被输入到监视器9和医用图像处理装置3。由此，在监视器9中显示基于从CCU8输出的影像信号的被摄体的图像。
医用图像处理装置3具有：图像输入部21，其对从医用观察装置2输出的影像信号实施A/D转换等处理而生成图像数据；运算处理部22，其构成为具备CPU等，对从图像输入部21输出的图像数据等进行各种处理；程序存储部23，其存储了在运算处理部22中实施的与处理有关的程序(和软件)等；图像存储部24，其能够存储从图像输入部21输出的图像数据等；以及信息存储部25，其能够存储运算处理部22的处理结果。
另外，图像处理装置3还具有：存储装置I/F(接口)26，其与后述的数据总线30相连接；硬盘27，其能够保存经由存储装置接口26输出的运算处理部22的处理结果；显示处理部28，其生成图像信号而输出，该图像信号用于将运算处理部22的处理结果等以图像形式显示在监视器4中；以及输入操作部29，其构成为具备键盘等输入装置，能够输入运算处理部22的处理中的参数和对图像处理装置3的操作指示等。
此外，图像处理装置3的图像输入部21、运算处理部22、程序存储部23、图像存储部24、信息存储部25、存储装置接口26、显示处理部28以及输入操作部29经由数据总线30相互连接。
图2是表示本实施例的运算处理部所具备的主要的处理功能的图。
如图2所示，运算处理部22具备基本形状运用部31的处理功能、构造物区域分割部32的处理功能、标记处理部33的处理功能、特征量计算部34的处理功能以及构造物分类部35的处理功能。
基本形状运用部31进行以下处理：对从图像输入部21输出的图像数据的各像素或者各区域中的规定的特征量进行计算，抽出该图像数据中包含的任意的构造物来作为构造区域，并且基于该规定的特征量的计算结果来针对所抽出的该构造区域内的各像素或者各区域运用与规定的多种基本形状的对应关联。此外，后面对这种基本形状运用部31的处理的详细情况进行说明。
构造物区域分割部32进行以下处理：基于基本形状运用部31的处理结果，对通过基本形状运用部31的处理而与规定的多种基本形状对应关联的构造区域(即构造物)按规定的多种基本形状中每种基本形状来进行区域分割。
标记处理部33进行以下处理：基于构造物区域分割部32的处理结果对由构造物区域分割部32进行区域分割而得到的每个构造物附加标记。
特征量计算部34基于标记处理部33的处理结果，对表示被标记处理部33附加了标记的各构造物的特征的值、即特征量进行计算。此外，后面对这种特征量计算部34的处理的详细情况进行说明。
构造物分类部35进行以下处理：基于标记处理部33和特征量计算部34的处理结果，例如按血管和粘膜微小构造之类的与生物体组织有关的每个具体的构造物对被标记处理部33附加了标记的各构造物进行分类。此外，后面对这种构造物分类部35的处理的详细情况进行说明。
接着，主要参照图3的流程图来说明在本实施例的医用系统1的图像处理装置3中进行的处理等。图3是表示本实施例的图像处理装置所进行的处理等的一例的流程图。
首先，用户在接通医用系统1的各部的电源之后，例如将插入部11插入，直到前端部14到达被检体的体腔内的期望的观察部位为止。与此相应地，利用从前端部14射出的照明光(RGB光)对包括生物体粘膜表面在内的被摄体进行照明，利用摄像部17来拍摄该被摄体，将与所拍摄到的该被摄体相应的摄像信号输出到CCU8。
CCU8在信号处理电路(未图示)中对从摄像部17的摄像元件16输出的摄像信号实施信号处理，由此将该摄像信号转换为影像信号而输出到医用图像处理装置3和监视器9。而且，监视器9基于从CCU8输出的影像信号对由摄像部17拍摄到的被摄体进行图像显示。
图像输入部21通过对从医用观察装置2输入的影像信号实施A/D转换等处理来生成图像数据(图3的步骤S1)，并且，将所生成的该图像数据输出到运算处理部22(和图像存储部24)。
之后，运算处理部22的基本形状运用部31进行以下处理：对从图像输入部21输出的图像数据的各像素或者各区域中的规定的特征量进行计算，抽出该图像数据中包含的任意的构造物来作为构造区域，并且，基于该规定的特征量的计算结果来针对所抽出的该构造区域内的各像素或者各区域运用与规定的多种基本形状的对应关联(图3的步骤S2)。
在此，主要参照图4的流程图对在图3的步骤S2中进行的处理等的详细情况进行说明。此外，之后为了简便，设为在图像输入部21基于被输入到图像处理装置3的影像信号而生成的图像数据的至少一部分中包含如图5所例示的图像区域并进行说明。图4是表示与基本形状的对应关联有关的处理等的一例的流程图。图5是表示成为处理对象的图像数据中包含的图像区域的一例的图。
运算处理部22的基本形状运用部31对由图像输入部21生成的图像数据的局部的特征量进行计算(图4的步骤S11)。
具体地说，基本形状运用部31例如从构成由图像输入部21生成的图像数据的所有像素的左上角的像素至右下角的像素一边一个一个像素地依次设定关注像素，一边依次计算所设定的该关注像素的特征量。
此外，基本形状运用部31在图4的步骤S11中依次设定由一个像素构成的关注像素，对所设定的每个关注像素计算特征量，但并不限于此，例如也可以依次设定由多个像素构成的关注区域，对所设定的每个关注区域计算特征量。
另外，基本形状运用部31例如对与关注像素(的亮度值或者像素值)的局部变化的方向有关的特征量AC1、与局部变化的大小有关的特征量AC2以及基于变化的方向和变化的大小的形状特征量AC3进行计算，来作为上述局部的特征量。
具体地说，基本形状运用部31针对各像素的亮度值计算与水平方向和垂直方向的位置的二阶的偏微分相当的2行2列的黑赛矩阵，求出其固有值λ1和λ2(λ1≤λ2)和与固有值λ1和λ2对应的固有向量e1和e2。此外，固有向量e1和e2对应上述特征量AC1，固有值λ1和λ2对应上述特征量AC2。
并且，基本形状运用部31通过使用通过上述运算获得的特征量AC2进行运算，分别计算出线形度LD的值和圆形度CD的值，来作为上述形状特征量AC3，其中，该线形度LD表示关注像素具有线形状的特征的程度，该圆形度CD表示关注像素具有圆形状的特征的程度。
具体地说，基本形状运用部31通过进行(λ2－λ1)/λ2的运算来获得上述线形度LD的值。另外，基本形状运用部31通过进行λ1/λ2的运算来获得上述圆形度CD的值。
而且，基本形状运用部31基于作为线形度LD和圆形度CD而得到的各值，例如在图5所示的图像区域中获得如图6所示的形状特征量AC3的计算结果。图6是表示图5的图像区域中的形状特征量的计算结果的一例的图。
根据图6所示的形状特征量AC3的计算结果，能够从图5所示的图像区域中分别抽出线形度LD的值大的部分(在图6中表示为线)和圆形度CD的值大的部分(在图6中表示为圆)。
此外，基本形状运用部31也可以计算关注像素的梯度方向来作为上述特征量AC1。另外，基本形状运用部31也可以计算关注像素的梯度强度来作为上述特征量AC2。基本形状运用部31还可以计算关注像素的Shape Index(形状指数)的值来作为上述特征量AC3。
另一方面，基本形状运用部31基于图4的步骤S11的处理结果，抽出从图像输入部21输出的图像数据中包含的任意的构造物来作为构造区域(图4的步骤S12)。
具体地说，基本形状运用部31例如抽出满足以下四个条件中的任一条件的像素来作为形成(抽出对象的)构造物、即构造区域的像素，这些条件是：特征量AC2为某阈值T1high以下、特征量AC2为某阈值T1low以上(其中T1high>T1low)、特征量AC3为某阈值T2high以下，或者特征量AC3为某阈值T2low以上(其中，T2high>T2low)。
此外，设为上述阈值T1high、T1low、T2high以及T2low各信息例如被预先存储(保存)到信息存储部25中。然后，基本形状运用部31在图4的步骤S12中使用被预先保存到信息存储部25的阈值T1high、T1low、T2high以及T2low各信息进行处理。
基本形状运用部31在进行以下处理(图4的步骤S13)之后继续进行图3的步骤S3的处理：基于通过图4的步骤S12得到的各特征量的计算结果，针对通过图4的步骤S12抽出的构造区域内的各像素或者各区域来运用与规定的多种基本形状的对应关联。
此外，在本实施例中，作为上述规定的多种基本形状，例如预先设定了作为构成生物体的粘膜表面的构造物的微小单位的局部的形状的圆、直线、曲线以及分支这四种基本形状。而且，在预先设定了上述四种基本形状的情况下，基本形状运用部31进行以下处理：基于通过图4的步骤S12得到的各特征量的计算结果来进行如下判定处理，由此针对通过图4的步骤S12抽出的构造区域内的各像素或者各区域来运用与各基本形状中的某一形状的对应关联。
具体地说，基本形状运用部31将获得如下判定结果的各像素或者各区域与直线对应关联，该判定结果是线形度LD的值比圆形度CD的值大且方向集中于某一个方向。
另外，基本形状运用部31将获得如下判定结果的各像素或者各区域与曲线对应关联，该判定结果是线形度LD的值比圆形度CD的值大且方向集中于不同的两个方向。
另外，基本形状运用部31将获得如下判定结果的各像素或者各区域与曲线对应关联，该判定结果是圆形度CD的值比线形度LD的值大且方向分散。
另外，基本形状运用部31将获得如下判定结果的各像素或者各区域与分支对应关联，该判定结果是线形度LD的值与圆形度CD的值大致相同，且来自具有线形度LD的像素的方向朝向多个方向分散。
此外，根据本实施例中的图4的步骤S13的处理，例如也可以根据粗细、大小以及颜色等特征将上述四种基本形状进一步细化来进行处理。
另一方面，构造物区域分割部32基于由基本形状运用部31得到的图3的步骤S2的处理结果(图4的步骤S13的处理结果)进行以下处理：按规定的多种基本形状中每种基本形状来对与规定的多种基本形状对应关联的构造区域(即构造物)进行区域分割(图3的步骤S3)。
具体地说，例如，在预先设定了圆、直线、曲线以及分支这四种基本形状的状态下对图5(和图6)所示的图像数据实施了图3的步骤S3的区域分割处理的情况下，能够获得如图7那样的处理结果。图7是表示按每个基本形状来对图5的图像区域中包含的各构造物进行区域分割时的一例的图。
标记处理部33基于图3的步骤S3的处理结果进行对利用构造物区域分割部32进行区域分割而得到的各构造物附加标记的处理。
之后，特征量计算部34基于标记处理部33的处理结果来计算被标记处理部33附加了标记的各构造物的特征量(图3的步骤S4)。
在此，对通过图3的步骤S4的处理能够计算出的各种特征量的计算方法等进行说明。此外，之后为了简便，列举出预先设定圆、直线、曲线以及分支这四种基本形状的情况作为例子来进行说明。
首先，对图3的步骤S3的区域分割结果中的与每个基本形状的出现频率相应的特征量FV1的具体的计算方法进行说明。此外，本实施例的特征量计算部34既可以单独使用以下要说明的特征量FV1的计算方法，或者也可以与多种方法相配合地使用。
特征量计算部34对将一个构造物中包含的所有像素设为100%时的、分别与上述四种基本形状对应关联的像素出现的出现频率进行计算，来作为上述特征量FV1。
具体地说，例如在图7的构造物K1中能够获得以下特征量FV1的计算结果：圆的基本形状=100%、直线的基本形状=0%、曲线的基本形状=0%以及分支的基本形状=0%。此外，本实施例的特征量计算部34也可以将如上所述的与各个基本形状对应关联的像素出现的出现频率乘以构造物的宽度、长度或者面积的值中的某一个，由此来计算特征量FV1。
特征量计算部34计算与一个构造物中的上述四种基本形状相当的像素的像素数，来作为上述特征量FV1。
特征量计算部34计算按上述四种基本形状中的每种基本形状来分割一个构造物之后的区域数，来作为上述特征量FV1。
具体地说，例如在图7的构造物K2中能够获得以下特征量FV1的计算结果：圆的区域数=0、直线的区域数=1、曲线的区域数=2以及分支的区域数=0。
此外，即使在将一个图像数据内的一部分或者全部图像区域设为对象的情况下，也能够大致相同地运用如上所述的特征量FV1的计算方法。
另一方面，本实施例的特征量计算部34也可以将基于各基本形状的出现频率计算出的平均值和(或者)方差等的统计量设为特征量FV1。
另外，本实施例的特征量计算部34也可以仅针对从各基本形状中选择出的特定种类的基本形状计算特征量FV1。
另外，本实施例的特征量计算部34例如也可以将进行如下的积和运算而得到的运算结果设为特征量FV1，该积和运算是将各个基本形状的出现频率乘以加权系数而得到的各值分别相加。
接着，对与图3的步骤S3的区域分割结果中的一种以上的基本形状之间的位置关系相应的特征量FV2的具体的计算方法进行说明。此外，本实施例的特征量计算部34既可以单独使用以下要说明的特征量FV2的计算方法，或者也可以与多种方法相配合地使用。
在预先设定了P种基本形状的情况下，特征量计算部34对一个构造物中包含的区域分割后的各区域进行扫描，用P进制对基于该扫描的结果而获得的各个基本形状的区域间的相邻关系(连接关系)进行编码，由此计算出特征量FV2。
具体地说，例如在预先设定了上述四种基本形状的情况下，利用包括圆=0、直线=1、分支=2以及曲线=3的4进制对被标记处理部33附加了标记的各构造物进行编码。然后，特征量计算部34例如从图像数据的左侧至右侧对图7的构造物K2进行扫描，用上述4进制对该扫描结果进行编码，由此获得“313”这样的特征量FV2的计算结果。
特征量计算部34对一个构造物中包含的区域分割后的各像素进行分析，将基于该分析的结果而获得的各基本形状的像素间的相邻关系(连接关系)矩阵化，由此计算出特征量FV2。
图8是表示矩阵的一例的图，该矩阵是表示相对于与关注像素对应关联的基本形状而存在多少与相邻像素对应关联的基本形状的像素数。
具体地说，特征量计算部34从一个构造物中包含的区域分割后的各像素中一个一个像素地依次设定关注像素，并且，按各个基本形状统计所设定的该关注像素的(位于4附近或者8附近)各相邻像素分别与哪个基本形状对应关联，由此例如获得如图8所示那样的矩阵来作为特征量FV2，该矩阵表示相对于与关注像素对应关联的基本形状而存在多少与相邻像素对应关联的基本形状的像素数(即，根据被表示为图8的矩阵的构造物，在从与直线的基本形状对应关联的关注像素角度来看的情况下，存在124个与直线的基本形状对应关联的相邻像素)。
特征量计算部34对一个构造物中包含的区域分割后的各区域进行分析，将作为该分析的结果的各基本形状的区域间的相邻关系(连接关系)矩阵化，由此计算出特征量FV2。
图9是表示矩阵的一例的图，该矩阵表示相对于与关注区域对应关联的基本形状而存在多少与相邻区域对应关联的基本形状的区域数。
具体地说，特征量计算部34从一个构造物中包含的区域分割后的各区域中一个一个地依次设定关注区域，并且按各个基本形状统计与所设定的该关注区域相邻的各区域分别与哪种基本形状对应关联，由此例如获得如图9所示那样的矩阵来作为特征量FV2，该矩阵表示相对于与关注区域对应关联的基本形状而存在多少与相邻区域对应关联的基本形状的区域数(即，根据被表示为图9的矩阵的构造物，在从与分支的基本形状对应关联的关注区域角度来看的情况下，存在三个与直线的基本形状对应关联的相邻区域)。
特征量计算部34对一个或者多个构造物中包含的区域分割后的各区域进行分析，计算基于该分析的结果而获得的一种以上的基本形状之间的分布间隔，来作为特征量FV2。
具体地说，特征量计算部34例如计算出上述四种基本形状中的分支的基本形状所对应关联的区域间的距离，来作为特征量FV2。然后，根据像这样计算出的特征量FV2，例如能够与特征量FV2的值的大小相应地定量地辨别是否存在恶性度高的病变。
另外，特征量计算部34例如计算出上述四种基本形状中的圆的基本形状所对应关联的区域间的距离，来作为特征量FV2。然后，根据这样计算出的特征量FV2，例如能够与特征量FV2的值的偏差相应地定量地辨别是否存在恶化度高的病变。
此外，即使在将一个图像数据内的一部分或者全部图像区域设为对象的情况下，也能够大致相同地运用以上说明的特征量FV2的计算方法。
此外，本实施例的特征量计算部34例如也可以在使用上述某一种计算方法来计算特征量FV1或者FV2之前，进行基于通过图4的步骤S12抽出的各构造物的宽度、长度以及面积中的至少一个计测量的阈值处理，由此仅针对该计测量满足规定的条件的构造物计算特征量FV1或者FV2。
具体地说，本实施例的特征量计算部34例如也可以进行以下处理：仅针对包含由圆的基本形状所对应关联的像素群构成的区域的各构造物中的、该区域的面积为阈值TH1以下的构造物计算特征量FV1(FV2)。
另外，本实施例的特征量计算部34例如也可以进行以下处理：仅针对包含由直线的基本形状所对应关联的像素群构成的区域的各构造物中的、该区域的宽度为阈值TH2以上且小于阈值TH3的构造物计算特征量FV1(FV2)。
而且，通过在与特征量FV1(FV2)的计算有关的处理之前进行如上所述的阈值处理，例如能够从被标记处理部33附加了标记的各构造物中排除不适于特征量FV1(FV2)的计算的构造物，其结果是能够提高特征量FV1(FV2)的计算结果的精度。
此外，本实施例的特征量计算部34在图3的步骤S4的处理中获得特征量FV1或者FV2中的某一个的计算结果，但并不限于此，也可以获得特征量FV1和FV2二者的计算结果。
另一方面，构造物分类部35基于作为图3的步骤S4的处理结果而获得的特征量来对被标记处理部33附加了标记的各构造物进行分类(图3的步骤S5)。
具体地说，例如在按每个构造物计算出分别与上述四种基本形状对应关联的像素出现的出现频率(相当于特征量FV1)的情况下，构造物分类部35将与直线的基本形状对应关联的像素的出现频率最高的构造物分类为直线形状的血管。另外，例如在按每个构造物计算出分别与上述四种基本形状对应关联的像素出现的出现频率(相当于特征量FV1)的情况下，构造物分类部35将与分支的基本形状对应关联的像素的出现频率最高的构造物分类为非直线形状的血管。
此外，本实施例的构造物分类部35在图3的步骤S5的处理中，例如也可以基于对由图3的步骤S4得到的特征量与预先设定的多个类型(分类图案)中的哪一个最接近进行辨别而得到的结果，来进行各构造物的分类。
另外，本实施例的构造物分类部35在图3的步骤S5的处理中，例如也可以基于使用由图3的步骤S4得到的特征量的计算结果实施聚类分析而得到的结果来进行各构造物的分类。
另外，构造物分类部35在图3的步骤S5的处理中，也可以使用与由图3的步骤S4得到的特征量不同的其它信息来进行各构造物的分类。具体地说，构造物分类部35在图3的步骤S5的处理中，例如对区域分割后的各区域进行扫描，获取将基于该扫描的结果得到的各基本形状的区域间的相邻关系(连接关系)按每个构造物以树结构示出的信息，将所获取到的树结构与被描述到规定的模板的树结构进行比较，基于该比较结果来进行各构造物的分类。
图10是表示用树结构示出图7的区域AR1中包含的基本形状时的一例的图。
在此，本实施例的构造物分类部35例如从图像数据的左侧至右侧对图7的区域AR1进行扫描，在用树结构示出该扫描结果的情况下，能够获得包含图10所示的树结构TAR1的信息。
另一方面，本实施例的特征量计算部34也可以基于通过图3的步骤S5的处理而得到的每个构造物的分类结果，来计算与多个构造物的关系性相应的特征量FA。
具体地说，本实施例的特征量计算部34例如对将图像数据内的任意的图像区域中包含的所有构造物设为100%时的、被分类为直线形状的血管的构造物的出现频率和被被分类为非直线形状的血管的构造物的出现频率进行计算，来作为特征量FA。
而且，通过进一步进行使用了上述特征量FA的处理，能够针对成为上述特征量FA的计算对象的图像区域例如确定该图像区域中包含的生物体粘膜的性状和(或者)相当于该图像区域的体腔内的部位。
另外，通过进一步进行使用了上述特征量FA的处理，例如能够针对成为上述特征量FA的计算对象的图像区域进行以下判定：该图像区域内包含的多个构造物是否具备特殊的配置状态，和(或者)是否密集地存在被分类为特定的类型的多个构造物。
根据以上说明的本实施例的处理，针对构成处理对象的图像(图像数据)中的任意的构造物的像素或者区域进行基本形状的对应关联，并且基于该对应关联的结果来计算特征量。因此，根据以上说明的本实施例的处理，即使在处理对象的图像(图像数据)中包含的与生物体组织有关的构造物的形状具备复杂的图案的情况下，也能够容易地对该图案进行量化。
此外，本发明并不限定于上述各实施例，显然在不脱离发明的宗旨的范围内能够进行各种变更、应用。
本申请主张2011年9月8日在日本申请的特愿2011-196256号的优先权，并以此为基础进行申请，上述公开内容设为在本申请说明书、权利要求书、附图中引用。

Claims (12)

1.一种图像处理装置，其特征在于，具有：
基本形状运用部，其抽出拍摄生物体粘膜表面而得到的图像中包含的任意的构造物来作为构造区域，针对所抽出的该构造区域内的各像素或者各区域运用与规定的多种基本形状的对应关联；
构造物区域分割部，其基于由上述基本形状运用部得到的运用结果，按上述规定的多种基本形状中包含的各个基本形状来对上述构造物进行区域分割；以及
特征量计算部，其基于由上述构造物区域分割部得到的区域分割结果来计算与该区域分割结果中的每个基本形状的出现频率和该区域分割结果中的一种以上的基本形状之间的位置关系中的至少一方相应的特征量。
2.根据权利要求1所述的图像处理装置，其特征在于，
上述特征量计算部计算与由上述构造物区域分割部得到的区域分割结果中的一种以上的基本形状的像素间或者区域间的相邻关系相应的特征量。
3.根据权利要求1所述的图像处理装置，其特征在于，
上述特征量计算部计算与由上述构造物区域分割部得到的区域分割结果中的一种以上的基本形状之间的分布间隔相应的特征量。
4.根据权利要求1所述的图像处理装置，其特征在于，
上述特征量计算部仅针对从由上述构造物区域分割部得到的区域分割结果中的各基本形状中选择出的特定种类的基本形状来计算特征量。
5.根据权利要求1所述的图像处理装置，其特征在于，
上述特征量计算部仅针对由上述基本形状运用部抽出的各构造物中的宽度、长度以及面积中的至少一个计测量满足规定的条件的构造物计算特征量。
6.根据权利要求1所述的图像处理装置，其特征在于，
还具有构造物分类部，该构造物分类部基于由上述特征量计算部得到的上述特征量的计算结果，对由上述基本形状运用部抽出的各构造物进行分类。
7.一种图像处理方法，其特征在于，包括以下步骤：
基本形状运用步骤，抽出拍摄生物体粘膜表面而得到的图像中包含的任意的构造物来作为构造区域，针对所抽出的该构造区域内的各像素或者各区域，运用与规定的多种基本形状的对应关联；
构造物区域分割步骤，基于通过上述基本形状运用步骤得到的运用结果，按上述规定的多种基本形状中包含的每个基本形状来对上述构造物进行区域分割；以及
特征量计算步骤，基于通过上述构造物区域分割步骤得到的区域分割结果，计算与该区域分割结果中的每个基本形状的出现频率和该区域分割结果中的一种以上的基本形状之间的位置关系中的至少一方相应的特征量。
8.根据权利要求7所述的图像处理方法，其特征在于，
在上述特征量计算步骤中，计算与通过上述构造物区域分割步骤得到的区域分割结果中的一种以上的基本形状的像素间或者区域间的相邻关系相应的特征量。
9.根据权利要求7所述的图像处理方法，其特征在于，
在上述特征量计算步骤中，计算与通过上述构造物区域分割步骤得到的区域分割结果中的一种以上的基本形状之间的分布间隔相应的特征量。
10.根据权利要求7所述的图像处理方法，其特征在于，
在上述特征量计算步骤中，仅针对从通过上述构造物区域分割步骤得到的区域分割结果中的各基本形状中选择出的特定的基本形状来计算特征量。
11.根据权利要求7所述的图像处理方法，其特征在于，
在上述特征量计算步骤中，仅针对通过上述基本形状运用步骤抽出的各构造物中的宽度、长度以及面积中的至少一个计测量满足规定的条件的构造物计算特征量。
12.根据权利要求7所述的图像处理方法，其特征在于，
还具有构造物分类步骤，在该构造物分类步骤中，基于通过上述特征量计算步骤得到的上述特征量的计算结果对通过上述基本形状运用步骤抽出的各构造物进行分类。
CN201280026923.3A 2011-09-08 2012-05-14 图像处理装置和图像处理方法 Active CN103561631B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-196256 2011-09-08
JP2011196256 2011-09-08
PCT/JP2012/062299 WO2013035380A1 (ja) 2011-09-08 2012-05-14 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN103561631A true CN103561631A (zh) 2014-02-05
CN103561631B CN103561631B (zh) 2016-01-13

Family

ID=47831845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280026923.3A Active CN103561631B (zh) 2011-09-08 2012-05-14 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US8792697B2 (zh)
EP (1) EP2710948A4 (zh)
JP (1) JP5385486B2 (zh)
CN (1) CN103561631B (zh)
WO (1) WO2013035380A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5665655B2 (ja) * 2011-05-24 2015-02-04 株式会社日立製作所 画像処理装置及び方法
JP6330276B2 (ja) * 2013-09-06 2018-05-30 Dic株式会社 配向解析装置、配向解析方法およびプログラム
EP3193711A1 (en) 2014-09-16 2017-07-26 Truphatek International Ltd. Imaging device and data management system for medical device
JP7126673B2 (ja) * 2017-10-17 2022-08-29 国立大学法人千葉大学 内視鏡画像処理プログラム及び内視鏡システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11224339A (ja) * 1998-02-06 1999-08-17 Fuji Xerox Co Ltd 画像領域分割方法および画像領域分割装置
CN101061509A (zh) * 2004-11-19 2007-10-24 皇家飞利浦电子股份有限公司 用于医疗成像数据内的肿瘤边界的自动检测和分割的系统和方法
CN101137046A (zh) * 2006-08-31 2008-03-05 索尼株式会社 图像处理装置、图像处理方法和图像处理程序
CN101188021A (zh) * 2006-09-19 2008-05-28 西门子公司 自动图形识别应用的结果滤波器和选择结果数据的方法
CN101449291A (zh) * 2006-03-24 2009-06-03 Im3D有限公司 自动识别解剖结构中癌前异常的过程和系统及对应的计算机程序
CN101517614A (zh) * 2006-09-22 2009-08-26 皇家飞利浦电子股份有限公司 肺结节的高级计算机辅助诊断

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4434705B2 (ja) * 2003-11-27 2010-03-17 オリンパス株式会社 画像解析方法
JP5424584B2 (ja) * 2008-06-17 2014-02-26 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP2010184057A (ja) * 2009-02-13 2010-08-26 Fujifilm Corp 画像処理方法および装置
JP2011196256A (ja) 2010-03-19 2011-10-06 Ihi Corp ロータ及び過給機

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11224339A (ja) * 1998-02-06 1999-08-17 Fuji Xerox Co Ltd 画像領域分割方法および画像領域分割装置
CN101061509A (zh) * 2004-11-19 2007-10-24 皇家飞利浦电子股份有限公司 用于医疗成像数据内的肿瘤边界的自动检测和分割的系统和方法
CN101449291A (zh) * 2006-03-24 2009-06-03 Im3D有限公司 自动识别解剖结构中癌前异常的过程和系统及对应的计算机程序
CN101137046A (zh) * 2006-08-31 2008-03-05 索尼株式会社 图像处理装置、图像处理方法和图像处理程序
CN101188021A (zh) * 2006-09-19 2008-05-28 西门子公司 自动图形识别应用的结果滤波器和选择结果数据的方法
CN101517614A (zh) * 2006-09-22 2009-08-26 皇家飞利浦电子股份有限公司 肺结节的高级计算机辅助诊断

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HORIO K ETAL: "mucous membrane diseases diagnosis support system using probabilitistic relaxation", 《COMMUNICATIONS AND INFORMATION TECHNOLOGIES》, 26 October 2010 (2010-10-26), pages 1 - 3 *
ZHANG E ETAL: "pattern discovery for object categorization", 《IMAGE AND VISION COMPUTING NEW ZEALAND》, 26 November 2008 (2008-11-26) *

Also Published As

Publication number Publication date
JP5385486B2 (ja) 2014-01-08
US20140093155A1 (en) 2014-04-03
EP2710948A1 (en) 2014-03-26
WO2013035380A1 (ja) 2013-03-14
US8792697B2 (en) 2014-07-29
CN103561631B (zh) 2016-01-13
JPWO2013035380A1 (ja) 2015-03-23
EP2710948A4 (en) 2015-03-11

Similar Documents

Publication Publication Date Title
JP5387147B2 (ja) 病理画像診断システム、病理画像処理方法、病理画像診断プログラム
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
KR102311654B1 (ko) 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
CN110763678A (zh) 一种病理切片判读方法及系统
CN104363815B (zh) 图像处理装置以及图像处理方法
CN103458765B (zh) 图像处理装置
Garnavi et al. Automatic segmentation of dermoscopy images using histogram thresholding on optimal color channels
JP2021512446A (ja) 画像処理方法、電子機器および記憶媒体
US20120134556A1 (en) Image processing device, image processing method, and computer-readable recording device
JP2012013514A (ja) 情報処理装置、３次元位置算出方法及びプログラム
CN103561631B (zh) 图像处理装置和图像处理方法
CN108601509B (zh) 图像处理装置、图像处理方法以及记录有程序的介质
CN104411229A (zh) 图像处理装置、图像处理方法以及图像处理程序
CN110473176B (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
CN117522719A (zh) 基于机器学习的支气管镜图像辅助优化系统
Escorcia-Gutierrez et al. A color fusion model based on Markowitz portfolio optimization for optic disc segmentation in retinal images
Zhang et al. Evaluation of a new dataset for visual detection of cervical precancerous lesions
US20160100789A1 (en) Computer-aided diagnosis system and computer-aided diagnosis method
Moradi et al. Automatic landmark detection on chromosomes' images for feature extraction purposes
Suman et al. Detection and classification of bleeding using statistical color features for wireless capsule endoscopy images
Rosado et al. Automatic segmentation methodology for dermatological images acquired via mobile devices
JP6329651B1 (ja) 画像処理装置及び画像処理方法
CN117877691B (zh) 一种基于图像识别的智能化伤口信息采集系统
KR102183073B1 (ko) 치매 판단을 위한 단층 촬영 이미지 선택 장치 및 방법
JP2018125019A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151109

Address after: Tokyo, Japan, Japan

Applicant after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Applicant before: Olympus Medical Systems Corp.

C14 Grant of patent or utility model
GR01 Patent grant