CN109152517B - 图像处理装置、图像处理装置的控制方法和记录介质 - Google Patents

图像处理装置、图像处理装置的控制方法和记录介质 Download PDF

Info

Publication number
CN109152517B
CN109152517B CN201680085960.XA CN201680085960A CN109152517B CN 109152517 B CN109152517 B CN 109152517B CN 201680085960 A CN201680085960 A CN 201680085960A CN 109152517 B CN109152517 B CN 109152517B
Authority
CN
China
Prior art keywords
evaluation value
image
processing apparatus
image processing
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680085960.XA
Other languages
English (en)
Other versions
CN109152517A (zh
Inventor
河野隆志
神田大和
速水健人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN109152517A publication Critical patent/CN109152517A/zh
Application granted granted Critical
Publication of CN109152517B publication Critical patent/CN109152517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种图像处理装置，其用于从管腔内部图像组中提取适合于诊断的管腔内部图像，所述图像处理装置包括：病变信息生成部，其生成表示从管腔内部图像中提取出的病变部的顶部、立起部和边缘隆起部中的任一个的病变信息；和诊断对象图像提取部，其基于病变信息，提取满足预先设定的条件的管腔内部图像。

Description

图像处理装置、图像处理装置的控制方法和记录介质
技术领域
本发明涉及一种用于从管腔内部图像中提取适合于诊断的管腔内部图像的图像处理装置、图像处理装置的控制方法和图像处理装置的控制程序，该管腔内部图像例如是通过对活体的管腔内部进行摄像而获得的。
背景技术
现有技术中已知一种关于内窥镜诊断辅助装置的技术，在该内窥镜诊断辅助装置中，在诊断病变时为了对组织学上重要的关注区域适当地进行诊断，基于色差、抖动、未聚焦引起的模糊等对管腔内部图像的画质进行评价，提取画质最好的管腔内部图像。例如，在专利文献1中，首先，根据图像整体的模糊程度、表示彩度的平均和色散的特征量、从图像的关注区域得到的亮度分布、和表示图像边缘的复杂度的特征量计算综合得分，将计算得到的综合得分作为画质评价值。接着，提取具有最好的画质评价值的内窥镜图像。
现有技术文献
专利文献
专利文献1：日本特开2010-287948号公报
发明内容
发明所要解决的技术问题
在专利文献1的画质评价值的计算方法中，虽然计算图像整体的画质评价值和关注区域内的画质评价值，但是没有考虑对于关注区域内的组织学上的重要部位的“视点”和“映现状况”等信息。因此，存在不能提取与诊断的目的相符的管腔内部图像的情况。例如，在进行管腔内部图像的诊断时，作为组织学上的重要部位，关注用于评价癌的浸润状态的肿瘤结构的顶部、立起部(也可称为“蒂部”)和边缘隆起部等表面性状。
本发明是鉴于上述问题而完成的，目的在于提供一种用于从管腔内部图像组中提取适合于诊断的管腔内部图像的图像处理装置、图像处理装置的控制方法和图像处理装置的控制程序。
用于解决技术问题的技术手段
为了解决上述技术问题，达到本发明的目的，本发明提供一种图像处理装置，其用于从管腔内部图像组中提取适合于诊断的管腔内部图像，所述图像处理装置的特征在于，包括：病变信息生成部，其生成从所述管腔内部图像中提取出的病变部的顶部、立起部和边缘隆起部等肿瘤结构的信息；和诊断对象图像提取部，其基于所述病变信息，提取满足预先设定的条件的管腔内部图像。
为了解决上述技术问题，达到本发明的目的，本发明提供一种从管腔内部图像组中提取适合于诊断的管腔内部图像的图像处理装置的控制方法，其特征在于，包括：病变信息生成部生成从所述管腔内部图像中提取出的病变部的顶部、立起部和边缘隆起部等肿瘤结构的信息的病变信息生成步骤；和诊断对象图像提取部基于所述病变信息，提取满足预先设定的条件的管腔内部图像的诊断对象图像提取步骤。
为了解决上述技术问题，达到本发明的目的，本发明提供一种从管腔内部图像组中提取适合于诊断的管腔内部图像的图像处理装置的控制程序，其特征在于：使计算机执行病变信息生成步骤和诊断对象图像提取步骤，其中，在所述病变信息生成步骤中，生成从所述管腔内部图像中提取出的病变部的顶部、立起部和边缘隆起部等肿瘤结构的信息，在所述诊断对象图像提取步骤中，基于所述病变信息，提取满足预先设定的条件的管腔内部图像。
发明的效果
依照本发明，能够从管腔内部图像组中提取适合于诊断的管腔内部图像。
附图说明
图1是表示本发明的实施方式1的图像处理装置的功能结构的框图。
图2是说明本发明的实施方式1的图像处理装置进行的图像处理的流程图。
图3是表示病变信息生成部执行的病变区域的分析处理的流程图。
图4是说明组织块的特征形状的图。
图5是表示诊断对象图像提取部执行的诊断对象图像提取处理的流程图。
图6是说明表示清晰度特征量与评价值的对应关系的Sigmoid函数的图。
图7是表示本发明的实施方式2的图像处理装置的功能结构的框图。
图8是说明本发明的实施方式2的图像处理装置进行的图像处理的流程图。
图9是表示病变信息生成部执行的病变区域的分析处理的流程图。
图10是表示诊断对象图像提取部执行的诊断对象图像提取处理的流程图。
图11是表示本发明的实施方式3的图像处理装置的功能结构的框图。
图12是说明本发明的实施方式3的图像处理装置进行的图像处理的流程图。
图13是表示清晰度特征量计算部执行的清晰度特征量计算处理的流程图。
图14是表示诊断对象图像提取部执行的诊断对象图像提取处理的流程图。
具体实施方式
在本实施方式中，说明从内窥镜摄像得到的管腔内部图像组中提取最适合于诊断的管腔内部图像的图像处理装置。管腔内部图像是在各像素位置具有与R(红)、G(绿)、B(蓝)各颜色成分对应的像素级(像素值)的彩色图像。
(实施方式1)
图1是表示本发明的实施方式1的图像处理装置的功能结构的框图。实施方式1的图像处理装置1基于管腔内部图像组和怀疑是肿瘤性病变的病变区域提取最适合于诊断的管腔内部图像。
图像处理装置1包括：控制该图像处理装置1整体的动作的控制部10；获取摄像装置对管腔内部进行摄像而生成的管腔内部图像组的图像获取部20；将与外部操作相应的信号输入至控制部10的输入部 30；进行各种信息和图像的显示的显示部40；存储图像获取部20获取的图像数据和各种程序的记录部50；和对图像数据执行规定的图像处理的运算部100。
控制部10可由CPU(Central Processing Unit：中央处理器)等硬件实现，通过读取记录部50中记录的各种程序，按照从图像获取部20 输入的管腔内部图像组和从输入部30输入的信号等，对构成图像处理装置1的各部分进行指示和数据的传送等，统一地控制图像处理装置1 整体的动作。
图像获取部20可与包括医用摄像装置的系统的构成方式相应地适当地构成。例如，在将摄像装置与图像处理装置1连接的情况下，图像获取部20由用于输入摄像装置生成的管腔内部图像组的接口构成。此外，在设置用于事先保存摄像装置生成的管腔内部图像组的服务器的情况下，图像获取部20由与服务器连接的通信装置等构成，与服务器进行数据通信而获取管腔内部图像组。或者，也可以用可移动型记录介质交接摄像装置生成的管腔内部图像组，在此情况下，图像获取部20由可拆装地安装可移动型记录介质、并可读取该记录介质中记录的图像的管腔内部图像组的读取装置构成。
输入部30例如可由键盘、鼠标、触摸面板、各种开关等输入设备实现，与对这些输入设备进行的外部操作相应地产生的输入信号被输出至控制部10。
显示部40可由LCD(Liquid Crystal Display：液晶显示器)、EL(ElectroLuminescence：电致发光)显示器等显示装置实现，在控制部 10的控制下，显示包括管腔内部图像组在内的各种画面。
记录部50可由能够更新记录的闪存等ROM、RAM这样的各种IC 存储器、内置或用数据通信端子连接的硬盘、或者CD-ROM等信息记录装置及其读取装置等实现。记录部50除了保存图像获取部20获取的管腔内部图像组之外，还保存用于使图像处理装置1工作并且使图像处理装置1执行各种功能的程序、以及在执行该程序的过程中使用的数据等。具体而言，记录部50保存图像处理程序51和在该图像处理中使用的阈值等，其中，该图像处理程序51用于从管腔内部图像组中获取病变区域信息，根据病变区域信息提取最适合于诊断的管腔内部图像。
运算部100可由CPU等硬件实现，通过读取图像处理程序51来执行图像处理，即从管腔内部图像组中提取诊断对象的管腔内部图像的处理。
运算部100包括病变信息生成部110、清晰度特征量计算部120和诊断对象图像提取部130。
病变信息生成部110包括检测管腔内部图像内的病变区域的病变区域检测部111和分析病变区域的结构的结构分析部112。结构分析部 112包括视点推算部112a，该视点推算部112a生成用于推算对病变区域的视点的视点信息作为表示病变区域的部分结构的指标。
诊断对象图像提取部130通过计算提取指标的评价值即提取指标评价值，并使用计算出的提取指标评价值和预先设定的阈值进行判断，从多个管腔内部图像中提取成为诊断对象的管腔内部图像(下面也称为诊断对象图像)。诊断对象图像提取部130包括提取指标评价值计算部131，该提取指标评价值计算部131用于根据视点信息和清晰度特征量计算提取指标评价值。提取指标评价值计算部131包括：视点评价值计算部131a，其计算特定视点为优势值的评价值作为提取指标评价值；和清晰度评价值计算部131b，其根据清晰度特征量计算清晰度越高越为优势值的评价值作为提取指标评价值。
接着，说明图像处理装置1的动作。图2是用于说明本发明的实施方式1的图像处理装置进行的图像处理的流程图。首先，在步骤S1 中，图像处理装置1经图像获取部20获取管腔内部图像。在本实施方式1中获取的管腔内部图像是通过用内窥镜对管腔内照射包括R、G、 B各波长成分的照明光(白色光)进行摄像而生成的，在各像素位置具有与这些波长成分对应的像素值(R值、G值、B值)。照明光不限定于上述白色光，也可以是包括G、B的各窄带的波长成分的特殊光，此外也可以是包括R、G、B中的至少1个的窄带光的照射光。例如，所获取的管腔内部图像也可以是通过对管腔内照射包括G、B的窄带化的各波长成分的特殊光进行摄像而生成的，在各像素位置具有与这些波长成分对应的像素值(G值、B值)。
在接着的步骤S2中，运算部100导入管腔内部图像，基于该管腔内部图像分析病变区域。图3是表示病变信息生成部110执行的病变区域的分析处理的流程图。
在步骤S21中，病变区域检测部111检测管腔内部图像内的病变区域。病变区域检测部111使用形状上的特征量(下面也称为形状特征量)检测病变区域。
此处，病变区域是指息肉和肿瘤的区域。息肉一般是指直径在2cm 左右以下的隆起的组织块。肿瘤一般是指直径在数cm以上的隆起的组织块。图4是说明组织块的特征形状的图。作为组织块的形状上的特征，有隆起型(Ⅰ型)和表面型(Ⅱ型)。隆起型(Ⅰ型)包括：有蒂的有蒂型(Ⅰp)、立起途中形成有缩径部的亚蒂型(Ⅰsp)和立起途中未形成缩径部的无蒂型(Ⅰs)。表面型(Ⅱ型)包括：表面隆起的表面隆起型(Ⅱa)、表面与周围高度相同的表面平坦型(Ⅱb)和表面凹陷的表面凹陷型(Ⅱc)。本实施方式1中的病变区域检测部111使用形状特征量将包括组织块的区域作为病变区域进行检测。不使用形状特征量以外的特征量的理由是，如果使用形状特征量以外的特征量、例如纹理特征量，则对不清晰的管腔内部图像进行的病变区域的检测容易失败。作为使用形状特征量的病变检测处理的具体例，日本特开2007-244518号公报记载了一种示例，在该示例中，检测管腔内部图像内的边缘，分析大肠的管状结构中的边缘的弧的朝向的正常与否、曲率、复杂度等特征量而检测病变区域。除此以外，也可以使用利用形状特征量的DPM((Deformable Parts Model)，参考文献：“ADiscriminatively Trained,Multiscale,Deformable Part Model”，PedroFelzenszwalb，University of Chicago)、和不进行特征量的设计就能够检测区域的基于深度学习(参考文献：“Learning deep architectures for AI”， Y.Bengio)的机器学习等。
在接着的步骤S22中，视点推算部112a生成用于推算对病变区域的视点的视点信息，作为表示病变区域的部分结构的指标。视点信息是指由用于判断上方视点、侧方视点和斜上方视点中的至少一个视点的视点判断值构成的信息，是关于管腔内部图像的组织块的病变信息，其中，上方视点是使病变部的顶部附近的表层性状以大面积映现的视点，侧方视点是使病变部的立起部分的表层性状以大面积映现的视点，斜上方视点是易于确认病变部的顶部附近的隆起状态的视点。根据该视点信息，能够选择符合诊断目的的管腔内部图像。
这里，在下面说明视点推算部112a的视点推算方法的例子。下面的方法是一例，推算方法不限于下面记载的方法。
方法1：
1-a：计算病变区域的外切矩形区域的纵横比(＝短边长度/长边长度)。
1-b：在从上方观看圆形结构的情况下认为外切矩形区域近似为正方形，将上述的纵横比之值作为上方视点判断值。该上方视点判断值在0.0以上1.0以下，上方视点判断值越接近1则越能够判断是上方视点。
方法2：
2-a：提取病变区域的轮廓边缘强度。
2-b：首先，对于轮廓边缘强度，基于预先设定的阈值判断轮廓边缘强度较高的区间和较低的区间。接着，判断轮廓边缘强度较高的区间和轮廓边缘强度较低的区间分别为规定像素数以上的像素连续地形成的区间。接着，对于该连续的区间，计算(1-[低轮廓边缘强度的区间的长度])/[高轮廓边缘强度的区间的长度]。进行该计算而得到的值是侧方视点判断值。
方法3：
3-a：将从病变区域的轮廓起向外侧离开预先设定的距离的区域设定为周边区域。
3-b：计算周边区域内的亮度值的散度值。对该散度值进行归一化，以散度值为0的情况为1，以散度值为最大值的情况为0，将该归一化后的值作为用于判断侧方视点的侧方视点判断值。
方法4：
4-a：将从病变区域的轮廓起向外侧离开预先设定的距离的区域设定为周边区域。
4-b：计算周边区域内的亮度的梯度矢量方向的方向散度值，对该方向散度值进行归一化，以方向散度值为0的情况为0，以方向散度值为最大值的情况为1。该归一化后的值是用于判断斜上方视点的斜上方视点判断值。在梯度矢量方向一定的情况下，能够判断为斜上方视点。因此，斜上方视点判断值越接近为0，越能够判断是斜上方视点。
方法5：
5-a：用包括上述方法1～4的多个方法分别计算视点判断值，对全部判断值进行加权求和而生成视点信息。
视点推算部112a计算上述那样的用于判断上方视点、侧方视点和斜上方视点的判断值中的至少一个判断值，将计算出的判断值作为视点信息。判断值中包括用于判断所设定的特定视点的判断值。之后，运算部100的动作返回至主程序。
在接着步骤S2的步骤S3中，清晰度特征量计算部120对于在管腔内部图像中设定的多个区域的各区域，计算被摄体的清晰度作为清晰度特征量。清晰度特征量计算部120计算如下的清晰度特征量，该清晰度特征量具有色差量、模糊程度、噪声量、亮度饱和面积比、对比度信息、频率信息和边缘信息中的一个以上的组合或它们各自的值。本实施方式1的清晰度特征量的数值越小则图像的清晰度越大。下面说明清晰度特征量的获取方法的一例，但计算方法不限定于此。
色差量例如可以通过计算管腔内部图像的彩度平均值而求得。噪声量可以通过对通过中值滤波器前的原始图像与通过后的图像之差求取标准偏差，计算从与该标准偏差相应地设定的值偏离的偏离像素的数量而求得。
亮度饱和面积比是红色成分在规定值以上的区域除以关注区域的面积而得到的商值。模糊程度可以通过计算特定频率成分、例如血管可能取的频率成分的范围的平均值而求得。
在接着步骤S3的步骤S4中，诊断对象图像提取部130通过使用提取指标评价值和预先设定的阈值进行判断，从多个管腔内部图像中提取诊断对象图像。图5是表示诊断对象图像提取部130执行的诊断对象图像提取处理的流程图。
在步骤S41中，视点评价值计算部131a对于在步骤S2中得到的判断值，计算特定视点为优势值的评价值，将该评价值作为提取指标评价值。这里，特定视点是指例如由用户经输入部30设定的、上方视点、侧方视点和斜上方视点中的对于病变需要关注的至少一个视点。
视点评价值计算部131a提取与特定视点对应的判断值高的管腔内部图像，将该管腔内部图像的判断值作为特定视点为优势值的评价值。这里，用于判断上方视点、侧方视点、斜上方视点的各判断值各自处于0.0以上1.0以下的范围，越接近为1则越能够判断为像是该视点。此外，特定视点是至少上方视点、侧方视点、斜上方视点中的、符合诊断目的的一个视点或两个以上视点的组合。视点评价值计算部131a 计算出的评价值在有多个判断值的情况下，应用一个以上的符合诊断目的的视点判断值中最大的值。在设定了多个特定视点的情况下，可以将各视点的评价值相加而计算出一个评价值，也可以将各评价值作为视点评价值分别计算。
在步骤S42中，清晰度评价值计算部131b对于在步骤S3中得到的评价值，计算清晰度越高越为优势值的评价值，将该评价值作为提取指标评价值。清晰度评价值计算部131b使用Sigmoid函数计算评价值。
清晰度特征量可取的值根据清晰度特征量计算部120的计算方法而不同。因此，清晰度评价值计算部131b使用与输入的清晰度特征量对应地准备的Sigmoid函数对该清晰度特征量进行非线性变换来计算评价值，计算得到的评价值取0.0以上1.0以下的值。图6是说明表示清晰度特征量与评价值的对应关系的Sigmoid函数的图。Sigmoid函数是基于下式(1)生成的、图6所示的曲线图，与彼此不同的清晰度特征量(例如图6所示的特征量1、2、3)相应地生成评价值曲线。评价值(V(x))是通过输入清晰度特征量(x)计算出的。图6所示的清晰度特征量的数值越小，图像的清晰度越大。在计算出的清晰度特征量有多个的情况下，清晰度评价值计算部131b计算与各清晰度特征量对应的评价值。
[式1]
Figure BDA0001875220740000101
在步骤S43中，诊断对象图像提取部130通过使用在步骤S41、 S42中计算出的评价值和预先设定的阈值进行判断而提取诊断对象图像。诊断对象图像提取部130提取关于视点的评价值和关于清晰度的评价值各自超过了对各评价值分别设定的阈值的管腔内部图像作为诊断对象图像。
诊断对象图像提取部130，例如在具有包括关于视点的评价值和关于清晰度的评价值在内的多个评价值的情况下，通过使用按每个评价值设定的阈值逐步地对多个评价值进行判断来提取诊断对象图像。也可以提取与由多个评价值形成的多维评价值空间的规定点靠近的评价值，基于与规定点的距离对具有该特定的范围中包括的评价值的多个管腔内部图像赋予顺序，提取顺序高的规定数量的管腔内部图像；或者也可以在基于多个评价值构成多维评价值空间的情况下，通过对该多维评价值空间的任意的范围的分布进行判断而提取诊断对象图像。
之后，运算部100输出步骤S4中的提取结果。与此相应地，控制部10使显示部40显示基于特定视点提取的管腔内部图像。也可以与此同时将步骤S4中的提取结果记载在记录部50中。之后，图像处理装置1的动作结束。
如上所述，依照本发明的实施方式1，因为基于表示对管腔内部图像内的病变部的视点的视点信息和根据管腔内部图像计算出的清晰度特征量提取诊断对象图像，所以能够提取适合诊断中使用的诊断对象图像。通过采用这样的方式，能够提取适合后续的处理和以观察为目的的管腔内部图像。
(实施方式2)
图7是表示本发明的实施方式2的图像处理装置的功能结构的框图。下面，对于与实施方式1的图像处理装置1的构成要素相同的构成要素，标注相同的附图标记进行说明。该图所示的图像处理装置1A 包括：控制该图像处理装置1A整体的动作的控制部10；获取摄像装置对管腔内部进行摄像而生成的图像数据的图像获取部20；将与外部操作相应的信号输入至控制部10的输入部30；进行各种信息和图像的显示的显示部40；保存图像获取部20获取的图像数据和各种程序的记录部50；和对图像数据执行规定的图像处理的运算部100A。
运算部100A包括病变信息生成部110A、清晰度特征量计算部120 和诊断对象图像提取部130A。
病变信息生成部110A包括：检测管腔内部图像内的病变区域的病变区域检测部111；分析病变区域的结构的结构分析部112A；和基于病变区域的结构，设定特定的部分结构的区域的部分结构设定部113。结构分析部112A包括：视点推算部112a，其生成用于推算对病变区域的视点的视点信息；和结构类型分类部112b，其基于病变区域的视点信息和亮度的梯度信息，将病变区域分类至由隆起、平坦、凹陷和边缘隆起中的至少一个构成的分类项目。部分结构设定部113包括重要度设定部113a，该重要度设定部113a设定部分结构的区域内的值为较大值的重要度。
诊断对象图像提取部130A包括提取指标评价值计算部131A，该提取指标评价值计算部131A基于病变信息生成部110A生成的信息和清晰度特征量，计算用于提取诊断对象图像的提取指标评价值。
提取指标评价值计算部131A包括：清晰度评价值计算部131b，其根据清晰度特征量计算清晰度越高越为优势值的评价值；和重要度评价值计算部131c，其根据部分结构和重要度计算特定的部分结构为优势值的评价值。
接着，说明图像处理装置1A的动作。图8是说明本发明的实施方式2的图像处理装置进行的图像处理的流程图。首先，在步骤S1中，图像处理装置1A与上述实施方式1同样地经图像获取部20获取管腔内部图像。
在接着的步骤S2A中，运算部100A导入管腔内部图像，基于该管腔内部图像分析病变区域。图9是表示病变信息生成部110A执行的病变区域的分析处理的流程图。
在步骤S21中，病变区域检测部111检测管腔内部图像内的病变区域。病变区域检测部111如上述那样使用形状上的特征量检测病变区域。
在接着的步骤S22中，视点推算部112a生成用于推算对病变区域的视点的视点信息。视点推算部112a计算上述那样的用于判断上方视点、侧方视点和斜上方视点的判断值中的、包括特定视点的至少一个判断值，将计算出的判断值作为视点信息。
在接着的步骤S24中，结构类型分类部112b基于病变区域的视点信息和亮度的梯度信息，将病变区域分类至由选自隆起、平坦、凹陷和边缘隆起中的任一个构成的分类项目。
这里，作为将结构类型分类的处理的一例，结构类型分类部112b 按基于视点信息得到的每个视点进行这样的处理，即，用进行图案识别的SVM(Support Vector Machine)等识别器，将通过以病变区域内部的梯度矢量方向为特征量的CoHOG(参考文献：“Co-occurrence Histograms of Oriented Gradients for Human Detection”，株式会社东芝， 2010年)得到的形状描述能力高的特征量分类这样的、利用形状特征量与基于机器学习的识别器组合的结构进行的处理。在上述的处理中，只要是形状描述能力高的特征量即可，不限定于CoHOG特征量。机器学习也同样不限定于SVM。
在接着的步骤S25中，部分结构设定部113在病变区域中设定特定的部分结构的区域。部分结构设定部113基于结构类型分类部112b 的分类结果，设定特定的部分结构的区域。特定的部分结构例如是相当于隆起顶部的部分结构、相当于面中央的部分结构、相当于凹陷中心的部分结构、相当于立起部的部分结构和相当于边缘隆起部的部分结构中的任一个。隆起顶部适用于全部分类，相当于病变部的顶部。立起部适用于隆起。边缘隆起部适用于边缘隆起。预先具有与各视点对应的病变部的模型形状和与模型形状对应的隆起顶部、立起部、边缘隆起部的区域信息，结构类型分类部112b基于视点信息和病变区域的亮度的梯度信息，进行符合视点的模型形状的位置对合，将与进行位置对合后的模型形状具有的区域信息重合的区域设定为部分结构的区域。作为用于计算关于部分结构的评价值的赋予值，对部分区域赋予1，对部分区域之外赋予0。特定的部分结构例如可由用户经输入部 30设定。
在接着的步骤S26中，重要度设定部113a设定特定的部分结构的区域内的值较大的重要度。重要度设定部113a对于部分结构的区域，将部分结构的区域内的重要度设定为1，将部分结构的区域外的重要度设定为0或与距离信息相应地线性或非线性地赋予的0.0以上1.0以下的值。重要度设定部113a在将部分结构的区域外的重要度设定为0.0 以上1.0以下的值的情况下，对于部分结构的区域外，以越靠近部分结构的区域则越设定为接近1.0的值的方式设定重要度。重要度设定部 113a可以仅对已设定的特定的部分结构设定重要度，也可以对所有部分结构设定重要度。之后，运算部100a的动作返回主程序。
在接着步骤S2A的步骤S3中，清晰度特征量计算部120与上述实施方式1同样地，对于管腔内部图像中设定的多个区域的各区域，计算被摄体的清晰度作为清晰度特征量。
在接着步骤S3的步骤S4A中，诊断对象图像提取部130A通过计算提取指标评价值，并使用计算出的该提取指标评价值和预先设定的阈值进行判断而提取诊断对象图像。图10是表示诊断对象图像提取部 130A执行的诊断对象图像提取处理的流程图。
在步骤S44中，重要度评价计算部131c基于部分结构和重要度，计算特定的部分结构为优势值的评价值，将该评价值作为提取指标评价值。重要度评价值计算部131c将对病变区域的部分结构赋予的赋予值与重要度相加来计算评价值，对于具有病变区域(该病变区域包括被设定为特定的部分结构的部分结构)的管腔内部图像赋予特定的部分结构为优势值的评价值。因此，在本实施方式2中，说明仅对具有所设定的特定的部分结构的管腔内部图像赋予评价值的方式。重要度评价值计算部131c计算出的评价值是关于部分结构的重要度的提取指标评价值，特定的部分结构在病变区域占的区域越大，则评价值越大。可以使不具有所设定的特定的部分结构的管腔内部图像的评价值为0。在设定了多个特定的部分结构的情况下，按每个部分结构计算赋予了重要度的评价值。
这里，在设定了多个部分结构的情况下，将按每个部分结构计算出的评价值相加进行计算。在此情况下，可以将可能取到的评价值的最大值归一化为1，将归一化后的值作为评价值。
在接着步骤S44的步骤S42中，清晰度评价值计算部131b与上述实施方式1同样地，对于步骤S3中得到的评价值，计算清晰度越高越为优势值的评价值，将该评价值作为提取指标评价值。
在接着步骤S42的步骤S45中，诊断对象图像提取部130A通过使用步骤S44、S42中获取的提取指标评价值和预先设定的阈值进行判断而提取诊断对象图像。诊断对象图像提取部130A提取关于部分结构的评价值和关于清晰度的评价值各自超过了对各评价值分别设定的阈值的管腔内部图像作为诊断对象图像。
之后，运算部100A输出步骤S4A中的提取结果。与此相应地，控制部10使显示部40显示判断为异常区域的区域。也可以与此同时将步骤S4A中的提取结果记录于记录部50。之后，图像处理装置1A 的动作结束。
如上所述，依照本发明的实施方式2，因为基于表示对管腔内部图像内的病变部的视点的视点信息和亮度的梯度信息将结构类型分类，基于根据与该结构类型相应地设定的部分区域计算出的评价值和根据清晰度特征量计算出的清晰度的评价值，提取诊断对象图像，所以能够提取适合于诊断中使用的诊断对象图像。通过采用这样的方式，能够提取适合于后续的处理和以观察为目的的管腔内部图像。
在本实施方式2中，说明了重要度设定部113a对于部分结构设定重要度的方式，但也可以不进行重要度的设定。在此情况下，部分结构设定部113成为不具有重要度设定部113a的结构，重要度评价值计算部131c对于部分结构计算没有对其不赋予重要度的评价值。
(实施方式3)
图11是表示本发明的实施方式3的图像处理装置的功能结构的框图。下面，对于与实施方式1、2的图像处理装置1、1A的构成部位相同的构成部位，赋予相同的附图标记进行说明。该图所示的图像处理装置1B包括：控制该图像处理装置1B整体的动作的控制部10；获取摄像装置对管腔内部进行摄像而生成的图像数据的图像获取部20；将与外部操作相应的信号输入至控制部10的输入部30；进行各种信息和图像的显示的显示部40；保存图像获取部20获取的图像数据和各种程序的记录部50；和对图像数据执行规定的图像处理的运算部100B。
运算部100B包括病变信息生成部110A、清晰度特征量计算部 120A和诊断对象图像提取部130B。
清晰度特征量计算部120A包括用于提取非黏膜区域和亮度饱和区域等无用区域的坐标信息的无用区域提取部121。
诊断对象图像提取部130B通过使用提取指标评价值和预先设定的阈值进行判断而提取诊断对象图像。诊断对象图像提取部130B包括提取指标评价值计算部131B，该提取指标评价值计算部131B基于部分区域和清晰度特征量计算用于提取诊断对象图像的提取指标评价值。
提取指标评价值计算部131B包括：视点评价值计算部131a，其计算特定视点为优势值的评价值；清晰度评价值计算部131b，其根据清晰度特征量计算清晰度越高越为优势值的评价值；重要度评价值计算部131c，其根据重要度计算特定的部分结构为优势值的评价值；和无用区域对应评价值计算部131d，其与无用区域对应地计算评价值。
接着，说明图像处理装置1B的动作。图12是说明本发明的实施方式3的图像处理装置进行的图像处理的流程图。首先，在步骤S1中，图像处理装置1B与上述实施方式1同样地经图像获取部20获取管腔内部图像。
在接着的步骤S2A中，运算部100B导入管腔内部图像，基于该管腔内部图像分析病变区域。步骤S2A按照上述图9所示的流程图执行处理。
在接着步骤S2A的步骤S3A中，清晰度特征量计算部120A对于管腔内部图像中设定的多个区域的各区域，计算被摄体的清晰度作为清晰度特征量。图13是表示清晰度特征量计算部120A执行的清晰度特征量计算处理的流程图。
在步骤S31中，清晰度特征量计算部120A对于管腔内部图像中设定的多个区域的各区域，计算被摄体的清晰度作为清晰度特征量。
在步骤S32中，无用区域提取部121提取非黏膜区域和亮度饱和区域等无用区域的坐标信息。作为无用区域，能够列举与黏膜颜色相比颜色信息相对不同的残渣、血液区域，表示高频成分的气泡区域，表示低彩度、高亮度信息的镜面反射区域，表示高亮度信息的亮度饱和区域等。能够利用颜色信息的差异，在颜色特征量空间中基于相对于黏膜区域的颜色分布的相对的位置关系检测得到这些区域。具体而言，对管腔内部图像内的各像素计算G/R值，将G/R值为用于判别黏膜区域的判别阈值以下的区域、即带有红色调的区域作为检测对象区域。关于气泡区域，将凸方向的高频成分作为气泡区域。无用区域提取部121例如如日本特开2007-313119号公报所公开地那样，通过使气泡模型与从管腔内部图像中提取的边缘匹配而检测气泡区域，其中，该气泡模型是基于气泡的轮廓部和通过气泡内部的照明反射形成的弧形凸边缘等气泡图像的特征而设定的。关于镜面反射区域和亮度饱和区域，通过将红色成分在规定阈值以上、或者亮度值在规定值以上且彩度在规定值以下的区域与预先决定的阈值比较能够检测所述镜面反射区域和亮度饱和区域。无用区域提取部121生成的坐标信息，例如使判断为无用区域的区域为255，使没有被判断为无用区域的区域为0，构成使任一个值与赋予像素的坐标对应了的掩模图像。提取出无用区域的坐标信息之后，运算部100B的动作返回主程序。
在接着步骤S3A的步骤S4B中，诊断对象图像提取部130B通过使用提取指标评价值和预先设定的阈值进行判断而提取诊断对象图像。图14是表示诊断对象图像提取部130B执行的诊断对象图像提取处理的流程图。
在步骤S41中，视点评价值计算部131a对于步骤S2A中得到的评价值，计算特定视点为优势值的评价值，将该评价值作为提取指标评价值。
在接着步骤S41的步骤S44中，重要度评价值计算部131c根据重要度计算特定的部分结构为优势值的评价值，将该评价值作为提取指标评价值。
在接着步骤S44的步骤S42中，清晰度评价值计算部131b与上述实施方式1同样地，对于步骤S3A中得到的评价值计算清晰度越高越为优势值的评价值，将该评价值作为提取指标评价值。
在接着步骤S42的步骤S46中，无用区域对应评价值计算部131d 对于清晰度评价值计算部131b计算出的评价值，减去与无用区域相应的评价值，将计算出的评价值作为提取指标评价值。具体而言，无用区域对应评价值计算部131d使用无用区域的位置越靠近重要度高的区域则对评价值的相减值越大的相减值，与无用区域的配置相应地进行清晰度特征量计算部120A计算出的评价值的相减处理。无用区域对应评价值计算部131d例如使用越靠近重要度高的区域则越接近0.2、越远离重要度高的区域则越接近0.0的相减值，进行评价值的相减处理。无用区域对应评价值计算部131d将相减后的评价值作为提取指标评价值。
在接着步骤S46的步骤S47中，诊断对象图像提取部130B通过使用步骤S41、S44、S42、S46中获取的提取指标评价值和预先设定的阈值进行判断而提取诊断对象图像。诊断对象图像提取部130B提取关于视点信息的评价值、关于清晰度的评价值、关于部分结构的评价值和关于无用区域的评价值分别超过了阈值的管腔内部图像作为诊断对象图像。无用区域对应评价值计算部131d计算出的评价值按检测出的病变单位具有评价值。诊断对象图像提取部130B通过对无用区域对应评价值计算部131d计算出的评价值与按照病变检测中检测出的病变区域的面积预先设定的阈值进行比较而进行判断。
之后，运算部100输出步骤S4B的提取结果。与此相应地，控制部10使显示部40显示判断为异常区域的区域。也可以与此同时将步骤S4B的提取结果记录在记录部50。之后，图像处理装置1B的动作结束。
如上所数，依照本发明的实施方式3，因为基于表示对管腔内部图像内的病变部的视点的视点信息将结构类型分类，并基于根据与该结构类型的部分结构相应地设定的部分区域计算出的评价值、关于视点信息的评价值、根据清晰度特征量计算出的清晰度的评价值、和关于管腔内部图像内的无用区域的评价值，提取诊断对象图像，所以能够提取适合于作为诊断对象的诊断对象图像。通过采用这样的方式，能够提取适合于后续的处理和以观察为目的的管腔内部图像。
在本实施方式3中，说明了重要度设定部113a对于部分结构设定重要度的方式，但与实施方式2同样，也可以不进行重要度的设定。在此情况下，部分结构设定部113成为不具有重要度设定部113a的结构，重要度评价值计算部131c对部分结构计算没有对该部分结构赋予重要度的评价值。
在本实施方式3中，说明了无用区域对应评价值计算部131d对于清晰度特征量计算部120C计算出的评价值进行评价值的重新计算的实施方式，但也可以对于关于视点信息的评价值和关于部分结构的评价值进行评价值的重新计算。也可以是，关于按照无用区域重新计算评价值而得到的提取指标评价值，不将其用于管腔内部图像的提取处理。
(其他实施方式)
以上说明了本发明的实施方式，但本发明并不仅限定于上述实施方式1～3。例如，也可以代替清晰度特征量，计算圆形度作为特征量，根据该圆形度和视点信息计算提取评价值。如上所述，本发明可以包括此处未记载的各种实施方式等。
产业上的可利用性
如上所述，本发明的图像处理装置、图像处理装置的控制方法和图像处理装置的控制程序用于从管腔内部图像组中提取适合于诊断的管腔内部图像。
附图标记的说明
1，1A，1B 图像处理装置
10 控制部
20 图像获取部
30 输入部
40 显示部
50 记录部
51 图像处理程序
100，100A，100B 运算部
110，110A 病变信息生成部
111 病变区域检测部
112 结构分析部
112a 视点推算部
112b 结构类型分类部
113 部分结构设定部
113a 重要度设定部
120，120A 清晰度特征量计算部
121 无用区域提取部
130，130A，130B 诊断对象图像提取部
131 提取指标评价值计算部
131a 视点评价值计算部
131b 清晰度评价值计算部
131c 重要度评价值计算部
131d 无用区域对应评价值计算部

Claims (25)

1.一种图像处理装置，其用于从管腔内部图像组中提取适合于诊断的管腔内部图像，所述图像处理装置的特征在于，包括：
病变信息生成部，其包括病变区域检测部和结构分析部，其中所述病变区域检测部从所述管腔内部图像中检测病变区域，所述结构分析部分析所述病变区域的三维结构，
所述结构分析部包括视点推算部，该视点推算部推算对所述病变区域的视点，
所述病变信息生成部通过推算对从所述管腔内部图像中检测出的病变区域的视点，并分析病变区域的三维结构，生成表示从所述管腔内部图像中检测出的病变区域的顶部、立起部和边缘隆起部中的任一个的病变信息，
所述图像处理装置还包括诊断对象图像提取部，其基于所述病变信息，提取满足预先设定的条件的管腔内部图像。
2.如权利要求1所述的图像处理装置，其特征在于：
所述视点推算部使用所述病变区域的轮廓边缘强度的变迁信息、所述病变区域的亮度信息和所述病变区域的周围的梯度信息中的至少一个来生成视点信息。
3.如权利要求2所述的图像处理装置，其特征在于：
所述病变信息生成部还包括部分结构设定部，该部分结构设定部对所述病变区域设定特定的部分结构的区域。
4.如权利要求2所述的图像处理装置，其特征在于：
所述结构分析部还包括结构类型分类部，该结构类型分类部基于所述病变区域的视点信息和亮度信息，将所述病变区域分类至选自包括隆起、平坦和凹陷的部分结构组中的分类项目。
5.如权利要求3所述的图像处理装置，其特征在于：
所述特定的部分结构是选自隆起顶部、面中央、凹陷中心、立起部和边缘隆起部中的至少一个。
6.如权利要求3所述的图像处理装置，其特征在于：
所述部分结构设定部包括重要度设定部，该重要度设定部对所述特定的部分结构的区域内外设定重要度，使所述特定的部分结构的区域内的重要度的值比所述特定的部分结构的区域外的重要度的值大。
7.如权利要求1所述的图像处理装置，其特征在于：
还包括清晰度特征量计算部，其计算表示所述管腔内部图像的清晰度的清晰度特征量。
8.如权利要求7所述的图像处理装置，其特征在于：
所述清晰度特征量是选自色差量、模糊程度、噪声量、亮度饱和面积比、对比度信息、频率信息和边缘信息中的至少一个。
9.如权利要求7所述的图像处理装置，其特征在于：
所述清晰度特征量计算部包括无用区域提取部，该无用区域提取部提取所述管腔内部图像中的无用区域的坐标信息。
10.如权利要求7所述的图像处理装置，其特征在于：
所述诊断对象图像提取部包括提取指标评价值计算部，该提取指标评价值计算部基于所述病变信息和所述清晰度特征量，计算用于提取诊断对象图像的评价值。
11.如权利要求10所述的图像处理装置，其特征在于：
所述提取指标评价值计算部包括视点评价值计算部，该视点评价值计算部计算特定视点为优势值的评价值。
12.如权利要求11所述的图像处理装置，其特征在于：
所述视点评价值计算部计算能够评价上方视点、侧方视点和斜上方视点中的至少一个视点的评价值。
13.如权利要求11所述的图像处理装置，其特征在于：
所述视点评价值计算部计算用于分别评价上方视点、侧方视点和斜上方视点的多个评价值中的至少一个评价值。
14.如权利要求10所述的图像处理装置，其特征在于：
所述病变信息生成部包括部分结构设定部，该部分结构设定部对所述病变区域设定特定的部分结构的区域，
所述提取指标评价值计算部包括重要度评价值计算部，该重要度评价值计算部基于按与所述部分结构的距离设定的重要度，计算特定的部分结构为优势值的评价值。
15.如权利要求14所述的图像处理装置，其特征在于：
所述特定的部分结构由选自隆起顶部、面中央、凹陷中心、立起部和边缘隆起部中的至少一个构成，
所述重要度评价值计算部按照构成所述特定的部分结构的结构计算所述评价值。
16.如权利要求14所述的图像处理装置，其特征在于：
所述特定的部分结构由选自隆起顶部、面中央、凹陷中心、立起部和边缘隆起部中的多个构成，
所述重要度评价值计算部对于构成所述特定的部分结构的各结构分别计算所述评价值。
17.如权利要求10所述的图像处理装置，其特征在于：
所述提取指标评价值计算部包括清晰度评价值计算部，该清晰度评价值计算部基于清晰度特征量计算高清晰度为优势值的评价值。
18.如权利要求17所述的图像处理装置，其特征在于：
所述清晰度特征量由选自下述特征量组中的至少一个特征量构成，该特征量组包括色差量、模糊程度、噪声量、亮度饱和面积比、对比度信息、频率信息和边缘信息，
所述清晰度评价值计算部计算与构成所述清晰度特征量的所述特征量相应的清晰度的评价值。
19.如权利要求17所述的图像处理装置，其特征在于：
所述清晰度特征量由选自下述特征量组中的多个特征量构成，该特征量组包括色差量、模糊程度、噪声量、亮度饱和面积比、对比度信息、频率信息和边缘信息，
所述清晰度评价值计算部对于构成所述清晰度特征量的多个所述特征量分别计算所述清晰度的评价值。
20.如权利要求10所述的图像处理装置，其特征在于：
所述提取指标评价值计算部包括无用区域对应评价值计算部，该无用区域对应评价值计算部计算与所述管腔内部图像内的无用区域对应的评价值。
21.如权利要求1所述的图像处理装置，其特征在于：
所述诊断对象图像提取部通过使用与彼此不同的多个评价值相应地分别设定的阈值，逐步地对所述多个评价值进行判断而提取所述管腔内部图像。
22.如权利要求21所述的图像处理装置，其特征在于：
所述诊断对象图像提取部基于由所述多个评价值构成的多维评价值空间的预先设定的范围中的分布提取所述管腔内部图像。
23.如权利要求21所述的图像处理装置，其特征在于：
所述诊断对象图像提取部对于具有预先设定的范围的所述评价值的多个所述管腔内部图像赋予顺序，从顺位高的一侧起依次提取预先设定的数量的所述管腔内部图像。
24.一种从管腔内部图像组中提取适合于诊断的管腔内部图像的图像处理装置的控制方法，其特征在于，包括：
通过推算对从所述管腔内部图像中检测出的病变区域的视点，并分析病变区域的三维结构，生成表示从所述管腔内部图像中检测出的病变区域的顶部、立起部和边缘隆起部中的任一个的病变信息的步骤；和
基于所述病变信息，提取满足预先设定的条件的管腔内部图像的步骤。
25.一种计算机能够读取的记录介质，其记录有从管腔内部图像组中提取适合于诊断的管腔内部图像的图像处理装置的控制程序，所述记录介质的特征在于：
所述控制程序使作为所述图像处理装置的计算机执行：
通过推算对从所述管腔内部图像中检测出的病变区域的视点，并分析病变区域的三维结构，生成表示从所述管腔内部图像中检测出的病变区域的顶部、立起部和边缘隆起部中的任一个的病变信息的步骤；和
基于所述病变信息，提取满足预先设定的条件的管腔内部图像的步骤。
CN201680085960.XA 2016-05-27 2016-05-27 图像处理装置、图像处理装置的控制方法和记录介质 Active CN109152517B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/065760 WO2017203701A1 (ja) 2016-05-27 2016-05-27 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Publications (2)

Publication Number Publication Date
CN109152517A CN109152517A (zh) 2019-01-04
CN109152517B true CN109152517B (zh) 2021-03-12

Family

ID=60412733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680085960.XA Active CN109152517B (zh) 2016-05-27 2016-05-27 图像处理装置、图像处理装置的控制方法和记录介质

Country Status (5)

Country Link
US (1) US10748284B2 (zh)
JP (1) JP6578058B2 (zh)
CN (1) CN109152517B (zh)
DE (1) DE112016006913T5 (zh)
WO (1) WO2017203701A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6538634B2 (ja) * 2016-09-30 2019-07-03 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP7015385B2 (ja) * 2018-05-15 2022-02-02 富士フイルム株式会社 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
CN112930136B (zh) * 2019-04-02 2023-07-25 Hoya株式会社 电子内窥镜系统与数据处理装置
JP7461221B2 (ja) * 2020-05-25 2024-04-03 富士フイルムヘルスケア株式会社 医用画像処理装置、および、医用撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6459145A (en) * 1987-08-31 1989-03-06 Kao Corp Analyzer of surface nature
US5833612A (en) * 1996-02-09 1998-11-10 Esc Medical Systems, Ltd. Method and apparatus for diagnosis skin lesions
US6277067B1 (en) * 1997-04-04 2001-08-21 Kerry L. Blair Method and portable colposcope useful in cervical cancer detection
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
US7664300B2 (en) * 2005-02-03 2010-02-16 Sti Medical Systems, Llc Uterine cervical cancer computer-aided-diagnosis (CAD)
US8423123B2 (en) * 2005-09-30 2013-04-16 Given Imaging Ltd. System and method for in-vivo feature detection
JP4891636B2 (ja) 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
JP5086563B2 (ja) 2006-05-26 2012-11-28 オリンパス株式会社 画像処理装置及び画像処理プログラム
JP5388657B2 (ja) * 2009-04-01 2014-01-15 Ｈｏｙａ株式会社 画像処理装置、画像処理装置の作動方法、およびシステム
JP5544764B2 (ja) 2009-06-09 2014-07-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5980555B2 (ja) * 2012-04-23 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2014061553A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
JP6422198B2 (ja) * 2012-11-29 2018-11-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6351323B2 (ja) * 2014-03-20 2018-07-04 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
JP6578058B2 (ja) 2019-09-18
WO2017203701A1 (ja) 2017-11-30
JPWO2017203701A1 (ja) 2019-04-25
US10748284B2 (en) 2020-08-18
CN109152517A (zh) 2019-01-04
DE112016006913T5 (de) 2019-02-14
US20190089895A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
CN109152517B (zh) 图像处理装置、图像处理装置的控制方法和记录介质
US9916666B2 (en) Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device
US10456009B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US9672610B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US8837821B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP6128888B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
EP2437215A1 (en) Detection of a contour edge of an object in an image
US10194783B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region
EP1499110A2 (en) Detecting and correcting red-eye in a digital-image
EP2551821B1 (en) Image processing apparatus, image processing method, and image processing program
US20220125280A1 (en) Apparatuses and methods involving multi-modal imaging of a sample
US8913806B2 (en) Texture homogeneity based in-vivo image identifying device, method, and computer-readable recording device
CN108601509B (zh) 图像处理装置、图像处理方法以及记录有程序的介质
CN103458765B (zh) 图像处理装置
KR102000506B1 (ko) 피부 진단기기 및 이의 제어방법
CN112741651B (zh) 一种内窥镜超声影像的处理方法及系统
US20210209755A1 (en) Automatic lesion border selection based on morphology and color features
CN113689412A (zh) 甲状腺图像处理方法、装置、电子设备及存储介质
US20120251009A1 (en) Image processing apparatus, image processing method, and computer-readable recording device
EP4113433A1 (en) Classification and improvement of quality of vascular images
Yu et al. Automated retinal vessel type classification in color fundus images
Hegenbart et al. Customised frequency pre-filtering in a local binary pattern-based classification of gastrointestinal images
Mekonnen Color Medical Image Edge Detection based on Higher Dimensional Fourier Transforms Applied in Diabetic Retinopathy Studies
Siryamkin et al. Processing color images in optical television systems of recognition, navigation, and diagnosis
Park et al. Determination of ulcer in the digestive tract using image analysis in wireless capsule endoscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant