CN109475277B - 图像处理装置、图像处理装置的控制方法和图像处理装置的控制程序 - Google Patents

图像处理装置、图像处理装置的控制方法和图像处理装置的控制程序 Download PDF

Info

Publication number
CN109475277B
CN109475277B CN201680087532.0A CN201680087532A CN109475277B CN 109475277 B CN109475277 B CN 109475277B CN 201680087532 A CN201680087532 A CN 201680087532A CN 109475277 B CN109475277 B CN 109475277B
Authority
CN
China
Prior art keywords
region
interest
image
focus
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680087532.0A
Other languages
English (en)
Other versions
CN109475277A (zh
Inventor
速水健人
神田大和
河野隆志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN109475277A publication Critical patent/CN109475277A/zh
Application granted granted Critical
Publication of CN109475277B publication Critical patent/CN109475277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明的图像处理装置包括：关注区域设定部，其对图像设定作为分类的评价对象的关注区域；表层结构信息计算部，其计算表示关注区域的表层结构的表层结构信息；非关注区域聚焦程度计算部，其至少计算图像中的非关注区域的聚焦程度；和图像分类部，其基于表层结构信息和非关注区域的聚焦程度将图像分类。

Description

图像处理装置、图像处理装置的控制方法和图像处理装置的 控制程序
技术领域
本发明涉及将对例如活体的管腔内部进行摄像而获取的管腔内图 像组分类的图像处理装置、图像处理装置的控制方法和图像处理装置 的控制程序。
背景技术
以往，已知在1帧的图像中计算多处的聚焦程度的技术。例如， 专利文献1通过从图像中提取第一高频强度成分和第二高频强度成分 并计算图像中的噪声的平均振幅来设定噪声参数，其中，第一高频强 度成分是在发生失焦和手抖等时容易失去的成分，第二高频强度成分 包括即使发生失焦和手抖、强度值也比第一高频强度成分大的低频带 侧的频率成分。专利文献1通过计算第一高频强度相对于第二高频强 度与噪声参数之和的比，来计算图像内的多个位置的聚焦程度。
现有技术文献
专利文献
专利文献1：日本特开2009-258284号公报
发明内容
发明要解决的技术问题
能设想在将由内窥镜摄像得到的图像分类的处理中，基于图像内 的关注区域的聚焦状态将图像分类。但是，在将专利文献1公开的技 术应用于这样的分类处理中的情况下，在不具有表示高频成分的对比 度变化的关注区域，无论第二高频强度成分如何都会将该区域判断为 未聚焦，因此对于关注区域不能详细地分类。
本发明是鉴于上述的技术问题而完成的，目的在于提供一种能够 将图像详细地分类的图像处理装置、图像处理装置的控制方法和图像 处理装置的控制程序。
为了解决上述的技术问题，实现本发明的目的，本发明的图像处 理装置特征在于，包括：关注区域设定部，其对图像设定作为分类的 评价对象的关注区域；表层结构信息计算部，其计算表示所述关注区 域的表层结构的表层结构信息；非关注区域聚焦程度计算部，其至少 计算所述图像中的非关注区域的聚焦程度；和图像分类部，其基于所 述表层结构信息和所述非关注区域的聚焦程度将所述图像分类。
为了解决上述的技术问题，实现本发明的目的，本发明的图像处 理装置的控制方法的特征在于，包括：关注区域设定步骤，关注区域 设定部对图像设定作为分类的评价对象的关注区域；表层结构信息计 算步骤，表层结构信息计算部计算表示所述关注区域的表层结构的表 层结构信息；非关注区域聚焦程度计算步骤，非关注区域聚焦程度计 算部至少计算所述图像中的非关注区域的聚焦程度；和图像分类步骤， 图像分类部基于所述表层结构信息和所述非关注区域的聚焦程度将所 述图像分类。
为了解决上述的技术问题，实现本发明的目的，本发明的图像处 理装置的控制程序的特征在于，使计算机执行以下步骤：关注区域设 定步骤，关注区域设定部对图像设定作为分类的评价对象的关注区域； 表层结构信息计算步骤，表层结构信息计算部计算表示所述关注区域 的表层结构的表层结构信息；非关注区域聚焦程度计算步骤，非关注 区域聚焦程度计算部至少计算所述图像中的非关注区域的聚焦程度； 和图像分类步骤，图像分类部基于所述表层结构信息和所述非关注区 域的聚焦程度将所述图像分类。
发明的效果
依照本发明，能够发挥将图像详细地分类的效果。
附图说明
图1是表示本发明的实施方式1的图像处理装置的功能结构的框 图。
图2是说明本发明的实施方式1的图像处理装置进行的图像处理 的流程图。
图3是表示非关注区域聚焦程度计算部执行的非关注区域聚焦程 度的计算处理的流程图。
图4是表示本发明的实施方式1的变形例1的图像处理装置的功 能结构的框图。
图5是说明本发明的实施方式1的变形例1的图像处理装置进行 的图像处理的流程图。
图6是表示非关注区域聚焦程度计算部执行的非关注区域聚焦程 度的计算处理的流程图。
图7是说明本发明的实施方式1的变形例2的图像处理装置进行 的图像处理的流程图。
图8是表示本发明的实施方式2的图像处理装置的功能结构的框 图。
图9是说明本发明的实施方式2的图像处理装置进行的图像处理 的流程图。
图10是表示非关注区域聚焦程度计算部执行的非关注区域聚焦程 度的计算处理的流程图。
图11是说明参考区域设定部进行的参考区域的设定的图。
图12是表示本发明的实施方式3的图像处理装置的功能结构的框 图。
图13是说明本发明的实施方式3的图像处理装置进行的图像处理 的流程图。
图14是表示图像分类部执行的管腔内部图像的分类处理的流程 图。
图15是说明本发明的实施方式4的图像处理装置进行的图像处理 的流程图。
图16是表示非关注区域聚焦程度计算部执行的非关注区域聚焦程 度的计算处理的流程图。
具体实施方式
在本实施方式中，说明将内窥镜摄像得到的管腔内部图像组分类 的图像处理装置。管腔内部图像是在各像素位置具有与R(红)、G(绿)、 B(蓝)的各颜色成分对应的像素级(像素值)的彩色图像。
(实施方式1)
图1是表示本发明的实施方式1的图像处理装置的功能结构的框 图。实施方式1的图像处理装置1基于管腔内部图像组、疑似肿瘤性 病变的病变区域等关注区域和非关注区域的信息将管腔内部图像分 类。
图像处理装置1包括：控制该图像处理装置1整体的动作的控制 部10；获取摄像装置对管腔内部进行摄像而生成的管腔内部图像组的 图像获取部20；将与外部操作相应的信号输入至控制部10的输入部 30；进行各种信息和图像的显示的显示部40；保存通过图像获取部20 获取的图像数据和各种程序的记录部50；和对图像数据执行规定的图 像处理的运算部100。
控制部10可由CPU(Central Processing Unit：中央处理器)等硬 件实现，通过读取记录部50中记录的各种程序，按照从图像获取部20 输入的管腔内部图像组和从输入部30输入的信号等，对构成图像处理 装置1的各部分发出指示并进行数据的传输等，统一地控制图像处理 装置1整体的动作。
图像获取部20适当地采用与包括医用摄像装置的系统的构成方式 相应的结构。例如，在摄像装置与图像处理装置1连接的情况下，图 像获取部20可由用于导入摄像装置生成的管腔内部图像组的接口构 成。在设置预先保存摄像装置生成的管腔内部图像组的服务器的情况 下，图像获取部20可由与服务器连接的通信装置等构成，通过与服务 器进行数据通信来获取管腔内部图像组。或者，也可以使用可移动型 的记录介质来交接摄像装置生成的管腔内部图像组，在此情况下，图 像获取部20可由读取器装置构成，该读取器装置可拆装地安装可移动 型的记录介质，并能够读取该记录介质中记录的图像的管腔内部图像 组。
输入部30例如可使用键盘、鼠标、触摸面板、各种开关等输入设 备实现，将与对这些输入设备进行的外部操作相应地产生的输入信号 输出至控制部10。
显示部40可由LCD(Liquid Crystal Display：液晶显示器)、EL(ElectroLuminescence：电致发光)显示器等显示装置实现，在控制部 10的控制下，显示包括管腔内部图像组在内的各种画面。
记录部50可由能够更新记录的闪存等ROM、RAM这样的各种IC 存储器、内置的或用数据通信端子连接的硬盘、或CD-ROM等信息记 录装置及其读取装置等实现。记录部50除了保存通过图像获取部20 获取的管腔内部图像组之外，还保存用于使图像处理装置1动作并且 使图像处理装置1执行各种功能的程序，以及在执行该程序的过程中 使用的数据等。具体而言，记录部50保存用于将管腔内部图像组分类 的图像处理程序51、用于该图像处理的阈值和运算部100的分类结果 等。
运算部100可由CPU等硬件实现，通过读取图像处理程序51，执 行将管腔内部图像组分类的图像处理。
运算部100包括：关注区域设定部110，其在所获取的图像中设定 作为图像分类的评价对象的关注区域；计算表示关注区域的表层结构 的信息的表层结构信息计算部120；计算非关注区域的聚焦程度的非关 注区域聚焦程度计算部130；和基于表层结构信息和非关注区域的聚焦 程度将图像分类的图像分类部140。
非关注区域聚焦程度计算部130包括：计算管腔内部图像的频率 信息的频率信息计算部131；和距离计算部132。频率信息计算部131 包括计算图像的特定频带的强度的特定频率强度计算部131a。
图像分类部140包括加权平均部141，该加权平均部141与距离计 算部132计算出的距离相应地将非关注区域的聚焦程度加权平均，计 算关注区域的聚焦程度。
接着，说明图像处理装置1的动作。图2是说明本发明的实施方 式1的图像处理装置进行的图像处理的流程图。首先，在步骤S10中， 图像处理装置1经图像获取部20获取管腔内部图像。在本实施方式1 中，所获取的管腔内部图像是通过用内窥镜对管腔内部照射包括R、G、 B的各波长成分的照明光(白色光)来进行摄像而生成的，该管腔内 部图像在各像素位置具有与这些波长成分对应的像素值(R值、G值、 B值)。照明光不限于上述白色光，也可以是包括G、B的各窄带的波 长成分的特殊光，还可以是包括R、G、B中的至少一种窄带光的照射 光。例如，所获取的管腔内部图像也可以是通过对管腔内部照射包括G、 B的窄带化的各波长成分的特殊光来进行摄像而生成的，该管腔内部 图像在各像素位置具有与这些波长成分对应的像素值(G值、B值)。
在接着的步骤S20中，运算部100进行关注区域的设定。具体而 言，关注区域设定部110检测管腔内部图像内的关注部位，进行包括 该关注部位的关注区域的设定。关注区域设定部110例如使用用户输 入、或公知的Snake(スネーク)(参考文献：CG-ARTS协会，“数字 图像处理(ディジタル画像処理)”改订新版，第210页)、图像分割 (graph cut，グラフカット)(参考文献：CG-ARTS协会，“数字图像 处理”改订新版，第212页)等公知的方法进行关注区域的设定。也 可以通过日本特开2007-244518号公报中记载的息肉候选检测处理，提 取息肉的区域，将其作为关注区域。除此以外，也可以使用DPM ((deformable parts model：可变部件模型)，参考文献：“A Discriminatively Trained,Multiscale,Deformable PartModel”，Pedro Felzenszwalb,University of Chicago)、或基于不进行特征量的设计就能够检测出区域的Deep Learning(深度学习)(参考文献：“Learning deep architecturesfor AI”，Y.Bengio)进行的机器学习等进行关注区域的检 测。不限于息肉，也可以检测肿瘤等病变部和异常部分，设定包括其 中任意一个的关注区域。
在接着的步骤S30中，运算部100计算表示关注区域的表层结构 的表层结构信息。具体而言，表层结构信息计算部120计算表示所设 定的关注区域的表层结构的信息。这里计算出的表示表层结构的信息， 例如是应用公知的边缘提取处理(参考文献：CG-ARTS协会，“数字 图像处理”改订新版，第105页)计算出的边缘强度。表层结构信息 计算部120例如在能够按照每个像素位置得到边缘强度这样能够得到 多个信息的情况下，将平均值和众数等代表值作为表层结构信息。表 层结构信息计算部120也可以计算关注区域的频率信息将其作为表层 结构信息。
在接着的步骤S40中，运算部100计算非关注区域的聚焦程度。 图3是表示非关注区域聚焦程度计算部执行的非关注区域聚焦程度的 计算处理的流程图。
在步骤S401中，频率信息计算部131计算非关注区域的频率信息。 具体而言，在摄像装置具有的多个像素呈矩阵状地排列，设像素的坐 标为(x，y)时，根据下式(1)，计算图像I(x，y)的频率信息F(u， v)。此时，在由R、G、B的各颜色的波长成分构成的图像中，G成分和B成分接近血液的吸收频带，容易映现出表现对比度变化的对象(血 管)，难以发生饱和。因此，频率信息计算部131基于G成分、B成分 计算频率信息F(u，v)。运算部100也可以在处理步骤S401之前除去 可能导致精度降低的因光学系统和照明系统而发生的饱和以及光晕。
[式1]
Figure RE-GDA0001940007030000021
此处，j：虚数单位，
Figure RE-GDA0001940007030000022
u：x方向的空间频率
v：y方向的空间频率
在接着步骤S401的步骤S402中，特定频率强度计算部131a，通 过在得到的频率信息F(u，v)中，提取特定范围内的频率
Figure RE-GDA0001940007030000023
将其之外的部分除去，来计算非关注区域的特定频率的强度。这里所 说的特定范围，是表示表层结构的特征性的频率、例如表示血管的粗 细等纹理的特征性的频率的范围，被预先设定。进而，根据下式(2)， 将提取的频率信息F＇(u，v)转换为处理后图像I＇(x，y)。
[式2]
Figure RE-GDA0001940007030000024
特定频率强度计算部131a，对于处理后图像I＇(x，y)计算表示 特定频带的强度的绝对值|I＇(x，y)|，将其作为各像素位置的聚焦程 度。该聚焦程度相当于特定频率的强度。特定频率强度计算部131a也 可以设定包括多个像素位置的小区域，将该小区域内的聚焦程度的代 表值作为小区域的聚焦程度。代表值例如是平均值、中位数、众数、 最大值、最小值等。
作为特定频率的强度的另一计算方法，特定频率强度计算部131a 在管腔内部图像内设定纵横长度相同的小区域，将该小区域作为I(x， y)，利用式(1)按每个该小区域计算频率信息F(u，v)，根据下式(3) 计算功率谱。
[式3]
p(u,v)＝|F(u,v)2……(3)
特定频率强度计算部131a，通过在功率谱p(u，v)中提取特定 范围内的频率
Figure BDA0001940004950000081
将其之外的部分除去，来计算特定频率 强度。特定频率强度计算部131a计算提取到的功率谱p(u，v)的代 表值，将其作为聚焦程度。
在接着步骤S402的步骤S403中，距离计算部132计算从关注区 域到非关注区域的各像素位置或各小区域的距离。这里，距离计算部 132计算的距离，是从关注区域的坐标到非关注区域的坐标在图像上的 距离，或者关注区域中映现的对象的摄像距离与非关注区域中映现的 对象的摄像距离之差。
距离计算部132在计算图像上的距离的情况下，首先计算关注区 域的重心，然后分别计算从该重心所处的像素位置的坐标到非关注区 域的各像素位置的坐标的距离。
距离计算部132在计算摄像距离之差的情况下，首先确定关注区 域中映现的对象的摄像距离的代表值(例如平均值、中位数、众数、 最大值、最小值等)。之后，距离计算部132计算非关注区域的各像素 位置的摄像距离与在关注区域确定的摄像距离的代表值之差。管腔内 部图像上的对象的摄像距离，能够用公知的计算方法计算。例如，可 以使用所述的波长成分的像素值来计算距离，也可以获取立体图像来 计算距离，还可以基于用测距传感器等测量得到的结果来计算距离。
在由距离计算部132计算出距离之后，运算部100的动作返回主 程序。在上述的方式中，也可以基于计算出的距离，以使该距离在规 定范围内的方式限制用于计算聚焦程度的非关注区域的范围。在此情 况下，在频率信息计算部131进行频率信息的计算之前，用距离计算 部132进行距离的计算。
在接着步骤S40的步骤S50中，图像分类部140计算关注区域的 聚焦程度。具体而言，加权平均部141通过与距离相应地对非关注区 域的聚焦程度进行加权平均，计算关注区域的聚焦程度。加权平均部 141在令关注区域的聚焦程度为ft时，根据下式(4)计算聚焦程度ft。
[式4]
Figure BDA0001940004950000091
这里，K：非关注区域的像素数或区域的数量；
wi：与距离相应的权重；
fi：非关注区域的聚焦程度。
权重wi在距离越近时越大，距离越远时越小。权重wi例如根据下 式(5)计算。
[式5]
Figure BDA0001940004950000092
这里，k：任意的系数；
σ：标准差；
di：关注区域与非关注区域之间的距离。
只要是能够计算出距离越近则越大、距离越远则越小的权重wi的 计算式即可，计算式不限于上式(5)。
在接着步骤S50的步骤S60中，图像分类部140基于加权平均部 141计算出的关注区域的聚焦程度ft和步骤S30中计算出的表层结构信 息，将管腔内部图像分类。具体而言，图像分类部140将管腔内部图 像分类为：在关注区域具有表层结构的聚焦图像；在关注区域不具有 表层结构的聚焦图像；和在关注区域没有聚焦的未聚焦图像。如果表 示表层结构的信息在预先设定的值以上，则图像分类部140将管腔内 部图像分类为具有表层结构的聚焦图像。如果表示表层结构的信息不 到预先设定的值、并且关注区域的聚焦程度ft在预先设定的值以上， 则图像分类部140将管腔内部图像分类为不具有表层结构的聚焦图像。如果表示表层结构的信息和关注区域的聚焦程度ft都不到预先设定的 值，则图像分类部140将管腔内部图像分类为未聚焦图像。所谓关于 表示表层结构的信息预先设定的值，是对于特定频率的强度设定的值， 并且是能够判断为具有表层结构并能够视为在管腔内部图像中明确地 映现出该表层结构的值。所谓关于关注区域的聚焦程度ft预先设定的 值，是对于聚焦程度ft设定的值，并且是能够判断为能够视为关注区 域内的被摄体被明确地映现出的值。之后，控制部10使分类结果与管 腔内部图像关联地将该分类结果记录在记录部50中，或者将该分类结 果显示在显示部40上。控制部10在图像获取部20获取到管腔内部图 像的时刻或者满足所设定的条件的时刻，例如按每帧或每数帧，反复 进行上述的分类处理。
如上所述，依照本发明的实施方式1，基于关注区域的表层结构信 息、非关注区域的聚焦程度和按照从该非关注区域的位置到关注区域 的距离求得的关注区域的聚焦程度将管腔内部图像分类，因此能够将 管腔内部图像组详细地分类。以往存在这样的情况，即，由于关注区 域中不存在呈现对比度变化的对象，因此不能正确地进行聚焦判断。 但是依照本实施方式1，通过按照与关注区域的距离对非关注区域的聚 焦程度进行加权平均，计算关注区域的聚焦程度来进行聚焦判断，因 此能够将管腔内部图像高精度地分类为有无表层结构的聚焦图像和未 聚焦图像。
(实施方式1的变形例1)
图4是表示本发明的实施方式1的变形例1的图像处理装置的功 能结构的框图。下面，对于与实施方式1的图像处理装置1具有的构 成要素相同的构成要素，标注相同的附图标记进行说明。该图所示的 图像处理装置1A包括：控制该图像处理装置1A整体的动作的控制部 10；获取摄像装置对管腔内部摄像而生成的图像数据的图像获取部20； 将与外部操作相应的信号输入至控制部10的输入部30；进行各种信息 和图像的显示的显示部40；保存由图像获取部20获取到的图像数据和 各种程序的记录部50；对图像数据执行规定的图像处理的运算部 100A。
运算部100A包括：关注区域设定部110，其在获取的图像中设定 作为图像分类的评价对象的关注区域；计算表示关注区域的表层结构 的信息的表层结构信息计算部120；计算非关注区域的聚焦程度的非关 注区域聚焦程度计算部130A；和基于表层结构信息和非关注区域的聚 焦程度将图像分类的图像分类部140。
非关注区域聚焦程度计算部130A包括：推算图像内的各像素的摄 像距离的摄像距离推算部133；和基于因摄像距离而不同的频带的信息 计算聚焦程度的适应性聚焦程度计算部134。摄像距离推算部133还包 括低吸收波长成分选择部133a，该低吸收波长成分选择部133a选择活 体内的吸收/散射的程度最低的低吸收波长成分。适应性聚焦程度计算部134包括适应性频率信息计算部134a，该适应性频率信息计算部 134a计算因摄像距离而适应性地不同的频带的信息。
接着，说明图像处理装置1A的动作。图5是说明本发明的实施方 式1的变形例1的图像处理装置进行的图像处理的流程图。首先，在 步骤S10中，图像处理装置1A经图像获取部20获取管腔内部图像。
在接着的步骤S20中，运算部100A进行关注区域的设定。关注区 域设定部110与上述实施方式1同样地检测管腔内部图像内的关注部 位，进行包括该关注部位的关注区域的设定。
在接着的步骤S30中，运算部100A计算表示关注区域的表层结构 的表层结构信息。表层结构信息计算部120与上述实施方式1同样地 计算表示所设定的关注区域的表层结构的表层结构信息。
在接着的步骤S41中，运算部100A计算非关注区域的聚焦程度。 图6是表示非关注区域聚焦程度计算部执行的非关注区域聚焦程度的 计算处理的流程图。
在步骤S411中，摄像距离推算部133推算图像内的各像素位置的 摄像距离。推算摄像距离的方法有公知的各种方法。在本变形例1中， 说明基于管腔内部图像、将拍摄对象假定为均匀扩散面的拍摄距离推 算方法。具体而言，首先，低吸收波长成分选择部133a选择活体内的 吸收/散射的程度最低的低吸收波长成分。在本变形例1中，说明低吸 收波长成分选择部133a选择R成分的方式。这是为了抑制黏膜表面映 现的血管等引起的像素值降低、获得与黏膜表面的摄像距离最相关的 像素值信息。在由R、G、B各颜色的波长成分构成的图像中，由于R 成分的波长远离血液的吸收带并且R成分是长波长的成分，因此R成 分不容易受到活体内的吸收、散射的影响，因此选择R成分。摄像距 离推算部133基于低吸收波长成分的像素值，推算假定了均匀扩散面 的摄像距离。摄像距离推算部133根据下式(6)计算要推算的摄像距 离。
[式6]
Figure BDA0001940004950000121
这里，r：摄像距离：
I：光源的发光强度：
K：黏膜表面的扩散反射系数；
θ：黏膜表面的法线矢量与从该黏膜表面到光源的矢量所成 的角；
L：映现出作为摄像距离推算对象的黏膜表面的像素的R成 分的像素值。
发射强度I和扩散反射系数K是根据事先测量得到的值预先设定 的值。角θ是根据内窥镜前端的光源与黏膜表面的位置关系而决定的 值，对于角θ预先设定了平均值。
也可以在摄像距离推算部133执行步骤S411之前，对于可能引起 各处理的精度降低的因光学系统和照明系统而发生的像素值不均以及 镜面反射区域、残渣、气泡等非黏膜区域，修正上述的像素值不均， 并排除非黏膜区域。
在本变形例1中说明了基于图像计算摄像距离的方法，但除此以 外也可以基于测距传感器等计算摄像距离。也可以是，并不一定进行 摄像距离的推算，而用与摄像距离相关的像素值进行后阶段的适应性 处理。
在步骤S412中，适应性频率信息计算部134a计算因摄像距离而 适应性地不同的频带的信息。在管腔内部图像中映现的黏膜表面的结 构在图像上的大小根据摄像距离的远近而变化，频带的信息也根据摄 像距离而变化。于是，在上述图3的步骤S401中计算频率信息时，使 从频率信息F(u，v)中提取的频率w的范围作为摄像距离的函数发 生变化。例如摄像距离越大，适应性频率信息计算部134a使频率w的 范围越小。
在步骤S413中，适应性聚焦程度计算部134基于适应性频率信息 计算部134a计算出的不同频带的信息计算非关注区域的聚焦程度。适 应性聚焦程度计算部134根据在步骤S412中得到的频率信息，与上述 实施方式1同样地计算聚焦程度。例如，适应性聚焦程度计算部134 根据上式(2)将提取出的频率信息F＇(u，v)转换为处理后图像I＇ (x，y)。
适应性聚焦程度计算部134，对于处理后图像I＇(x，y)计算绝对 值|I＇(x，y)|，将其作为每个像素位置的聚焦程度。适应性聚焦程度 计算部134也可以设定小区域，将该小区域内的聚焦程度的代表值作 为小区域的聚焦程度。代表值例如是平均值、中位数、众数、最大值、 最小值等。之后，运算部100的动作返回主程序。
在接着步骤S41的步骤S50中，图像分类部140计算关注区域的 聚焦程度。具体而言，加权平均部141通过按照距离对非关注区域的 聚焦程度进行加权平均而计算关注区域的聚焦程度。加权平均部141 根据上式(4)计算聚焦程度ft。
在接着步骤S50的步骤S60中，图像分类部140基于加权平均部 141计算出的关注区域的聚焦程度ft和在步骤S30中计算出的表层结构 信息，将管腔内部图像分类。图像分类部140，如上所述地将管腔内部 图像分类为在关注区域具有表层结构的聚焦图像、在关注区域不具有 表层结构的聚焦图像和未聚焦的未聚焦图像。
如以上所说明的那样，依照本发明的实施方式1的变形例1，基于 关注区域的表层结构信息、非关注区域的聚焦程度和关注区域的聚焦 程度，将管腔内部图像分类，因此能够将管腔内部图像组详细地分类， 其中，关注区域的聚焦程度是基于因摄像距离而适应性地决定的频带 的信息计算得到的。
本变形例1的摄像距离推算部133的摄像距离推算方法，也可以 应用于上述实施方式1的距离计算部132的距离计算。
(实施方式1的变形例2)
本实施方式1的变形例2的图像处理装置的结构与上述实施方式1 的图像处理装置1是相同的。图7是说明本发明的实施方式1的变形 例2的图像处理装置进行的图像处理的流程图。首先，在步骤S10中， 图像处理装置1经图像获取部20获取管腔内部图像。
在接着的步骤S20中，运算部100进行关注区域的设定。关注区 域设定部110，与上述实施方式1同样地检测管腔内部图像内的关注部 位，进行包括该关注部位的关注区域的设定。
在接着的步骤S30中，运算部100计算表示关注区域的表层结构 的表层结构信息。表层结构信息计算部120，与上述实施方式1同样地 计算所设定的关注区域的表层结构信息。在本变形例2中，说明计算 边缘强度作为表层结构信息的方式。
在接着步骤S30的步骤S70中，运算部100根据步骤S30的计算 结果，判断是否存在表层结构。运算部100判断表层结构信息是否在 预先设定的值以上。此时，因为表层结构信息是边缘强度，所以步骤 S70中的判断相当于判断管腔内部图像中关注区域内是否聚焦。因此， 此时使用的设定值被设定为用于根据表层结构信息判断是否聚焦的 值。这里，在运算部100判断存在表层结构的情况下(步骤S70：是)， 转移至步骤S60。而在运算部100判断不存在表层结构的情况下(步骤 S70：否)，转移至步骤S40。
在接着的步骤S40中，运算部100计算非关注区域的聚焦程度。 运算部100按照图3所示的流程图，计算非关注区域的聚焦程度。
在接着步骤S40的步骤S50中，图像分类部140计算关注区域的 聚焦程度。具体而言，加权平均部141通过按照距离对非关注区域的 聚焦程度进行加权平均来计算关注区域的聚焦程度。加权平均部141 根据上式(4)计算聚焦程度ft。
在接着步骤S50的步骤S60中，图像分类部140至少基于表层结 构信息将管腔内部图像分类。在判断为具有表层结构的情况下(步骤 S70：是)，图像分类部140将该管腔内部图像分类为具有表层结构且 聚焦的图像。在判断为不具有表层结构的情况下(步骤S70：否)，图 像分类部140基于加权平均部141计算出的关注区域的聚焦程度ft，将 管腔内部图像分类为不具有表层结构的聚焦图像或不具有表层结构且 未聚焦的未聚焦图像。
如上所述，依照本发明的实施方式1的变形例2，基于关注区域的 表层结构信息、非关注区域的聚焦程度和关注区域的聚焦程度将管腔 内部图像分类，因此能够将管腔内部图像组详细地分类，其中，关注 区域的聚焦程度是基于因摄像距离而适应性地决定的频带的信息计算 得到的。
(实施方式2)
图8是表示本发明的实施方式2的图像处理装置的功能结构的框 图。下面，对于与实施方式1的图像处理装置1等具有的构成要素相 同的构成要素，标注相同的附图标记进行说明。该图所示的图像处理 装置1B包括：控制该图像处理装置1B整体的动作的控制部10；获取 摄像装置对管腔内部进行摄像而生成的图像数据的图像获取部20；将 与外部操作相应的信号输入至控制部10的输入部30；进行各种信息和 图像的显示的显示部40；保存由图像获取部20获取的图像数据和各种 程序的记录部50；和对图像数据执行规定的图像处理的运算部100B。
运算部100B包括：关注区域设定部110，其在获取的图像中设定 作为图像分类的评价对象的关注区域；计算表示关注区域的表层结构 的信息的表层结构信息计算部120；计算非关注区域的聚焦程度的非关 注区域聚焦程度计算部130B；和基于表层结构信息和非关注区域的聚 焦程度将图像分类的图像分类部140。
非关注区域聚焦程度计算部130B包括参考区域设定部135，该参 考区域设定部135以在关注区域与参考区域之间不存在边缘的方式设 定参考区域，所设定的该参考区域仅包括距离在规定范围内的像素。 参考区域设定部135还包括：计算从关注区域到管腔内部图像内的各 像素位置的距离的距离计算部135a；和计算管腔内部图像内的边缘强 度的边缘强度计算部135b。
接着，说明图像处理装置1B的动作。图9是说明本发明的实施方 式2的图像处理装置进行的图像处理的流程图。首先，在步骤S10中， 图像处理装置1经图像获取部20获取管腔内部图像。
在接着的步骤S20中，运算部100B进行关注区域的设定。关注区 域设定部110，与上述实施方式1同样地检测管腔内部图像内的关注部 位，进行包括该关注部位的关注区域的设定。
在接着的步骤S30中，运算部100B计算表示关注区域的表层结构 的表层结构信息。表层结构信息计算部120与上述实施方式1同样地 计算表示所设定的关注区域的表层结构的信息。
在接着的步骤S42中，运算部100B计算非关注区域的聚焦程度。 图10是表示非关注区域聚焦程度计算部执行的非关注区域聚焦程度的 计算处理的流程图。
在步骤S421中，距离计算部135a计算从关注区域到管腔内部图 像内的各像素位置的距离。距离计算部135a利用与距离计算部132的 计算方法相同的方法计算距离。
在步骤S422中，边缘强度计算部135b计算管腔内部图像的边缘 强度。边缘强度计算部135b通过计算管腔内部图像内的边缘强度，能 够检测出管腔内部图像的边缘。
在步骤S423中，参考区域设定部135设定参考区域。参考区域设 定部135，以参考区域仅包括与关注区域的距离在预先设定的范围内的 像素、且在关注区域与参考区域之间不存在具有预先设定的强度以上 的强度的边缘的方式设定参考区域。作为参考区域的设定方法，例如 能够对距离设置几个阈值，通过其阈值处理，以设定的间隔设定参考 区域。此时，参考区域设定部135用直线将各像素位置与关注区域的 重心位置连结。在该直线与具有预先设定的强度以上的强度的边缘交 叉的情况下，参考区域设定部135判断为不将该像素位置包含在参考 区域中、或者不将包含该像素位置的区域设定为参考区域等即可。通 过采用这样的方式，不仅能够设定关注区域，还能够在边缘之间以及 由边缘与图像的外缘包围的区域内，设定一个或多个参考区域。
图11是说明参考区域设定部进行的参考区域的设定的图。在图11 中，管腔内部图像W100包括具有预先设定的强度以上的强度的边缘 E1～E3和关注部位Pa，并且在管腔内部图像W100中设定了包围关注部 位的关注区域Ra。如图11所示，关于参考区域候选Rr1，因为在关注 区域Ra与该参考区域候选Rr1之间不存在具有预先设定的强度以上的 强度的边缘，所以能够将该参考区域候选Rr1设定为参考区域。而关 于参考区域候选Rr2，因为在关注区域Ra与该参考区域候选Rr2之间 存在具有预先设定的强度以上的强度的边缘E2，所以不将该参考区域 候选Rr2设定为参考区域。不论关注区域Ra是否包含边缘，只要在关 注区域Ra与参考区域候选之间不存在边缘，参考区域设定部135就将 该参考区域候选设定为参考区域。作为设定参考区域的方法，还可以 列举以网格状的点为中心使矩形区域展开等设定规则的区域的方法、 以及随机地设定区域的位置/尺寸的方法等。除此以外，也可以用聚焦 程度代替距离，设定仅包括聚焦程度在规定范围内的像素的参考区域， 或者也可以基于摄像距离和亮度来判断可否设定参考区域。图11中示 出了关注区域和参考区域为矩形框的方式，但不限于此，也可以是四 边形以外的多边形、椭圆或圆，彼此的大小也可以互不相同。
在步骤S424中，非关注区域聚焦程度计算部130B按每个参考区 域计算聚焦程度。具体而言，非关注区域聚焦程度计算部130B将上述 图3的步骤S401的频率信息计算中的小区域置换为该参考区域来计算 非关注区域的聚焦程度。之后，运算部100的动作返回主程序。
在接着步骤S42的步骤S50中，图像分类部140计算关注区域的 聚焦程度。具体而言，加权平均部141通过按照距离对非关注区域的 聚焦程度进行加权平均，计算关注区域的聚焦程度。加权平均部141 根据上式(4)计算聚焦程度ft。
在接着步骤S50的步骤S60中，图像分类部140基于加权平均部 141计算出的关注区域的聚焦程度ft和在步骤S30中计算出的表层结构 信息，将管腔内部图像分类。图像分类部140如上所述那样将管腔内 部图像分类为在关注区域具有表层结构的聚焦图像、在关注区域不具 有表层结构的聚焦图像和未聚焦的未聚焦图像。
如上所述，依照本发明的实施方式2，基于关注区域的表层结构信 息、根据所设定的参考区域求得的非关注区域的聚焦程度和基于以关 注区域为基点求得的距离计算出的关注区域的聚焦程度，将管腔内部 图像分类，因此能够将管腔内部图像组详细地分类。
(实施方式3)
图12是表示本发明的实施方式3的图像处理装置的功能结构的框 图。下面，对于与实施方式1的图像处理装置1等具有的构成要素相 同的构成要素，标注相同的附图标记进行说明。该图所示的图像处理 装置1C包括：控制该图像处理装置1C整体的动作的控制部10；获取 摄像装置对管腔内部进行摄像而生成的图像数据的图像获取部20；将 与外部操作相应的信号输入至控制部10的输入部30；进行各种信息和 图像的显示的显示部40；保存由图像获取部20获取的图像数据和各种 程序的记录部50；和对图像数据执行规定的图像处理的运算部100C。
运算部100C包括：关注区域设定部110，其在获取的图像中设定 作为图像分类的评价对象的关注区域；计算表示关注区域的表层结构 的表层结构信息计算部120；计算非关注区域的聚焦程度的非关注区域 聚焦程度计算部130B；和基于表层结构信息和非关注区域的聚焦程度 将图像分类的图像分类部140A。
图像分类部140A包括重叠评价部142，该重叠评价部142基于聚 焦范围与关注区域的重叠程度来判断关注区域的聚焦程度。重叠评价 部142还包括聚焦范围推算部142a，该聚焦范围推算部142a根据非关 注区域的聚焦程度分布推算聚焦范围。
接着，说明图像处理装置1C的动作。图13是说明本发明的实施 方式3的图像处理装置进行的图像处理的流程图。首先，在步骤S10 中，图像处理装置1C经图像获取部20获取管腔内部图像。
在接着的步骤S20中，运算部100C进行关注区域的设定。关注区 域设定部110与上述实施方式1同样地检测管腔内部图像内的关注部 位，进行包括该关注部位的关注区域的设定。
在接着的步骤S30中，运算部100C计算表示关注区域的表层结构 的表层结构信息。表层结构信息计算部120与上述实施方式1同样地 计算表示所设定的关注区域的表层结构的信息。
在接着的步骤S42中，运算部100C计算非关注区域的聚焦程度。 运算部100B按照图10所示的流程图，计算非关注区域的聚焦程度。
在接着步骤S42的步骤S61中，图像分类部140A将管腔内部图像 分类。图14是表示图像分类部执行的管腔内部图像的分类处理的流程 图。
在步骤S611中，聚焦范围推算部142a根据非关注区域的聚焦程 度分布推算聚焦范围。作为聚焦范围的推算方法，例如可以列举这样 的方法，即，对非关注区域的聚焦程度设定阈值，通过其阈值处理来 决定聚焦像素坐标，通过公知的闭运算、开运算处理(参考文献： CG-ARTS协会，“数字图像处理”改订新版，第186页)对该聚焦像 素坐标的组推算聚焦范围。
在步骤S612中，重叠评价部142基于聚焦范围与关注区域的重叠 程度判断关注区域中是否聚焦。具体而言，重叠评价部142评价步骤 S611中推算得到的聚焦范围与关注区域的重叠面积相对于关注区域的 面积的比例。如果该比例在预先设定的值以上，则重叠评价部142将 关注区域判断为聚焦；如果比例小于预先设定的值，则重叠评价部142 判断为未聚焦。之后，图像分类部140A基于表层结构信息和关注区域 的聚焦判断结果，将管腔内部图像分类为在关注区域具有表层结构的 聚焦图像、在关注区域不具有表层结构的聚焦图像和未聚焦的未聚焦 图像。之后，运算部100的动作返回主程序，结束分类处理。
如上所述，依照本发明的实施方式3，基于关注区域的表层结构信 息和关注区域的聚焦判断结果将管腔内部图像分类，因此能够将管腔 内部图像组详细地分类，其中，关注区域的聚焦判断结果是基于推算 得到的聚焦范围与关注区域的重叠程度而得到的。并且，依照本实施 方式3，图像分类部140A不使用距离信息就能够将管腔内部图像分类， 能够提高计算效率，并且即使对于不能正确地推算摄像距离的较暗的 管腔内部图像也能够将该管腔内部图像分类。
(实施方式4)
本实施方式4的图像处理装置的结构，是从上述实施方式1的图 像处理装置1中省略距离计算部132和加权平均部141之后得到的结 构。图15是说明本发明的实施方式4的图像处理装置进行的图像处理 的流程图。首先，在步骤S10中，图像处理装置1经图像获取部20获 取管腔内部图像。
在接着步骤S10的步骤S80中，运算部100计算管腔内部图像的 聚焦程度。图16是表示非关注区域聚焦程度计算部执行的非关注区域 聚焦程度的计算处理的流程图。
在步骤S801中，频率信息计算部131计算管腔内部图像的频率信 息。频率信息计算部131与图3的步骤S401同样地计算管腔内部图像 的频率信息。
在步骤S802中，特定频率强度计算部131a计算特定频率的强度。 特定频率强度计算部131a与图3的步骤S402同样地计算管腔内部图 像的特定频率的强度。这样，在步骤S80中，频率信息计算部131计 算管腔内部图像在所有像素位置的特定频率的强度作为管腔内部图像 在所有像素位置的聚焦程度。
在接着步骤S80的步骤S20中，运算部100进行关注区域的设定。 关注区域设定部110与上述实施方式1同样地检测管腔内部图像内的 关注部位，进行包括该关注部位的关注区域的设定。
在接着的步骤S30中，运算部100计算表示关注区域的表层结构 的表层结构信息。表层结构信息计算部120与上述实施方式1同样地 计算表示所设定的关注区域的表层结构的信息。
在接着步骤S30的步骤S90中，图像分类部140基于非关注区域 的聚焦程度计算关注区域的聚焦程度。图像分类部140基于非关注区 域的、步骤S802中计算出的特定频率的强度，计算关注区域的聚焦程 度。具体而言，图像分类部140将非关注区域的聚焦程度的代表值作 为关注区域的聚焦程度。也可以设置加权平均部141，加权平均部141 通过按照距离对非关注区域的聚焦程度进行加权平均来计算关注区域 的聚焦程度。
在接着步骤S90的步骤S62中，图像分类部140将管腔内部图像 分类。图像分类部140基于计算出的关注区域的聚焦程度和步骤S30 中计算出的表层结构信息，将管腔内部图像分类。图像分类部140如 上所述地将管腔内部图像分类为在关注区域具有表层结构的聚焦图 像、在关注区域不具有表层结构的聚焦图像和未聚焦的未聚焦图像。 之后，运算部100的动作返回主程序，结束分类处理。
如上所述，依照本发明的实施方式4，基于关注区域的表层结构信 息和根据非关注区域的聚焦程度求得的关注区域的聚焦程度将管腔内 部图像分类，因此能够将管腔内部图像组详细地分类。
(其他实施方式)
上面说明了本发明的实施方式，但本发明并不限于上述实施方式 1～4。例如，在上述实施方式1～4中，说明了将对受检体内的管腔进 行摄像而得到的管腔内部图像分类的方式，但不限于此，也可以将映 现出分类用的评价对象的图像分类，该图像例如是用胶囊型内窥镜、 工业用内窥镜、数字相机等摄像得到的图像。
工业上的可利用性
如上所述，本发明的图像处理装置、图像处理装置的控制方法和 图像处理装置的控制程序可用于将图像详细地分类。
附图标记的说明
1，1A，1B，1C 图像处理装置
10 控制部
20 图像获取部
30 输入部
40 显示部
50 记录部
51 图像处理程序
100，100A，100B，100C 运算部
110 关注区域设定部
120 表层结构信息计算部
130，130A，130B 非关注区域聚焦程度计算部
131 频率信息计算部
131a 特定频率强度计算部
132，135a 距离计算部
133 摄像距离计算部
133a 低吸收波长成分选择部
134 适应性聚焦程度计算部
134a 适应性频率信息计算部
135 参考区域设定部
135b 边缘强度计算部
140，140A 图像分类部
141 加权平均部
142 重叠评价部
142a 聚焦范围推算部

Claims (20)

1.一种图像处理装置，其特征在于，包括：
关注区域设定部，其对图像设定作为分类的评价对象的关注区域；
表层结构信息计算部，其计算表示所述关注区域的表层结构的表层结构信息；
非关注区域聚焦程度计算部，其至少计算所述图像中的非关注区域的聚焦程度；和
图像分类部，其基于所述表层结构信息和根据所述非关注区域的聚焦程度求得的关注区域的聚焦程度将所述图像分类。
2.如权利要求1所述的图像处理装置，其特征在于：
所述图像分类部将所述图像分类为具有所述表层结构的聚焦图像、不具有所述表层结构的聚焦图像和未聚焦图像中的任一者。
3.如权利要求1所述的图像处理装置，其特征在于：
所述非关注区域聚焦程度计算部包括计算所述图像的频率信息的频率信息计算部，
所述非关注区域聚焦程度计算部基于所述频率信息计算非关注区域的聚焦程度。
4.如权利要求3所述的图像处理装置，其特征在于：
所述频率信息计算部包括计算所述图像的特定频带的强度的特定频率强度计算部。
5.如权利要求1所述的图像处理装置，其特征在于：
所述非关注区域聚焦程度计算部包括距离计算部，该距离计算部计算从所述关注区域到所述非关注区域的各像素坐标的距离，
所述非关注区域聚焦程度计算部基于所述距离计算非关注区域的聚焦程度。
6.如权利要求5所述的图像处理装置，其特征在于：
所述距离计算部计算所述关注区域的规定的坐标与所述非关注区域的各像素坐标之间在图像上的距离、或者所述关注区域中映现出的对象的摄像距离与非关注区域的像素中映现出的对象的摄像距离之差，作为所述距离。
7.如权利要求5所述的图像处理装置，其特征在于：
所述非关注区域聚焦程度计算部计算所述距离处于预先设定的范围内的所述非关注区域的聚焦程度。
8.如权利要求5所述的图像处理装置，其特征在于：
所述图像分类部包括加权平均部，该加权平均部按照所述距离对所述非关注区域的聚焦程度进行加权平均，
所述图像分类部基于所述加权平均的结果计算所述关注区域的聚焦程度，并基于所述表层结构信息和计算出的所述关注区域的聚焦程度将所述图像分类。
9.如权利要求1所述的图像处理装置，其特征在于：
所述非关注区域聚焦程度计算部包括：摄像距离推算部，其推算所述图像内的各像素坐标的摄像距离；和适应性聚焦程度计算部，其用与所述摄像距离相应的参数计算所述非关注区域的聚焦程度。
10.如权利要求9所述的图像处理装置，其特征在于：
所述适应性聚焦程度计算部包括适应性频率信息计算部，该适应性频率信息计算部计算因所述摄像距离而不同的频率信息，
所述适应性聚焦程度计算部基于所述不同的频率信息计算所述非关注区域的聚焦程度。
11.如权利要求1所述的图像处理装置，其特征在于：
所述非关注区域聚焦程度计算部包括参考区域设定部，该参考区域设定部在所述图像中的所述非关注区域设定参考区域，
所述非关注区域聚焦程度计算部基于所述参考区域的信息计算所述非关注区域的聚焦程度。
12.如权利要求11所述的图像处理装置，其特征在于：
所述参考区域设定部包括距离计算部，该距离计算部计算从所述关注区域到所述非关注区域的各像素坐标的距离，
所述参考区域设定部设定仅包括所述距离处于预先设定的范围内的像素坐标的参考区域。
13.如权利要求12所述的图像处理装置，其特征在于：
所述参考区域设定部包括计算所述图像的边缘的强度的边缘强度计算部，
所述参考区域设定部在所述关注区域与所述参考区域之间不存在具有规定强度以上的强度的所述边缘的情况下设定所述参考区域。
14.一种图像处理装置，其特征在于，包括：
关注区域设定部，其对图像设定作为分类的评价对象的关注区域；
表层结构信息计算部，其计算表示所述关注区域的表层结构的表层结构信息；
非关注区域聚焦程度计算部，其至少计算所述图像中的非关注区域的聚焦程度；和图像分类部，其包括：
聚焦范围推算部，其根据所述非关注区域的聚焦程度的分布推算聚焦范围；和
重叠评价部，其评价聚焦范围与所述关注区域的重叠程度，
所述图像分类部基于所述重叠程度判断所述关注区域是否聚焦，并基于所述关注区域的表层结构信息和所述关注区域的聚焦判断结果将所述图像分类。
15.如权利要求1或14所述的图像处理装置，其特征在于：
所述关注区域是包含病变部的区域，
所述表层结构信息计算部判断所述关注区域的聚焦程度。
16.如权利要求1或14所述的图像处理装置，其特征在于：
所述图像是对管腔内部进行摄像而得到的管腔内部图像。
17.一种图像处理装置的控制方法，其特征在于，包括：
关注区域设定步骤，对图像设定作为分类的评价对象的关注区域；
表层结构信息计算步骤，计算表示所述关注区域的表层结构的表层结构信息；
非关注区域聚焦程度计算步骤，至少计算所述图像中的非关注区域的聚焦程度；和
图像分类步骤，基于所述表层结构信息和根据所述非关注区域的聚焦程度求得的关注区域的聚焦程度将所述图像分类。
18.一种记录介质，其记录有图像处理装置的控制程序，所述记录介质的特征在于：
所述控制程序使计算机执行以下步骤：
关注区域设定步骤，对图像设定作为分类的评价对象的关注区域；
表层结构信息计算步骤，计算表示所述关注区域的表层结构的表层结构信息；
非关注区域聚焦程度计算步骤，至少计算所述图像中的非关注区域的聚焦程度；和
图像分类步骤，基于所述表层结构信息和根据所述非关注区域的聚焦程度求得的关注区域的聚焦程度将所述图像分类。
19.一种图像处理装置的控制方法，其特征在于，包括：
关注区域设定步骤，对图像设定作为分类的评价对象的关注区域；
表层结构信息计算步骤，计算表示所述关注区域的表层结构的表层结构信息；
非关注区域聚焦程度计算步骤，至少计算所述图像中的非关注区域的聚焦程度；和
包括聚焦范围推算步骤和重叠评价步骤的图像分类步骤，其中，
所述聚焦范围推算步骤根据所述非关注区域的聚焦程度的分布推算聚焦范围，
所述重叠评价步骤评价聚焦范围与所述关注区域的重叠程度，
所述图像分类步骤基于所述重叠程度判断所述关注区域是否聚焦，并基于所述关注区域的表层结构信息和所述关注区域的聚焦判断结果将所述图像分类。
20.一种记录介质，其记录有图像处理装置的控制程序，所述记录介质的特征在于：
所述控制程序使计算机执行以下步骤：
关注区域设定步骤，对图像设定作为分类的评价对象的关注区域；
表层结构信息计算步骤，计算表示所述关注区域的表层结构的表层结构信息；
非关注区域聚焦程度计算步骤，至少计算所述图像中的非关注区域的聚焦程度；和
包括聚焦范围推算步骤和重叠评价步骤的图像分类步骤，其中，
所述聚焦范围推算步骤根据所述非关注区域的聚焦程度的分布推算聚焦范围，
所述重叠评价步骤评价聚焦范围与所述关注区域的重叠程度，
所述图像分类步骤基于所述重叠程度判断所述关注区域是否聚焦，并基于所述关注区域的表层结构信息和所述关注区域的聚焦判断结果将所述图像分类。
CN201680087532.0A 2016-07-13 2016-07-13 图像处理装置、图像处理装置的控制方法和图像处理装置的控制程序 Active CN109475277B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/070745 WO2018011928A1 (ja) 2016-07-13 2016-07-13 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Publications (2)

Publication Number Publication Date
CN109475277A CN109475277A (zh) 2019-03-15
CN109475277B true CN109475277B (zh) 2021-08-24

Family

ID=60952847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680087532.0A Active CN109475277B (zh) 2016-07-13 2016-07-13 图像处理装置、图像处理装置的控制方法和图像处理装置的控制程序

Country Status (4)

Country Link
US (1) US20190150848A1 (zh)
JP (1) JP6664486B2 (zh)
CN (1) CN109475277B (zh)
WO (1) WO2018011928A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522437B (zh) * 2020-03-09 2023-05-02 中国美术学院 一种基于眼动数据获取产品原型方法和系统
CN112686841A (zh) * 2020-12-21 2021-04-20 昆明理工大学 一种检测多相混合过程中气泡均匀性的评价方法
WO2023144936A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 画像判定装置、画像判定方法、及び、記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004298503A (ja) * 2003-03-31 2004-10-28 Olympus Corp 歯科検査用光イメージング装置
CN101751680A (zh) * 2008-12-16 2010-06-23 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN102045490A (zh) * 2009-10-15 2011-05-04 奥林巴斯株式会社 图像处理装置以及图像处理方法
JP2013146859A (ja) * 2013-05-09 2013-08-01 Fanuc Ltd 付加軸付きロボットのオフラインプログラム作成装置
WO2015044996A1 (ja) * 2013-09-24 2015-04-02 オリンパス株式会社 内視鏡装置及び内視鏡装置の制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250401A (ja) * 2004-03-08 2005-09-15 Kodak Digital Product Center Japan Ltd 焦点距離検出方法及び合焦装置
JP5115297B2 (ja) * 2008-04-15 2013-01-09 株式会社ニコン 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2013142859A (ja) * 2012-01-12 2013-07-22 Sony Corp 画像処理装置、画像処理方法、プログラム及びデジタル顕微鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004298503A (ja) * 2003-03-31 2004-10-28 Olympus Corp 歯科検査用光イメージング装置
CN101751680A (zh) * 2008-12-16 2010-06-23 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN102045490A (zh) * 2009-10-15 2011-05-04 奥林巴斯株式会社 图像处理装置以及图像处理方法
JP2013146859A (ja) * 2013-05-09 2013-08-01 Fanuc Ltd 付加軸付きロボットのオフラインプログラム作成装置
WO2015044996A1 (ja) * 2013-09-24 2015-04-02 オリンパス株式会社 内視鏡装置及び内視鏡装置の制御方法

Also Published As

Publication number Publication date
CN109475277A (zh) 2019-03-15
JPWO2018011928A1 (ja) 2019-04-25
JP6664486B2 (ja) 2020-03-13
US20190150848A1 (en) 2019-05-23
WO2018011928A1 (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
JP5576782B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5683888B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US9916666B2 (en) Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device
JP6552613B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5757724B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5980555B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US9672610B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5804220B1 (ja) 画像処理装置および画像処理プログラム
JP5830295B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN110176010B (zh) 一种图像检测方法、装置、设备及存储介质
JP2011234931A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
EP2188779A1 (en) Extraction method of tongue region using graph-based approach and geometric properties
US10748284B2 (en) Image processing device, operation method of image processing device, and computer-readable recording medium
CN109475277B (zh) 图像处理装置、图像处理装置的控制方法和图像处理装置的控制程序
CN108601509B (zh) 图像处理装置、图像处理方法以及记录有程序的介质
US8774521B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
CN107529962B (zh) 图像处理装置、图像处理方法和记录介质
TWI684955B (zh) 前景影像的提取方法與電子裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant