CN107529962B - 图像处理装置、图像处理方法和记录介质 - Google Patents
图像处理装置、图像处理方法和记录介质 Download PDFInfo
- Publication number
- CN107529962B CN107529962B CN201580078973.XA CN201580078973A CN107529962B CN 107529962 B CN107529962 B CN 107529962B CN 201580078973 A CN201580078973 A CN 201580078973A CN 107529962 B CN107529962 B CN 107529962B
- Authority
- CN
- China
- Prior art keywords
- tube
- feature amount
- region
- imaging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
本发明的目的在于,提供高精度地检测管内的特定区域的图像处理装置、图像处理方法和图像处理程序。图像处理装置具有:管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的一侧之间的关系而确定的管内拍摄状况进行分析;以及特定区域检测部,其根据管内拍摄状况进行特定区域的检测。
Description
技术领域
本发明涉及对管内图像实施图像处理的图像处理装置、图像处理方法和记录介质。
背景技术
以往,公开了根据内窥镜图像的像素值梯度信息即像素值面形状特征量检测活体内的异常区域的技术、根据内窥镜图像的轮廓特征量即边缘信息检测异常区域的技术(例如参照专利文献1)。在该技术中,评价像素值梯度的各向同性、即是否相对于周围的任意方向产生了相同梯度,并且评价边缘形状是否是规定大小的圆弧形状,由此检测异常区域。
现有技术文献
专利文献
专利文献1:日本特开2007-244519号公报
发明内容
发明要解决的课题
在内窥镜图像中,包含相对于管内壁从正面进行拍摄、从侧面进行拍摄、拍摄距离较远、拍摄距离较近、产生焦点模糊、产生运动抖动等各种拍摄状况下拍摄的图像。异常区域等规定的特定区域的映出方式根据拍摄状况而变化,所以,不考虑该变化而应用相同的检测技术,还存在无法提高检测性能这样的问题。
本发明是鉴于上述情况而完成的,其目的在于,提供能够高精度地检测管内的特定区域的图像处理装置、图像处理方法和记录介质。
用于解决课题的手段
为了解决上述课题并实现目的,本发明的图像处理装置的特征在于,所述图像处理装置具有:管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的一侧之间的关系而确定的管内拍摄状况进行分析;以及特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测。
本发明的图像处理方法的特征在于,所述图像处理方法包括以下步骤:管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的一侧之间的关系而确定的管内拍摄状况进行分析;以及特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测。
本发明的记录介质的特征在于,所述记录介质记录有图像处理程序,所述图像处理程序使计算机执行以下步骤:管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的一侧之间的关系而确定的管内拍摄状况进行分析;以及特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测。
发明效果
根据本发明,根据管内的拍摄状况来检测特定区域,所以,能够高精度地检测管内的特定区域。
附图说明
图1是用于说明本发明的实施方式的概要的图(其一)。
图2是用于说明本发明的实施方式的概要的图(其二)。
图3是示出本发明的实施方式1的图像处理装置的功能结构的框图。
图4是示意地示出作为管内图像的一例的、由内窥镜拍摄的活体的管内图像的图。
图5是示出本发明的实施方式1的图像处理装置进行的处理的概要的流程图。
图6是示出本发明的实施方式1的图像处理装置的管深部区域检测部进行的处理的概要的流程图。
图7是示出本发明的实施方式1的变形例1-1的图像处理装置的功能结构的框图。
图8是示出本发明的实施方式1的变形例1-1的图像处理装置进行的处理的概要的流程图。
图9是示出本发明的实施方式1的变形例1-1的图像处理装置的内壁梯度计算部进行的处理的概要的流程图。
图10是示出本发明的实施方式1的变形例1-2的图像处理装置的功能结构的框图。
图11是示出本发明的实施方式1的变形例1-2的图像处理装置进行的处理的概要的流程图。
图12是示出本发明的实施方式1的变形例1-3的图像处理装置的功能结构的框图。
图13是示出本发明的实施方式1的变形例1-3的图像处理装置进行的处理的概要的流程图。
图14是示出本发明的实施方式2的图像处理装置的功能结构的框图。
图15是示出本发明的实施方式2的图像处理装置进行的处理的概要的流程图。
图16是示出本发明的实施方式2的图像处理装置的拍摄距离估计部进行的处理的概要的流程图。
图17是示出本发明的实施方式2的变形例2-1的图像处理装置的功能结构的框图。
图18是示出本发明的实施方式2的变形例2-1的图像处理装置进行的处理的概要的流程图。
图19是示出本发明的实施方式2的变形例2-1的图像处理装置的焦点模糊分析部进行的处理的概要的流程图。
图20是示出本发明的实施方式2的变形例2-2的图像处理装置的功能结构的框图。
图21是示出本发明的实施方式2的变形例2-2的图像处理装置进行的处理的概要的流程图。
图22是示出本发明的实施方式2的变形例2-2的图像处理装置的运动抖动分析部进行的处理的概要的流程图。
图23是示出本发明的实施方式2的变形例2-3的图像处理装置的功能结构的框图。
图24是示出本发明的实施方式2的变形例2-3的图像处理装置进行的处理的概要的流程图。
图25是示出本发明的实施方式2的变形例2-4的图像处理装置的功能结构的框图。
图26是示出本发明的实施方式2的变形例2-4的图像处理装置进行的处理的概要的流程图。
图27是示出本发明的实施方式3的图像处理装置的功能结构的框图。
图28是示出本发明的实施方式3的图像处理装置进行的处理的概要的流程图。
图29是示出本发明的实施方式4的图像处理装置的功能结构的框图。
图30是示出本发明的实施方式4的图像处理装置进行的处理的概要的流程图。
具体实施方式
下面,参照附图对用于实施本发明的方式(以下称为“实施方式”)进行说明。
图1和图2是用于说明本发明的实施方式的概要的图。具体而言,图1和图2是示意地示出由导入到活体内并对活体进行观察的内窥镜拍摄到的活体的图像(管内图像)的图。
多数情况下,内窥镜相对于活体的管内壁的粘膜面倾斜进行拍摄。该情况下,在内窥镜拍摄的管内图像中,如图1所示,映出从拍摄距离较近的管近前的粘膜面到拍摄距离较远的管深部的粘膜面,有时映出可能产生病变的异常区域。
与此相对,如图2所示,内窥镜有时相对于活体管内壁的粘膜面从正面进行拍摄。在相对于粘膜面从正面进行拍摄的情况下,不会映出管深部,异常区域的映出方式也与倾斜拍摄的情况不同。
除此之外,在内窥镜拍摄的图像中,与活体管内壁粘膜面之间的拍摄距离根据图像而不同,而且,有时在图像中产生焦点模糊或运动抖动。
本实施方式的图像处理装置的特征在于,对上述拍摄状况的差异进行分析,进行包含异常区域的特定区域的自适应检测。这里,特定区域是管内图像中的被摄体的性状或状态满足规定条件的区域。例如,在管内图像是活体的管内图像(活体内管腔图像)的情况下,特定区域是活体的组织性状或活体内的状态满足规定条件的区域。更具体而言,例如可以举出疮口、溃疡、糜烂、息肉、肿瘤、发红、绒毛异常等活体的组织性状变化的区域、以及出血等活体内的状态发生了变化的区域等异常区域。特定区域可以是图像的一部分区域,也可以是图像整体的区域。另外,内窥镜拍摄的图像假设为在各像素位置具有针对R(红色)、G(绿色)、B(蓝色)各波长成分的像素值的彩色图像,但是不限于此。
(实施方式1)
图3是示出本发明的实施方式1的图像处理装置的功能结构的框图。该图所示的图像处理装置1具有运算部2和存储部3。
运算部2具有:管内拍摄状况分析部4,其在管内图像中对根据被摄体与拍摄侧的关系而确定的管内拍摄状况进行分析;以及特定区域检测部5,其进行与管内拍摄状况对应的特定区域的检测。
管内拍摄状况分析部4具有检测管内图像中的管深部区域的管深部区域检测部41。管深部区域检测部41具有选择活体内的吸收/散射程度最低的低吸收波长成分的低吸收波长成分选择部411、将低吸收波长成分的管内图像中的边缘周边区域的像素排除的边缘周边区域排除部412、在将边缘周边区域的像素排除之后的低吸收波长成分的图像中检测像素值为规定阈值以下的区域的低像素值区域检测部413。
一般情况下,认为由低像素值区域检测部413检测到的像素集中存在的区域是管深部区域。管深部区域检测部41对低像素值区域检测部413检测到的像素进行公知的贴标签处理(参考:CG-ARTS协会:数字图像处理:181P、贴标签),将要连结的像素集中成一个区域后,检测面积为规定阈值以上的区域中的最大的区域作为管深部区域。如果不存在规定阈值以上的区域,则管深部区域检测部41设为不存在管深部区域。
例如在由R、G、B成分构成的图像的情况下,低吸收波长成分选择部411选择从血液的吸收频带分开且长波长的成分、即不容易受到活体内的吸收/散射的影响的成分即R成分。低吸收波长成分选择部411进行这种选择,由此,能够抑制由于粘膜表面中映出的血管等而引起的像素值降低,能够得到与粘膜表面之间的拍摄距离最相关的像素值信息。
边缘周边区域排除部412例如应用公知的边缘提取处理(参考:CG-ARTS协会:数字图像处理:114P、边缘提取:209P、轮廓线检测)确定边缘区域后,对该边缘区域进行公知的膨胀处理(参考:CG-ARTS协会:数字图像处理:179P、收缩/膨胀处理),由此确定周边区域并将其排除。边缘周边区域排除部412将边缘周边区域排除,由此,能够将粘膜褶皱的轮廓边缘周边产生的阴影部分那样、可能误检测为管深部的粘膜(照明光很难到达的低吸收波长成分的像素值降低的粘膜)的区域排除。
低像素值区域检测部413在将边缘周边区域排除之后的低吸收波长成分的图像中检测像素值为规定阈值以下的像素。
特定区域检测部5具有特征量计算部51和识别部52。作为特征量计算部51计算的特征量,可以举出已经公知的颜色、轮廓(边缘)、像素值面形状(像素值梯度)、纹理等各种特征量。根据一个特征量计算区域计算出的多个特征量集中为特征矢量。产生所设定的特征量计算区域的数量的特征矢量。
特征量计算部51具有范围设定部511,该范围设定部511根据是否存在管深部区域,设定用于检测规定特定区域的特征量计算中使用的区域的范围。在管深部区域存在于管内图像中的情况下,处于倾斜拍摄有管内壁的状况,所以,能够进行使用了整体管构造的基于大范围信息的特定区域检测。
图4是示意地示出作为管内图像的一例的、由内窥镜拍摄的活体的管内图像的图。通常,内窥镜倾斜拍摄管内壁的粘膜面。因此,在内窥镜拍摄的管内图像中,如图4所示,映出从拍摄距离较近的管近前的粘膜面到拍摄距离较远的管深部的粘膜面,有时映出异常区域。粘膜褶皱的轮廓边缘基本上具有向与管深部方向相反的一侧凸出的形状,在异常区域的轮廓边缘产生向管深部方向凸出的形状。这样,在图4所示的管内图像中,能够进行基于管深部方向与内壁轮廓的凸方向的关系的异常区域检测等。
在管内图像中存在管深部区域的情况下,范围设定部511以包含管深部区域的方式相对较大地设定特征量计算中使用的区域的范围。另外,即使在管内图像中未充分包含管深部区域,如果区域的范围较大,则图像处理装置1根据内壁的梯度等估计管深部方向,由此能够进行特征量计算。
另一方面,在管内图像中不存在管深部区域的情况下,处于从正面拍摄有管内壁的状况,所以,无法高精度地进行使用了整体管构造的基于大范围信息的特定区域检测。该状况下,当范围设定部511较大地设定特征量计算中使用的区域的范围时,容易产生运算量的浪费、导致精度降低的区域(镜面反射、残渣、泡、正常褶皱等)的混入。该情况下,与在管内图像中存在管深部区域的情况相比,范围设定部511较小地设定特征量计算中使用的区域的范围。
识别部52根据特征量计算部51计算出的特征矢量进行管内图像中的区域的识别,检测规定的特定区域。公知有各种根据特征矢量进行识别的方法。例如,作为一般的统计识别的方法,可以举出如下方法:根据下述式(1)所示的概率模型,计算特征矢量x是否满足特定条件的识别指标P(x),识别该值为阈值以上的特征量计算区域作为特定区域。
【数学式1】
在式(1)的右边,k是特征矢量的维数,x是识别对象的检查区域的特征矢量(k×1矩阵),μ是特定区域的样本(多个)中的特征矢量的平均矢量(k×1矩阵),Z是特定区域的样本(多个)中的特征矢量的方差协方差矩阵(k×k矩阵),|Z|是Z的行列式,Z-1是Z的逆矩阵。
另外,这里例示出使用概率模型的识别方法,但是,除此之外,识别部52例如也可以使用基于与代表性特征矢量之间的特征空间距离的方法、设定特征空间内的识别边界的方法等进行识别。
运算部2使用CPU(Central Processing Unit:中央处理单元)等通用处理器、ASIC(Application Specific Integrated Circuit:专用集成电路)等执行特定功能的各种运算电路等专用处理器来实现。在运算部2是通用处理器的情况下,通过读入存储部3存储的各种程序,对构成图像处理装置1的各部进行指示和数据的转送等,对图像处理装置1整体的动作进行总括控制。并且,在运算部2是专用处理器的情况下,处理器可以单独执行各种处理,也可以通过使用存储部3存储的各种数据等,由处理器和存储部3共同或结合执行各种处理。后述实施方式和变形例中说明的运算部当然也与运算部2同样地实现。
存储部3由ROM(Read Only Memory:只读存储器)或RAM(Random Access Memory:随机存取存储器)等各种IC存储器、内置或通过数据通信端子连接的硬盘、或CD-ROM等信息记录装置及其读取装置等来实现。存储部3除了存储图像处理装置1取得的管内图像的图像数据以外,还存储用于使图像处理装置1进行动作并使图像处理装置1执行各种功能的程序、该程序的执行中所使用的数据等。具体而言,存储部3存储本实施方式1的图像处理程序、该图像处理中使用的阈值等各种参数。后述实施方式中说明的存储部当然也与存储部3同样地实现。
存储部3存储的图像处理程序等各种程序也可以记录在计算机可读取的记录介质中。并且,关于各种程序在存储部3或记录介质中的记录,可以在将计算机或记录介质作为产品而出厂时进行,也可以通过经由通信网络的下载来进行。这里所说的通信网络例如由现有的公共线路网、LAN(Local Area Network:局域网)、WAN(Wide Area Network:广域网)等来实现,与有线、无线无关。
具有以上结构的图像处理装置1可以使用一个计算机来实现,也可以使用多个计算机来实现。在后者的情况下,能够一边经由通信网络进行数据的发送接收,一边相互协作进行处理。另外,这里所说的计算机例如可以由通用的个人计算机或服务器等构成。关于这点,可以说针对后述实施方式和变形例中说明的图像处理装置也是同样的。
另外,可以使处理器具有以上说明的图像处理装置1的功能,所述处理器构成导入到被检体内并对该被检体内进行观察的内窥镜系统的一部分,并对该内窥镜系统整体进行控制。关于这点,可以说针对后述实施方式和变形例中说明的图像处理装置也是同样的。
图5是示出图像处理装置1执行的处理的概要的流程图。首先,运算部2取得作为处理对象的管内图像(步骤S1)。
接着,管深部区域检测部41检测管内图像中的管深部区域(步骤S2)。图6是示出管深部区域检测部41进行的处理的概要的流程图。下面,参照图6对管深部区域检测部41的处理进行说明。首先,低吸收波长成分选择部411选择活体内的吸收/散射的程度最低的低吸收波长成分(步骤S11)。例如在由R、G、B成分构成的图像的情况下,低吸收波长成分选择部411如上所述选择R成分。
然后,边缘周边区域排除部412将低吸收波长成分的管内图像中的边缘周边区域的像素排除(步骤S12)。由此,能够防止边缘周边区域被误检测为管深部区域。
接着,低像素值区域检测部413在将边缘周边区域排除之后的低吸收波长成分的图像中,检测像素值较低的区域即具有规定阈值以下的像素值的像素的区域(步骤S13)。如上所述,管深部的拍摄距离较远,所以,低吸收波长成分的图像的像素值较低。
最后,管深部区域检测部41根据由低像素值区域检测部413检测到的区域进行公知的贴标签处理等,由此检测管深部区域(步骤S14)。由此,管深部区域检测部41进行的管深部区域检测处理(步骤S2)结束。
另外,在本实施方式1中,示出根据与拍摄距离相关的像素值来检测管深部区域的方法,但是,这只不过是一例,例如也可以根据日本特开2003-93328号公报所示的方法等检测管深部区域。
并且,也可以在进行管深部区域检测处理之前,进行由于光学系统或照明系统而引起的像素值不均的校正;镜面反射、残渣和泡等非粘膜区域的排除等处理。由此,能够抑制后续各处理的精度的降低。
在接着步骤S2的步骤S3中,范围设定部511根据是否存在管深部区域,设定用于检测特定区域的特征量计算中使用的区域的范围(步骤S3)。
接着,特征量计算部51将所设定的范围的特征量计算区域设定在管内图像中的任意位置,从该区域内计算特征量(步骤S4)。
然后,识别部52识别管内图像中的区域,检测特定区域(步骤S5)。识别部52例如根据上述式(1)所示的概率模型计算识别指标P(x),识别该值为阈值以上的区域作为特定区域。
最后,运算部2输出特定区域的检测结果(步骤S6)。由此,图像处理装置1结束一连串的处理。
根据以上说明的本发明的实施方式1,根据是否存在管深部区域来设定特征量计算中使用的区域的范围,所以,能够适当切换大范围特征量计算和局部特征量计算,能够高精度地检测特定区域。
(变形例1-1)
图7是示出实施方式1的变形例1-1的图像处理装置的功能结构的框图。在该图所示的图像处理装置1A中,对具有与图1所示的图像处理装置1相同的功能的结构部位标注与图1相同的标号。
图像处理装置1A具有运算部2A和存储部3。运算部2A具有管内拍摄状况分析部4A和特定区域检测部5。
管内拍摄状况分析部4A具有计算管内图像中的管内壁的梯度(内壁梯度)的内壁梯度计算部42。内壁梯度计算部42具有选择活体内的吸收/散射的程度最低的低吸收波长成分的低吸收波长成分选择部411、以及计算低吸收波长成分的像素值梯度的像素值梯度计算部421。
像素值梯度计算部421根据规定尺寸的X方向的一次微分滤波器输出ΔX和相同尺寸的Y方向的一次微分滤波器输出ΔY,计算像素值梯度的大小和方向(参考:CG-ARTS协会:数字图像处理:115P、微分滤波器)。像素值梯度计算部421可以在各像素位置处计算管内壁的梯度,也可以以规定的取样间隔计算管内壁的梯度。
图8是示出图像处理装置1A进行的处理的概要的流程图。在图8中,对与图5所示的流程图相同的处理标注相同步骤编号。下面,对接着步骤S1的处理进行说明。
在步骤S2A中,内壁梯度计算部42计算管内图像中的管内壁的梯度(步骤S2A)。图9是示出内壁梯度计算部42进行的处理的概要的流程图。下面,参照图9对内壁梯度计算部42的处理进行说明。首先,低吸收波长成分选择部411选择活体内的吸收/散射的程度最低的低吸收波长成分(步骤S21)。
接着,像素值梯度计算部421计算选择出的低吸收波长成分的像素值梯度(步骤S22)。由此,内壁梯度计算部42进行的管内图像中的管内壁的梯度计算处理(步骤S2A)结束。
在步骤S2A之后,范围设定部511根据内壁梯度的大小,设定特征量计算中使用的区域的范围(步骤S3A)。多个部位计算出的内壁梯度的大小的平均值为规定阈值以上的情况对应于倾斜拍摄有管内壁的状况。该情况下,范围设定部511相对较大地设定特征量计算中使用的区域的范围。另一方面,内壁梯度的大小的平均值小于规定阈值的情况对应于从正面拍摄管内壁的状况。该情况下,与内壁梯度的大小的平均值为阈值以上的情况相比,范围设定部511较小地设定特征量计算中使用的区域的范围。
接着步骤S3A的步骤S4~S6的处理与实施方式1中说明的处理相同。
根据以上说明的实施方式1的变形例1-1,根据内壁梯度的大小来设定特征量计算中使用的区域的范围,所以,能够适当切换大范围特征量计算和局部特征量计算,能够高精度地检测特定区域。
另外,在本变形例1-1中,也可以构成为,管内拍摄状况分析部4A还具有实施方式1中说明的管深部区域检测部41。该情况下,范围设定部511根据管深部区域存在与否和内壁梯度的大小来设定特征量计算中使用的区域的范围。
(变形例1-2)
图10是示出实施方式1的变形例1-2的图像处理装置的功能结构的框图。在该图所示的图像处理装置1B中,对具有与图1所示的图像处理装置1相同的功能的结构部位标注与图1相同的标号。
图像处理装置1B具有运算部2B和存储部3。运算部2B具有管内拍摄状况分析部4和特定区域检测部5B。
特定区域检测部5B具有特征量计算部53和识别部52。特征量计算部53具有形状方向设定部531,该形状方向设定部531设定特定区域检测用的特征量计算中使用的区域的形状和/或方向。管深部区域位于图像中的情况对应于倾斜拍摄有管内壁的状况,如图1所示,异常区域成为在深部区域的方向(进深方向)上较短、在与管深部区域的方向垂直的方向上较长的像而容易映出。该情况下,形状方向设定部531将特征量计算中使用的区域的形状设定为在与管深部区域的方向垂直的方向上较长的形状。
另一方面,管深部区域不在图像中的情况对应于从正面拍摄有管内壁的状况,如图2所示,不会产生倾斜拍摄管内壁的情况那样的像的长度的变化。该情况下,形状方向设定部531将特征量计算中使用的区域的形状设定为不依赖于方向的形状或大致正方形状。
另外,在倾斜拍摄的状况下,根据摄影机的上下方向,像在旋转方向上也变化。因此,形状方向设定部531在设定特征量计算中使用的区域的方向时,也可以进行旋转校正,以使特征量计算中使用的区域的方向与管深部区域的方向一致。在这样设定的情况下,针对形状在旋转方向上变化的特定区域,能够使后级的识别部52的处理共通化。
图11是示出图像处理装置1B进行的处理的概要的流程图。在图11中,对与图5所示的流程图相同的处理标注相同步骤编号。下面,对接着步骤S2的处理进行说明。
在步骤S3B中,形状方向设定部531根据管深部区域的方向设定特征量计算中使用的区域的形状和/或方向(步骤S3B)。
然后,特征量计算部53将具有所设定的形状和/或方向的特征量计算区域设定在管内图像中的任意位置,从该区域内计算特征量(步骤S4)。接着步骤S4的步骤S5~S6的处理与实施方式1中说明的处理相同。
根据以上说明的变形例1-2,根据管深部区域的方向设定特征量计算中使用的区域的形状和/或方向,所以,能够设定自适应于由于拍摄方向(倾斜、正面)相对于管内壁的差异而产生的图像的变化、并且抑制了运算量的浪费、以及导致精度降低的区域(镜面反射、残渣、泡、正常褶皱等)的混入的特征量计算区域,能够高精度地检测特定区域。
另外,在本变形例1-2中,图像处理装置1B也可以构成为,不具有管内拍摄状况分析部4而具有变形例1-1中说明的管内拍摄状况分析部4A。该情况下,形状方向设定部531根据内壁梯度的方向设定特征量计算中使用的区域的形状和/或方向。
并且,在本变形例1-2中,也可以构成为,管内拍摄状况分析部4还具有变形例1-1中说明的内壁梯度计算部42。该情况下,形状方向设定部531根据管深部区域的方向以及内壁梯度的方向,设定特征量计算中使用的区域的形状和/或方向。
(变形例1-3)
图12是示出实施方式1的变形例1-3的图像处理装置的功能结构的框图。在该图所示的图像处理装置1C中,对具有与图1所示的图像处理装置1相同的功能的结构部位标注与图1相同的标号。
图像处理装置1C具有运算部2C和存储部3。运算部2C具有管内拍摄状况分析部4和特定区域检测部5C。
特定区域检测部5C具有特征量计算部54和识别部52。特征量计算部54具有种类设定部541,该种类设定部541设定特定区域检测用的使用特征量的种类或每个种类的特征量的权重。
种类设定部541根据管内图像中是否存在管深部区域,设定特定区域的检测中使用的特征量的种类或每个种类的特征量的权重。管内图像中存在管深部区域的情况对应于倾斜拍摄管内壁的状况,所以,异常区域表面的轮廓线清楚(参照图1)。该情况下,种类设定部541设定颜色、轮廓、像素值面形状、纹理等特征量中的轮廓特征量的使用,或者在多个特征量中对轮廓特征量设定比其他种类的特征量高的权重。种类设定部541对计算出的多种特征量进行公知的特征轴的标准化(平均为0、方差为1的线性转换)后,仅对轮廓特征量的方差乘以大于1的系数。
另一方面,管内图像中不存在管深部区域的情况对应于从正面拍摄有管内壁的状况,与倾斜拍摄的状况相比,异常区域表面的轮廓线容易变得不清楚(参照图2)。但是,容易捕捉像素值面形状(像素值梯度)、纹理。该情况下,种类设定部541设定颜色、轮廓、像素值面形状、纹理等特征量中的像素值面形状特征量或纹理特征量的使用,或者在多个特征量中对像素值面形状特征量或纹理特征量设定比其他种类的特征量高的权重。
图13是示出图像处理装置1C进行的处理的概要的流程图。在图13中,对与图5所示的流程图相同的处理标注相同步骤编号。下面,对接着步骤S2的处理进行说明。
在步骤S3C中,种类设定部541根据管内图像中是否存在管深部区域,设定要使用的特征量的种类或每个种类的特征量的权重(步骤S3C)。
然后,特征量计算部54将特征量计算区域设定在管内图像中的任意位置,从该区域内计算特征量(步骤S4)。接着步骤S4的步骤S5~S6的处理与实施方式1中说明的处理相同。
根据以上说明的变形例1-3,根据是否存在管深部区域来设定要使用的特征量或要重视的特征量,所以,能够自适应于由于拍摄方向(倾斜、正面)相对于管内壁的差异而产生的特征量的变化,进行重视了更加清楚的特征量的特征量计算,能够高精度地检测特定区域。
另外,在本变形例1-3中,图像处理装置1C也可以构成为,不具有管内拍摄状况分析部4而具有变形例1-1中说明的管内拍摄状况分析部4A。该情况下,种类设定部541根据内壁梯度的大小设定要使用的特征量的种类或每个种类的特征量的权重。
内壁梯度的大小的平均值为规定阈值以上的情况对应于倾斜拍摄有管内壁的状况。该情况下,种类设定部541设定颜色、轮廓、像素值面形状、纹理等特征量中的轮廓特征量的使用,或者在多个特征量中对轮廓特征量设定较高的权重。
另一方面,内壁梯度的大小的平均值小于规定阈值的情况对应于从正面拍摄有管内壁的状况。该情况下,种类设定部541设定颜色、轮廓、像素值面形状、纹理等特征量中的像素值面形状特征量或纹理特征量的使用,或者在多个特征量中对像素值面形状特征量或纹理特征量设定较高的权重。
在本变形例1-3中,也可以构成为,管内拍摄状况分析部4还具有变形例1-1中说明的内壁梯度计算部42。该情况下,种类设定部541根据管深部区域存在与否和内壁梯度的大小来设定要使用的特征量或要重视的特征量,所以,能够更高精度地检测特定区域。
(实施方式2)
图14是示出本发明的实施方式2的图像处理装置的功能结构的框图。在该图所示的图像处理装置6中,对具有与图3所示的图像处理装置1相同的功能的结构部位标注与图3相同的标号。
图像处理装置6具有运算部7和存储部3。运算部7具有管内拍摄状况分析部8和特定区域检测部5。
管内拍摄状况分析部8具有拍摄距离估计部81,该拍摄距离估计部81估计与管内壁之间的拍摄距离。关于进行拍摄距离估计的方法,公知有各种方法。在本实施方式2中,作为一例,对假设拍摄对象为均等扩散面的拍摄距离估计的方法进行说明。
拍摄距离估计部81具有低吸收波长成分选择部811,该低吸收波长成分选择部811选择活体内的吸收/散射的程度最低的低吸收波长成分。这是为了抑制由于粘膜表面中映出的血管等而引起的像素值降低,得到与粘膜表面之间的拍摄距离最相关的像素值信息。例如,在由R、G、B成分构成的图像的情况下,如实施方式1中说明的那样选择R成分。
拍摄距离估计部81根据选择出的低吸收波长成分的像素值,估计假设了均等扩散面的拍摄距离。具体而言,拍摄距离估计部81根据下述式(2),在管内图像中的多个部位估计拍摄距离r。
【数学式2】
这里,式(2)的右边的I是事前测定的光源的放射强度,K是粘膜表面的漫反射系数,θ是粘膜表面的法线矢量与从该表面到光源的矢量所成的角度,L是映出拍摄距离估计对象的粘膜表面的像素的R成分值。其中,漫反射系数K是通过事前测定平均值而得到的。并且,关于角度θ,作为由内窥镜前端与粘膜表面的位置关系确定的值,事前设定平均值。
另外,拍摄距离估计部81也可以代替估计由式(2)定义的拍摄距离r,而使用与拍摄距离r相关的像素值进行后级的自适应处理。
拍摄距离估计部81在多个部位计算出的拍摄距离的平均值小于规定阈值的情况对应于拍摄距离比较近的状况。在拍摄距离较近的情况下,与拍摄距离较远的情况相比,较大地映出被摄体。该情况下,范围设定部511相对较大地设定特征量计算中使用的区域的范围。
另一方面,拍摄距离的平均值为规定阈值以上的情况对应于拍摄距离比较远的状况。该状况下,比较小地映出被摄体,所以,当较大地设定特征量计算中使用的区域的范围时,容易产生运算量的浪费、导致精度降低的区域(镜面反射、残渣、泡、正常褶皱等)的混入。该情况下,与拍摄距离的平均值小于阈值的情况相比,范围设定部511较小地设定特征量计算中使用的区域的范围。
图15是示出图像处理装置6执行的处理的概要的流程图。首先,运算部7取得作为处理对象的管内图像(步骤S31)。
接着,拍摄距离估计部81估计与管内壁之间的拍摄距离(步骤S32)。图16是示出拍摄距离估计部81进行的处理的概要的流程图。下面,参照图16对拍摄距离估计部81的处理进行说明。首先,低吸收波长成分选择部811选择活体内的吸收/散射的程度最低的低吸收波长成分(步骤S41)。
然后,拍摄距离估计部81根据选择出的低吸收波长成分的像素值,估计假设了均等扩散面的拍摄距离(步骤S42)。具体而言,拍摄距离估计部81根据上述式(2)估计拍摄距离。由此,拍摄距离估计部81进行的拍摄距离估计处理(步骤S32)结束。
另外,在拍摄距离估计部81进行拍摄距离估计处理之前,运算部7也可以进行由于光学系统或照明系统而引起的像素值不均的校正;镜面反射、残渣和泡等非粘膜区域的排除等处理。由此,能够抑制后续各处理的精度的降低。
并且,也可以在内窥镜中设置测距传感器等检测单元,拍摄距离估计部81根据其检测结果来估计拍摄距离。
在步骤S32之后,范围设定部511根据估计出的拍摄距离的远近,设定特征量计算中使用的区域的范围(步骤S33)。
接着步骤S34进行的步骤S35~S36的处理分别与实施方式1中说明的步骤S5~S6的处理相同。
根据以上说明的本发明的实施方式2,根据拍摄距离的远近来设定特征量计算中使用的区域的范围,所以,能够设定自适应于由于拍摄状况的差异而产生的管内图像的变化的特征量计算区域,能够高精度地检测特定区域。
(变形例2-1)
图17是示出实施方式2的变形例2-1的图像处理装置的功能结构的框图。在该图所示的图像处理装置6A中,对具有与图14所示的图像处理装置6相同的功能的结构部位标注与图14相同的标号。
图像处理装置6A具有运算部7A和存储部3。运算部7A具有管内拍摄状况分析部8A和特定区域检测部5。
管内拍摄状况分析部8A具有对管内图像中的焦点模糊进行分析的焦点模糊分析部82。焦点模糊分析部82具有镜面反射排除部821和空间频率分析部822。
镜面反射排除部821例如根据日本特开2012-11137号公报所公开的方法,判别管内图像中的镜面反射并将其排除。
空间频率分析部822对管内图像的规定成分(例如G成分等)进行公知的二维傅里叶转换(参考:CG-ARTS协会:数字图像处理:128P、二维傅里叶转换)并求出傅里叶频谱后,一边使从表示低频成分的中心起的距离变化,一边计算该距离在规定范围内的环状区域内的频谱之和,由此求出矢径分布。在该矢径分布中,距离较小的部分表示管内图像的低频成分,距离较大的部分表示管内图像的高频成分。一般而言,在高频成分较少的图像中,焦点模糊较大。
图18是示出图像处理装置6A进行的处理的概要的流程图。在图18中,对与图15所示的流程图相同的处理标注相同步骤编号。下面,对接着步骤S31的处理进行说明。
在步骤S32A中,焦点模糊分析部82对管内图像的焦点模糊状态进行分析(步骤S32A)。图19是示出焦点模糊分析部82进行的处理的概要的流程图。下面,参照图19对焦点模糊分析部82的处理进行说明。首先,镜面反射排除部821判别管内图像中的镜面反射并将其排除(步骤S51)。
接着,空间频率分析部822对管内图像的规定成分进行二维傅里叶转换后,计算通过二维傅里叶转换而得到的二维傅里叶频谱的矢径分布(步骤S52)。
最后,焦点模糊分析部82根据二维傅里叶频谱的矢径分布,对焦点模糊状态进行分析(步骤S53)。具体而言,管内图像中的高频成分(矢径分布中距离较大的部分)越少,则焦点模糊分析部82判定为焦点模糊的程度越大。
在步骤S32A之后,范围设定部511根据焦点模糊的程度,设定特征量计算中使用的区域的范围(步骤S33A)。在焦点模糊的程度较大的情况下,与焦点模糊的程度较小的情况相比,被摄体像成为宽范围的像。焦点模糊的程度越大,则范围设定部511越大地设定特征量计算中使用的区域的范围。
接着步骤S33A的步骤S34~S36的处理与实施方式2中说明的处理相同。
根据以上说明的变形例2-1,根据焦点模糊的程度来设定特征量计算中使用的区域的范围,所以,能够设定自适应于由于拍摄状况的差异而产生的管内图像的变化的特征量计算区域,能够高精度地检测特定区域。
另外,在本变形例2-1中,也可以构成为,管内拍摄状况分析部8A还具有实施方式2中说明的拍摄距离估计部81。该情况下,范围设定部511根据拍摄距离的远近和焦点模糊的程度来设定特征量计算中使用的区域的范围。
(变形例2-2)
图20是示出实施方式2的变形例2-2的图像处理装置的功能结构的框图。在该图所示的图像处理装置6B中,对具有与图17所示的图像处理装置6A相同的功能的结构部位标注与图17相同的标号。
图像处理装置6B具有运算部7B和存储部3。运算部7B具有管内拍摄状况分析部8B和特定区域检测部5。
管内拍摄状况分析部8B具有对管内图像中的运动抖动进行分析的运动抖动分析部83。运动抖动分析部83具有镜面反射排除部821和空间频率分析部831。
空间频率分析部831计算二维傅里叶频谱的角度分布和矢径分布。具体而言,空间频率分析部831对管内图像的规定成分(例如G成分等)进行二维傅里叶转换并求出二维傅里叶频谱后,一边使相对于水平线的角度变化,一边计算该角度在规定范围内的扇状区域内的频谱之和,由此求出角度分布,所述水平线穿过表示低频成分的中心。并且,空间频率分析部831在角度处于规定范围内的扇状区域内应用与变形例2-1中说明的方法相同的方法,由此求出角度在规定范围内的扇状区域内的矢径分布。
图21是示出图像处理装置6B进行的处理的概要的流程图。在图21中,对与图15所示的流程图相同的处理标注相同步骤编号。下面,对接着步骤S31的处理进行说明。
在步骤S32B中,运动抖动分析部83对管内图像的运动抖动状态进行分析(步骤S32B)。图22是示出运动抖动分析部83进行的处理的概要的流程图。下面,参照图22对运动抖动分析部83的处理进行说明。首先,镜面反射排除部821将管内图像中的镜面反射排除(步骤S61)。
接着,空间频率分析部831计算二维傅里叶频谱的角度分布和矢径分布(步骤S62)。
运动抖动分析部83根据角度分布和矢径分布,对运动抖动状态进行分析(步骤S63)。具体而言,运动抖动分析部83根据角度分布对运动抖动的方向进行分析,根据按照其分析结果缩小了角度后的区域的矢径分布对运动抖动状态进行分析。例如,在大致一定的方向上产生运动抖动的情况下,在与该方向对应的角度方向上,相对较高地产生频谱的分布。该情况下,运动抖动分析部83根据频谱的分布相对较高的区域附近的矢径分布对运动抖动的状态进行分析。
在内窥镜中,存在被称为面顺次方式的拍摄方式。该情况下,一边沿着时间序列依次照射R、G、B的照明光,一边利用一个图像传感器进行拍摄。因此,产生运动抖动的波长成分有时限于某一个,有时在波长成分间产生。因此,在面顺次方式的情况下,运动抖动分析部83在R、G、B的各波长成分中进行运动抖动的分析,并且在波长成分间进行运动抖动的分析。关于波长成分间的运动抖动的分析,取波长成分的图像之和而生成合成图像,对该合成图像进行上述空间频率分析等即可。
在步骤S32B之后,范围设定部511根据运动抖动的方向和程度,设定特征量计算中使用的区域的范围(步骤S33B)。在运动抖动的程度较大的情况下,与运动抖动的程度较小的情况相比,被摄体像成为宽范围的像。运动抖动的程度越大,则范围设定部511越大地设定特征量计算中使用的区域的范围。
接着步骤S33B的步骤S34~S36的处理与实施方式2中说明的处理相同。
根据以上说明的变形例2-2,根据运动抖动的状态(方向和程度)来设定特征量计算中使用的区域的范围,所以,能够设定自适应于由于拍摄状况的差异而产生的管内图像的变化的特征量计算区域,能够高精度地检测特定区域。
另外,在本变形例2-2中,不是必须进行将镜面反射排除的处理。
并且,在本变形例2-2中,也可以构成为,管内拍摄状况分析部8B还具有实施方式2中说明的拍摄距离估计部81和/或变形例2-1中说明的焦点模糊分析部82。该情况下,范围设定部511根据拍摄距离的远近和/或焦点模糊的程度以及运动抖动的程度,设定特征量计算中使用的区域的范围。
(变形例2-3)
图23是示出实施方式2的变形例2-3的图像处理装置的功能结构的框图。在该图所示的图像处理装置6C中,对具有与图12所示的图像处理装置1C和图14所示的图像处理装置6相同的功能的结构部位标注与图12和图14相同的标号。
图像处理装置6C具有运算部7C和存储部3。运算部7C具有管内拍摄状况分析部8和特定区域检测部5C。
特定区域检测部5C具有特征量计算部54和识别部52。特征量计算部54具有种类设定部541。
种类设定部541根据拍摄距离的远近,设定为了检测特定区域而使用的特征量的种类或每个种类的特征量的权重。在多个部位计算出的拍摄距离的平均值小于规定阈值的情况下、即拍摄距离较近的情况下,清楚地映出特定区域表面的纹理和轮廓线。该情况下,种类设定部541设定颜色、轮廓、像素值面形状、纹理等特征量中的纹理特征量或轮廓特征量的使用,或者在多个特征量中对纹理特征量或轮廓特征量设定较高的权重。种类设定部541对计算出的多种特征量进行公知的特征轴的标准化(平均为0、方差为1的线性转换)后,仅对纹理特征量或轮廓特征量的方差乘以大于1的系数。
另一方面,在拍摄距离的平均值为规定阈值以上的情况下、即拍摄距离较远的情况下,由于分辨率的降低而使纹理变得不清楚,由于暗部噪声等的影响,轮廓线也容易变得不清楚。但是,该情况下,颜色和像素值面形状能够维持比较稳定的状态。该情况下,种类设定部541设定颜色、轮廓、像素值面形状、纹理等特征量中的颜色特征量或像素值面形状特征量的使用,或者在上述多个特征量中对颜色特征量或像素值面形状特征量设定比其他种类的特征量高的权重。
另外,在拍摄距离较近的情况下,在颜色成分中容易产生饱和的成分。特别是在活体中,R成分容易饱和。这样,在拍摄距离较近的情况下,颜色平衡也可能瓦解,所以,种类设定部541也可以设定颜色特征量的不使用,或者对颜色特征量设定比其他种类的特征量低的权重。
图24是示出图像处理装置6C进行的处理的概要的流程图。在图24中,对与图15所示的流程图相同的处理标注相同步骤编号。下面,对接着步骤S32的处理进行说明。
在步骤S33C中,种类设定部541根据拍摄距离的远近,设定为了进行特定区域检测而使用的特征量的种类或每个种类的特征量的权重(步骤S33C)。
接着步骤S33C的步骤S34~S36的处理与实施方式2中说明的处理相同。
根据以上说明的变形例2-3,根据拍摄距离的远近来设定要使用的特征量的种类或每个种类的特征量的权重,所以,能够自适应于由于拍摄状况的差异而产生的特征量的变化,进行重视了更加清楚的特征量的特征量计算,能够高精度地检测特定区域。
另外,在本变形例2-3中,也可以代替管内拍摄状况分析部8而具备具有焦点模糊分析部82的管内拍摄状况分析部8A或具有运动抖动分析部83的管内拍摄状况分析部8B。
在具有管内拍摄状况分析部8A的情况下,种类设定部541根据焦点模糊的程度来设定要使用的特征量的种类或每个种类的特征量的权重。在焦点模糊较小的情况下,清楚地映出特定区域表面的纹理和轮廓线。因此,种类设定部541设定颜色、轮廓、像素值面形状、纹理等特征量中的纹理特征量或轮廓特征量的使用,或者在上述多个特征量中对纹理特征量或轮廓特征量设定比其他种类的特征量高的权重。
另一方面,在焦点模糊的程度较大的情况下,纹理和轮廓线不清楚。但是,该情况下,颜色和像素值面形状能够维持比较稳定的状态。该情况下,种类设定部541设定颜色、轮廓、像素值面形状、纹理等特征量中的颜色特征量或像素值面形状特征量的使用,或者在上述多个特征量中对颜色特征量或像素值面形状特征量设定较高的权重。
在具有管内拍摄状况分析部8B的情况下,种类设定部541根据运动抖动的程度来设定要使用的特征量的种类或每个种类的特征量的权重。在运动抖动较小的情况下,清楚地映出特定区域表面的纹理和轮廓线。该情况下,种类设定部541设定颜色、轮廓、像素值面形状、纹理等特征量中的纹理特征量或轮廓特征量的使用,或者在上述多个特征量中对纹理特征量或轮廓特征量设定比其他种类的特征量高的权重。
另一方面,在运动抖动较大的情况下,纹理和轮廓线不清楚。但是,该情况下,颜色和像素值面形状能够维持比较稳定的状态。该情况下,种类设定部541设定颜色、轮廓、像素值面形状、纹理等特征量中的颜色特征量或像素值面形状特征量的使用,或者在上述多个特征量中对颜色特征量或像素值面形状特征量设定比其他种类的特征量高的权重。
另外,在面顺次方式的内窥镜中产生了运动抖动的情况下,产生颜色偏差,颜色特征量也不稳定。由此,该情况下,种类设定部541可以设定颜色特征量的不使用,或者对颜色特征量设定比其他种类的特征量低的权重。并且,特征量计算部54也可以设定为缩小成特定的颜色成分来计算特征量,使得轮廓、像素值面形状、纹理等特征量计算不受颜色偏差的影响。
在本变形例2-3中,也可以构成为管内拍摄状况分析部8具有拍摄距离估计部81、焦点模糊分析部82和运动抖动分析部83中的任意2个或全部。
(变形例2-4)
图25是示出实施方式2的变形例2-4的图像处理装置的功能结构的框图。在该图所示的图像处理装置6D中,对具有与图10所示的图像处理装置1B和图14所示的图像处理装置6相同的功能的结构部位标注与图10和图14相同的标号。
图像处理装置6D具有运算部7D和存储部3。运算部7D具有管内拍摄状况分析部8B和特定区域检测部5B。
图26是示出图像处理装置6D进行的处理的概要的流程图。在图26中,对与图21所示的流程图相同的处理标注相同步骤编号。下面,对接着步骤S32B的处理进行说明。
在步骤S33D中,形状方向设定部531根据管内图像的运动抖动的方向和程度,设定特征量计算中使用的区域的形状(步骤S33D)。在管内图像中产生了运动抖动的情况下,以在运动抖动的方向上伸长了运动抖动的程度的形式映出拍摄对象。该情况下,形状方向设定部531设定在运动抖动的方向上伸长了运动抖动的程度后的形状的特征量计算区域。由此,能够充分得到被摄体的信息。
接着步骤S33D的步骤S34~S36的处理与实施方式2中说明的处理相同。
根据以上说明的变形例2-4,根据运动抖动的程度来设定特征量计算中使用的区域的形状,所以,能够设定自适应于由于运动抖动而产生的管内图像的变化的特征量计算区域,能够高精度地检测特定区域。
(实施方式3)
图27是示出本发明的实施方式3的图像处理装置的功能结构的框图。在该图所示的图像处理装置9中,对具有与图3所示的图像处理装置1相同的功能的结构部位标注与图3相同的标号。
图像处理装置9具有运算部10和存储部11。运算部10具有管内拍摄状况分析部12和特定区域检测部13。存储部11具有参数存储部111。
管内拍摄状况分析部12可以是实施方式1和2中分别说明的多个管内拍摄状况分析部中的任意一方,也可以对它们进行适当组合而构成。
特定区域检测部13具有特征量计算部131和识别部132。识别部132具有参数设定部1321。
参数设定部1321从存储部11的参数存储部111中提取根据与由管内拍摄状况分析部12分析出的管内拍摄状况相同的管内拍摄状况下的示教数据生成的参数,将其设定为识别部132的参数。识别部132的参数是特征空间中的识别边界、与管内拍摄状况对应的分布模型、识别函数、代表图案(模板)等。这里所说的相同意味着,管内拍摄状况分析部12中的分析结果(深部的有无和方向、内壁梯度的大小和方向、拍摄距离的远近、焦点模糊的有无、运动抖动的有无等)容许规定误差,但是大致相同。实际上,对预先得到的多个图像进行与管内拍摄状况分析相同的分析(该分析可以是机械的处理,也可以是手动的作业),在确定了各分析结果的图像后,根据基于各个分析结果的图像的示教数据,生成与各个分析结果对应的参数,在识别部132中使用与实际的处理对象图像的管内拍摄状况的分析结果一致的参数。
例如,为了在倾斜拍摄管内壁而得到的图像中检测特定区域,根据倾斜拍摄管内壁而得到的图像中映出的特定区域的示教数据而生成的参数较为合适。与此相对,为了在从正面拍摄管内壁而得到的图像中检测特定区域,根据从正面拍摄管内壁而得到的图像中映出的特定区域的示教数据而生成的参数较为合适。关于管深部区域和内壁梯度方向的差异、拍摄距离的远近、焦点模糊的程度、运动抖动的程度等管内拍摄状况,根据相同管内拍摄状况下的示教数据而生成的参数较为合适。并且,在复合地产生多个管内拍摄状况的情况下,根据与该复合的管内拍摄状况一致的示教数据而生成的参数最为合适。
存储部11所具有的参数存储部111将根据与多个管内拍摄状况分别对应的多个示教数据而生成的参数与管内拍摄状况对应起来进行存储。另外,也可以使外部装置存储参数,参数设定部1321从外部装置取得参数并设定识别部132的参数。
图28是示出图像处理装置9执行的处理的概要的流程图。首先,运算部10取得作为处理对象的管内图像(步骤S71)。
接着,管内拍摄状况分析部12对管内图像的拍摄状况进行分析(步骤S72)。
然后,特征量计算部131将特征量计算区域设定在图像中的任意位置,从该区域内计算特征量(步骤S73)。作为特征量,考虑已经公知的颜色、轮廓(边缘)、像素值面形状(像素值梯度)、纹理等各种特征量。计算出的多个特征量集中为特征矢量。产生所设定的特征量计算区域的数量的特征矢量。
接着,参数设定部1321从参数存储部111提取根据与分析出的管内拍摄状况相同的管内拍摄状况下的示教数据而生成的参数,设定为识别部132的参数(步骤S74)。
然后,识别部132使用所设定的参数识别管内图像中的区域,检测特定区域(步骤S75)。
最后,运算部10输出特定区域检测结果(步骤S76)。由此,图像处理装置9结束一连串的处理。另外,也可以如实施方式1和2中说明的那样,特征量计算部131还进行与管内拍摄状况分析部12的分析结果对应的特征量计算。
根据以上说明的本发明的实施方式3,根据管内拍摄状况来设定识别部的参数,所以,能够高精度地检测特定区域。并且,通过与管内拍摄状况对应的特征量计算、与管内拍摄状况对应的识别部132的参数设定,能够高精度地检测特定区域。
(实施方式4)
图29是示出本发明的实施方式4的图像处理装置的功能结构的框图。在该图所示的图像处理装置14中,对具有与图3所示的图像处理装置1相同的功能的结构部位标注与图3相同的标号。
图像处理装置14具有运算部15和存储部3。运算部15具有区域分割部16、管内拍摄状况分析部17、特定区域检测部18。
区域分割部16对管内图像进行区域分割。作为区域分割的方法,可以举出规定尺寸的矩形分割、基于边缘的区域分割(参照日本特开2012-238041号公报)等方法。另外,在进行矩形分割的情况下,也可以重合矩形的一部分进行分割。
管内拍摄状况分析部17可以是实施方式1和2中分别说明的多个管内拍摄状况分析部中的任意一方,也可以对它们进行适当组合。
特定区域检测部18可以是实施方式1~3中分别说明的多个特定区域检测部中的任意一方,也可以对它们进行适当组合。
图30是示出图像处理装置14执行的处理的概要的流程图。首先,运算部15取得作为处理对象的管内图像(步骤S81)。
接着,区域分割部16对管内图像进行区域分割(步骤S82)。
然后,管内拍摄状况分析部17对各分割区域中的管内拍摄状况进行分析(步骤S83)。
接着,特定区域检测部18按照每个分割区域进行与管内拍摄状况对应的特定区域的检测(步骤S84)。
最后,运算部15输出特定区域检测结果(步骤S85)。由此,图像处理装置14结束一连串的处理。
根据以上说明的本发明的实施方式4,按照每个分割区域进行与管内拍摄状况对应的特定区域检测,所以,能够高精度地检测特定区域。
(其他实施方式)
至此,说明了用于实施本发明的方式,但是,本发明不应该仅由上述实施方式1~4进行限定。例如,除了活体用的内窥镜图像以外,还可以应用于CT结肠镜检查中生成的仿真内窥镜的管内图像、由工业用内窥镜拍摄的管内图像。
这样,本发明可以包含这里未记载的各种实施方式等。
标号说明
1、1A、1B、1C、6、6A、6B、6C、6D、9、14:图像处理装置;2、2A、2B、2C、7、7A、7B、7C、7D、10、15:运算部;3、11:存储部;4、4A、8、8A、8B、12、17:管内拍摄状况分析部;5、5B、5C、13、18:特定区域检测部;16:区域分割部;41:管深部区域检测部;42:内壁梯度计算部;51、53、54、131:特征量计算部;52、132:识别部;81:拍摄距离估计部;82:焦点模糊分析部;83:运动抖动分析部;111:参数存储部;411、811:低吸收波长成分选择部;412:边缘周边区域排除部;413:低像素值区域检测部;421:像素值梯度计算部;511:范围设定部;531:形状方向设定部;541:种类设定部;821:镜面反射排除部;822、831:空间频率分析部;1321:参数设定部。
Claims (53)
1.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,其中,所述特定区域检测部具有:
特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有形状方向设定部,该形状方向设定部根据所述管内拍摄状况,设定所述特征量计算中使用的区域的形状和/或方向。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述管内拍摄状况分析部具有从所述管内图像中检测管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方,
所述形状方向设定部根据所述管深部区域的方向和所述管内壁的梯度的方向中的至少一方,设定所述特征量计算中使用的区域的形状和/或方向。
3.根据权利要求2所述的图像处理装置,其特征在于,
所述形状方向设定部将所述特征量计算中使用的区域的形状设定为与所述管深部区域的方向或所述管内壁的梯度的方向垂直的方向上较长的形状。
4.根据权利要求2所述的图像处理装置,其特征在于,
所述形状方向设定部进行旋转校正来进行设定,以使所述特征量计算中使用的区域的方向与所述管深部区域的方向或所述管内壁的梯度的方向一致。
5.根据权利要求1所述的图像处理装置,其特征在于,
所述管内拍摄状况分析部具有运动抖动分析部,该运动抖动分析部对所述管内图像的运动抖动的状态进行分析,
所述形状方向设定部根据所述运动抖动的状态,设定所述特征量计算中使用的区域的形状和/或方向。
6.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,其中,所述特定区域检测部具有:
特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有范围设定部,该范围设定部根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析部具有检测所述管内图像中的管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方,
所述范围设定部根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在存在所述管深部区域的情况下,所述范围设定部将所述特征量计算中使用的区域的范围设定得比不存在所述管深部区域的情况大。
7.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,其中,所述特定区域检测部具有:
特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有范围设定部,该范围设定部根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析部具有检测所述管内图像中的管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方,
所述范围设定部根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在所述管内壁的梯度为阈值以上的情况下,所述范围设定部将所述特征量计算中使用的区域的范围设定得比所述管内壁的梯度小于所述阈值的情况大。
8.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,其中,所述特定区域检测部具有:
特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有范围设定部,该范围设定部根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围
所述管内拍摄状况分析部具有估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计部、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析部和对所述管内图像的运动抖动的状态进行分析的运动抖动分析部中的至少任意一方,
所述范围设定部根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特征量计算中使用的区域的范围。
9.根据权利要求8所述的图像处理装置,其特征在于,
所述拍摄距离越大、所述焦点模糊的程度越大、或所述运动抖动的程度越大,则所述范围设定部将所述特征量计算中使用的区域的范围设定得越大。
10.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,其中,所述特定区域检测部具有:
特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有种类设定部,该种类设定部根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析部具有从所述管内图像中检测管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方,
所述种类设定部根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在存在所述管深部区域的情况下、或所述管内壁的梯度为规定值以上的情况下,所述种类设定部将所述使用的特征量设定为轮廓特征量,或者对该轮廓特征量设定比其他种类的特征量高的权重。
11.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,其中,所述特定区域检测部具有:
特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有种类设定部,该种类设定部根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析部具有从所述管内图像中检测管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方,
所述种类设定部根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在不存在所述管深部区域的情况下、或所述管内壁的梯度小于规定值的情况下,所述种类设定部将所述使用的特征量设定为像素值面形状特征量或纹理特征量,或者对该像素值面形状特征量或该纹理特征量设定比其他种类的特征量高的权重。
12.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,其中,所述特定区域检测部具有:
特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有种类设定部,该种类设定部根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析部具有估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计部、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析部和对所述管内图像的运动抖动的状态进行分析的运动抖动分析部中的至少任意一方,
所述种类设定部根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特定区域的检测中使用的特征量的种类或每个种类的特征量的权重。
13.根据权利要求12所述的图像处理装置,其特征在于,
在所述拍摄距离较大的情况下、所述焦点模糊的程度为规定程度以上的情况下、或所述运动抖动的程度为规定程度以上的情况下,所述种类设定部将所述使用的特征量设定为颜色特征量或像素值面形状特征量,或者对所述颜色特征量或所述像素值面形状特征量设定比其他种类的特征量高的权重。
14.根据权利要求12所述的图像处理装置,其特征在于,
在所述拍摄距离较小的情况下、所述焦点模糊的程度小于规定程度的情况下、或运动抖动的程度小于规定程度的情况下,所述种类设定部将所述使用的特征量设定为纹理特征量或轮廓特征量,或者对所述纹理特征量或所述轮廓特征量设定比其他种类的特征量高的权重。
15.根据权利要求1,6-8以及10-12中任意一项所述的图像处理装置,其特征在于,
所述图像处理装置还具有区域分割部,该区域分割部对所述管内图像进行区域分割,
所述特定区域检测部按照所述区域分割部所分割的每个区域,进行与所述管内拍摄状况对应的特定区域的检测。
16.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测部具有:
特征量计算部,其计算所述管内图像中的特征量;以及
识别部,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,其中,所述识别部具有参数设定部,该参数设定部根据所述管内拍摄状况来设定该识别部的参数,使用所设定的该识别部的参数识别所述管内图像的区域,检测所述特定区域,
所述参数设定部设定根据与所述管内拍摄状况相同的管内拍摄状况下的示教数据而生成的参数,作为该识别部的参数。
17.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测部具有:特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有形状方向设定部,该形状方向设定部根据所述管内拍摄状况,设定所述特征量计算中使用的区域的形状和/或方向。
18.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测部具有:特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有范围设定部,该范围设定部根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析部具有检测所述管内图像中的管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方,
所述范围设定部根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在存在所述管深部区域的情况下,所述范围设定部将所述特征量计算中使用的区域的范围设定得比不存在所述管深部区域的情况大。
19.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测部具有:特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有范围设定部,该范围设定部根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析部具有检测所述管内图像中的管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方,
所述范围设定部根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在所述管内壁的梯度为阈值以上的情况下,所述范围设定部将所述特征量计算中使用的区域的范围设定得比所述管内壁的梯度小于所述阈值的情况大。
20.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测部具有:特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有范围设定部,该范围设定部根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析部具有估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计部、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析部和对所述管内图像的运动抖动的状态进行分析的运动抖动分析部中的至少任意一方,
所述范围设定部根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特征量计算中使用的区域的范围。
21.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测部具有:特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有种类设定部,该种类设定部根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析部具有从所述管内图像中检测管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方,
所述种类设定部根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在存在所述管深部区域的情况下、或所述管内壁的梯度为规定值以上的情况下,所述种类设定部将所述使用的特征量设定为轮廓特征量,或者对该轮廓特征量设定比其他种类的特征量高的权重。
22.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测部具有:特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有种类设定部,该种类设定部根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析部具有从所述管内图像中检测管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方,
所述种类设定部根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在不存在所述管深部区域的情况下、或所述管内壁的梯度小于规定值的情况下,所述种类设定部将所述使用的特征量设定为像素值面形状特征量或纹理特征量,或者对该像素值面形状特征量或该纹理特征量设定比其他种类的特征量高的权重。
23.一种图像处理装置,其特征在于,所述图像处理装置具有:
管内拍摄状况分析部,其在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测部,其根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测部具有:特征量计算部,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别部,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算部具有种类设定部,该种类设定部根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析部具有估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计部、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析部和对所述管内图像的运动抖动的状态进行分析的运动抖动分析部中的至少任意一方,
所述种类设定部根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特定区域的检测中使用的特征量的种类或每个种类的特征量的权重。
24.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括形状方向设定步骤,所述形状方向设定步骤根据所述管内拍摄状况,设定所述特征量计算中使用的区域的形状和/或方向。
25.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,所述范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括检测所述管内图像中的管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述范围设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在存在所述管深部区域的情况下,所述范围设定步骤将所述特征量计算中使用的区域的范围设定得比不存在所述管深部区域的情况大。
26.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,所述范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括检测所述管内图像中的管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述范围设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在所述管内壁的梯度为阈值以上的情况下,所述范围设定步骤将所述特征量计算中使用的区域的范围设定得比所述管内壁的梯度小于所述阈值的情况大。
27.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,所述范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计步骤、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析步骤和对所述管内图像的运动抖动的状态进行分析的运动抖动分析步骤中的至少任意一方,
所述范围设定步骤根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特征量计算中使用的区域的范围。
28.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括从所述管内图像中检测管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述种类设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在存在所述管深部区域的情况下、或所述管内壁的梯度为规定值以上的情况下,所述种类设定步骤将所述使用的特征量设定为轮廓特征量,或者对该轮廓特征量设定比其他种类的特征量高的权重。
29.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括从所述管内图像中检测管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述种类设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在不存在所述管深部区域的情况下、或所述管内壁的梯度小于规定值的情况下,所述种类设定步骤将所述使用的特征量设定为像素值面形状特征量或纹理特征量,或者对该像素值面形状特征量或该纹理特征量设定比其他种类的特征量高的权重。
30.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计步骤、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析步骤和对所述管内图像的运动抖动的状态进行分析的运动抖动分析步骤中的至少任意一方,
所述种类设定步骤根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特定区域的检测中使用的特征量的种类或每个种类的特征量的权重。
31.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算所述管内图像中的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域;
所述识别步骤包括参数设定步骤,该参数设定步骤根据所述管内拍摄状况来设定该识别步骤的参数,
使用所设定的该识别步骤的参数识别所述管内图像的区域,检测所述特定区域.
所述参数设定步骤根据与所述管内拍摄状况相同的管内拍摄状况下的示教数据而生成的参数,作为该识别步骤的参数。
32.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括形状方向设定步骤,该形状方向设定步骤根据所述管内拍摄状况,设定所述特征量计算中使用的区域的形状和/或方向。
33.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,该范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括检测所述管内图像中的管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述范围设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在存在所述管深部区域的情况下,所述范围设定步骤将所述特征量计算中使用的区域的范围设定得比不存在所述管深部区域的情况大。
34.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,所述范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括检测所述管内图像中的管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述范围设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在所述管内壁的梯度为阈值以上的情况下,所述范围设定步骤将所述特征量计算中使用的区域的范围设定得比所述管内壁的梯度小于所述阈值的情况大。
35.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,所述范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计步骤、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析步骤和对所述管内图像的运动抖动的状态进行分析的运动抖动分析步骤中的至少任意一方,
所述范围设定步骤根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特征量计算中使用的区域的范围。
36.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括从所述管内图像中检测管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述种类设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在存在所述管深部区域的情况下、或所述管内壁的梯度为规定值以上的情况下,所述种类设定步骤将所述使用的特征量设定为轮廓特征量,或者对该轮廓特征量设定比其他种类的特征量高的权重。
37.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括从所述管内图像中检测管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述种类设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在不存在所述管深部区域的情况下、或所述管内壁的梯度小于规定值的情况下,所述种类设定步骤将所述使用的特征量设定为像素值面形状特征量或纹理特征量,或者对该像素值面形状特征量或该纹理特征量设定比其他种类的特征量高的权重。
38.一种图像处理方法,其特征在于,所述图像处理方法包括以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计步骤、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析步骤和对所述管内图像的运动抖动的状态进行分析的运动抖动分析步骤中的至少任意一方,
所述种类设定步骤根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特定区域的检测中使用的特征量的种类或每个种类的特征量的权重。
39.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域
所述特征量计算步骤包括形状方向设定步骤,所述形状方向设定步骤根据所述管内拍摄状况,设定所述特征量计算中使用的区域的形状和/或方向。
40.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,所述范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括检测所述管内图像中的管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述范围设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在存在所述管深部区域的情况下,所述范围设定步骤将所述特征量计算中使用的区域的范围设定得比不存在所述管深部区域的情况大。
41.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,所述范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括检测所述管内图像中的管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述范围设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在所述管内壁的梯度为阈值以上的情况下,所述范围设定步骤将所述特征量计算中使用的区域的范围设定得比所述管内壁的梯度小于所述阈值的情况大。
42.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,所述范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计步骤、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析步骤和对所述管内图像的运动抖动的状态进行分析的运动抖动分析步骤中的至少任意一方,
所述范围设定步骤根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特征量计算中使用的区域的范围。
43.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括从所述管内图像中检测管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述种类设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在存在所述管深部区域的情况下、或所述管内壁的梯度为规定值以上的情况下,所述种类设定步骤将所述使用的特征量设定为轮廓特征量,或者对该轮廓特征量设定比其他种类的特征量高的权重。
44.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括从所述管内图像中检测管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述种类设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在不存在所述管深部区域的情况下、或所述管内壁的梯度小于规定值的情况下,所述种类设定步骤将所述使用的特征量设定为像素值面形状特征量或纹理特征量,或者对该像素值面形状特征量或该纹理特征量设定比其他种类的特征量高的权重。
45.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其根据所述特征量来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计步骤、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析步骤和对所述管内图像的运动抖动的状态进行分析的运动抖动分析步骤中的至少任意一方,
所述种类设定步骤根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特定区域的检测中使用的特征量的种类或每个种类的特征量的权重。
46.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算所述管内图像中的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域;
所述识别步骤包括参数设定步骤,该参数设定步骤根据所述管内拍摄状况来设定该识别步骤的参数,
使用所设定的该识别步骤的参数识别所述管内图像的区域,检测所述特定区域所述参数设定步骤设定步骤根据与所述管内拍摄状况相同的管内拍摄状况下的示教数据而生成的参数,作为该识别步骤的参数。
47.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括形状方向设定步骤,该形状方向设定步骤根据所述管内拍摄状况,设定所述特征量计算中使用的区域的形状和/或方向。
48.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,该范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括检测所述管内图像中的管深部区域的管深部区域检测部和计算所述管内图像中的管内壁的梯度的内壁梯度计算部中的至少一方,
所述范围设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在存在所述管深部区域的情况下,所述范围设定步骤将所述特征量计算中使用的区域的范围设定得比不存在所述管深部区域的情况大。
49.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,所述范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括检测所述管内图像中的管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述范围设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特征量的计算中使用的区域的范围,
在所述管内壁的梯度为阈值以上的情况下,所述范围设定步骤将所述特征量计算中使用的区域的范围设定得比所述管内壁的梯度小于所述阈值的情况大。
50.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括范围设定步骤,所述范围设定步骤根据所述管内拍摄状况设定所述特征量的计算中使用的区域的范围,
所述管内拍摄状况分析步骤包括估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计步骤、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析步骤和对所述管内图像的运动抖动的状态进行分析的运动抖动分析步骤中的至少任意一方,
所述范围设定步骤根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特征量计算中使用的区域的范围。
51.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括从所述管内图像中检测管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述种类设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在存在所述管深部区域的情况下、或所述管内壁的梯度为规定值以上的情况下,所述种类设定步骤将所述使用的特征量设定为轮廓特征量,或者对该轮廓特征量设定比其他种类的特征量高的权重。
52.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括从所述管内图像中检测管深部区域的管深部区域检测步骤和计算所述管内图像中的管内壁的梯度的内壁梯度计算步骤中的至少一方,
所述种类设定步骤根据所述管深部区域存在与否和所述管内壁的梯度中的至少一方,设定所述特定区域的检测中使用的特征量的种类,或者设定每个种类的特征量的权重,
在不存在所述管深部区域的情况下、或所述管内壁的梯度小于规定值的情况下,所述种类设定步骤将所述使用的特征量设定为像素值面形状特征量或纹理特征量,或者对该像素值面形状特征量或该纹理特征量设定比其他种类的特征量高的权重。
53.一种记录介质,其特征在于,所述记录介质记录有图像处理程序,该图像处理程序使计算机执行以下步骤:
管内拍摄状况分析步骤,在对管内进行拍摄而得到的管内图像中,对根据被摄体与拍摄该被摄体的装置之间的关系而确定的管内拍摄状况进行分析;以及
特定区域检测步骤,根据所述管内拍摄状况进行特定区域的检测,
其中,所述特定区域检测步骤包括:
特征量计算步骤,其计算与所述管内拍摄状况对应的所述管内图像的特征量;以及
识别步骤,其基于所述特征量,根据所述管内拍摄状况来识别所述管内图像的区域,检测所述特定区域,
所述特征量计算步骤包括种类设定步骤,该种类设定步骤根据所述管内拍摄状况,设定被分类为颜色、轮廓、像素值面形状、纹理中的任意一方的特征量的种类,或者设定每个种类的特征量的权重,
所述管内拍摄状况分析步骤包括估计与所述管内图像中的管内壁之间的拍摄距离的拍摄距离估计步骤、对所述管内图像的焦点模糊的状态进行分析的焦点模糊分析步骤和对所述管内图像的运动抖动的状态进行分析的运动抖动分析步骤中的至少任意一方,
所述种类设定步骤根据所述拍摄距离、所述焦点模糊的状态和所述运动抖动的状态中的至少任意一方,设定所述特定区域的检测中使用的特征量的种类或每个种类的特征量的权重。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/062427 WO2016170655A1 (ja) | 2015-04-23 | 2015-04-23 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107529962A CN107529962A (zh) | 2018-01-02 |
CN107529962B true CN107529962B (zh) | 2020-02-07 |
Family
ID=57143070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580078973.XA Active CN107529962B (zh) | 2015-04-23 | 2015-04-23 | 图像处理装置、图像处理方法和记录介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10402973B2 (zh) |
JP (1) | JP6603709B2 (zh) |
CN (1) | CN107529962B (zh) |
WO (1) | WO2016170655A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019138930A1 (ja) * | 2018-01-15 | 2019-07-18 | 株式会社Screenホールディングス | 錠剤検査方法および錠剤検査装置 |
JP6994582B2 (ja) * | 2018-09-13 | 2022-01-14 | オリンパス株式会社 | 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム |
JP7049983B2 (ja) * | 2018-12-26 | 2022-04-07 | 株式会社日立製作所 | 物体認識装置および物体認識方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102436650A (zh) * | 2010-09-29 | 2012-05-02 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
CN102740756A (zh) * | 2010-06-30 | 2012-10-17 | 奥林巴斯医疗株式会社 | 图像处理装置和图像处理方法 |
WO2014084083A1 (ja) * | 2012-11-29 | 2014-06-05 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN104244802A (zh) * | 2012-04-23 | 2014-12-24 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
CN104363815A (zh) * | 2012-06-12 | 2015-02-18 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4891637B2 (ja) | 2006-03-14 | 2012-03-07 | オリンパスメディカルシステムズ株式会社 | 画像解析装置 |
JP5570866B2 (ja) * | 2010-04-30 | 2014-08-13 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
JP5830295B2 (ja) * | 2011-07-29 | 2015-12-09 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
JP6049518B2 (ja) * | 2013-03-27 | 2016-12-21 | オリンパス株式会社 | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 |
JP6128989B2 (ja) * | 2013-06-27 | 2017-05-17 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 |
-
2015
- 2015-04-23 CN CN201580078973.XA patent/CN107529962B/zh active Active
- 2015-04-23 JP JP2017513915A patent/JP6603709B2/ja active Active
- 2015-04-23 WO PCT/JP2015/062427 patent/WO2016170655A1/ja active Application Filing
-
2017
- 2017-10-23 US US15/790,112 patent/US10402973B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102740756A (zh) * | 2010-06-30 | 2012-10-17 | 奥林巴斯医疗株式会社 | 图像处理装置和图像处理方法 |
CN102436650A (zh) * | 2010-09-29 | 2012-05-02 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
CN104244802A (zh) * | 2012-04-23 | 2014-12-24 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
CN104363815A (zh) * | 2012-06-12 | 2015-02-18 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
WO2014084083A1 (ja) * | 2012-11-29 | 2014-06-05 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20180047163A1 (en) | 2018-02-15 |
JPWO2016170655A1 (ja) | 2018-02-15 |
JP6603709B2 (ja) | 2019-11-06 |
US10402973B2 (en) | 2019-09-03 |
CN107529962A (zh) | 2018-01-02 |
WO2016170655A1 (ja) | 2016-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107529963B (zh) | 图像处理装置、图像处理方法和存储介质 | |
JP6265588B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
JP5281826B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
JP6150583B2 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 | |
JP5576782B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6422198B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP5926937B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6405138B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US10206555B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
CN107529962B (zh) | 图像处理装置、图像处理方法和记录介质 | |
CN111161852B (zh) | 一种内窥镜图像处理方法、电子设备及内窥镜系统 | |
JP6664486B2 (ja) | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム | |
CN116977411B (zh) | 内镜移动速度估计方法及装置、电子设备及存储介质 | |
CN118229555A (zh) | 一种图像融合方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |