CN101420897B - 内窥镜插入方向检测装置以及内窥镜插入方向检测方法 - Google Patents

内窥镜插入方向检测装置以及内窥镜插入方向检测方法 Download PDF

Info

Publication number
CN101420897B
CN101420897B CN2007800136353A CN200780013635A CN101420897B CN 101420897 B CN101420897 B CN 101420897B CN 2007800136353 A CN2007800136353 A CN 2007800136353A CN 200780013635 A CN200780013635 A CN 200780013635A CN 101420897 B CN101420897 B CN 101420897B
Authority
CN
China
Prior art keywords
mentioned
scene
class
endoscope
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800136353A
Other languages
English (en)
Other versions
CN101420897A (zh
Inventor
田中秀树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN101420897A publication Critical patent/CN101420897A/zh
Application granted granted Critical
Publication of CN101420897B publication Critical patent/CN101420897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

根据内窥镜图像中的R图像的场景算出场景特征量，使用统计或非统计的识别器将场景特征量作为特征量向量来进行辨别分析，并分类为与内窥镜插入方向密切相关的管腔暗部、皱襞等多个特征量的类。并且，算出主要的特征量的类，算出与该特征量对应的插入方向，并显示高精确度的插入方向标记等，由此实现在存在多个特征量的场景的情况下也能够进行高精确度的插入方向的检测的内窥镜插入方向检测装置以及内窥镜插入方向检测方法。

Description

内窥镜插入方向检测装置以及内窥镜插入方向检测方法 
技术领域
本发明涉及一种检测内窥镜的插入方向的内窥镜插入方向检测装置以及内窥镜插入方向检测方法。 
背景技术
近年来，在医疗领域中广泛地使用内窥镜。在将内窥镜的插入部插入到体腔内来进行内窥镜检查的情况下，为了平滑地插入到如大肠那样复杂地弯曲的部位，有时需要熟练。 
因此，如果经验少的医生也能够将插入部简单地插入，则能够缩短内窥镜检查的时间，其价值很大。 
例如，作为第一以往例的日本特开2004-167010号公报中公开了一种具备像素提取单元等的内窥镜插入方向检测装置，其中，上述像素提取单元根据内窥镜图像提取与内窥镜插入方向的检测相关、或者与管腔构造相关的光晕等规定浓度值的像素。并且，该第一以往例根据提取结果来决定内窥镜的插入方向。 
另外，作为第二以往例的日本特开2003-93328号公报中公开了通过检测内窥镜图像中的明暗方向来决定插入内窥镜的插入部的方向的内窥镜插入方向检测装置以及内窥镜插入方向检测方法。 
然而，作为决定插入方向的装置或者方法，以往例所记载的技术存在如下缺点:没有综合地判断内窥镜图像的场景中的、与插入方向(管腔构造)相关的特征量，因此难以检测高精确度的插入方向。 
例如，当存在与多个不同的特征量对应的场景时，在以往例所记载的技术中，依赖于提取或者检测出的特征量的顺序来 决定插入方向。因此，以往例存在如下缺点：有可能对非主要的特征量进行插入方向的检测处理，难以检测高精确度的插入方向。 
因此，本发明是鉴于上述问题而完成的，其目的在于提供一种即使在存在与内窥镜插入方向相关的多个特征量的场景的情况下也能够高精确度地检测插入方向的内窥镜插入方向检测装置以及内窥镜插入方向检测方法。 
发明内容
用于解决问题的方案
本发明的内窥镜插入方向检测装置的特征在于，具备：分类单元，其对由被插入到体腔内的内窥镜拍摄得到的运动图像的内窥镜图像的场景进行分类，分类为与上述体腔内的内窥镜插入方向的检测相关的、种类不同的多个特征量的类；以及插入方向算出单元，其被设置为与由上述分类单元分类得到的各个特征量的类相对应，算出上述内窥镜的插入方向。 
另外，本发明的内窥镜插入方向检测方法的特征在于，具备：分类步骤，对由被插入到体腔内的内窥镜拍摄得到的运动图像的内窥镜图像的场景进行分类，分类为与上述体腔内的内窥镜插入方向的检测相关的、种类不同的多个特征量的类；以及插入方向算出步骤，能够与通过上述分类步骤分类得到的各个特征量的类相对应地算出上述内窥镜的插入方向。 
附图说明
图1是本发明的第一实施方式所涉及的、具备插入方向检测装置的内窥镜系统的整体结构图。 
图2是表示插入方向检测装置的结构的框图。
图3是表示构成插入方向检测装置的CPU的主要功能的图。 
图4是表示内窥镜插入方向检测的处理内容的流程图。 
图5是表示在内窥镜图像的显示画面上显示表示所检测出的管腔暗部的区域的标记的例子的图。 
图6是表示在内窥镜图像的显示画面上显示通过所检测出的皱襞来表示插入方向的插入方向标记的例子的图。 
图7是表示成为在高次局部自相关系数的算出中使用场景特征量的基准的二维图案的图。 
图8是用于说明算出场景特征量的运算的第一图。 
图9是用于说明算出场景特征量的运算的第二图。 
图10是表示算出特征量的处理过程的流程图。 
图11是表示利用图10的对图像进行缩小时使用的离散小波变换(wavelet transform)来缩小得到的子带(sub band)图像例的图。 
图12是表示第一变形例中的算出特征量的处理过程的流程图。 
图13是表示第二变形例中的算出特征量的处理过程的流程图。 
图14是表示利用图13的离散小波变换来缩小得到的子带图像例的图。 
图15是表示本发明的第二实施方式所涉及的、内窥镜插入方向检测的处理内容的流程图。 
图16是用于说明根据某分辨率的图像来进行其周围图像的合并的情况等的第一图。 
图17是用于说明根据某分辨率的图像来进行其周围图像的合并的情况等的第二图。 
图18是表示检测暗部区域的处理过程的概要的流程图。
图19是表示图18中的步骤S53的详细处理过程的流程图。 
图20是算出浓度梯度角的说明图。 
图21是表示本发明的第三实施方式所涉及的、管腔暗部的区域检测的处理内容的流程图。 
图22是示意性地表示暗部区域等与管腔暗部的区域混在一起的内窥镜图像的图。 
图23是表示沿着图22中的F-F′线的截面的浓度值的图。 
图24是表示进行图21的方法时被分割的小区域的图。 
图25是按照图21的方法在图22所示的内窥镜图像中表示浓度梯度方向的图。 
具体实施方式
下面，参照附图说明本发明的实施方式。 
(第一实施方式) 
图1至图14涉及本发明的第一实施方式，图1示出了具备插入方向检测装置的内窥镜系统的整体结构，图2示出了插入方向检测装置的结构，图3示出了构成插入方向检测装置的CPU的主要功能，图4示出了插入方向检测的处理内容，图5示出了在内窥镜图像的显示画面上显示表示所检测出的管腔暗部的区域的标记的例子，图6示出了在内窥镜图像的显示画面上显示通过所检测出的皱襞来表示插入方向的插入方向标记的例子，图7示出了成为在高次局部自相关系数的算出中使用场景特征量的基准的二维图案，图8和图9表示算出场景特征量的运算的说明图，图10示出了算出特征量的处理过程，图11示出了利用图10的对图像进行缩小时使用的离散小波变换来缩小得到的子带图像例，图12示出了第一变形例中的算出特征量的处理过程，图13示出了第二变形例中的算出特征量的处理过程，图14示出了利 用图13的离散小波变换来缩小得到的子带图像例。 
如图1所示，本发明的第一实施方式的内窥镜系统1由内窥镜装置2和内窥镜插入方向检测装置(以下简记为插入方向检测装置)3构成，其中，上述内窥镜插入方向检测装置3对从该内窥镜装置2输入的内窥镜图像的影像信号进行检测插入方向的图像处理。 
内窥镜装置2由如下部分构成：内窥镜5，其被插入到作为被检体的例如大肠4；控制装置8，其具备对该内窥镜5提供照明光的光源部6和信号处理部7；以及观察用监视器9，其显示从信号处理部7输出的影像信号。 
从该信号处理部7输出的影像信号被输入到检测并显示插入方向的插入方向检测装置3。 
内窥镜5具有：细长的插入部11，其被插入到大肠4等；操作部12，其被设置在该插入部11的后端；以及通用线缆13，其从操作部12延伸出来。该通用线缆13的末端的连接器14安装和拆卸自如地连接在控制装置8上。 
控制装置8内的光源部6具有产生照明光的灯15，该灯15的照明光被入射到内窥镜5的光导件16的入射端。被入射到该入射端的照明光被传送到插入部11的顶端部17的光导件出射端。并且，从该光导件发射端发射被传送的照明光，从而照明插入了插入部11的大肠4内部。 
在顶端部17上与光导件出射端相邻地设置有观察窗(摄像窗)。在该观察窗中配置有物镜18和配置在其成像位置上的例如电荷耦合元件(简记为CCD)19。 
此外，在顶端部17的后端设置有弯曲自如的弯曲部20。医生等操作者通过进行旋转被设置在操作部12上的弯曲把手30等的操作，能够使弯曲部20向上下、左右的任意方向弯曲。
上述CCD19通过信号线被连接在构成控制装置8内的信号处理部7的CCD驱动电路21。来自该CCD驱动电路21的CCD驱动信号被施加到CCD19，由此CCD19输出进行光电变换得到的摄像信号。 
该摄像信号被输入到信号处理电路22，该信号处理电路22根据摄像信号例如生成模拟RGB信号的影像信号。 
该影像信号被输入到观察用监视器9。在该观察用监视器9的显示面上显示被成像在CCD19的摄像面上的内窥镜图像。另外，被输入该影像信号的插入方向检测装置3是如图2所示那样的结构。 
该插入方向检测装置3由计算机23和显示装置24构成。模拟RGB信号通过计算机23内的A/D变换器25而被变换为数字的RGB信号之后被输入到进行输入输出控制的I/O控制部26。 
该I/O控制部26被连接在进行插入方向检测的图像处理的中央处理装置(简记为CPU)27、存储CPU27的图像处理的主程序28a的存储装置28、以及显示装置24上。另外，CPU27与主存储器29连接，其中，上述主存储器29作为进行插入方向检测的图像处理时的工作区域使用，暂时存储图像信息等。 
主程序28a是执行伴随本实施方式中的插入方向检测的一系列处理的程序。该主程序28a进行从A/D变换器25对I/O控制部26的图像信号的获取请求、向显示装置24的插入方向检测处理结果显示请求等。 
在本实施方式中，CPU27具有如图3所示那样的处理功能。也就是说，CPU27具有：场景特征量算出功能27a，根据内窥镜图像的场景算出场景特征量；辨别分析功能(分类(classification)功能)27b，为了检测内窥镜插入方向，根据场景特征量的特征量向量，分类为与体腔内的内窥镜插入方向(换言 之是体腔内的管腔构造)密切相关的、多个不同的特征量(具体地说是后述的管腔暗部、皱襞、其它)的类。 
另外，该CPU27具有分别与分类得到的多个不同的特征量的类相对应地算出插入方向的插入方向算出(检测)功能27d。 
因而，在本实施方式中，在内窥镜图像中检测内窥镜插入方向时所使用的内窥镜图像的各场景中存在多个不同的特征量、或者与这些特征量对应的构造的情况下，也通过分类来分类为多个特征量，并且进行与分类得到的各特征量对应的插入方向的算出。由此，在本实施方式中能够适当地算出插入方向。 
此外，在本实施方式中，如图3所示，分类功能27b除了包含进行分类的功能以外，还包含算出多个特征量的类中的主要的特征量的类的主要类算出功能27c。并且，实际上设为仅对主要的特征量的类进行算出插入方向的处理的结构，从而减少处理量。后面记述(图14)没有这样减少处理量的情况。 
接着，参照图4的流程图来说明本实施方式的(内窥镜)插入方向检测方法的作用。 
如步骤S1所示，插入方向检测装置3的CPU27获取内窥镜图像的RGB图像中的、例如R图像，并暂时存储在主存储器29、或者存储装置28中。 
然后，在下一个步骤S2中，CPU27对取入的R图像的场景进行包含管腔暗部、皱襞等的场景特征量的算出处理。后面记述该场景特征量的算出。另外，关于各场景，可以是运动图像的内窥镜图像中的各帧，也可以是多个帧周期中的一帧。 
在下一个步骤S3中，CPU27进行所算出的场景特征量的辨别分析的处理。 
对于辨别分析的处理，例如，可采用日本特开2002-165757号公报所公开的内容。
CPU27将所算出的场景特征量作为特征量向量，使用统计的、或非统计的识别器进行辨别分析，通过该辨别分析，分类(或者类分类)为管腔暗部、皱襞、其它的、与内窥镜插入方向(或者管腔构造)密切相关的多个特征量的类。 
另外，如步骤S4所示，CPU27在进行该分类之后，算出表示根据预先准备的教师数据的相似度的指标，在存在多个特征量的类的情况下，算出主要的特征量的类，其中，上述教师数据作为管腔暗部、皱襞、其它的各特征量的类中的基准。 
然后，CPU27根据在步骤S4中算出的主要的特征量的类进行接下来的分支处理。 
在作为主要的类算出了管腔暗部的情况下，如步骤S5a所示，CPU27对R图像进行管腔暗部区域的检测处理。利用暗部检测用的阈值来检测规定尺寸以上的区域，由此进行管腔暗部区域的检测处理。另外，使用步骤S2、或S3的处理中所使用的信息来检测管腔暗部区域。或者，例如也可以采用日本特公2710384号公报的暗部区域检测方法来进行。 
在检测该管腔暗部区域之后，如步骤S6a所示，CPU27在所检测出的管腔暗部区域上、如图5所示那样将管腔暗部标记Ma显示在内窥镜图像上。或者，也可以如图5中的虚线所示那样显示从内窥镜图像的中心指向管腔暗部方向的插入方向标记Ma′。 
另一方面，在步骤S4中，在作为主要的类算出了皱襞的情况下，如步骤S5b所示，CPU27根据R图像进行皱襞的检测处理，之后，如步骤S6b所示，进行算出皱襞的重心位置的处理。 
能够使用在步骤S2、或S3的处理中所使用的信息来进行皱襞的检测以及重心位置的算出处理。或者，也可以根据日本特公2680111号公报的皱襞检测以及皱襞的重心位置检测方法来 算出皱襞的重心位置。 
然后，如步骤S7所示，CPU27求出包含有皱襞的管腔的中心，如图6所示那样显示插入方向标记Mb。 
另一方面，在步骤S4中，在作为主要的类而被分类为其它类的情况(也就是说，是无法充分地算出管腔暗部、皱襞的场景的情况)下，如步骤S5c所示，CPU27根据R图像检测浓度梯度。对于该浓度梯度的检测处理，例如采用日本特开2003-093328号公报的浓度梯度检测方法。然后，CPU27根据该浓度梯度检测方法求出内窥镜图像的浓度梯度。然后，向所检测出的浓度梯度的方向显示如图6所示那样的插入方向标记。 
这样，通过进行显示插入方向标记等的分支处理，成为步骤S8的分支处理结束。然后，返回到最初的步骤S1，对下一个场景重复进行同样的处理。 
在本实施方式中，如图4所示，CPU27进行如下处理：算出运动图像的内窥镜图像的各场景中的场景特征量，进一步进行场景特征量的辨别分析，分类为作为与内窥镜插入方向(换言之是管腔构造)密切相关的特征量的管腔暗部、皱襞、其它的特征量，根据主要的特征量的类的信息来检测插入方向，并显示插入方向的标记等信息。 
因而，医生根据插入方向的信息来进行弯曲操作，由此将插入部11的顶端侧导入到管腔暗部变得容易，能够平滑地进行插入作业。 
这样，本实施方式中的方法改进以往例进行被所提取或检测出的特征量的顺序所左右的插入方向的检测的缺点，进行高精确度的插入方向的检测。另外，在本实施方式中，在分类为多个特征量的类的情况下，CPU27进行减少处理的控制使得不需要分别进行与被分类的多个特征量对应的插入方向的检测而 仅对主要的特征量的类的情况进行检测。 
也就是说，CPU27算出与主要的特征量对应的插入方向并显示所算出的插入方向，从而能够减少处理量。 
接着，说明场景特征量的算出、以及场景特征量的辨别分析(分类)。在本实施方式中，算出自相关系数、更具体地说是算出高次局部自相关系数，来算出场景特征量。关于该高次局部自相关系数，例如在非专利文献1的O Plus E2003年10月pp1130～1136“シ—ン理解のためのパタ—ン認識 長谷川”中有说明。 
算出场景特征量的方法是求出作为场景的图像内的纹理的场景特征量的方法。将高次局部自相关系数作为场景特征量的方法是如下的方法：定义被限定在局部区域(具体地说是3×3的像素区域)内的n点(通常使用n＝3)的自相关函数，将它应用到图像整体，由此统计地算出场景特征量。 
图7示出了在本实施方式中的场景特征量的算出中使用的、作为二维的基准图案的高次局部自相关特征。在此，图中用[1]表示的像素部分的配置成为特征。并且，CPU27对R图像设定3×3的局部区域，一边在R图像上使3×3的局部区域每次移动一个像素、一边进行与局部自相关系数的算出对应的处理，由此算出场景特征量，其中，在上述局部自相关系数的算出中，对图7的从No.1到No.25中的分别用图中[1]所表示的部分的像素值进行加法运算。 
在这种情况下，在图8和图9中示出了例如算出对于图7中的No.2的特征的特征量的例子。图8示出了在某个场景的图像中的左上角设定的最初的3×3的局部区域，在算出对于No.2的特征的场景特征量的情况下，将像素a22和a23的像素值a22和a23(为了简单而用与像素相同的符号表示)相加。也就是说，CPU27 算出相加值a22+a23。 
然后，CPU 27将该3×3的局部区域向右侧平行移动一个像素而设定图9所示的3×3的局部区域，将这种情况下的像素值a23+a24与在图8中求出的相加值相加。通过对各场景的全部图像进行这种处理，来算出对于No.2的特征的场景特征量。用No.2的情况进行了说明，但是其它No.的情况下也同样地进行这种处理。这样，能够算出25个场景特征量。 
在本实施方式中，在应用图7所示的25个特征的情况下，如图10所示那样进行图像的缩小处理并算出场景特征量，由此使场景特征量的算出处理高速化。 
图10示出了场景特征量的算出、以及将所算出的场景特征量视为特征量向量来进行分类的处理。 
如图10所示，当开始进行场景特征量的算出时，如步骤S11所示，CPU27进行缩小图像的处理。在这种情况下，CPU27用512×512的尺寸切出内窥镜图像中的R图像的摄像区域，并将该切出的图像例如缩小到32×32的尺寸。 
作为缩小该图像(换言之是变换分辨率)的缩小方法，使用作为公知技术的例如离散小波变换。图11示出了在离散小波变换中分解级别2的变换系数群(子带图像)。用HH1、LH1、HL1、HH2、LH2、HL2、LL2表示通过离散小波变换生成的子带图像。 
在此，例如HH1表示在水平、垂直方向上都应用高通滤波器而得到的图像成分。另外，HHx的x表示对于原图像的分解级别。并且，LH表示在水平方向上应用低通滤波器、在垂直方向上应用高通滤波器而得到的图像成分，HL表示在水平方向上应用高通滤波器、在垂直方向上应用低通滤波器而得到的图像成分，LL表示在水平方向上应用低通滤波器、在垂直方向上应用低通滤波器而得到的图像成分。
另外，通过将LL1分解为子带来导出LL2、HL2、LH2、LL2。此外，在分解级别1的情况下，分解前的图像被分解为原图像的水平和垂直方向的尺寸成为1/2的四个变换系数HH1、LH1、HL1、LL1(参照图14)。 
这样，直到分解级别4为止进行利用离散小波变换的子带图像的生成，由此生成32×32的缩小图像。 
然后，如步骤S12所示，CPU27算出上述高次局部自相关系数。 
然后，将所算出的25个场景特征量的数列视为特征量向量，如步骤S13所示，CPU27进行分类为管腔暗部、皱襞、其它的特征量的类的辨别处理。 
在这种情况下，在进行分类的辨别处理的情况下，CPU27参照例如预先存储在存储装置28中的、管腔暗部、皱襞、其它的情况下所具有的特征量向量的分布区域等的教师数据来进行。 
另外，通过算出表示管腔暗部、皱襞、其它与教师数据之间的相似度的指标，在存在多个特征量的类的情况下，CPU27算出主要的特征量的类。然后，CPU27如图4中说明的那样，对主要的特征量的类进行检测插入方向的处理，并显示所检测出的插入方向。 
进行这种处理的本实施方式在即使由于干扰等而产生或混入噪声也使用自相关系数算出场景特征量，因此能够几乎不受噪声影响而从各场景中高精确度地算出与内窥镜插入方向(或管腔构造)密切相关的特征量。 
另外，在本实施方式中，即使在内窥镜图像中存在管腔暗部、皱襞等多个构造，也提取各场景特征量，并且将它们分类为管腔暗部、皱襞等特征量的类，用与主要的特征量的类对应 的处理算法来算出插入方向并进行显示。 
因而，在本实施方式中，仅包含管腔暗部、皱襞等中的一个特征量的构造的情况下当然适当地算出插入方向并进行显示，在存在多个构造的情况下也适当地算出插入方向并进行显示，因此，医生能够平滑地进行插入作业、内窥镜检查。 
接着，说明对于图10的第一变形例。在图10中，对图像进行缩小并对缩小后的图像算出高次局部自相关系数，而第一变形例是简化的CPU27的处理方法，也就是说，CPU27算出小区域的像素的平均值作为场景特征量。 
在本变形例中，CPU27为了算出场景特征量而算出可以说是内窥镜图像的分辨率的变换的小区域的像素的平均值。 
图12示出了表示第一变形例的场景特征量的算出等的流程图。当开始进行场景特征量的算出处理时，在步骤S31中，CPU27将拍摄得到的R图像例如分割为8×8的小区域，将小区域内的像素值的平均值设为小区域像素值，由此生成缩小图像。 
在下一个步骤S32中，CPU27将该缩小图像中的小区域像素值视为场景特征量的构成要素，对该小区域像素值进行扫描而算出将其数列作为特征量向量的场景特征量。 
在下一个步骤S33中，CPU27使用该特征量向量进行辨别分析。 
在本变形例中，能够用比图10所示的处理方法更简单的处理进行特征量的分类。 
接着，参照图13所示的流程图说明图10的第二变形例。本变形例是CPU27利用直方图的处理方法。 
在本变形例中，为了不依赖于旋转和平行移动而算出场景特征量，采用将图像的像素值或频率特性的直方图与教师图像的直方图进行比较的方法。
关于频率特性，使用上述的离散小波变换。 
并且，当开始进行场景特征量的算出时，在最初的步骤S41中，CPU27对R图像进行上述的离散小波变换。 
通过步骤S41，如图14所示，对于各分辨率的图像中的每个图像得到水平(HL1)、垂直(LH1)、倾斜(HH1)三个方向的频谱和低频成分(LL1)的各自的子带图像。 
在下一个步骤S42中，CPU27对子带图像算出直方图。然后，在下一个步骤S43中，CPU27通过比较直方图来进行分类(classification)。此外，在此，说明了分解级别1时的子带图像的情况，但是也可以用分解级别2等的子带图像来进行。 
作为比较直方图的方法，例如采用使用了χ2分布的方法。在这种情况下，在比较K个直方图时，根据以下的式(1)来求出K个χ2分布的值，根据式(2)求出比较值COMP。 
x2＝Σi(qi-hi)2/(qi+hi) (1) 
COMP＝(1/K)Σα(x2 α)    (2) 
在此，Σα表示α＝1至K的总和，Σi表示i的总和。另外，qi是比较(检测)对象的直方图的第i个频率值，hi是教师图像的直方图的第i个频率值。 
因此，对各个被分类的特征量的类事先准备与其特征量对应的教师图像的直方图，通过求出各自的χ2的分布，能够分类为其值较小的、教师图像所属的特征量的类。另外，还可以算出χ2分布的值最小的、教师图像所属的主要的特征量的类。 
这样，根据本变形例，利用直方图能够算出与内窥镜插入方向(或者管腔构造)相关的管腔暗部等特征量。并且，能够算出主要的特征量，并对该主要的特征量进行高精确度的插入方向的检测。
此外，也可以不使用χ2分布，而使用相关系数(Σiqi·hi-Σiqi·Σihi)/((Σiqi 2-Σiqi·Σiqi)·(Σihi 2-Σihi·Σihi))1/2、或者差分Σimin(qi，hi)作为比较值。 
这样，在变形例的情况下，也能够算出与内窥镜插入方向(或者管腔构造)相关的特征量，能够进行高精确度地检测插入方向。 
(第二实施方式) 
接着，参照图15至图20说明本发明的第二实施方式。在第一实施方式中，在进行场景特征量的辨别分析之后进行特征量的分类，并在该分类时算出主要的类。在本实施方式中，不进行算出主要的类的处理，而是进行与分类的结果相应的分支处理。 
图15示出了本实施方式的内窥镜插入方向检测方法。图15中设对与分类相应的处理进行分支的步骤S4′来代替图4中的算出主要的类的步骤S4。 
因而，在本实施方式中，在场景中存在与多个特征量对应的构造的情况下，根据多个特征量来检测多个插入方向，并显示其结果。在这种情况下，当多个插入方向全部一致时，该插入方向的精确度较高。与此相对地，在多个插入方向不同的情况下，与全部一致地检测出的情况相比，插入方向的检测精确度较低。在这种情况下，医生根据该显示内容判断插入方向。 
因而，在本实施方式中，在场景中存在与多个特征量对应的构造的情况下，也消除以往例中的插入方向的检测结果受到特征量的检测(提取)顺序的影响的缺点。 
此外，作为本实施方式的变形例，也可以如在第一实施方式中说明的那样在插入方向的显示上反映出表示与预先准备的教师数据之间的相似度的指标的值的信息。例如，也可以根据 指标值的大小来改变表示插入方向的箭头的大小，告知医生以最大的箭头显示的插入方向是以最高精确度检测出的插入方向。 
另外，下面说明在第一实施方式中也能够应用的、通过本实施方式中的特征量的分类而检测出管腔暗部的特征量的类的情况下(用于检测插入方向)高精确度地检测管腔暗部的区域部分的检测方法。 
本实施方式中的管腔暗部的区域检测是改进了日本特公2710384号公报所记载的内容的方法。下面简单地说明该情况下的改进点。 
日本特公2710384号公报所记载的方法如下：生成多重分辨率的图像，比较上级/下级的层次间的亮度平均值，由此进行区域的分割、合并，检测具有规定的亮度范围的暗部区域。 
但是，该方法难以检测出具有平滑的亮度变化的暗部的情况下的其边界。另外，该方法仅比较亮度平均值，因此有可能误检测出分散较大的小区域、有纹理的小区域。 
更具体地进行说明，上述公报记载的方法如下：如图16所示，在作为管腔暗部的区域而被检测出的在分辨率A下的用实线表示的像素(原图像中的矩形的小区域)的像素值(包含在小区域内的像素的平均值)与相邻的像素(分辨率A下的用虚线表示的小区域)的像素值的差或比在规定的阈值内的情况下，合并该小区域。 
另外，该方法利用进行四分割的四叉树结构的多重分辨率的图像，对当前的下级层次的图像中的接近的小区域进行合并，求出管腔暗部的区域的外形线。 
也就是说，关于当前的下级层次的图像(如图16所示，成为分辨率A的下级的分辨率B的图像)，接近与分辨率A下的管腔暗部的区域的像素相同的位置上存在的像素(图16中的分辨率B下的、用粗实线表示的四个小区域)的、用虚线表示的像素(分辨率B下的、用虚线表示的小区域)的像素值之间的差或比在规定阈值以内的情况下，合并该小区域。 
这样，上述公报的方法对于分辨率A、分辨率B的像素值使用将像素视为小区域的情况下的、包含在小区域内的原图像的像素值的平均值。 
但是，存在如下问题：在如图17所示那样小区域内存在边缘、纹理的情况、存在浓度梯度的情况下，无法正确地进行判断，导致提取错误的管腔暗部的区域。例如，图17的右侧的三个各小区域内的像素值平均值全部相同。因此，在上述方法中，由于这些小区域具有相同的平均值，因此对它们进行合并处理，从而有可能导致提取错误的管腔暗部的区域。 
因此，在本实施方式中，不进行图17那样的误提取(误合并)而适当地进行合并处理。因此，本实施方式的CPU27进行图18和图19那样的处理。 
当开始进行管腔暗部的检测时，在图18的步骤S51中，CPU27根据所取入的R图像生成像素数不同的多个图像。 
然后，在下一个步骤S52中，CPU27在通过之前的步骤S51生成的多个图像中从像素数较少的图像开始依次检查该图像中的各像素的亮度，并提取规定的像素数的图像中的、与管腔暗部相当的暗部区域。 
在下一个步骤S53中，CPU27进行如下的合并处理：将作为在之前的步骤S52中求出的暗部区域附近的区域的、要求的亮度范围内的区域与在之前的步骤S52中求出的暗部区域进行合并。这样，CPU27通过进行从步骤S51到步骤S53的处理来检测与管腔暗部相当的暗部区域。
另外，图19示出了本实施方式中的步骤S53的细节。当开始进行步骤S53的处理时，在步骤S61中，CPU27算出所提取的暗部区域的灰度水平(R的平均值)。在这种情况下，例如作为图16所示那样的某个分辨率A的图像中以实线表示的暗部区域(在之前的步骤S52中提取)内的灰度水平，求出该区域内的R的平均值。 
另外，CPU27求出与该暗部区域接近的区域(例如，图16的分辨率A中的、用虚线包围的区域)中的灰度水平(即，R的平均值)、浓度梯度角的分散、以及变动系数(C.V.、将标准偏差除以平均值而得到的值)。 
根据如图20所示那样作为对象的3×3的小区域中的、从像素a11起第三个像素的浓度值的梯度或者差信息，根据X方向浓度梯度与Y方向浓度梯度的正切来求出浓度梯度角。 
具体地说，在如图20所示那样表示像素的情况下，用θ＝arctan(a31-a11)/(a13-a11)来算出浓度梯度角θ。另外，浓度梯度角的分散是指包含在区域内的像素的位置的浓度梯度角的分散。 
在下一个步骤S62中，CPU27检查与所提取的区域内的灰度水平接近的区域的灰度水平之间的差或比是否在规定的范围内。然后，如果在规定的范围内则进入下一个步骤S63。另一方面，在不在规定的范围内的情况下，转移到步骤S66的处理。 
在接下来的步骤S63中，CPU27检查接近的区域的变动系数是否在规定的范围内。然后，如果接近的区域的变动系数在规定的范围内则CPU27进入下一个步骤S64。另一方面，在接近的区域的变动系数不在规定的范围内的情况下，CPU27转移到步骤S66的处理。 
在接下来的步骤S64中，CPU27检查接近的区域的浓度梯度角的分散是否在规4定的范围内。然后，如果接近的区域的浓 度梯度角的分散在规定的范围内，则CPU27进入下一个步骤S65。另一方面，在接近的区域的浓度梯度角的分散不在规定的范围内的情况下，CPU27转移到步骤S66的处理。 
在满足从步骤S62到步骤S64的条件的情况下，在步骤S65中，CPU27将该接近的周围的区域与已得到的暗部区域进行合并，并返回到步骤S61。 
另一方面，在不满足从步骤S62到步骤S64所示的条件中的任一个的情况下，如步骤S66所示，CPU 27根据当前的分辨率的设定值判断是否需要更高精确度的检查。如果当前的分辨率的设定值与规定的终端分辨率的设定值相同，则CPU 27结束该处理。如果不相同，则CPU 27对下一个叉树级别(分辨率)的图像进行相同的处理。例如，在用图16的分辨率A进行的情况下，CPU 27关于在其下面示出的分辨率B进行同样的判断处理。然后，CPU 27返回到步骤S61。 
在本实施方式中，对与初始的管腔暗部相当的暗部区域递归地进行处理，由此扩大管腔暗部的区域，提高管腔暗部区域的外形线(轮廓)的精确度。 
如上所述，在本实施方式中，在接近的区域之间的合并处理中，不仅考虑接近区域的像素平均值，还考虑接近区域的像素值的变动来进行比较，由此对具有大致一样的像素值分布的区域进行合并，能够提高管腔暗部的区域的检测精确度。 
另外，在本实施方式中，在接近的区域之间的合并处理中，对接近的区域的浓度梯度角的分散进行比较，由此对具有平滑的梯度的区域进行合并，能够提高管腔暗部的区域的检测精确度。 
由于进行这种合并处理，因此能够防止例如如图17所示那样、在仅是灰度水平进入规定范围内的情况下进行合并而导致 的误合并，能够检测高精确度的管腔暗部的区域。因而，在本实施方式中，通过提高管腔暗部的区域的检测精确度，内窥镜插入方向的检测精确度提高。 
(第三实施方式) 
接着，参照图21至图25来说明本发明的第三实施方式。本实施方式也与第二实施方式同样地提供精确度良好地检测管腔暗部的方法。本实施方式中的检测管腔暗部的方法是图21的流程图所示的方法，该方法改进了例如日本特开2003-93328号公报所公开的方法。 
在这种情况下，日本特开2003-93328号公报的以往例所公开的方法在例如如图22所示的内窥镜图像那样除了管腔暗部的区域C以外还存在暗部区域D的情况下，难以精确度良好地检测出想要检测的管腔暗部的区域C。此外，在该例中，在管腔暗部的区域C内，在其内部存在由肠管弯曲、皱襞所引起的亮区域和暗区域E。 
并且，图23示出了连接图22中的管腔暗部的区域C和暗部区域D的线段F、F′上的浓度值。 
在上述以往例中，需要唯一地决定检测管腔暗部的区域C的阈值。作为该决定方法，广泛地使用全画面内的像素值的直方图的解析等。 
在所决定的阈值是T的情况下，只能提取图22的由E包围的区域。另外，在所决定的阈值是T′的情况下，导致还提取暗部区域D的一部分。这样，在以往例中存在如下问题：需要对每个图像决定最佳的阈值，难以精确度良好地检测管腔暗部的区域C。 
因此，在本实施方式中，利用图21的流程图所示出的检测方法来提取管腔暗部的区域C。该检测方法成为仅提取图22中 的管腔暗部的区域C的方法。 
如图21所示，在最初的步骤S71中，CPU27将内窥镜图像分割为小区域。在本实施方式中，为了使说明简单，用如图25所示那样分割为4×4个矩形的小区域bxy(x＝1～4，y＝1～4)的例子进行说明。 
在下一个步骤S72中，CPU27求出各小区域bxy的像素值的平均值<bxy>。在本实施方式中，求出与内窥镜图像对应的RGB色彩信号中的R的平均值。 
在下一个步骤S73中，CPU27对各个小区域bxy，将接近的8个方向(在四角处3个方向，沿外周的小区域中5个方向)的像素值的平均值与处理对象的自小区域bxy的像素值的平均值<bxy>进行比较(或者算出差值)，来求出浓度梯度方向。如果自小区域bxy的像素值的平均值<bxy>是进行比较的接近小区域中的最小值，则将浓度梯度方向设为0。 
具体地说，在最初的小区域b11的情况下，当用差值来表现时，在<b21>-<b11>、<b22>-<b11>、<b12>-<b11>的差值为负的情况下，将其绝对值为最大的方向设为浓度梯度方向。 
在该小区域b11的情况下，<b21>的平均值最小，因此浓度梯度方向成为从小区域b11朝向小区域b21的方向。这样，得到图25所示那样的浓度梯度方向的分布(排列)信息。 
此外，在算出上述那样的差值时、其值全部为正的情况下，如上所述那样将浓度梯度方向设为0。图25中的小区域b21、b42(b21等的符号参照图24)成为浓度梯度方向＝0的小区域。 
在下一个步骤S74中，CPU27依次提取没有产生向接近小区域的浓度梯度的、即浓度梯度方向＝0的小区域。 
然后，在下一个步骤S75中，CPU27判断在步骤S74的处理中是否提取出没有产生浓度梯度的小区域，在没有提取出这种 小区域的情况下，结束该处理，在提取出的情况下，进入步骤S76的处理。 
在步骤S76的处理中，CPU 27对没有产生浓度梯度(浓度梯度方向＝0)的小区域判断是否满足如下条件：接近该小区域的所有的小区域的浓度梯度向朝向一个小区域集中。 
关于图25中的例如小区域b21，下、右下、右的接近小区域的浓度梯度没有朝向该小区域b21。因此，CPU27判断为步骤S76的判断结果是“否”，返回到步骤S74。 
另一方面，使小区域b42介于中间，所有的接近小区域的浓度梯度都向小区域b42集中。这样，在所有的接近小区域的浓度梯度都向一个小区域集中的情况下，如步骤S77所示，CPU27将该小区域作为管腔暗部的区域候选而进行标记。 
在图25的内窥镜图像的情况下，将小区域b42作为管腔暗部的区域候选而进行标记。然后，在步骤S78中，CPU27判断是否为不存在浓度梯度的小区域中的最后的小区域，在不是最后的小区域的情况下，返回到步骤S74，在进行到最后的小区域的情况下，进入步骤S79。 
在步骤S79中，CPU27从通过以上的处理而被标记的管腔暗部的区域候选中决定最终的管腔暗部的区域。在这种情况下，有时多个管腔暗部的区域候选被标记。在这种情况下，CPU27将多个管腔暗部的区域候选中的、像素平均值是最小值的管腔暗部的区域候选决定为管腔暗部的区域。 
此外，在本实施方式中，将图像设为分割成4×4的矩形小区域，但是，即使利用例如维诺图(voronoi)的非矩形区域、日本特公2710384号公报中的作为多重分辨率图像的区域合并的结果而得到的区域来进行处理，也能够得到与本实施方式的目 的对应的效果。 
在本实施方式中，将图像分割为小区域，对分割得到的各小区域调查接近的小区域的浓度梯度，并将浓度梯度全部朝向一个地集中的小区域设为管腔暗部的区域候选，由此不依赖于阈值而能够进行正确的管腔暗部的区域的检测。因而，根据本实施方式，内窥镜插入方向检测的精确度提高。 
在图21中的步骤S76的判断中，在进行了是否满足所有浓度梯度向一个小区域集中的条件的判断时，在符合的小区域一个也不存在的情况下，也可以将浓度梯度最集中的小区域显示为有可能是管腔暗部的候选。 
根据上述各实施方式所记载的本发明的内窥镜插入方向检测装置的结构，在存在与内窥镜插入方向相关的多个特征量的场景的情况下，也能够进行高精确度的插入方向的检测。 
根据具备上述步骤的本发明的内窥镜插入方向检测方法的结构，在存在与内窥镜插入方向相关的多个特征量的场景的情况下，也能够进行高精确度的插入方向的检测。 
即，根据本发明，在存在与内窥镜插入方向相关的多个特征量的场景的情况下，也能够进行高精确度的插入方向的检测。 
详细地说，在本发明中，算出由被插入到体腔内的内窥镜拍摄得到的内窥镜图像的场景中的场景特征量，并分类为与内窥镜插入方向相关的管腔暗部、皱襞等特征量的类，检测与所分类的特征量相应的插入方向，由此在多个特征量混合存在的内窥镜图像的情况下，也能够进行精确度良好的插入方向的检测。 
另外，本发明并不是仅限定于上述的实施方式，在不脱离发明要旨的范围内可进行各种变更。

Claims (10)

1.一种内窥镜插入方向检测装置，其特征在于，具备：
分类单元，其对根据由被插入到体腔内的内窥镜拍摄得到的运动图像的内窥镜图像的场景算出的多个特征量进行分类，分类为管腔暗部、皱襞、其它的类作为与上述体腔内的内窥镜插入方向的检测相关的、种类不同的多个特征量的类；
判断单元，其通过算出表示相似度的指标来从由上述分类单元分类得到的上述多个特征量的类中判断主要的特征量的类；以及
插入方向算出单元，其从与由上述分类单元分类得到的上述多个特征量的类分别相对应地设置的检测处理中，仅选择使用与由上述判断单元所判断的上述主要的特征量的类相对应的检测处理，来算出与上述主要的特征量的类相对应的上述内窥镜的插入方向。
2.根据权利要求1所述的内窥镜插入方向检测装置，其特征在于，
上述分类单元具有：场景特征量算出单元，其对上述内窥镜图像的场景算出场景特征量；以及类算出单元，其根据与上述场景特征量对应的特征量向量算出上述多个特征量的类。
3.根据权利要求2所述的内窥镜插入方向检测装置，其特征在于，
上述场景特征量算出单元使用多个基准图案算出上述内窥镜图像的场景的自相关系数。
4.根据权利要求1所述的内窥镜插入方向检测装置，其特征在于，
上述分类单元利用直方图进行分类，分类为上述多个特征量的类。
5.根据权利要求1所述的内窥镜插入方向检测装置，其特征在于，
上述分类单元根据将内窥镜图像的场景分割为多个的小区域的图像进行分类，分类为上述多个特征量的类。
6.根据权利要求1所述的内窥镜插入方向检测装置，其特征在于，
上述分类单元对将内窥镜图像的场景的分辨率进行变换得到的变换图像进行分类，分类为上述多个特征量的类。
7.一种内窥镜插入方向检测方法，其特征在于，具备：
分类步骤，对根据由被插入到体腔内的内窥镜拍摄得到的运动图像的内窥镜图像的场景算出的多个特征量进行分类，分类为管腔暗部、皱襞、其它的类作为与上述体腔内的内窥镜插入方向的检测相关的、种类不同的多个特征量的类；
判断步骤，通过算出表示相似度的指标来从由上述分类步骤分类得到的上述多个特征量的类中判断主要的特征量的类；以及
插入方向算出步骤，从与通过上述分类步骤分类得到的上述多个特征量的类分别相对应地设置的检测处理中，仅选择使用与由上述判断步骤判断得到的上述主要的特征量的类相对应的检测处理，来算出与上述主要的特征量的类相对应的上述内窥镜的插入方向。
8.根据权利要求7所述的内窥镜插入方向检测方法，其特征在于，
在上述插入方向算出步骤中，仅与在上述判断步骤所判断出的前述主要的特征量的类相对应地算出上述内窥镜的插入方向。
9.根据权利要求7所述的内窥镜插入方向检测方法，其特征在于，
在上述插入方向算出步骤中，具有显示所算出的插入方向的信息的插入方向显示步骤。
10.根据权利要求7所述的内窥镜插入方向检测方法，其特征在于，
上述分类步骤具有：场景特征量算出步骤，对上述内窥镜图像的场景算出场景特征量；以及类算出步骤，根据与上述场景特征量对应的特征量向量来算出上述多个特征量的类。
CN2007800136353A 2006-04-17 2007-02-27 内窥镜插入方向检测装置以及内窥镜插入方向检测方法 Active CN101420897B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP113794/2006 2006-04-17
JP2006113794A JP5094036B2 (ja) 2006-04-17 2006-04-17 内視鏡挿入方向検出装置
PCT/JP2007/053587 WO2007119296A1 (ja) 2006-04-17 2007-02-27 内視鏡挿入方向検出装置、及び内視鏡挿入方向検出方法

Publications (2)

Publication Number Publication Date
CN101420897A CN101420897A (zh) 2009-04-29
CN101420897B true CN101420897B (zh) 2011-04-13

Family

ID=38609112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800136353A Active CN101420897B (zh) 2006-04-17 2007-02-27 内窥镜插入方向检测装置以及内窥镜插入方向检测方法

Country Status (5)

Country Link
US (1) US8285016B2 (zh)
EP (1) EP2008571B1 (zh)
JP (1) JP5094036B2 (zh)
CN (1) CN101420897B (zh)
WO (1) WO2007119296A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2215960B1 (en) * 2007-11-29 2017-12-27 Olympus Corporation Endoscope curve control apparatus
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP4585048B2 (ja) 2009-01-15 2010-11-24 オリンパスメディカルシステムズ株式会社 内視鏡システム
EP2382909A4 (en) * 2009-01-29 2012-11-28 Olympus Medical Systems Corp ENDOSCOPIC SYSTEM
US8665326B2 (en) 2009-01-30 2014-03-04 Olympus Corporation Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method
US8625863B2 (en) * 2009-06-02 2014-01-07 Sofast Gmbh Superresolution optical fluctuation imaging (SOFI)
WO2011055613A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
EP2497406B9 (en) 2009-11-06 2018-08-08 Olympus Corporation Endoscope system
TWI432168B (zh) * 2009-12-31 2014-04-01 Univ Nat Yunlin Sci & Tech 內視鏡導航方法以及內視鏡導航系統
JP5800468B2 (ja) 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5597049B2 (ja) 2010-07-07 2014-10-01 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5555097B2 (ja) * 2010-08-24 2014-07-23 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
US9398300B2 (en) * 2011-10-07 2016-07-19 Texas Instruments Incorporated Method, system and apparatus for intra-prediction in video signal processing using combinable blocks
EP2727514B1 (en) * 2012-03-21 2017-05-10 Olympus Corporation Image processing device
JP5903305B2 (ja) * 2012-03-26 2016-04-13 東芝デジタルメディアエンジニアリング株式会社 画像処理装置及び画像処理方法
CN110167417B (zh) * 2017-01-26 2022-01-07 奥林巴斯株式会社 图像处理装置、动作方法和存储介质
WO2018188466A1 (en) * 2017-04-12 2018-10-18 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
CN111278348A (zh) * 2017-06-09 2020-06-12 株式会社Ai医疗服务 基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质
JP7093833B2 (ja) * 2018-04-26 2022-06-30 オリンパス株式会社 移動支援システム及び移動支援方法
CN111317426A (zh) * 2018-12-13 2020-06-23 杭州海康慧影科技有限公司 一种内窥镜参数自适应调整方法和装置
WO2020194472A1 (ja) * 2019-03-25 2020-10-01 オリンパス株式会社 移動支援システム、移動支援方法、および移動支援プログラム
WO2021048925A1 (ja) * 2019-09-10 2021-03-18 オリンパス株式会社 内視鏡制御装置、内視鏡制御装置の作動方法及びプログラム
CN110969603B (zh) * 2019-11-26 2021-01-05 联博智能科技有限公司 病变位置的相对定位方法、装置及终端设备
JP2021049314A (ja) * 2019-12-04 2021-04-01 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム
US20220211449A1 (en) * 2021-01-04 2022-07-07 The Regents Of The University Of Colorado, A Body Corporate Autonomous navigation and intervention in the gastrointestinal tract
WO2024028924A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4910590A (en) * 1988-11-16 1990-03-20 Olympus Optical Co., Ltd. Endoscope insertion direction detection method
US4916533A (en) * 1988-12-31 1990-04-10 Olympus Optical Co., Ltd. Endoscope insertion direction detecting method
US5018509A (en) * 1989-02-21 1991-05-28 Olympus Optical Co., Ltd. Endoscope insertion controlling apparatus
US5036464A (en) * 1989-11-24 1991-07-30 Olympus Optical Co., Ltd. Methods of detecting endoscope insertion direction
EP1437083A1 (en) * 2001-09-25 2004-07-14 Olympus Corporation Endoscope insertion direction sensing method and endoscope insertion direction sensing apparatus
CN1713848A (zh) * 2002-11-20 2005-12-28 奥林巴斯株式会社 内窥镜插入方向检测装置、内窥镜插入方向检测系统及内窥镜插入方向检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2962528B2 (ja) * 1991-03-22 1999-10-12 オリンパス光学工業株式会社 内視鏡装置
JP2002000546A (ja) * 2000-06-19 2002-01-08 Olympus Optical Co Ltd 内視鏡装置
JP4450973B2 (ja) 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
JP3917885B2 (ja) * 2002-04-08 2007-05-23 オリンパス株式会社 カプセル内視鏡システム
JP4409166B2 (ja) * 2002-12-05 2010-02-03 オリンパス株式会社 画像処理装置
EP1832223B1 (en) * 2004-12-27 2017-10-25 Olympus Corporation Medical image processing apparatus, and medical image processing method
EP2215960B1 (en) * 2007-11-29 2017-12-27 Olympus Corporation Endoscope curve control apparatus
WO2011055613A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4910590A (en) * 1988-11-16 1990-03-20 Olympus Optical Co., Ltd. Endoscope insertion direction detection method
US4916533A (en) * 1988-12-31 1990-04-10 Olympus Optical Co., Ltd. Endoscope insertion direction detecting method
US5018509A (en) * 1989-02-21 1991-05-28 Olympus Optical Co., Ltd. Endoscope insertion controlling apparatus
US5036464A (en) * 1989-11-24 1991-07-30 Olympus Optical Co., Ltd. Methods of detecting endoscope insertion direction
EP1437083A1 (en) * 2001-09-25 2004-07-14 Olympus Corporation Endoscope insertion direction sensing method and endoscope insertion direction sensing apparatus
CN1713848A (zh) * 2002-11-20 2005-12-28 奥林巴斯株式会社 内窥镜插入方向检测装置、内窥镜插入方向检测系统及内窥镜插入方向检测方法

Also Published As

Publication number Publication date
WO2007119296A1 (ja) 2007-10-25
JP5094036B2 (ja) 2012-12-12
EP2008571B1 (en) 2015-01-28
CN101420897A (zh) 2009-04-29
JP2007282857A (ja) 2007-11-01
US8285016B2 (en) 2012-10-09
EP2008571A4 (en) 2013-04-03
US20090041320A1 (en) 2009-02-12
EP2008571A1 (en) 2008-12-31

Similar Documents

Publication Publication Date Title
CN101420897B (zh) 内窥镜插入方向检测装置以及内窥镜插入方向检测方法
CN105187785B (zh) 一种基于动态选取显著特征的跨卡口行人识别系统与方法
US7003135B2 (en) System and method for rapidly tracking multiple faces
CN101650783B (zh) 图像识别方法以及摄像装置
US7751622B2 (en) Method and system for detection of undesirable images
WO2019132589A1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
CN109145803B (zh) 手势识别方法及装置、电子设备、计算机可读存储介质
CN109671068B (zh) 一种基于深度学习的腹部肌肉标注方法及装置
EP2557539B1 (en) Image processing apparatus, image processing method, and image processing program
EP2833288A1 (en) Face calibration method and system, and computer storage medium
US20020076088A1 (en) Method of multi-level facial image recognition and system using the same
CN107305635A (zh) 对象识别方法、对象识别装置和分类器训练方法
CN104350742B (zh) 用于显示图像流的系统和方法
KR20090084563A (ko) 비디오 영상의 깊이 지도 생성 방법 및 장치
US8938117B2 (en) Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object
CN104700424B (zh) 医用彩色电子内窥镜图像坏点检测装置
CN108537787B (zh) 一种人脸图像的质量判定方法
CN106023151A (zh) 一种开放环境下中医舌象目标检测方法
EP2510499A1 (en) Method for distinguishing a 3d image from a 2d image and for identifying the presence of a 3d image format by feature correspondence determination
CN106447701A (zh) 用于图像相似性确定、对象检测和跟踪的方法和装置
CN106709438A (zh) 一种基于视频会议的人数统计方法
CN105869148A (zh) 目标检测方法及装置
CN111553422A (zh) 手术器械自动识别回收方法及系统
KR102163108B1 (ko) 영상에서 관심 대상 실시간 검출 방법 및 시스템
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151126

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Patentee before: Olympus Medical Systems Corp.