CN103249349B - 内窥镜图像处理装置以及图像处理方法 - Google Patents

内窥镜图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN103249349B
CN103249349B CN201180056115.7A CN201180056115A CN103249349B CN 103249349 B CN103249349 B CN 103249349B CN 201180056115 A CN201180056115 A CN 201180056115A CN 103249349 B CN103249349 B CN 103249349B
Authority
CN
China
Prior art keywords
image
region
observation
interest
border
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180056115.7A
Other languages
English (en)
Other versions
CN103249349A (zh
Inventor
栗山直也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103249349A publication Critical patent/CN103249349A/zh
Application granted granted Critical
Publication of CN103249349B publication Critical patent/CN103249349B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本发明提供可根据基于图像处理的内窥镜图像的评价结果来进行高效率的处置的内窥镜图像处理装置以及图像处理方法等。内窥镜图像处理装置包含：图像取得部（320），其取得包含被摄体像的图像作为通常观察图像，取得使作为上述通常观察图像内的一部分的观察区域内的被摄体像放大后的图像作为放大观察图像；关注区域确定部（330），其在放大观察图像上确定应该关注的区域即关注区域；以及边界设定部（340），其根据放大观察图像内的像素值，检测与所确定的放大观察图像上的关注区域的边界对应的通常观察图像上的边界的位置，并在检测到的通常观察图像上的边界的位置设定表示是关注区域的边界的边界图像。

Description

内窥镜图像处理装置以及图像处理方法
技术领域
本发明涉及内窥镜图像处理装置以及图像处理方法等。
背景技术
近年来，广泛应用了如下这样的内窥镜图像处理装置，可将细长的插入部插入体腔内，将设置到插入部的前端部的固体摄像元件等用于摄像单元并通过监视器画面观察、检查或诊断体腔内脏器等。
另外，在最近的内窥镜图像处理装置中，随着高画质化、固体摄像元件（CCD等）的高像素化以及既保持与通常内窥镜同等的外径和操作性又具有放大观察（缩放）功能的放大内窥镜的出现和普及，而能够观察到粘膜表面的极细微的毛细血管或胃、大肠的腺管开口分型（pitpattern）。因此，能够获得对μm级别的极细微构造的观察结果，并能够应用到病变种类或癌的深度诊断等。具体地说，已知有大肠的腺管开口分型的观察或食道的粘膜内细微血管观察即IPCL（上皮乳头内血管）。
另一方面，采用这些内窥镜图像处理装置的最终诊断大多要依赖于医师的主观判断，从而希望实现能直接结合客观的数据诊断的内窥镜图像处理装置。例如，在专利文献1所述的内窥镜图像处理装置中，采用基于图像内的粘膜细微构造成分的相互关系的排列特征量来进行客观的诊断辅助。
现有技术文献
专利文献
专利文献1：日本特开2006―141734号公报
发明内容
发明所要解决的课题
但是，专利文献1中诊断辅助仅停留在粘膜细微构造的排列评价，拿到评价结果后怎样进行处置大多还是要依据医师的主观以及经验。
另外，当放大观察后医师决定进行处置时，需要根据放大观察时的记忆使放大观察图像中的处置范围与实际进行处置的通常观察图像相对应，从而处置的正确性或处置所需的时间非常受医师的能力影响。
根据本发明的几个方式，可提供能够基于图像处理后的内窥镜图像的评价结果进行高效处置的内窥镜图像处理装置以及图像处理方法等。
另外，根据本发明的几个方式，可提供能够使放大观察图像中的关注区域的边界与实际进行处置的图像即通常观察图像相对应的内窥镜图像处理装置以及图像处理方法等。
用于解决课题的手段
本发明的一个方式涉及内窥镜图像处理装置，其特征是包含：图像取得部，其取得包含被摄体像的图像作为通常观察图像，取得使作为上述通常观察图像内的一部分的观察区域内的被摄体像放大后的图像作为放大观察图像；关注区域确定部，其在上述放大观察图像上确定应该关注的区域即关注区域；以及边界设定部，其根据上述放大观察图像内的像素值，检测与所确定的上述放大观察图像上的关注区域的边界对应的上述通常观察图像上的边界的位置，并在检测到的上述通常观察图像上的边界的位置设定表示是上述关注区域的边界的边界图像。
在本发明的一个方式中，取得放大观察图像和通常观察图像，并根据放大观察图像来确定关注区域，然后在与放大观察图像的关注区域的边界对应的通常观察图像上的边界的位置处设定边界图像。由此，能够使在放大观察图像上获得的信息与通常观察图像相对应等。
本发明的其它方式涉及图像处理方法，进行如下处理：取得包含被摄体像的图像作为通常观察图像，取得使作为上述通常观察图像内的一部分的观察区域内的被摄体像放大后的图像作为放大观察图像；在上述放大观察图像上确定应该关注的区域即关注区域；根据上述放大观察图像内的像素值，检测与所确定的上述放大观察图像上的关注区域的边界对应的上述通常观察图像上的边界的位置，并在检测到的上述通常观察图像上的边界的位置设定表示是上述关注区域的边界的边界图像。
附图说明
图1是本实施方式的系统结构例。
图2是说明通常观察图像和放大观察图像的按时序的取得例的图。
图3是关注区域确定部的结构例。
图4是放大观察时关注区域检测部的结构例。
图5是图像分割部的块分割的例子。
图6是边界设定部的结构例。
图7（A）～图7（C）是在通常观察时关注区域的边界上设定控制点并求出关注区域边界候选的方法的说明图。
图8（A）～图8（D）是说明根据放大观察的结果来更新通常观察图像上的边界图像的例子的图。
图9是观察方向设定部的结构例。
图10是观察候选区域的设定例。
图11是说明没有完成放大观察的观察候选区域的图。
图12是观察优先级和观察方向信息的例子。
图13是说明通常观察图像与放大观察图像的对应的图。
图14是观察区域位置的信息的数据结构的例子。
图15是说明在第1时刻与第2时刻之间不取得放大观察图像时的边界的移动方法的图。
图16是说明在第1时刻与第2时刻之间取得放大观察图像时的边界的移动方法的图。
图17是关注区域确定部的其它结构例。
图18是放大观察时的由用户进行的关注区域以及非关注区域的输入例。
图19（A）、图19（B）是通常观察时的由用户进行的关注区域的输入例。
具体实施方式
下面对本实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书中记载的本发明的内容进行不恰当的限定。另外，本实施方式所说明的所有结构并非都是本发明所必须的构成要件。
1.本实施方式的方法
首先，说明本实施方式的方法。本实施方式中的内窥镜图像处理装置如后所述包含具有可变更光学系统放大率的放大功能的物镜230。由此，可进行基于通常倍率的观察模式即通常观察模式和比通常观察倍率高的观察模式即放大观察模式这两种模式的观察。
在通常观察模式中取得通常观察图像，在放大观察模式中取得放大观察图像。用户（医生）采用通常观察图像进行宽范围的粗略观察或病变部的搜索等，如果发现目标区域则变更为放大观察模式，采用放大观察图像来详细地观察被摄体。然后，采用在放大观察图像中取得的被摄体的详细信息在通常观察模式下实际地进行处置（病变部的切除等）。
但是，对于现有的内窥镜图像处理装置来说，只能由用户自身来进行在放大观察图像中取得的信息和通常观察图像之间的对应。即，例如，即使在放大观察图像中发现了病变部与正常部的边界，也需要在实际进行处置（与边界对应的区域的切除等）的通常观察图像中由用户进行所发现的边界位于哪里这样的判断。因此，用户需要记忆在放大观察图像中所取得的信息，并且由自身进行与通常观察图像的对应并进行处置，所以具有为了适当地应用内窥镜图像处理装置所提示的信息而需要熟练这样的课题。
因此，本申请人提出了如下这样的内窥镜图像处理装置，通过在通常观察图像内也反映在放大观察图像中取得的病变部的边界信息并提示给用户，可顺畅地进行通常观察图像与放大观察图像的对应。
如图2所示，采用在时刻tx至tx+k之间取得通常观察图像、然后在时刻ty至ty+m之间取得放大观察图像、然后在时刻tz至tz+n之间再次取得通常观察图像的例子来说明具体的方法。将对应的处理分为进行放大观察期间的更新处理和进行通常观察期间的移动处理。
1.1更新处理
首先，在从时刻tx到tx+k的期间没有取得放大观察图像，所以不进行对应等的处理（这里，为从时刻tx开始观察的处理）。然后，在时刻ty，当开始放大观察时，使在ty至ty+m期间取得的信息反映到tx+k的通常观察图像中。这里，虽然反映放大观察结果的通常观察图像（参照通常观察图像）不限于tx+k的通常观察图像，但鉴于进行放大观察的区域包含在紧前的通常观察区域内的可能性高，希望采用ty紧前即tx+k的通常观察图像。
使放大观察图像的信息反映到通常观察图像中的方法具体地说为后述图8（A）～图8（D）这样的更新处理。作为前提，在通常观察图像x+k中进行关注区域的检测，并预先设定作为关注区域和非关注区域的边界候选的关注区域边界候选（显而易见精度比放大观察低）。然后，通过如图8（A）～图8（D）那样更新已设定的关注区域边界候选来决定边界。具体地说，当利用放大观察图像判断出在关注区域边界候选的内部存在非关注区域时，如图8（B）那样进行缩小被关注区域边界候选包围的图形面积的更新处理。另外，当利用放大观察图像判断出在关注区域边界候选的外部存在关注区域时，如图8（D）那样进行扩大被关注区域边界候选包围的图形面积的更新处理。
1.2移动处理
在放大观察结束并再次返回通常观察的时刻tz，根据已反映放大观察中的信息的图像即参照通常观察图像（x+k）的信息来设定边界。具体地说，根据tx+k与tz之间的运动信息（表示被摄体与内窥镜装置的摄像部相对地运动多少的信息），使通常观察图像x+k中的边界移动，由此成为通常观察图像z中的边界。实际上如后述的图16所示，只要通过使边界移动与放大观察图像y对应的x+k的位置和与放大观察图像y+m对应的x+k的位置之间的距离来求出z的边界的位置即可。
另外，在持续通常观察的时刻tz+1～tz+n期间，根据在通常观察图像间的运动信息使边界移动。例如，只要通过求出通常观察图像z与通常观察图像z+1之间的运动信息并根据所求出的运动信息使z的边界移动，来设定在时刻tz+1的通常观察图像z+1中的边界即可。
关于以后的处理也是同样的。如果在时刻z+n之后开始放大观察，则只要将通常观察图像z+n作为参照通常观察图像进行上述更新处理即可，此后在返回通常观察时只要进行上述移动处理即可。
以下，在第1实施方式中说明系统自动进行关注区域检测的例子，在第2实施方式中说明通过用户的输入来决定关注区域的例子。
2.第1实施方式
参照图1来说明本发明第1实施方式的内窥镜图像处理装置。本实施方式的内窥镜图像处理装置具备光源部100、插入部200、信号处理部300、输出部400和外部I/F部500。
光源部100具备白色光源110、旋转滤色器120、聚光透镜130。白色光源110发出白色光。在该白色光源110发出的白色光的光路上配置旋转滤色器120，透过特定波长。更具体地说，具备：透过一般的3原色光R、G、B的通常光滤色器和透过窄带光G2、B2的特殊光滤色器，可利用未图示的旋转滤色器切换机构来切换各个滤色器。聚光透镜130将透过该旋转滤色器120的光会聚到后述的光纤210。
插入部200为了例如能够插入到体腔而形成为细长且可弯曲。插入部200具备光纤210、照明透镜220、物镜230和摄像元件240。光纤210将在光源部100会聚的光导向插入部200的前端。照明透镜220利用该光纤210使已导向前端的光扩散后照射到观察对象。物镜230将从观察对象返回的反射光会聚到摄像元件240。另外，物镜230具有可变更光学系统的放大率的放大功能，用户可通过操作外部I/F部500来在任意的时刻变更该放大率。更具体地说，后述的控制部350通过外部I/F部500的操作来生成控制信号，该物镜230根据该控制信号变更该放大率。摄像元件240将基于检测出的反射光的模拟信号输出到后述的A/D转换部310。
信号处理部300具备A/D转换部310、图像取得部320、关注区域确定部330、边界设定部340和控制部350。将图像取得部320与关注区域确定部330、边界设定部340和输出部400连接。将关注区域确定部330与边界设定部340连接。将边界设定部340与输出部400连接。将控制部350与白色光源110、旋转滤色器120、A/D转换部310、图像取得部320、关注区域确定部330、边界设定部340、输出部400和外部I/F部500进行双向连接，并对它们进行相互控制。
A/D转换部310将从摄像元件240输出的模拟信号转换为数字信号后输出至图像取得部320。
图像取得部320根据由控制部350输出的控制信号来识别是通常光观察还是特殊光观察，根据各个观察方法对从A/D转换部310输出的数字信号进行现有的插值处理、白平衡、色转换、灰度转换等图像处理，生成通常光图像或特殊光图像。此外，还根据上述控制信号，来识别所生成的图像是在放大观察中取得的放大观察图像还是在通常观察中取得的通常观察图像。即，图像取得部320所取得的图像根据已取得该图像的观察状态，具备通常光图像或特殊光图像以及放大观察图像或通常观察图像这样的2个属性。
图2示出按照时序连续地由上述图像取得部320取得放大观察图像以及通常观察图像的情况。这里，在从开始观察的时间tx到时间tx+k为止取得通常观察图像x至通常观察图像x+k，在从时间ty到时间ty+m为止取得放大观察图像y至放大观察图像y+m。另外，在从时间tz到时间tz+n为止，由上述图像取得部320取得通常观察图像z至通常观察图像z+n，关于此情况以下说明本实施例中的各构成要件的作用。关注区域确定部330当根据上述控制部350生成的控制信号在时间ty检测到放大观察开始时，根据通常观察图像x+k的像素值从通常观察图像x+k中检测关注区域。接着，根据从放大观察图像y到放大观察图像y+m的各个放大观察图像的像素值，针对每个放大观察图像来检测关注区域。边界设定部340在基于上述控制信号检测到放大观察执行的期间，根据从通常观察图像x+k检测出的关注区域以及从放大观察图像y至放大观察图像y+m检测出的关注区域在通常观察图像x+k上设定边界图像。接着，在时间tz中，关注区域确定部330根据上述控制信号检测到放大观察结束并停止。边界设定部340当基于上述控制信号检测到放大观察结束时，根据放大率、放大观察图像y与放大观察图像y+m之间的移动量以及在通常观察图像x+k上设定的上述关注区域以及上述边界图像，在通常观察图像z上设定上述关注区域以及上述边界图像。
接着，在时间tz+1中，边界设定部340根据通常观察图像z与通常观察图像z+1之间的移动量以及在通常观察图像z上设定的上述关注区域以及上述边界图像，在通常观察图像z+1上设定上述关注区域以及上述边界图像。以后，边界设定部340在基于上述控制信号检测到通常观察执行的期间，同样在通常观察图像上设定上述关注区域以及上述边界图像。当在其以后的观察中进行放大观察时，根据在开始放大观察紧前的通常观察图像上设定的上述关注区域以及上述边界图像以及利用放大观察设定的关注区域，在放大观察后取得的通常观察图像上设定关注区域以及边界图像。
对关注区域确定部330的具体结构进行说明。图3是说明第1实施方式中的关注区域确定部330的结构的一例的框图。如图3所示，关注区域确定部330具备观察方法判定部331、放大观察时关注区域检测部332和通常观察时关注区域检测部333。由图像取得部320取得的放大观察图像输出到放大观察时关注区域检测部332。由图像取得部320取得的通常观察图像输出到观察方法判定部331和通常观察时关注区域检测部333。由控制部350生成的控制信号输出到观察方法判定部331、放大观察时关注区域检测部332和通常观察时关注区域检测部333，并控制它们。将观察方法判定部331与放大观察时关注区域检测部332和通常观察时关注区域检测部333连接。将放大观察时关注区域检测部332与边界设定部340连接。将通常观察时关注区域检测部333与边界设定部340连接。
观察方法判定部331根据上述控制信号来判定是通常光观察以及特殊光观察中的哪个观察方法。在该观察方法是通常光观察的情况下，利用上述通常观察图像的色调来进一步判定是否是色素法或染色法这样的使用药剂的观察方法。更具体地说，上述通常观察图像的色度为一定以上，将色相处于-10°（350°）～20°范围的像素数设为α，将色相处于20°～350°范围的像素数设为β，如果α>2.0×β则判定为非染色观察，如果α<2.0×β则判定为基于色素法或染色法的观察。与像素数β对应的色相范围可以是与观察中使用的药剂相应的值。
对放大观察时关注区域检测部332的具体结构进行说明。图4是说明第1实施方式中的放大观察时关注区域检测部332的结构的一例的框图。如图4所示，放大观察时关注区域检测部332具备图像分割部3321、特征量计算部3322、基准值取得部3323和特征量比较部3324。由图像取得部320取得的放大观察图像输出到图像分割部3321。由观察方法判定部331判定的观察方法输出到特征量计算部3322和基准值取得部3323。由控制部350生成的控制信号输出到图像分割部3321、特征量计算部3322、基准值取得部3323和特征量比较部3324，并控制它们。将图像分割部3321与特征量计算部3322连接。将特征量计算部3322与特征量比较部3324连接。将基准值取得部3323与特征量比较部3324连接。将特征量比较部3324与边界设定部340连接。
图像分割部3321将上述放大观察图像分割为多个块图像。例如，将尺寸是M×N的上述放大观察图像分割为在图5所示的水平方向上为4[个]、垂直方向上为4[个]的块图像（尺寸（M/4）×（N/4））。通过这样分割上述放大观察图像并按照每个块图像计算后述的特征量，来高精度地设定关注区域与非关注区域的边界。
特征量计算部3322针对由上述图像分割部3321分割的每块图像，计算与上述观察方法判定部331所判定的观察方法对应的特征量。例如，在上述观察方法是特殊光观察的情况下，在放大观察中计算基于对癌的深度诊断有用的IPCL形态的特征量。另外，在上述观察方法是通常观察的情况下，计算基于在专利文献1中记载的腺管开口分型的特征量。这里，上述观察方法根据非染色观察或者基于色素法或染色法的观察，在专利文献1的[0021]所记载的二值化处理中采用不同的阈值。
基准值取得部3323针对每种上述观察方法将癌的各种深度的代表性的上述特征量作为基准值进行记录保存，取得与观察方法对应的基准值。这里，根据在已知的病变图像中可显著地判定上述深度的病变图像来预先计算与上述观察方法对应的上述特征量并设为基准值。然后，根据上述观察方法判定部331所判定的上述观察方法来取得该基准值。
特征量比较部3324在每个上述块图像中比较上述特征量以及上述基准值并进行是否是放大观察时关注区域的判定。具体地说，计算与上述特征量以及上述基准值的差值，将该差值是预定的阈值以下的块图像判定为放大观察时关注区域。将该放大观察时关注区域输出到边界设定部340。
通常观察时关注区域检测部333利用与观察方法判定部331所判定的上述观察方法对应的方法，根据上述通常观察图像的像素值来检测上述关注区域，并针对上述通常观察图像将该关注区域设定为通常观察时关注区域。具体地说，当判定为上述观察方法是特殊光观察时，将例如全部像素的色相处于5°～35°范围且面积是一定以上的区域设定为该通常观察时关注区域。这是因为在基于特殊光的通常观察中，上述IPCL是被称为褐斑病（brownspot）的褐色区域。当判定为上述观察方法是通常光观察时，用户可以设定该通常观察时关注区域。另外，当用户不设定该通常观察时关注区域时，例如在上述通常观察图像上将像素值的R通道是阈值以上且最接近于图像中央的区域设定为该通常观察时关注区域。另外，在本实施例中，通常观察时关注区域检测部333针对上述通常观察图像始终设定该通常观察时关注区域，但也可以仅针对在根据上述控制信号检测到通常观察结束的时刻输出的通常观察图像设定该通常观察时关注区域。另外，也可以仅针对没有设定上述边界图像的通常观察图像设定该通常观察时关注区域。
对边界设定部340的具体结构进行说明。图6是说明第1实施方式中的边界设定部340的结构的一例的框图。如图6所示，边界设定部340具备观察区域位置检测部341、放大观察结果保存部342、边界候选设定部343、运动信息计算部344、放大观察结果移动部345、边界更新部346、边界移动部347和观察方向设定部348。
将由图像取得部320取得的放大观察图像输出到观察区域位置检测部341。将由图像取得部320取得的通常观察图像输出到观察区域位置检测部341和运动信息计算部344。将由关注区域确定部330检测到的放大观察时关注区域输出至放大观察结果保存部342。将由关注区域确定部330检测到的通常观察时关注区域输出至边界候选设定部343。将由控制部350生成的控制信号输出至观察区域位置检测部341、放大观察结果保存部342、边界候选设定部343、运动信息计算部344、放大观察结果移动部345、边界更新部346、边界移动部347和观察方向设定部348，并控制它们。将观察区域位置检测部341与放大观察结果保存部342和观察方向设定部348连接。将放大观察结果保存部342与运动信息计算部344、放大观察结果移动部345、边界更新部346和观察方向设定部348连接。将边界候选设定部343与边界更新部346连接。将运动信息计算部344与放大观察结果移动部345和边界移动部347连接。将放大观察结果移动部345与边界更新部346连接。将边界更新部346与边界移动部347和观察方向设定部348连接。将边界移动部347与边界候选设定部343和输出部400连接。将观察方向设定部348与输出部400连接。
观察区域位置检测部341当根据上述控制信号检测到放大观察开始时，将在紧前的时刻取得的上述通常观察图像保持为参照通常观察图像，检测根据上述控制信号检测到放大观察结束之前取得的全部上述放大观察图像分别放大了该参照通常观察图像的哪个位置。具体地说，利用公知的方法对该参照通常观察图像和根据放大率来降低析像度后的上述放大观察图像进行图像匹配，将与上述放大观察图像的中心对应的该参照通常观察图像上的座标检测为观察区域位置。这里，当在上述放大观察图像紧前取得的图像也是放大观察图像的情况下（分别与图2的放大观察图像y以及在时刻ty+1取得的放大观察图像y+1相对应），使在放大观察图像y中检测出的观察区域位置与按照上述方法降低析像度后的放大观察图像y+1的中心一致后开始图像匹配，并检测该参照通常观察图像中的放大观察图像y+1的观察区域位置。另一方面，当在上述放大观察图像紧前取得的图像是通常观察图像时（分别与图2的通常观察图像x+k以及放大观察图像y相对应），使该参照通常观察图像的中心与按照上述方法降低析像度后的放大观察图像y的中心一致后开始图像匹配，并检测该参照通常观察图像中的放大观察图像y的观察区域位置。观察区域位置检测部341当检测到放大观察开始时将该参照通常观察图像输出至放大观察结果保存部342。另外，将在检测到放大观察结束之前检测出的该观察区域位置输出至放大观察结果保存部342。另外，将在放大观察开始时检测到的该观察区域位置以及在放大观察结束时检测到的该观察区域位置分别作为放大开始位置以及放大结束位置输出至放大观察结果保存部342。
放大观察结果保存部342保存由上述观察区域位置检测部341输出的与在上述参照通常观察图像上对哪个区域进行了放大观察以及放大观察结果中哪个区域是上述关注区域相关的信息。具体地说，将以各个上述观察区域位置为中心按照放大率Z使上述放大观察图像中的上述放大观察时关注区域缩小的区域作为关注区域，将以各个上述观察区域位置为中心的（M/Z）×（N/Z）的区域作为放大观察完成区域，并将它们保存为放大观察结果。其中，图像的尺寸是M×N。另外，在输出上述放大结束位置之前保存上述观察区域位置检测部341所输出的上述放大开始位置，当输出上述放大结束位置时与上述放大开始位置一起输出到运动信息计算部344。
边界候选设定部343当利用后述的边界移动部347在上述通常观察图像上移动上述边界图像时（即，设定已经反映了放大观察结果的边界时），将上述边界图像设定为边界图像候选。当不是上述这样的情况时，将上述通常观察时关注区域的轮廓设定为边界图像候选。更具体地说，如图7（A）所示，首先检测上述通常观察时关注区域的轮廓线。接着，根据构成轮廓线的像素数Nc来决定控制点的个数Np。这里，成为Np=Nc/10。接着，如图7（B）所示，从构成轮廓线的像素中以等间隔提取Np个像素作为控制点。然后如图7（C）所示，将利用线段连结控制点之间而得到的Np角形的区域设定为边界图像候选。
运动信息计算部344计算2个上述通常观察图像的移动量。首先，以前面在图2中记述的通常观察图像x+k以及通常观察图像z为例，对在取得2个上述通常观察图像的时刻间仅进行放大观察的情况进行说明。在此情况下，将观察区域位置Py与观察区域位置Py+m的差值作为移动量，所述观察区域位置Py从上述放大观察结果保存部342中作为放大开始位置输出，根据前面图2叙述的放大观察图像y由上述观察区域位置检测部341检测，所述观察区域位置Py+m从上述放大观察结果保存部342中作为放大结束位置输出，根据前面图2叙述的放大观察图像y+m由上述观察区域位置检测部341检测。接着，以前面图2叙述的通常观察图像z以及在时刻tz+1取得的通常观察图像z+1为例，说明在取得2个上述通常观察图像的时刻间仅进行通常观察的情况。根据通常观察图像z以及通常观察图像z+1，利用公知的方法例如图像匹配来计算移动量。接着，对在已取得用于计算移动量的2个通常观察图像的时刻间双方都进行放大观察以及通常观察的情况进行说明。在此情况下，将在用于计算移动量的2个上述通常观察图像之间取得的图像分解为仅放大观察图像、仅通常观察图像的区间，对根据上述情况计算出的各个区间中的移动量进行总和计算。
放大观察结果移动部345在通常观察中根据上述移动量使上述放大观察结果移动。具体地说，使作为上述放大观察结果保存的上述放大观察完成区域以及上述关注区域根据上述移动量进行移动。这样，在放大观察之后进行通常观察，并可以利用再次进行放大观察时之前进行的放大观察的结果。
边界更新部346在放大观察中，首先根据上述放大观察结果保存部342所保存的上述放大观察结果、由上述放大观察结果移动部345输出的上述放大观察结果以及由上述边界候选设定部343设定的上述边界图像候选来设定边界图像。具体地说，根据构成上述边界图像候选的控制点的附近是否是上述关注区域来更新上述边界图像候选。对更新的具体方法进行说明。如上述那样利用Np个控制点表示边界图像候选。这里，将各个控制点作为2维矢量pi。其中，pi-1和pi、pi和pi+1是邻接的控制点，i=0～Np-1，p0=pNp。另外，针对上述边界图像的轮廓以顺时针增加的方式分配控制点的后缀i。当前，利用以下的式子将控制点pi更新为pi’。
p i &prime; = p i + &alpha;T ( p i + 1 - p i - 1 ) | p i + 1 - p i - 1 | T = 0 - 1 1 0 p i = x i y u . . . . . ( 1 )
α是表示控制点更新的大小以及方向的系数。如果α的绝对值大，则意味着大幅更新控制点。另外，如果α>0则向上述边界图像内部的面积增大的方向更新控制点，如果α<0则向上述边界图像内部的面积减少的方向更新控制点。这里，成为α=±10。另外，当利用1个来更新控制点时，以全部邻接的控制点之间的距离为等间隔的方式更新全部控制点。
接着，对更新上述边界图像候选或上述边界图像的情况分别进行说明。如图8（A）所示，当与上述边界图像候选内接的上述观察区域位置不是上述放大观察时关注区域时，设为α=-10，使上述边界图像候选的内部面积减少，并如图8（B）所示更新上述观察区域位置附近的上述边界图像候选，成为上述边界图像。另一方面，如图8（C）所示，当与上述边界图像候选外接的上述观察区域位置是上述放大观察时关注区域时，设为α=+10，使上述边界图像候选的内部面积增大，并如图8（D）所示更新上述观察区域位置附近的上述边界图像候选，设为上述边界图像。接着，同样根据上述放大观察结果来更新该边界图像。
边界移动部347在通常观察中根据由上述运动信息计算部344计算出的上述移动量，移动上述边界更新部346所更新的上述边界图像。具体地说，使构成上述边界图像的控制点座标根据上述移动量进行移动。这样，在通常观察中即使内窥镜移动，也能够跟踪利用放大观察设定的上述边界图像。然后，通过内窥镜的移动将全部上述控制点座标移动至上述通常观察图像外，当全部上述控制点座标从上述通常观察图像离开预定的距离以上时，边界移动部347删除上述边界图像。
观察方向设定部348在根据上述控制信号检测到放大观察开始时启动，在进行放大观察的期间，设定与接着应该观察的方向相关的信息并输出至输出部400。对观察方向设定部348的具体结构进行说明。图9是说明第1实施方式中的观察方向设定部348的结构的一例的框图。如图9所示，观察方向设定部348具备观察候选区域设定部3481、观察优先级设定部3482、观察区域选择部3483和观察方向信息输出部3484。
将上述边界更新部346所更新的上述边界图像输出至观察候选区域设定部3481。将上述放大观察结果保存部342所保存的上述放大观察结果输出至观察优先级设定部3482。将上述观察区域位置检测部341所检测到的上述观察区域位置输出至观察区域选择部3483和观察方向信息输出部3484。将由控制部350生成的控制信号输出至观察候选区域设定部3481、观察优先级设定部3482、观察区域选择部3483和观察方向信息输出部3484，并控制它们。将观察候选区域设定部3481与观察优先级设定部3482和观察区域选择部3483连接。将观察优先级设定部3482与观察区域选择部3483连接。将观察区域选择部3483与观察方向信息输出部3484连接。将观察方向信息输出部3484与输出部400连接。
观察候选区域设定部3481将在上述边界图像上应该观察的区域的候选设定为观察候选区域。更具体地说，在上述边界图像上以一定的间隔设定观察候选区域。例如图10所示，将构成上述边界图像的控制点作为观察候选区域的中心。当将该观察候选区域的尺寸设为纵LM、横LN时，LM和LN根据以下的式子由上述块图像的尺寸M、N以及上述放大率Z来决定。
LM=M/Z·····（2）
LN=N/Z·····（3）
另外，这里虽然取观察候选区域的形状为矩形，但也可以取为圆或椭圆等形状。
观察优先级设定部3482根据上述边界图像以及上述放大观察结果对上述观察候选区域设定应该观察的优先级。更具体地说，根据上述放大观察结果所保存的上述放大观察完成区域来判定是否对上述观察候选区域分别进行了放大观察，对没有进行放大观察的观察候选区域设定上述观察优先级。因为判定为已进行放大观察的观察候选区域不需要进一步的放大观察，所以不设定上述观察优先级。例如图11所示，在上述观察候选区域中其面积仅有不足30%的包含于上述放大观察完成区域内的上述观察候选区域被判定为没有进行放大观察，设定上述观察优先级。在具有多个（N个）没有进行放大观察的观察候选区域时，将从上述放大观察完成区域到各个观察候选区域的最小距离作为第1观察优先级判别指标，从第1该观察优先级判别指标大的观察候选区域开始依次将第1观察优先级设定为1、2、3…N。上述第1观察优先级表示值越小越是应该优先观察的观察候选区域。当存在多个第1观察优先级判别指标相等的观察候选区域时，进一步增加邻接的观察候选区域中的上述第1观察优先级判别指标后进行比较，将观察优先级判别指标更大的上述观察候选区域的上述第1观察优先级设定为上位。
观察区域选择部3483在放大观察中选择接下来应该观察的上述观察候选区域。更具体地说，选择上述第1观察优先级高且与当前正在进行放大观察的上述观察区域位置近的上述观察候选区域。例如，上述观察候选区域存在N个，当将上述第1观察优先级分配到1～N时，针对上述观察候选区域从上述观察区域位置到各个观察候选区域中心的距离小的上述观察候选区域开始依次将第2观察优先级分配到1～N，并选择上述第1观察优先级以及上述第2观察优先级之和最小的上述观察候选区域。例如，当将第1观察优先级设为xi（xi=1～N，i：识别观察候选区域的后缀，i=1～N）、将第2观察优先级设为yi（yi=1～N，i：识别观察候选区域的后缀，i=1～N）时，按照各个观察候选区域来计算xi+yi，并选择其值最小的观察候选区域。
如图12所示，观察方向信息输出部3484根据由上述观察区域选择部3483选择的上述观察候选区域的位置以及当前正在进行放大观察的上述观察区域位置，输出与接下来应该观察的方向相关的方向信息。具体地说，当将所选择的观察候选区域的位置以及当前正在进行放大观察的上述观察区域位置分别设为2维矢量s、t时，用以下的式子表示应该观察的方向d。
d = s - t | s - t | . . . . . ( 4 )
例如，向输出部400输出与方向d对应的箭头作为方向信息。另外，也可以将箭头的大小与所选择的观察候选区域的位置和当前正在进行放大观察的上述观察区域位置之间的距离|s-t|相对应。另外，也可以根据该距离使箭头的颜色浓度变化。例如，当该距离是一定以上时以最浓的浓度显示箭头，随着接近于该选择的观察候选区域，颜色逐渐变淡，当对该选择的观察候选区域进行放大观察时结束箭头的显示。然后当利用上述观察区域选择部3483选择下一观察候选区域时，显示表示向哪里移动的方向信息的箭头。并且，当没有应该放大观察的观察候选区域时，将此情况输出到输出部400。
将控制部350与白色光源110、旋转滤色器120、A/D转换部310、图像取得部320、关注区域确定部330、边界设定部340、输出部400和外部I/F部500连接，并输出控制它们的控制信号。
输出部400输出由上述图像取得部320取得的上述通常观察图像或上述放大观察图像。例如，输出部400是内窥镜监视器等图像显示装置。然后，当根据上述控制信号来检测通常观察时，在上述通常观察图像上显示由上述边界设定部340设定的上述边界图像。例如，在上述通常观察图像上显示上述边界图像的轮廓。另外，也可以将上述通常观察图像的内部区域作为半透明的掩模显示到上述通常观察图像上。另外，当根据上述控制信号检测放大观察时，在上述内窥镜监视器上显示由上述边界设定部340设定的上述方向信息。另外，当从上述边界设定部340输出没有应该放大观察的观察候选区域的情况时，在该内窥镜监视器上例如通过文字信息来显示该情况。
外部I/F部500是用于进行用户对该图像处理装置的输入等的接口，构成为包括用于接通/断开电源的电源开关、用于开始摄影操作的快门按钮、用于切换摄影模式和其他各种模式的模式切换按钮等。
在以上的本实施方式中，如图1所示，内窥镜图像处理装置包含：图像取得部320，其取得通常观察图像和放大观察图像；关注区域确定部330，其在放大观察图像上确定关注区域；以及边界设定部340，其根据放大观察图像的像素值，检测与在放大观察图像上确定的关注区域的边界对应的通常观察图像上的边界位置，并在检测出的边界位置上设定边界图像。
这里，所谓通常观察图像就是在通常观察倍率的观察中取得的图像，所谓放大观察图像就是在比通常观察倍率高倍率的观察中取得的图像。具体地说，所谓放大观察图像就是将通常观察图像内的一部分即观察区域内的被摄体像放大后的图像。另外，所谓关注区域就是对于用户来说观察的优先顺序比其它区域相对高的区域，例如是指在用户是医生希望治疗的情况下拍摄有粘膜部或病变部的区域。另外，作为其它例，当医生希望观察的对象是泡或便时，关注区域为拍摄有该泡部分或便部分的区域。即，用户应该关注的对象根据其观察目的而不同，不过总而言之，在该观察时，对于用户来说观察的优先顺序比其它区域相对高的区域成为关注区域。另外，所谓边界图像就是表示关注区域的边界的图像。在本实施方式中，通过在通常观察图像上设定边界图像，来对用户明确地提示边界的位置。但是，边界的提示方法不仅限于边界图像的设定。
由此，在可取得通常观察图像以及放大观察图像的内窥镜图像处理装置中，可从放大观察图像中确定关注区域，并在通常观察图像上将已确定的关注区域的边界设定为边界图像。由此，能够在通常观察图像上自动地反映根据放大观察图像取得的信息（例如关注区域的边界位置的信息等）。因此，不需要由用户自身来进行放大观察图像与通常观察图像的对应，所以能够减轻用户的负担并进行顺畅的诊断处置。在被摄体的详细观察（例如高精度地确定关注区域等）中使用放大观察图像，在实际的处置（病变部的切除等）中采用通常观察图像。因此，鉴于用户需要适当地切换放大观察和通常观察并且进行诊断处置的情况，只要减轻通常观察图像与放大观察图像对应的负担就能够在使用系统方面大大减轻用户的负担。
另外，边界设定部340可根据放大观察图像的像素值和通常观察图像的像素值来检测通常观察图像上的边界位置。
由此，不仅仅是放大观察图像的像素值，还可以采用通常观察图像的像素值来检测通常观察图像中的边界位置，所以能够实现精度的提高等。
另外，边界设定部340如图6所示包含观察区域位置检测部341，该观察区域位置检测部341根据放大观察图像的像素值和通常观察图像的像素值来检测通常观察图像上的区域即观察区域的位置。并且，边界设定部340可根据放大观察图像的像素值和观察区域的像素值在观察区域中检测边界的位置。具体地说，观察区域位置检测部341例如可通过根据放大观察图像的像素值和通常观察图像的像素值进行匹配处理来检测观察区域的位置。
这里，所谓观察区域就是与在放大观察图像中观察的区域对应的通常观察图像上的区域。
由此，可进行在放大观察图像中观察的区域在通常观察图像上处于哪个位置这样的对应。当根据通常观察图像的像素值和放大观察图像的像素值进行了图13这样的对应时，在通常观察图像上用区域填充表示的区域为观察区域。作为观察区域的位置信息，例如图14所示，只要保持观察区域的基准点座标（例如将通常观察图像的左上作为原点的图13这样的座标系中的座标）和观察区域的大小即可。作为基准点例如可考虑观察区域的中央点或左上点等。另外，可取代大小，保持放大观察中的倍率信息。当通常观察是1倍的倍率、放大观察是Z倍的倍率、通常观察图像为（M、N）的大小时，观察区域的大小是（M/Z、N/Z）（这里，通常观察图像与放大观察图像的纵横比相同）。
这里，例如只要通过匹配处理进行通常观察图像与放大观察图像的对应即可。具体地说，如上所述可根据放大观察的倍率Z来知晓观察区域的大小，所以只要在使放大观察图像缩小至1/Z的图像与通常观察图像之间进行块匹配等匹配处理即可。
另外，如图6所示，边界设定部340可包含：运动信息计算部344，其计算表示在通常观察图像中检测到的边界的运动的运动信息；以及边界移动部347，其根据计算出的运动信息使边界图像移动。
由此，在计算与通过摄像部和被摄体的相对移动等而产生的边界运动相对应的运动信息的方面，能够使边界（边界图像）与运动信息相应地进行移动。因此，即使作为观察对象的被摄体在图像内进行移动，也能够使边界追随着移动而进行移动，所以可在适当的位置上显示边界。
另外，图像取得部320在第1时刻取得第1通常观察图像，在第2时刻取得第2通常观察图像。然后，边界设定部340检测第1通常观察图像上的边界位置并设定边界图像。运动信息计算部344计算已设定的边界图像的表示第1时刻与第2时刻之间的移动量的运动信息。在此基础上，边界移动部347根据计算出的运动信息来求第2通常观察图像中的边界位置，并在求出的位置上设定边界图像。
由此，如图15所示，当在第1时刻与第2时刻取得通常观察图像时，计算与第1时刻和第2时刻之间的边界移动量对应的运动信息。然后，根据计算出的运动信息使在第1时刻的边界进行移动，由此即使在第2时刻也能够确定边界的位置。由此，即使在不同的2个时刻取得通常观察图像时，也能够根据在1个时刻的边界图像和运动信息来确定在另一时刻的边界位置。
另外，运动信息计算部344可根据第1通常观察图像和第2通常观察图像来计算运动信息。具体地说，可根据第1通常观察图像与第2通常观察图像之间的运动矢量来计算运动信息。
由此，可根据第1通常观察图像和第2通常观察图像来计算第1通常观察图像与第2通常观察图像之间的运动信息。具体地说，例如可适用于在第1时刻与第2时刻之间不取得放大观察图像的情况等。更具体地说，例如可适用于第1时刻和第2时刻是相邻的时刻的情况等（当然不限于相邻的时刻）。
另外，图像取得部320在第1时刻与第2时刻之间可连续地取得放大观察图像。然后，运动信息计算部344可根据与放大观察图像内的基准点对应的第1通常观察图像上的对应基准点的运动来计算运动信息。具体地说，例如，可根据与放大观察图像中的最初取得的放大观察图像的基准点对应的对应基准点位置和与放大观察图像中的最后取得的放大观察图像的基准点对应的对应基准点位置来计算运动信息。
由此，可进行如图16所示这样的处理。在图16中，基准点为放大观察图像的中央点，但不仅限于此。所谓对应基准点就是图16所示的A1或A2。可根据与最初的放大观察图像对应的对应基准点A1和与最后的放大观察图像对应的对应基准点A2计算运动信息。在图16的例子中可知摄像部向右下从A1移动到A2，所以边界向左上移动对应的运动量。由此，即使是在通常观察图像之间取得放大观察图像这样的情况，也能够适当地求出通常观察图像之间的运动信息。在图16的例子中，第1通常观察图像与第2通常观察图像之间在时间上间隔大，所以若直接根据2个通常观察图像求出运动量，将在精度方面存在问题。但是，由于在通常观察图像与放大观察图像之间难以求出运动量，因而无法在相邻的时刻之间计算运动量并求和。即使在这样的情况下，也能够通过采用最初与最后的放大观察图像求出运动量来解决问题。
另外，如图6所示，边界设定部340包含边界更新部346，该边界更新部346根据放大观察图像中的关注区域的信息来更新通常观察图像中的边界图像的设定位置。
由此，可采用放大观察图像的信息来更新在通常观察图像上设定的边界图像，所以能够进行放大观察图像与通常观察图像的边界的对应。
另外，边界更新部346进行第1判定处理，关注区域确定部330进行第2判定处理。然后，边界更新部346可根据第1判定处理和第2判定处理，来更新与在放大观察图像中观察到的区域对应的通常观察图像上的区域即观察区域的边界图像的设定位置。
这里，所谓第1判定处理就是判定观察区域是否与在通常观察图像上设定的边界图像接近的处理。另外，所谓第2判定处理就是判定观察区域是否是关注区域的处理。具体地说，关注区域确定部330可根据与观察区域对应的放大观察图像内的像素值来判定观察区域是否是关注区域。
具体地说，基于第1判定处理与第2判定处理的边界图像的更新可以是例如以下这样的处理。当根据第1判定处理判定为观察区域与边界图像接近且根据第2判定处理判定为观察区域是关注区域时，如图8（D）所示，更新边界图像的设定位置，使由边界图像包围而形成的图形面积变大。另外，当根据第1判定处理判定为观察区域与边界图像接近且根据第2判定处理判定为观察区域是非关注区域时，如图8（B）所示，更新边界图像的设定位置，使由边界图像包围而形成的图形面积变小。
由此，可根据与在通常观察图像中设定的边界图像接近（只要接近即可，并非必须相接）的放大观察图像的信息，来更新边界图像的设定位置。由此，能够在通常观察图像上适当地反映放大观察的详细被摄体信息，能够顺畅地进行用户（医生）的诊断处置行为。
另外，作为第1判定处理，边界更新部346将在通常观察图像上设定的边界图像上的点选择为控制点，判定观察区域和控制点是否接近。然后，作为第2判定处理，关注区域确定部330判定观察区域是否是关注区域。边界更新部346根据第1判定处理以及第2判定处理来更新与观察区域邻接的控制点的位置，由此能够更新边界图像的设定位置。
由此，如图8（A）～图8（D）所示，可更新边界图像的设定位置。在图8中，用×表示的点相当于控制点。控制点如图7（B）所示是在关注区域边界上设定为等间隔的点。不过，控制点的间隔不仅限于等间隔。这样，可利用不是连续边界而是离散的控制点的更新来进行边界图像的更新，由此能够削减计算量，并能够使处理变得简单。
另外，如图9所示，内窥镜图像处理装置可包含：观察候选区域设定部3481，其在通常观察图像上设定多个作为观察区域候选的区域即观察候选区域；观察优先级设定部3482，其针对所设定的每个观察候选区域来设定表示放大观察的优先级的观察优先级；以及观察区域选择部3483，其根据所设定的观察优先级来选择接下来应该观察的观察区域。
这里，例如图10那样地设定观察候选区域。在图10的例子中，在与控制点对应的位置上设定观察候选区域，但不仅限于此。
由此，在设定了作为观察区域（与利用放大观察进行观察的区域对应的通常观察图像上的区域）候选的观察候选区域之后，设定观察优先级，并能够选择接下来应该观察的区域。由此，可通过适当地设定观察优先级，在观察已选择的区域时能够高效率地观察关注区域整体等。
另外，观察优先级设定部3482从表示已完成放大观察的范围的放大观察完成区域中根据到达观察候选区域的距离信息来设定第1观察优先级。另外，观察优先级设定部3482从表示在当前时刻的观察地点的观察区域中根据到达观察候选区域的距离信息来设定第2观察优先级。
由此，如图12那样，在设定当前时刻的观察区域、观察候选区域、放大观察完成区域时，如图12的B1那样可将来自放大观察完成区域的距离信息作为第1观察优先级，如图12的B2那样将来自观察区域的距离信息作为第2观察优先级。由此，例如可通过进行与放大观察完成区域的距离信息越大第1观察优先级越高、与观察区域的距离信息越小第2观察优先级越高这样的设定，将观察候选区域所占的没有完成放大观察的区域大且接近于当前观察地点的区域选择为接下来的观察区域。即，可优先地观察放大观察不充分且接近于当前地点的区域，因此能够高效率地观察关注区域整体等。
另外，如图12所示，内窥镜图像处理装置可包含观察方向信息输出部3484，该观察方向信息输出部3484输出表示从观察区域向所选择的观察候选区域的方向的方向信息。
由此，如图12那样，可将从当前观察地点（观察区域）向所选择的观察候选区域的方向信息作为例如箭头等方向信息输出。从而，可对用户明确地提示接下来应该观察的区域。
另外，关注区域确定部330根据放大观察图像内的像素的像素值来确定关注区域。具体地说，可根据放大观察图像内的像素的像素值和作为关注区域的检测基准的基准值来确定关注区域。
由此，可根据放大观察图像内的像素的像素值来确定关注区域，所以可利用系统自动地确定关注区域。
另外，如图3所示，关注区域确定部330包含判定放大观察图像的观察方法的观察方法判定部331。并且，关注区域确定部330可根据已判定的观察方法来设定基准值。
这里，观察方法可包含例如特殊光观察。
由此，可根据观察方法来适当地设定基准值，并能够提高关注区域的确定精度。
另外，如图4所示，关注区域确定部330可包含特征量计算部3322，该特征量计算部3322根据放大观察图像内的像素的像素值来计算作为与基准值进行比较的比较对象的特征量。然后，关注区域确定部330根据特征量与基准值的比较结果来确定关注区域。
由此，可根据放大观察图像内的像素的像素值来计算特征量。因为不直接采用像素的像素值，而是在关注区域的情况下采用表示特征值的特征量，所以能够提高关注区域的确定精度。
另外，如图4所示，关注区域确定部330可包含将放大观察图像分割为多个块的图像分割部3321。然后，特征量计算部3322针对每个块来计算特征量，关注区域确定部330可针对每个块来比较特征量和基准值，由此能够确定关注区域。
由此，在将放大观察图像分割为多个块之后，针对每个块来计算特征量并与基准值进行比较。由此，能够针对每个块来确定关注区域，所以可提高关注区域确定的精度。
另外，本实施方式的方法涉及使计算机作为以下的部件发挥功能的程序：图像取得部320，其取得通常观察图像和放大观察图像；关注区域确定部330，其在放大观察图像上确定关注区域；边界设定部340，其根据放大观察图像的像素值，来检测与在放大观察图像上确定的关注区域的边界对应的通常观察图像上的边界位置，并在检测到的边界位置上设定边界图像。
由此，本实施方式不仅限于如摄像装置或内窥镜系统那样取得图像并在系统内进行图像处理的设备，例如，还可以适用于首先存储图像数据、然后对所存储的图像数据利用PC等计算机系统进行软件处理的设备。并且在信息存储介质中记录上述程序。这里，作为信息记录介质能够假定DVD或CD等光盘、光磁盘、硬盘（HDD）、非易失性存储器或RAM等存储器之类的可利用信息处理装置进行读取的各种记录介质。
3.第2实施方式
除了关注区域确定部330以外与第1实施方式相同。对第2实施方式中的关注区域确定部330的具体结构进行说明。图17是说明第2实施方式中的关注区域确定部330的结构的一例的框图。如图那样，关注区域确定部330具备放大观察时关注区域受理部334和通常观察时关注区域受理部335。
将用户利用外部I/F部500指定的上述放大观察时关注区域作为放大观察时指定关注区域输出至放大观察时关注区域受理部334。将用户利用外部I/F部500指定的上述通常观察时关注区域作为通常观察时指定关注区域输出至通常观察时关注区域受理部335。将放大观察时关注区域受理部334与边界设定部340连接。将通常观察时关注区域受理部335与边界设定部340连接。
放大观察时关注区域受理部334受理用户所指定的上述放大观察时关注区域作为放大观察时指定关注区域。例如，外部I/F部500包含内窥镜监视器所具备的触摸面板，用户可通过在该触摸面板上利用触摸笔接触在放大观察时认为是上述放大观察时关注区域的区域，来将上述放大观察时关注区域作为放大观察时指定关注区域输入。另外，用户输入放大观察时指定关注区域的外部I/F部500可以是检测用户视线的眼跟踪装置或鼠标。例如，作为放大观察时指定关注区域的输入方法，如图18那样当用户将关注区域输入为×、将非关注区域输入为○时，设定放大观察时关注区域。另外，用户可通过输入关注区域与非关注区域的边界，来进行放大观察时指定关注区域的输入。
通常观察时关注区域受理部335受理用户所指定的上述通常观察时关注区域作为通常观察时指定关注区域。例如，外部I/F部500包含内窥镜监视器所具备的触摸面板，用户可通过在该触摸面板上利用触摸笔接触在通常观察时认为是上述通常观察时关注区域的区域，来将上述通常观察时关注区域作为通常观察时指定关注区域输入。另外，用户输入通常观察时指定关注区域的外部I/F部500可以是检测用户视线的眼跟踪装置或鼠标。例如，用户如图19（A）那样输入上述通常观察时指定关注区域。在所输入的通常观察时指定关注区域是开曲线时进行校正，使通常观察时指定关注区域成为闭曲线。具体地说，首先在构成通常观察时指定关注区域的开曲线上以一定间隔设定控制点。其中，设定为控制点上必须包含开曲线的端点。接着如图19（B）那样，从开曲线的端点以及与端点邻接的控制点利用样条插值来对控制点进行插值，将形成闭曲线的内部区域作为通常观察时关注区域。
在以上的本实施方式中，关注区域确定部330从用户处受理用于确定关注区域的信息即关注区域确定信息的输入，根据所受理的关注区域确定信息来确定关注区域。
由此，不限于系统自动检测关注区域的方式，可由用户以手动的方式确定关注区域。
以上对应用了本发明的2个实施方式1～2进行了说明，但本发明不直接限定于各实施方式1～2，在实施阶段，可以在不脱离发明主旨的范围内对构成要素进行变形而具体化。另外，通过适当组合上述各实施方式1～2所公开的多个构成要素，能形成各种发明。例如可以从各实施方式1～2所记载的所有构成要素中删除掉某些构成要素。进而，还可以适当组合不同实施方式中所说明的构成要素。这样，能够在不脱离发明主旨的范围内实现各种变形和应用。
标号说明
100光源部，110白色光源，120旋转滤色器，130聚光透镜，200插入部，210光纤，220照明透镜，230物镜，240摄像元件，300信号处理部，310A/D转换部，320图像取得部，330关注区域确定部，331观察方法判定部，332放大观察时关注区域检测部，333通常观察时关注区域检测部，334放大观察时关注区域受理部，335通常观察时关注区域受理部，340边界设定部，341观察区域位置检测部，342放大观察结果保存部，343边界候选设定部，344运动信息计算部，345放大观察结果移动部，346边界更新部，347边界移动部，348观察方向设定部，350控制部，400输出部，500外部I/F部，3321图像分割部，3322特征量计算部，3323基准值取得部，3324特征量比较部，3481观察候选区域设定部，3482观察优先级设定部，3483观察区域选择部，3484观察方向信息输出部

Claims (28)

1.一种内窥镜图像处理装置，其特征在于，包含：
图像取得部，其取得包含被摄体像的图像作为通常观察图像，取得使作为所述通常观察图像内的一部分的观察区域内的被摄体像放大后的图像作为放大观察图像；
关注区域确定部，其在所述放大观察图像上确定应该关注的区域即关注区域；以及
边界设定部，其根据所述放大观察图像内的像素值，检测与所确定的所述放大观察图像上的关注区域的边界对应的所述通常观察图像上的边界的位置，并在检测到的所述通常观察图像上的边界的位置设定表示是所述关注区域的边界的边界图像。
2.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
所述边界设定部根据所述放大观察图像内的像素值和所述通常观察图像内的像素值来检测所述通常观察图像上的边界的位置。
3.根据权利要求2所述的内窥镜图像处理装置，其特征在于，
所述边界设定部包含观察区域位置检测部，该观察区域位置检测部根据所述放大观察图像内的像素值和所述通常观察图像内的像素值，在所述通常观察图像上检测与利用所述放大观察图像观察的区域对应的所述通常观察图像上的区域即所述观察区域的位置，
所述边界设定部根据所述放大观察图像内的像素值和所述观察区域内的像素值在所述观察区域中检测所述边界的位置。
4.根据权利要求3所述的内窥镜图像处理装置，其特征在于，
所述观察区域位置检测部通过根据所述放大图像内的像素值和所述通常观察图像内的像素值进行匹配处理，来在所述通常观察图像上检测所述观察区域。
5.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
所述边界设定部包含：
运动信息计算部，其计算表示在所述通常观察图像上检测到的所述边界的运动的运动信息；以及
边界移动部，其根据算出的所述边界的所述运动信息来使在所述边界的位置上设定的所述边界图像移动。
6.根据权利要求5所述的内窥镜图像处理装置，其特征在于，
所述图像取得部在第1时刻取得第1通常观察图像，并且在第2时刻取得第2通常观察图像，
所述边界设定部检测所述第1通常观察图像上的边界的位置，在检测到的所述边界的位置设定所述边界图像，
所述运动信息计算部计算所述运动信息，该运动信息是表示在所述第1通常观察图像上检测到的所述边界的所述第1时刻与所述第2时刻之间的移动量的信息，
所述边界移动部根据计算出的所述运动信息，来求出与在所述第1通常观察图像上检测到的所述边界的位置对应的所述第2通常观察图像上的所述边界的位置，并针对所求出的所述边界的位置设定所述边界图像。
7.根据权利要求6所述的内窥镜图像处理装置，其特征在于，
所述运动信息计算部根据所述第1通常观察图像以及所述第2通常观察图像来计算所述运动信息。
8.根据权利要求7所述的内窥镜图像处理装置，其特征在于，
所述运动信息计算部根据所述第1通常观察图像以及所述第2通常观察图像之间的运动矢量来计算所述运动信息。
9.根据权利要求6所述的内窥镜图像处理装置，其特征在于，
所述图像取得部在第1时刻与第2时刻之间连续地取得与使作为所述第1通常观察图像内的一部分的所述观察区域内的被摄体像放大后的图像对应的放大观察图像，
所述运动信息计算部根据与所述放大观察图像内的基准点对应的所述第1通常观察图像上的对应基准点的运动来计算所述边界的运动信息。
10.根据权利要求9所述的内窥镜图像处理装置，其特征在于，
所述运动信息计算部根据与在连续取得的所述放大观察图像中的最初取得的放大观察图像内的基准点对应的所述第1通常观察图像上的对应基准点的位置和与最后取得的放大观察图像内的基准点对应的所述第1通常观察图像上的对应基准点的位置，来计算所述边界的所述运动信息。
11.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
所述边界设定部包含边界更新部，该边界更新部根据所述放大观察图像中的所述关注区域的信息来更新所述通常观察图像中的所述边界图像的设定位置。
12.根据权利要求11所述的内窥镜图像处理装置，其特征在于，
所述边界更新部判定与在所述放大观察图像中观察的区域对应的所述通常观察图像上的区域即所述观察区域是否接近于在所述通常观察图像上设定的所述边界图像，来作为第1判定处理，
所述关注区域确定部判定所述观察区域是否是关注区域，来作为第2判定处理，
所述边界更新部根据所述第1判定处理的结果以及所述第2判定处理的结果，在所述观察区域中更新所述边界图像的设定位置。
13.根据权利要求12所述的内窥镜图像处理装置，其特征在于，
所述关注区域确定部根据与所述观察区域对应的所述放大观察图像内的像素值，来判定所述观察区域是否是关注区域。
14.根据权利要求12所述的内窥镜图像处理装置，其特征在于，
所述边界更新部在通过所述第1判定处理判定为所述观察区域与所述边界图像接近且通过所述第2判定处理判定为所述观察区域是关注区域时，更新所述边界图像的设定位置，使被所设定的所述边界图像包围而形成的图形的面积变大。
15.根据权利要求12所述的内窥镜图像处理装置，其特征在于，
所述边界更新部在通过所述第1判定处理判定为所述观察区域与所述边界图像接近且通过所述第2判定处理判定为所述观察区域不是关注区域时，更新所述边界图像的设定位置，使被所设定的所述边界图像包围而形成的图形的面积变小。
16.根据权利要求12所述的内窥镜图像处理装置，其特征在于，
所述边界更新部选择在所述通常观察图像上设定的边界图像上的点作为控制点，判定所述观察区域与所述控制点是否接近，来作为所述第1判定处理，
所述关注区域确定部判定所述观察区域是否是关注区域，作为所述第2判定处理，
所述边界更新部根据所述第1判定处理的结果以及第2判定处理的结果对与所述观察区域邻接的控制点的位置进行更新，由此来更新边界图像的设定位置。
17.根据权利要求1所述的内窥镜图像处理装置，其特征在于，包含：
观察候选区域设定部，其在所述通常观察图像上设定多个观察候选区域，该观察候选区域是作为所述观察区域的候选的区域；
观察优先级设定部，其针对所设定的每个所述观察候选区域来设定表示所述观察候选区域的放大观察的优先级的观察优先级；以及
观察区域选择部，其根据所设定的所述观察优先级，来选择接下来应该观察的观察区域。
18.根据权利要求17所述的内窥镜图像处理装置，其特征在于，
所述观察优先级设定部计算在所述通常观察图像上从表示已完成放大观察的范围的放大观察完成区域到所设定的所述观察候选区域的位置的距离信息，并根据所计算出的所述距离信息来设定第1观察优先级作为所述观察优先级。
19.根据权利要求17所述的内窥镜图像处理装置，其特征在于，
所述观察优先级设定部计算所述通常观察图像上的从表示当前时刻的观察地点的所述观察区域到所设定的所述观察候选区域的位置的距离信息，并根据所计算出的所述距离信息来设定第2观察优先级作为所述观察优先级。
20.根据权利要求17所述的内窥镜图像处理装置，其特征在于，
包含观察方向信息输出部，该观察方向信息输出部输出表示从所述观察区域向所选择的所述观察候选区域的方向的方向信息，该观察区域表示在当前时刻的观察地点。
21.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
所述关注区域确定部根据所述放大观察图像内的像素的像素值来确定所述关注区域。
22.根据权利要求21所述的内窥镜图像处理装置，其特征在于，
所述关注区域确定部根据所述放大观察图像内的像素的像素值和作为所述关注区域的检测基准的基准值来确定所述关注区域。
23.根据权利要求22所述的内窥镜图像处理装置，其特征在于，
所述关注区域确定部包含对所述放大观察图像的观察方法进行判定的观察方法判定部，
所述关注区域确定部根据所判定的所述观察方法来设定所述基准值。
24.根据权利要求23所述的内窥镜图像处理装置，其特征在于，
所述观察方法包含特殊光观察。
25.根据权利要求23所述的内窥镜图像处理装置，其特征在于，
所述关注区域确定部包含特征量计算部，该特征量计算部根据所述放大观察图像内的像素的像素值来计算作为与所述基准值进行比较的比较对象的特征量，
所述关注区域确定部根据所述特征量以及与所述基准值的比较结果来确定所述关注区域。
26.根据权利要求25所述的内窥镜图像处理装置，其特征在于，
所述关注区域确定部包含图像分割部，该图像分割部将所述放大观察图像分割为多个块，
所述特征量计算部针对所分割的每个所述块来计算所述特征量，
所述关注区域确定部针对每个所述块比较针对每个所述块计算出的特征量和所述基准值，由此来确定所述关注区域。
27.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
所述关注区域确定部从用户受理用于确定所述关注区域的信息即关注区域确定信息的输入，并根据所受理的所述关注区域确定信息来确定所述关注区域。
28.一种图像处理方法，其特征在于，进行如下处理：
取得包含被摄体像的图像作为通常观察图像，取得使作为所述通常观察图像内的一部分的观察区域内的被摄体像放大后的图像作为放大观察图像；
在所述放大观察图像上确定应该关注的区域即关注区域；以及
根据所述放大观察图像内的像素值，检测与所确定的所述放大观察图像上的关注区域的边界对应的所述通常观察图像上的边界的位置，并在检测到的所述通常观察图像上的边界的位置设定表示是所述关注区域的边界的边界图像。
CN201180056115.7A 2010-12-02 2011-11-25 内窥镜图像处理装置以及图像处理方法 Expired - Fee Related CN103249349B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010269319A JP5663283B2 (ja) 2010-12-02 2010-12-02 内視鏡画像処理装置及びプログラム
JP2010-269319 2010-12-02
PCT/JP2011/077122 WO2012073799A1 (ja) 2010-12-02 2011-11-25 内視鏡画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
CN103249349A CN103249349A (zh) 2013-08-14
CN103249349B true CN103249349B (zh) 2015-12-16

Family

ID=46171738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180056115.7A Expired - Fee Related CN103249349B (zh) 2010-12-02 2011-11-25 内窥镜图像处理装置以及图像处理方法

Country Status (5)

Country Link
US (1) US9521330B2 (zh)
EP (1) EP2647331B1 (zh)
JP (1) JP5663283B2 (zh)
CN (1) CN103249349B (zh)
WO (1) WO2012073799A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5816511B2 (ja) 2011-10-04 2015-11-18 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP2014038560A (ja) * 2012-08-20 2014-02-27 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP6128989B2 (ja) * 2013-06-27 2017-05-17 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP2015156937A (ja) * 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP2015195845A (ja) 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
CN105520712B (zh) * 2015-11-30 2019-04-16 广州三瑞医疗器械有限公司 一种阴道镜图像智能采集评估方法及装置
JP7059934B2 (ja) * 2016-10-17 2022-04-26 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
EP3586717B1 (en) 2017-03-27 2023-07-05 Sony Olympus Medical Solutions Inc. Control device and endoscope system
JP6920931B2 (ja) 2017-09-01 2021-08-18 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
CN111295127B (zh) 2017-10-31 2022-10-25 富士胶片株式会社 检查支持装置、内窥镜装置及记录介质
JP7009636B2 (ja) * 2018-08-17 2022-01-25 富士フイルム株式会社 内視鏡システム
CN110858896B (zh) * 2018-08-24 2021-06-08 东方梦幻虚拟现实科技有限公司 一种vr图像处理方法
CN109117890B (zh) * 2018-08-24 2020-04-21 腾讯科技（深圳）有限公司 一种图像分类方法、装置和存储介质
JP6988001B2 (ja) * 2018-08-30 2022-01-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
JP7282541B2 (ja) * 2019-02-18 2023-05-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2021140600A1 (ja) * 2020-01-09 2021-07-15 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法
US11712157B2 (en) * 2021-02-17 2023-08-01 PacificMD Biotech, LLC System and method for endoscopic imaging and analyses

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295398A (zh) * 2007-04-23 2008-10-29 索尼株式会社 图像处理设备、图像处理方法、以及程序
JP2009289295A (ja) * 2009-09-10 2009-12-10 Canon Inc 画像抽出方法及び装置
CN102123650A (zh) * 2009-01-29 2011-07-13 奥林巴斯医疗株式会社 内窥镜系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2639412B2 (ja) * 1987-06-01 1997-08-13 株式会社鷹山 画像処理方法
JPH05337077A (ja) * 1992-06-12 1993-12-21 Toshiba Corp 電子内視鏡装置
KR0171147B1 (ko) * 1995-03-20 1999-03-20 배순훈 그레디언트 변화를 이용한 특징점 선정장치
JP3410337B2 (ja) 1997-08-19 2003-05-26 株式会社神戸製鋼所 欠陥検出方法及びその装置並びに欠陥検出制御プログラムを記録した記録媒体
JP2001188179A (ja) * 1999-12-28 2001-07-10 Fujikura Ltd 顕微観察装置
US6930705B2 (en) * 2000-11-14 2005-08-16 Pentax Corporation Image search device
US20040068167A1 (en) * 2002-09-13 2004-04-08 Jiang Hsieh Computer aided processing of medical images
JP2004177325A (ja) 2002-11-28 2004-06-24 Keyence Corp 拡大観察装置、拡大画像観察方法、拡大観察装置操作プログラムおよびコンピュータで読み取り可能な記録媒体
JP4804742B2 (ja) 2004-11-19 2011-11-02 オリンパス株式会社 画像処理装置、及び画像処理プログラム
JP2008119025A (ja) * 2006-11-08 2008-05-29 Pentax Corp 拡大表示可能な内視鏡装置および観察装置
JP2010034885A (ja) 2008-07-29 2010-02-12 Fujitsu Ltd 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295398A (zh) * 2007-04-23 2008-10-29 索尼株式会社 图像处理设备、图像处理方法、以及程序
CN102123650A (zh) * 2009-01-29 2011-07-13 奥林巴斯医疗株式会社 内窥镜系统
JP2009289295A (ja) * 2009-09-10 2009-12-10 Canon Inc 画像抽出方法及び装置

Also Published As

Publication number Publication date
CN103249349A (zh) 2013-08-14
EP2647331B1 (en) 2016-03-23
EP2647331A4 (en) 2015-04-29
US9521330B2 (en) 2016-12-13
JP5663283B2 (ja) 2015-02-04
JP2012115554A (ja) 2012-06-21
EP2647331A1 (en) 2013-10-09
WO2012073799A1 (ja) 2012-06-07
US20130258080A1 (en) 2013-10-03

Similar Documents

Publication Publication Date Title
CN103249349B (zh) 内窥镜图像处理装置以及图像处理方法
JP3347385B2 (ja) 内視鏡画像処理装置
EP3465617B1 (en) System and method for 3d scene reconstruction with dual complementary pattern illumination
JP6392570B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
CN113168699B (zh) 计算机程序、信息处理方法以及内窥镜用处理器
JP6952214B2 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
JP2710384B2 (ja) 内視鏡の挿入方向の検出方法
CN104883948A (zh) 图像处理装置、程序以及图像处理方法
JP6707131B2 (ja) 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
JPH07260446A (ja) 画像処理装置
EP1566140B1 (en) Endoscope insertion direction detecting device
US11054903B2 (en) Method, eyetracker and computer program for determining eye positions in digital image data
JP7162744B2 (ja) 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法
JP2006015117A (ja) 内視鏡装置
WO2021149141A1 (ja) フォーカス制御装置、内視鏡システム及びフォーカス制御装置の作動方法
CN112969402B (zh) 内窥镜系统以及用于内窥镜系统的图像处理装置和图像处理方法
WO2024142490A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023187886A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2024142290A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
US20240161283A1 (en) Image processing device, image processing method, and storage medium
WO2023162216A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023013080A1 (ja) アノテーション支援方法、アノテーション支援プログラム及びアノテーション支援装置
WO2024024022A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151216

Termination date: 20181125

CF01 Termination of patent right due to non-payment of annual fee