CN105050473A - 图像处理装置、内窥镜装置、程序以及图像处理方法 - Google Patents

图像处理装置、内窥镜装置、程序以及图像处理方法 Download PDF

Info

Publication number
CN105050473A
CN105050473A CN201380075017.7A CN201380075017A CN105050473A CN 105050473 A CN105050473 A CN 105050473A CN 201380075017 A CN201380075017 A CN 201380075017A CN 105050473 A CN105050473 A CN 105050473A
Authority
CN
China
Prior art keywords
image
subject
classification
information
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380075017.7A
Other languages
English (en)
Other versions
CN105050473B (zh
Inventor
森田惠仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105050473A publication Critical patent/CN105050473A/zh
Application granted granted Critical
Publication of CN105050473B publication Critical patent/CN105050473B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4312—Breast evaluation or disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

图像处理装置包含：图像取得部(305)，其按照时间序列取得包含被摄体像的拍摄图像；距离信息取得部(340)，其取得基于在拍摄时从摄像部(200)到被摄体的距离的距离信息；运动检测部(380)，其根据时间序列的拍摄图像，检测被摄体的局部的运动信息；分类部(310)，其根据距离信息，进行被摄体的构造物的分类处理；以及强调处理部(330)，其根据分类处理的结果进行拍摄图像的强调处理，并根据局部的运动信息，进行强调处理的对象或强调量的控制。

Description

图像处理装置、内窥镜装置、程序以及图像处理方法
技术领域
本发明涉及图像处理装置、内窥镜装置、程序以及图像处理方法等。
背景技术
在活体内部的观察、诊断中，考虑使用活体表面的腺管构造(被称作腺管开口形态(pitpattern))。例如，在大肠的早期病变诊断中利用了腺管开口形态。该诊断方法被称作腺管开口形态诊断，针对根据从正常状态到病变的种类而被分成6种类型(I型到V型)的腺管开口形态形状，通过被观察的腺管开口形态与哪个分类类似进行判定。
作为使该腺管开口形态形状强调显示的方法，在专利文献1中记载了内窥镜装置以及使用了光探头的取得三维光断层图像的装置，并公开了如下方法：根据该三维光断层图像，针对多个深度位置，剪切出与活体组织的深度方向垂直的平面的XY画面图像，并根据其平均图像强调显示腺管开口形态形状。
现有技术文献
专利文献
专利文献1：日本特开2010-68865号公报
发明内容
发明所要解决的课题
为了进行例如上述那样的强调显示等，考虑检测图像中所拍摄的活体的构造物，并进行分类处理。在这样的分类处理中从图像中检测构造物的情况下，例如如果由于活体的脉动等而在图像中产生运动模糊，则从图像得到的信息不充分，因此存在误检测构造物的课题。在检测例如上述那样的腺管开口形态的情况下，考虑对已知的腺管开口形态形状和图像进行匹配处理的方法。如果存在运动模糊，则在实际存在腺管开口形态的场所，也无法通过匹配处理检测到腺管开口形态，从而成为错误的分类结果。
根据本发明的若干方式，可提供一种能够抑制进行基于错误的分类结果的处理的图像处理装置、内窥镜装置、程序以及图像处理方法等。
用于解决课题的手段
本发明的一个方式涉及一种图像处理装置，该图像处理装置包含：图像取得部，其按照时间序列取得包含被摄体的像的拍摄图像；距离信息取得部，其取得基于在所述拍摄时从摄像部到所述被摄体的距离的距离信息；运动检测部，其根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；分类部，其根据所述距离信息，进行所述被摄体的构造物的分类处理；以及强调处理部，其根据所述分类处理的结果进行所述拍摄图像的强调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象或强调量的控制。
根据本发明的一个方式，根据距离信息进行被摄体的构造物的分类处理，根据该分类处理的结果进行拍摄图像的强调处理，并根据被摄体的局部的运动信息，控制该强调处理的对象或强调量。由此，能够抑制进行基于错误的分类结果的强调处理的情况。
并且本发明的另一方式涉及一种图像处理装置，其包含：图像取得部，其按照时间序列取得包含被摄体的像的拍摄图像；距离信息取得部，其取得基于在所述拍摄时从所述摄像部到所述被摄体的距离的距离信息；运动检测部，其根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；以及分类部，其根据所述距离信息，进行所述被摄体的构造物的分类处理，并根据所述局部的所述运动信息，控制所述分类处理的对象。
根据本发明的一个方式，根据距离信息进行被摄体的构造物的分类处理，并根据被摄体的局部的运动信息，控制该分类处理的对象。由此，能够抑制进行基于错误的分类结果的后级处理的情况。
并且，本发明的又一方式涉及一种内窥镜装置，该内窥镜装置包含上述任意一个图像处理装置。
并且，本发明的又一方式涉及一种程序，该程序使计算机执行以下步骤：按照时间序列取得包含被摄体像的拍摄图像；取得基于在所述拍摄时从摄像部到所述被摄体的距离的距离信息；根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；根据所述距离信息，进行所述被摄体的构造物的分类处理；以及根据所述分类处理的结果进行所述拍摄图像的强调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象或强调量的控制。
并且，本发明的又一方式涉及一种程序，该程序使计算机执行以下步骤：按照时间序列取得包含被摄体像的拍摄图像；取得基于在所述拍摄时从所述摄像部到所述被摄的距离的距离信息，根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；以及根据所述距离信息，进行所述被摄体的构造物的分类处理，并根据所述局部的所述运动信息，控制所述分类处理的对象。
并且，本发明的另一方式涉及一种图像处理方法，按照时间序列取得包含被摄体的像的拍摄图像；取得基于在所述拍摄时从摄像部到所述被摄体的距离的距离信息；根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；根据所述距离信息，进行所述被摄体的构造物的分类处理；以及根据所述分类处理的结果进行所述拍摄图像的强调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象或强调量的控制。
并且，本发明的另一方式涉及一种图像处理方法，按照时间序列取得包含被摄体的像的拍摄图像；取得基于在所述拍摄时从所述摄像部到所述被摄体的距离的距离信息，根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；以及根据所述距离信息，进行所述被摄体的构造物的分类处理，并根据所述局部的所述运动信息，控制所述分类处理的对象。
附图说明
图1的(A)是示出对异常部进行观察时的摄像部与被摄体之间的关系的图。图1的(B)是所取得的图像的例子。
图2的(A)是示出产生了运动模糊的情况下的摄像部与被摄体之间的关系的图。图2的(B)是所取得的图像的例子。
图3是图像处理装置的第1结构例。
图4是图像处理装置的第2结构例。
图5是内窥镜装置的结构例。
图6是第1实施方式中的图像处理部的详细结构例。
图7是畸变校正处理前和畸变校正处理后的图像例。
图8是有关分类处理的说明图。
图9是图像处理部进行的处理的流程图的例子。
图10是第2实施方式中的图像处理部的详细结构例。
图11是第2实施方式的变形例中的图像处理部的详细结构例。
图12是第3实施方式中的图像处理部的详细结构例。
图13是第4实施方式中的图像处理部的详细结构例。
图14的(A)是示出第4实施方式中的摄像部与被摄体之间的关系的图。图14的(B)、图14的(C)是所取得的图像的例子。
图15是将距离和光学系统的倍率进行了对应的表的例子。
图16是分类部的详细结构例。
图17的(A)、图17的(B)是有关表面形状计算部进行的处理的说明图。
图18的(A)是基本腺管开口的例子。图18的(B)是修正腺管开口的例子。
图19是表面形状计算部的详细结构例。
图20是第1分类处理方法中的分类处理部的详细结构例。
图21的(A)～图21的(F)是有关分类处理的具体例的说明图。
图22是第2分类处理方法中的分类处理部的详细结构例。
图23是使用多个分类类型的情况下的分类类型的例子。
图24的(A)～图24的(F)是腺管开口形态的例子。
具体实施方式
下面，对实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书中记载的本发明的内容进行不恰当的限定。此外，本实施方式所说明的所有结构并非都是本发明所必需的构成要件。
1.本实施方式的概要
以通过内窥镜装置进行腺管开口形态的分类处理的情况为例对本实施方式的概要进行说明。
图1的(A)示出对异常部(例如早期病变)进行观察时的摄像部200与被摄体之间的关系。并且，图1的(B)示出此时取得的图像的例子。正常腺管40表示正常的腺管开口形态，异常腺管50表示呈现不规整形状的异常的腺管开口形态，腺管消失区域60表示腺管开口形态由于病变而消失的异常区域。
如图1的(A)所示，当手术医生发现异常部(异常腺管50、腺管消失区域60)时，使摄像部200接近异常部，使摄像部200和异常部尽量正对。如图1的(B)所示，在正常部(正常腺管40)的腺管开口形态中，规则的构造以均匀的排列进行并列。
为了通过图像处理检测这种正常部，事先登记或学习正常的腺管开口形态构造作为已知特性信息(预见信息)，由此能够通过例如匹配处理等来检测正常部。另一方面，异常部的腺管开口形态呈现不规整形状或消失，因此与正常部相比呈现多种形状。因此，难以根据事先的已知特性信息来检测异常部。在本实施方式中，将未被检测为正常部的区域分类为异常部，由此将腺管开口形态分类为正常部和异常部。通过对这样分类出的异常部进行强调显示，能够防止异常部的漏看并提高定性诊断的精度。
但是，在上述方法中，将未检测为正常部的部分检测为异常部，因此将早期病变以外的部分也检测为异常部的误检测成为课题。例如，在由于活体内的脉动等而被摄体相对于摄像部运动那样的情况下，图像中的被摄体像产生运动模糊，由于该运动模糊而产生误检测。这里，运动模糊是指由于被摄体或摄像部运动而在图像的部分或整体中产生的模糊。
图2的(A)示出产生了运动模糊的情况下的摄像部200与被摄体之间的关系。并且，图2的(B)示出该情况下取得的图像的例子。在如图2的(A)所示那样在活体的一部分中产生运动MA时，如图2的(B)的图像下部所示，在图像上产生运动模糊MB。在产生了该运动模糊MB的区域RMB中，被摄体的构造变得不清楚，因此在匹配处理中不被检测为正常部，而被分类为异常部。该区域RMB是原本应显示为正常部的区域，但被分类成了异常部，因此显示为异常部。
因此如图3所示，本实施方式的图像处理装置包含：图像取得部305，其按照时间序列取得包含被摄体像的拍摄图像；距离信息取得部340，其取得基于在拍摄时从摄像部200到被摄体的距离的距离信息；运动检测部380，其根据时间序列的拍摄图像，检测被摄体的局部的运动信息；分类部310，其根据距离信息，进行被摄体的构造物的分类处理；以及强调处理部330，其根据分类处理的结果进行拍摄图像的强调处理，并根据局部的运动信息，进行强调处理的对象或强调量的控制。
这样，能够通过检测被摄体的局部的运动信息，检测分类结果的可靠性由于图像的运动模糊而降低的区域RMB。然后，通过根据该局部的运动信息进行强调处理的对象或强调量的控制，能够抑制根据可靠性低的分类结果而被强调显示的情况。
例如在本实施方式中，作为基于距离信息的分类处理，根据距离信息求出被摄体表面的形状，对与该形状一致地变形的基准腺管开口形态和图像进行匹配处理，并根据该匹配结果，对图像上的腺管开口形态进行分类。在这样的处理中，匹配处理的精度由于运动模糊而下降，但在本实施方式中，能够防止由于该精度下降而引起的误显示。
此外，在进行腺管开口形态诊断的情况下，通常使摄像部200接近被摄体进行观察，因此被摄体上的微小的运动在图像上成为大的运动模糊。因此，在腺管开口形态诊断中排除运动模糊的影响来进行异常部检测对误检测的抑制是有效的。
并且如图4所示，本实施方式的图像处理装置可以包含：图像取得部305，其按照时间序列取得包含被摄体像的拍摄图像；距离信息取得部340，其取得基于在拍摄时从摄像部200到被摄体的距离的距离信息；运动检测部380，其根据时间序列的拍摄图像，检测被摄体的局部的运动信息；以及分类部310，其根据距离信息，进行被摄体的构造物的分类处理，并根据局部的运动信息，控制分类处理的对象。
由此，通过根据局部的运动信息控制分类处理的对象，能够抑制在分类结果的可靠性由于图像的运动模糊而降低的区域RMB中成为错误的分类结果的情况。在图4的结构中，分类处理的结果不限于强调处理，也可以用于其他信息处理，或者也可以输出到外部装置，用于该外部装置中的处理。通过抑制分类结果的错误，能够提高这些处理中的处理结果的可靠性。
这里，距离信息是将拍摄图像的各个位置和这各个位置与被摄体之间的距离对应起来的信息，例如是将摄像部200的光轴方向上的距离与各像素对应起来的距离映射图。另外，如后所述，距离信息不限于距离映射图，只要是根据从摄像部200到被摄体的距离取得的各种信息即可。
并且，分类处理不限于腺管开口形态的分类处理，只要是根据例如种类或状态等对被摄体的构造物进行分类的处理即可。关于构造物，能够通过对用户提示分类结果来辅助用户的观察和诊断，例如如果是活体用的内窥镜装置，则不限于腺管开口形态，也可以是粘膜中产生的息肉、消化道的褶皱、血管、癌等病变。在分类处理中，分类为与它们的种类、例如正常/异常等状态或异常度对应的区。
作为基于距离信息的分类处理，不限于上述那样的腺管开口形态的分类处理，能够假设各种分类处理。例如，对立体图像进行立体匹配处理而取得距离映射图，通过对该距离映射图进行低通滤波处理或形态学处理等，取得被摄体的全局形状的信息。然后，从距离映射图中减去该全局形状的信息，取得局部的凹凸构造的信息。然后，对希望分类的构造的已知特性信息(例如特定的息肉所具有的尺寸和形状、或者病变特有的槽等的深度和宽度等)和局部的凹凸构造的信息进行比较，提取与已知特性信息一致的凹凸构造。这样，能够对息肉和槽等特定构造进行分类。在这样的处理中，立体匹配处理的精度由于运动模糊而下降，从而可能取得错误的距离信息。如果根据该错误的距离信息对凹凸构造进行分类，则分类精度下降，但在本实施方式中，能够防止由于该精度下降而引起的误显示。
并且，强调处理是使图像上的特定对象醒目的处理或对图像上的特定对象进行识别的处理。例如，可以是对分类为特定种类或状态的区域进行构造强调或颜色强调等处理，或者，也可以是高亮显示该区域的处理、用线包围该区域的处理或标注表示该区域的标记的处理。并且，也可以通过对特定区域以外的区域进行上述处理，使该特定区域醒目(或对该特定区域进行识别)。
2.第1实施方式
2.1.内窥镜装置
接着，说明本实施方式的详细结构。图5示出内窥镜装置的结构例。内窥镜装置包含光源部100、摄像部200、处理器部300(控制装置)、显示部400、外部I/F部500。
光源部100包含白色光源101、具有多个分光透射率的旋转滤色器102、驱动旋转滤色器102的旋转驱动部103、使来自旋转滤色器102的具有分光特性的光会聚到光导纤维201的入射端面的聚光透镜104。
旋转滤色器102由三原色的红色滤色器、绿色滤色器、蓝色滤色器和旋转电动机构成。
旋转驱动部103根据来自处理器部300的控制部302的控制信号，使旋转滤色器102与摄像元件206和摄像元件207的摄像期间同步地以规定转速旋转。例如，如果使旋转滤色器102在1秒内旋转20周，则各滤色器以1/60秒的间隔横切入射白色光。摄像元件206和摄像元件207以1/60秒的间隔拍摄三原色的各色光(R、G或B)的来自观察对象的反射光，完成图像的传送。即，在该结构例中，以1/60秒的间隔以面顺次的方式拍摄R图像、G图像、B图像，实质上的帧频为20fps。
摄像部200例如为了能插入胃或大肠等体腔而形成为细长且可以弯曲。摄像部200包含：用于引导由光源部100会聚的光的光导纤维201；以及使被该光导纤维201引导至末端的光扩散并照射到观察对象的照明透镜203。并且，摄像部200包含：使从观察对象返回的反射光会聚的物镜系统204、205；用于检测会聚后的成像光的摄像元件206、207；以及将来自摄像元件206、207的光电转换后的模拟信号转换为数字信号的A/D转换部209。并且，摄像部200包含：记录有固有信息的存储器210；以及能够相对于处理器部300进行拆装的连接器212，所述固有信息包含摄像部200的镜体ID信息和制造偏差。摄像元件206、207例如是单色单板摄像元件，例如能够利用CCD或CMOS图像传感器等。
物镜204、205配置于相隔规定间隔的位置且配置于能够拍摄规定的视差图像(以后也记为立体图像)的位置，摄像元件206、207上分别形成左图像、右图像。从摄像元件206、207输出的左图像、右图像通过A/D转换部209转换为数字信号，该转换后的左图像和右图像被输出到图像处理部301。存储器210与控制部302连接，从存储器210向控制部302传送包含镜体ID信息和制造偏差的固有信息。
处理器部300包含对从A/D转换部209传送的图像进行各种图像处理的图像处理部301(对应于图像处理装置)、以及对内窥镜装置的各部件进行控制的控制部302。
显示部400显示从图像处理部301传送的图像，例如是CRT或液晶监视器等能够进行动态图像显示的显示装置。
外部I/F部500是用于供用户对该内窥镜装置进行输入等的接口。外部I/F部500例如构成为包含用于进行电源的接通/断开的电源开关、用于开始进行拍摄操作的快门按钮、用于切换拍摄模式和其他各种模式的模式切换开关(例如用于进行活体表面的构造物的选择性的强调处理的开关)等。而且，该外部I/F部500向控制部302输出被输入的信息。
2.2.图像处理部
图6示出第1实施方式中的图像处理部301的详细结构例。图像处理部301包含分类部310、图像构成部320、强调处理部330、距离信息取得部340(距离映射图计算部)、存储部370、运动检测部380和运动判定部390。另外，下面以通过匹配处理进行腺管开口形态的分类处理的情况为例进行说明，但如上所述，能够应用使用了距离信息的各种分类处理。
摄像部200与图像构成部320和距离信息取得部340连接。分类处理部360与强调处理部330连接。图像构成部320与分类处理部360、强调处理部330、存储部370以及运动检测部380连接。强调处理部330与显示部400连接。距离信息取得部340与分类处理部360和表面形状计算部350连接。表面形状计算部350与分类处理部360连接。存储部370与运动检测部380连接。运动检测部380与运动判定部390连接。运动判定部390与分类处理部360连接。虽然省略了图示，但控制部302与各部件进行双向连接，进行这各个部件的控制。
距离信息取得部340取得A/D转换部209输出的立体图像，根据该立体图像取得距离信息。具体而言，将左图像作为基准图像，在该左图像的穿过位于局部区域中央的关注像素的极线上进行与右图像的局部区域之间的匹配运算，计算最大相关的位置作为视差。然后，将该计算出的视差转换为Z轴方向上的距离而取得距离信息，并将该距离信息输出到分类部310。
在此，距离信息是指基于从摄像部200到被摄体的距离而取得的各种信息。例如，在如上述那样以立体光学系统进行三角测量的情况下，将以连接产生视差的2个透镜的面的任意点为基准的距离作为距离信息即可。或者，也可以通过飞行时间(TimeofFlight)方式取得距离信息。在该方式中，对被摄体照射激光等，根据其反射光的到达时间来测量距离。该情况下，例如取得以拍摄反射光的摄像元件面的各像素位置为基准的距离作为距离信息即可。在这些例子中，将距离计测的基准点设定在摄像部200上，但是，基准点也可以设定在摄像部200以外的任意场所。例如，可以将基准点设定在包含摄像部200和被摄体的三维空间内的任意场所，使用这种基准点的情况下的距离信息也包含在本实施方式的距离信息中。
从摄像部200到被摄体的距离例如是指从摄像部200到被摄体在进深方向上的距离。作为一例，使用摄像部200的光轴方向上的距离即可。即，被摄体上的某个点的距离是穿过该点的、与光轴平行的线上的从摄像部200到被摄体的距离。作为这样的距离信息，例如有距离映射图。距离映射图例如是指如下映射图，在该映射图中，将摄像部200的光轴方向设为了Z轴的情况下，关于XY平面的各点(例如拍摄图像的各像素)，将该点到被摄体在Z轴方向上的距离(进深、深度)设为了该点的值。
此外，距离信息取得部340也可以通过在能够维持与将基准点设定在摄像部200上的情况下所取得的距离映射图上的各像素间的距离值的大小关系同样的大小关系的位置上设置假想的基准点，取得基于从摄像部200到对应点的距离的距离信息。例如，在从摄像部200到3个对应点的实际的距离是“3”、“4”、“5”的情况下，可以在维持各像素间的距离值的大小关系的状态下，取得将这些距离一律设为一半的“1.5”、“2”、“2.5”。
图像构成部320取得A/D转换部209输出的立体图像(左图像和右图像)，进行用于使该立体图像成为能够输出到显示部400的图像的图像处理(例如OB处理、增益处理、γ处理等)。图像构成部320将处理后的图像输出到存储部370、运动检测部380、分类部310和强调处理部330。
存储部370存储从图像构成部320传送的时间序列的图像。存储部370存储运动检测所需张数的图像。例如在对两帧图像进行比较来取得运动向量的情况下，存储1帧的图像即可。
运动检测部380根据拍摄图像，检测图像上的被摄体的运动信息。具体而言，运动检测部380对从图像构成部320输入的图像、和存储部370所存储的1帧前的图像进行光学系统的畸变校正。然后，对畸变校正后的图像进行特征点的匹配，并根据匹配后的特征点的运动向量计算各像素(或各区域)处的运动量。
另外，作为运动信息，能够采用表示被摄体的运动的各种信息。例如，可以使用具有运动的大小和方向的信息的运动向量，也可以仅使用运动向量的大小(运动量)。此外，可以使用按照多帧对帧间的运动信息进行平均后的信息作为运动信息。
在畸变校正中，对作为像差的一种的畸变像差(以下称作“畸变”)进行校正。图7示出畸变校正处理前和畸变校正处理后的图像例。首先，运动检测部380取得畸变校正处理后的图像的像素坐标。这里，畸变校正处理后的图像尺寸根据光学系统的畸变而预先取得。接着，使用下式(1)，将所取得的像素坐标(x，y)转换为以光轴中心为原点的坐标(x’，y’)。这里，(center＿x，center＿y)是畸变校正处理后的光轴中心的坐标。例如，畸变校正处理后的光轴中心是畸变校正处理后的图像的中心。
【数学式1】
x ′ y ′ = x y - c e n t e r _ x c e n t e r _ y - - - ( 1 )
接着，使用下式(2)，根据转换后的像素坐标(x’，y’)计算物体高度r。这里，max＿r是畸变校正后图像中的最大物体高度。
【数学式2】
r＝(x′2+y′2)1/2/max_r(2)
然后，根据计算出的物体高度r，计算像高/物体高度之比(R/r)。具体而言，预先将R/r与r之间的关系作为表进行保持，通过参照该表，取得与r对应的R/r。
然后，使用下式(3)，取得与畸变校正处理后的像素坐标(x，y)对应的、畸变校正处理前的像素坐标(X，Y)。这里，(center＿X，center＿Y)是畸变校正处理前的光轴中心的坐标。例如，畸变校正处理前的光轴中心是畸变校正处理前的图像的中心。
【数学式3】
X Y = ( R / r ) · x ′ y ′ + c e n t e r _ X c e n t e r _ Y - - - ( 3 )
接着，根据计算出的畸变校正处理前的像素坐标(X，Y)，计算畸变校正处理后的像素坐标(x，y)处的像素值。在(X，Y)不是整数的情况下，通过线性插值，根据周围的像素值进行计算。对畸变校正处理后的图像的全部像素进行以上的处理，进行畸变校正。通过进行这样的畸变校正处理，能够在图像的中心和周边，高精度地检测运动量。
运动检测部380针对畸变校正处理后的图像的各像素，检测运动量。以下，将坐标(x’，y’)处的运动量记述为Mv(x’，y’)。运动检测部380对检测到的运动量Mv(x’，y’)进行反向畸变校正处理，将运动量Mv(x’，y’)转换为畸变校正处理前的像素位置(x，y)处的运动量Mv(x，y)。运动检测部380将运动量Mv(x，y)作为运动信息传送到运动判定部390。
另外以上，以在各像素处检测运动量的情况为例进行了说明，但本实施方式不限于此，例如可以将图像分割为多个局部区域，并按照每个该局部区域，检测运动量。另外以下，还以针对各像素进行处理的情况为例进行说明，但也可以针对各区域进行处理。
运动判定部390根据运动信息，针对图像内的各像素，进行运动量是否较大的判定。具体而言，检测从运动检测部380输入的运动量Mv(x，y)为阈值以上的像素。阈值是根据例如图像的像素数而事先设定的。或者，阈值也可以由用户经由外部I/F部500进行设定。运动判定部390将判定结果传送到分类部310。
分类部310根据距离信息和分类基准，进行图像内的与构造物的像对应的像素的分类处理。具体而言，分类部310包含表面形状计算部350(三维形状计算部)和分类处理部360。另外，分类部310进行的分类处理的详细情况将在后面叙述，这里对概要进行说明。
表面形状计算部350计算距离映射图的各像素中的被摄体表面的法线向量作为表面形状信息(广义地讲为三维形状信息)。然后，分类处理部360根据法线向量，将基准腺管开口形态射影到被摄体表面。并且，根据该像素位置处的距离，将基准腺管开口形态的大小调整为图像上的大小(即，距离越远、则图像上看起来越小的大小)。分类处理部360进行这样修正后的基准腺管开口形态与图像之间的匹配处理，检测与基准腺管开口形态一致的区域。
例如图8所示，分类处理部360将正常的腺管开口形态的形状作为基准腺管开口形态，将与该基准腺管开口形态一致的区域GR1分类为“正常部”，将不一致的区域GR2分类为“异常部”(非正常部)。并且，分类处理部360将由运动判定部390判定为运动量为阈值以上的区域GR3分类为“不明”。即，针对运动量为阈值以上的像素，将其从匹配处理的对象中排除，将分类设定为“不明”，针对除此以外的像素进行匹配处理，将其分类为“正常部”和“异常部”。
这里，“不明”是指在分类为与构造物的种类、正常/异常等状态或异常度对应的区等的分类处理中，不清楚属于哪个分类。例如，在分类为“正常部”和“异常部”的情况下，将无法判断(或未判断)属于“正常部”和“异常部”中的哪一个的部分分类为“不明”。
强调处理部330根据分类处理的结果，进行图像的强调处理。例如，对被分类为“异常部”的区域GR2实施用于强调腺管开口形态的构造的滤色处理和颜色强调处理，对被分类为“不明”的区域GR3进行赋予用于表示分类不明的特定颜色的处理。
根据以上的实施方式，即使在由于被摄体运动而产生了运动模糊的情况下，也能够抑制异常部的误检测。即，将图像上的被摄体的运动量大的区域GR3从正常/异常的分类处理的对象中排除，因此该区域GR3不被分类为正常部或异常部。由此，在图像不清楚的区域中，不进行基于正常/异常的分类的强调处理，能够防止基于错误的分类的错误的强调显示。
此外，运动量是按照每个像素(或每个局部区域)检测出的，因此即使在产生了局部的运动模糊的情况下，也能够在运动大的区域中抑制异常部的误检测，并且针对运动小的区域，准确地检测异常部。
另外，以上根据每个像素(或局部区域)的运动信息设定了分类处理的检测范围，但本实施方式不限于此，例如也可以将各像素的运动信息的平均作为整个图像的运动信息，并针对整个图像，设定是否进行分类处理。或者，也可以构成为将运动量的大小添加到分类处理的指标中。即，可以使得不易将运动量大的像素判定为“异常部”。
2.3.软件
在上述实施方式中，虽然构成处理器部300的各部件由硬件构成，但本实施方式不限于此。例如，针对使用摄像装置预先取得的图像和距离信息而言，也可以构成为CPU进行各部件的处理，且通过CPU执行程序而作为软件实现。或者，也可以由软件构成各部件所进行的处理的一部分。
该情况下，读出信息存储介质所存储的程序，并由CPU等处理器执行所读出的程序。这里，信息存储介质(计算机可读取的介质)存储程序和数据等。信息存储介质包含记录有可利用计算机系统读取的程序的所有记录介质，如“可移动物理介质”、“固定物理介质”、“通信介质”等，该“可移动物理介质”除了CD-ROM和USB存储器之外，还包含MO盘、DVD盘、软盘(FD)、光磁盘、IC卡等；该“固定物理介质”是在计算机系统内外具备的HDD、RAM和ROM等；该“通信介质”如经由调制解调器连接的公共线路、连接其他计算机系统或服务器的局域网或广域网等那样，在发送程序时短期存储程序。
即，程序以计算机可读取的方式记录在上述记录介质中，计算机系统(具有操作部、处理部、存储部、输出部的装置)通过从这种记录介质中读出程序并执行，实现图像处理装置。此外，不仅限于由计算机系统执行程序的情况，在其他计算机系统或服务器执行程序的情况或它们协作地执行程序这样的情况下，也同样能够应用本发明。
图9示出由软件实现图像处理部301进行的处理的情况下的流程图。
在开始该处理后，输入包含摄像装置的(与距离信息对应的)光学倍率等的拍摄条件等标题信息(步骤S11)。接着，输入由两个摄像元件拍摄出的立体图像信号(步骤S12)。然后，根据立体图像计算距离映射图(步骤S13)。进而，根据距离映射图计算表面形状(广义上的三维形状)(步骤S14)。接着，根据表面形状对分类基准(基准腺管开口形态)进行修正(步骤S15)。然后，进行图像构成处理(步骤S16)。进而，根据图像构成而得的图像、和存储器所存储的1帧前的图像，检测运动信息(步骤S17)。接着，将1帧的图像构成而得的图像存储到存储器中(步骤S18)。然后，根据运动信息，将运动小的区域(未产生运动模糊的区域)分类为“正常部”和“异常部”(步骤S19)。进而，进行被分类为“异常部”的区域的强调处理(步骤S20)。接着，输出被强调处理后的图像(步骤S21)。然后，在动态图像的最终图像的情况下，结束处理，在不是最终图像的情况下，返回步骤S12。
根据以上的实施方式，运动判定部390根据运动信息，判定拍摄图像内的像素或区域中的被摄体的运动量是否大于阈值。分类部310将被判定为运动量大于阈值的像素或区域从分类处理的对象中排除。
这样，能够将在图像内被摄体的运动大的部分从分类处理的对象中排除。由此，在图像由于运动模糊而变得不清楚的部分中，能够抑制被误分类为与实际的被摄体状态不同的分类的情况，能够对用户提示准确的信息来辅助诊断。此外，在运动量大的像素或区域中不进行匹配处理，因此能够降低处理负荷。
具体而言，分类部310通过判定像素或区域是否与正常构造物的特性(例如之后利用图18的(A)叙述的基本腺管开口)一致，将该像素或区域分类为正常部和非正常部(异常部)。然后，分类部310针对被判定为运动量大于阈值的像素或区域，将其从分类为正常部和非正常部的处理对象中排除，而分类为正常部和非正常部的分类不明的不明状态。
这样，能够将被摄体分类为例如存在正常腺管开口形态的正常部和除此以外的非正常部。而且，在图像由于运动模糊而变得不清楚的部分中，能够抑制虽然实际上存在正常腺管开口形态、但是误分类为非正常部的情况。另外，如之后利用图23等叙述那样，非正常部也可以被分组到进一步细分化的分类中。在这种情况下，也可能由于运动模糊而误判定该细分化的分类，但是，根据本实施方式，能够抑制这种误判定。
并且，在本实施方式中，分类部310也可以针对被判定为运动量大于阈值的像素或区域，修正分类处理的结果。即，可以不论运动判定的结果如何都进行正常/非正常的分类处理，然后根据运动判定的结果，最终确定分类。
这样，即使在产生了运动模糊而引起的误分类的情况下，也不输出其分类结果，因此能够对用户提示准确的信息。例如，通过将运动大的区域的分类结果修正为“不明(不明状态)”，能够使用户得知该区域不能分类。
3.第2实施方式
图10示出第2实施方式中的图像处理部301的结构例。图像处理部301包含分类部310、图像构成部320、强调处理部330、距离信息取得部340、存储部370、运动检测部380和运动判定部390。另外以下，对与第1实施方式相同的结构要素标注相同标号并适当省略说明。
在第2实施方式中，运动判定部390与强调处理部330连接。分类部310在不进行基于运动信息的分类处理的情况下，将各像素分类为“正常部”和“异常部”。强调处理部330根据从运动判定部390输入的判定结果，控制强调处理的对象。即，针对被判定为运动量大于阈值的像素，“正常部”和“异常部”的分类精度较低，因此不进行强调处理。或者，也可以进行对被判定为运动量大于阈值的像素赋予特定颜色等强调处理，从而向用户提示分类精度低的情况。
根据以上的实施方式，运动判定部390根据运动信息，判定拍摄图像内的像素或区域中的被摄体的运动量是否大于阈值。并且，强调处理部330将被判定为运动量大于阈值的像素或区域从基于分类结果的强调处理的对象中排除。
由此，在图像内的被摄体的运动大的部分中，不强调显示分类结果，因此即使在由于运动模糊而产生了误分类的情况下，也能够向用户仅提示可靠性高的分类结果。
并且在本实施方式中，分类部310通过判定像素或区域是否与正常构造物的特性一致，将像素或区域分类为正常部和非正常部(异常部)。并且，强调处理部330将被判定为运动量大于阈值的像素或区域从基于正常部和非正常部的分类结果的强调处理的对象中排除。
在图像由于运动模糊而变得不清楚的部分中，尽管实际上存在正常腺管开口形态，但仍有可能被误分类为非正常部。关于该点，根据本实施方式，即使假设产生了误分类，在运动大的部分中也不进行正常/非正常的强调显示，因此能够仅提示可靠性高的正常/非正常的分类结果。
4.第2实施方式的变形例
图11示出第2实施方式的变形例中的图像处理部301的结构例。图像处理部301包含分类部310、图像构成部320、强调处理部330、距离信息取得部340、存储部370和运动检测部380。
该变形例为省略了第2实施方式的运动判定部390的结构，运动检测部380与强调处理部330连接。强调处理部330根据运动信息控制强调量。具体而言，越是运动量大的像素，越抑制该像素处的强调量。例如在强调显示异常部的情况下，即使是异常部，运动量越大，强调程度也越减小。
根据以上的实施方式，强调处理部330根据运动信息进行控制，使得拍摄图像内的像素或区域中的被摄体的运动量越大，越减小针对该像素或区域的强调处理的强调量。
通常，被摄体的运动量越大，图像越变得不清楚，因此认为匹配处理的可靠性也下降。关于该点，根据本实施方式，分类结果的可靠性越低，越减小强调量，因此能够防止一律向用户提示低可靠度的分类结果的情况。
5.第3实施方式
图12示出第3实施方式中的图像处理部301的结构例。图像处理部301包含分类部310、图像构成部320、强调处理部330、距离信息取得部340、存储部370、运动检测部380和运动判定部390。
在第3实施方式中，运动检测部380与运动判定部390和强调处理部330连接，运动判定部390与分类部310连接。分类部310与第1实施方式同样，针对运动大的区域，不进行正常部和异常部的分类处理，而将该区域的分类设定为不明。强调处理部330与第2实施方式的变形例同样，抑制运动大的区域的强调量。
6.第4实施方式
图13示出第4实施方式中的图像处理部301的结构例。图像处理部301包含分类部310、图像构成部320、强调处理部330、距离信息取得部340、存储部370、运动检测部380、运动判定部390和拍摄条件取得部395。
在第1实施方式中检测出图像上的运动量作为运动信息，而在第4实施方式中，检测被摄体上的运动量。另外，第4实施方式中的运动检测处理还能够应用于第1～第3实施方式中的任意一个。
使用图14的(A)～图14的(C)，具体说明第4实施方式的动作。图14的(A)中示出摄像部200与被摄体之间的关系。图14的(B)、图14的(C)中示出所取得的图像的例子。
如图14的(A)所示，手术医生使摄像部200接近被摄体。此时，要使摄像部200与被摄体(异常部(异常腺管50以及腺管消失区域60))正对，但在活体内的窄区域中，有时不能使摄像部200正对。该情况下，从相对于被摄体的倾斜方向拍摄图像。如图14的(B)所示，在此时的图像中，近点的图像上部的被摄体显示得较大，中远点的图像下部的被摄体显示得较小。在这样的情况下，如图14的(A)所示，如果在近点和中远点的被摄体上产生了相同程度大小的运动MC1、MC2，则如图14的(B)所示，中远点处的图像上的运动量MD2与近点处的图像上的运动量MD1相比被较小检出。
在第1实施方式中，分类部310根据图像上的运动量，设定了分类处理的对象范围，因此在上述那样的情况下，中远点的被摄体进入分类处理的对象范围内。即，如图14的(C)所示，近点的区域GR3被分类为“不明”，在中远点的区域GR1中，图像上的运动MD2较小，因此进行正常/异常的分类处理。但是，中远点的被摄体的构造被显示得较小，因此即使运动量MD2较小，构造也被不清楚地显示。因此，在按照图像上的运动量设定检测范围时，可能将中远点的被摄体误检测为异常部。
因此在第4实施方式中，运动检测部380检测被摄体上的运动量，分类部310根据该运动量，设定分类处理的对象范围。由此，针对中远点的被摄体，也能够抑制运动造成的分类的误检测。
具体而言，在第4实施方式的图像处理部301中，追加了拍摄条件取得部395，拍摄条件取得部395与运动检测部380连接。并且距离信息取得部340与运动检测部380连接。虽然省略了图示，但控制部302与图像处理部301的各部件进行双向连接，进行这各个部件的控制。
拍摄条件取得部395从控制部302取得图像拍摄时的拍摄条件。具体而言，取得摄像部200的光学系统的倍率K(d)。例如在光学系统为固定焦点的情况下，如图15所示，光学系统的倍率K(d)与从摄像元件到被摄体的距离d是一对一地对应的。倍率K(d)与像倍率对应，距离d越远，被摄体被拍摄得越小，与其对应，倍率K(d)减小。
另外，光学系统不限于固定焦点，可以是可变焦点(可光学变焦)的结构。该情况下，按照光学系统的每个变焦镜头位置(变焦倍率)，具有图15的表，参照与拍摄时的光学系统的变焦镜头位置对应的表，取得倍率K(d)。
运动检测部380检测图像上的运动量，并根据该检测到的图像上的运动量、距离信息和拍摄条件，检测被摄体上的运动量。具体而言，运动检测部380与第1实施方式同样地，检测各像素的坐标(x，y)处的图像上的运动量Mv(x，y)。并且，从距离映射图中取得各像素处的到被摄体为止的距离信息d(x，y)，并从表取得与该距离信息d(x，y)对应的光学系统的倍率K(d(x，y))。如下式(4)所示，运动检测部380将运动量Mv(x，y)和K(d(x，y))相乘，计算坐标(x，y)处的被摄体上的运动量Mvobj(x，y)。然后，将计算出的被摄体上的运动量Mvobj(x，y)作为运动信息传送到分类部310。
Mvobj(x，y)＝Mv(x，y)×K(d(x，y))(4)
根据以上的实施方式，根据被摄体上的运动量Mvobj(x，y)，设定进行正常/异常的分类处理的范围，因此不论到被摄体为止的距离d(x，y)如何，都能够抑制由于运动模糊而引起的异常部的误检测。
7.第1分类处理方法
7.1.分类部
对上述第1～第4实施方式的分类部310进行的分类处理进行详细说明。图16示出分类部310的详细结构例。分类部310包含已知特性信息取得部345、表面形状计算部350和分类处理部360。
下面，以设观察对象为大肠的情况为例对分类部310的动作进行说明。如图17的(A)所示，作为观察对象的大肠的活体表面1具有隆起病变的息肉2，息肉2的粘膜表层具有正常腺管40和异常腺管50。并且，在息肉2的根部存在腺管构造消失的凹陷型病变60。在从上方观察该息肉2的上部的情况下，例如图1的(B)所示，正常腺管40示出大致圆形的形状，异常腺管50呈与正常腺管40不同的形状。
表面形状计算部350通过对从距离信息取得部340输入的距离信息(例如距离映射图)实施闭合处理或适应性低通滤波处理，提取具有规定构造要素的尺寸以上的尺寸的构造。这里，规定构造要素是观察部位的活体表面1上形成的、希望进行分类判定的腺管构造(腺管开口形态)。
具体而言，已知特性信息取得部345取得构造要素信息作为已知特性信息之一，并将该构造要素信息输出到表面形状计算部350。构造要素信息是根据摄像部200的光学倍率、和希望根据活体表面1的表面构造进行分类的腺管构造的尺寸(宽度的信息)而决定的大小信息。即，根据与被摄体之间的距离来决定光学倍率，通过利用该光学倍率进行尺寸调整，取得以该距离拍摄而得到的腺管构造在图像上的尺寸作为构造要素信息。
例如，处理器部300的控制部302存储腺管构造的标准尺寸，已知特性信息取得部345从控制部302取得该尺寸，进行基于光学倍率的尺寸调整。具体而言，控制部302根据从摄像部200的存储器210输入的镜体ID信息，决定观察部位。例如在摄像部200是上部消化器官用镜体的情况下，判定为观察部位是食道、胃、十二指肠，在摄像部200是下部消化器官用镜体的情况下，判定为观察部位是大肠。在控制部302中预先记录与这些观察部位对应的标准的腺管尺寸。另外，作为利用镜体ID以外的信息来决定观察部位的方法，例如存在如下方法：外部I/F部500具有用户能够操作的开关，用户通过该开关选择观察部位。
表面形状计算部350根据所输入的距离信息，适应性地生成表面形状计算信息，并使用该表面形状计算信息计算被摄体的表面形状信息。表面形状信息例如是图17的(B)所示的法线向量NV。表面形状计算信息的详细情况将在后面进行说明，但是，例如是与距离映射图的关注位置处的距离信息相适应的形态学的核心尺寸(构造要素的尺寸)，或者与该距离信息相适应的滤波器的低通特性。即，表面形状计算信息是根据距离信息而适应性地变更非线性或线性的低通滤波器的特性的信息。
所生成的表面形状信息与距离映射图一起被输入到分类处理部360。如图18的(A)、图18的(B)所示，分类处理部360使基本腺管开口与拍摄图像的活体表面的三维形状相适应而生成修正腺管开口(分类基准)。基本腺管开口是将用于对腺管构造进行分类的一个正常腺管构造模型化而得到的，例如是2值图像。另外，这里，由于假设了腺管开口形态，所以使用基本腺管开口、修正腺管开口这样的用语，但是，作为更加广义的用语，可以置换为基准形态、修正形态。
分类处理部360进行基于所生成的分类基准(修正腺管开口)的分类处理。具体而言，还对分类处理部360输入来自图像构成部320的图像。分类处理部360通过公知的形态匹配处理来判定修正腺管开口是否存在于拍摄图像上，将对分类区域进行分组而得到的分类映射图输出到强调处理部330。分类映射图是将拍摄图像分类为存在修正腺管开口的区域和除此以外的区域的映射图。例如，是对存在修正腺管开口的区域的像素分配“1”、对除此以外的区域的像素分配“0”而得到的2值图像。另外，在根据运动量而设定“不明”的分类的情况下，例如也可以对“不明”的区域的像素分配“2”而设为3值图像。
还对强调处理部330输入来自图像构成部320的图像(与分类图像相同的尺寸)。然后，强调处理部330使用表示分类结果的信息，对从图像构成部320输出的图像进行强调处理。
7.2.表面形状计算部
使用图17的(A)、图17的(B)对表面形状计算部350进行的处理进行详细说明。
图17的(A)是沿着摄像部200的光轴的截面中的、被摄体的活体表面1和摄像部200的剖视图，示意地示出通过形态学处理(闭合处理)来计算表面形状的状态。设闭合处理中利用的球SP(构造要素)的半径为希望分类的腺管构造的尺寸(表面形状计算信息)的例如2倍以上(包含该值)。如上所述，根据各像素中的与被摄体之间的距离，将腺管构造的尺寸调整为图像上的尺寸。
通过使用这种尺寸的球SP，不挑出正常腺管40、异常腺管50、腺管消失区域60的微小凹凸，而能够提取比这些微小凹凸平滑的活体表面1的三维表面形状。因此，与使用残留有微小凹凸的表面形状而将基本腺管开口修正为修正腺管开口的情况相比，能够减少修正误差。
图18的(B)是闭合处理后的活体表面的剖视图，示意地示出针对活体表面计算法线向量NV的结果。表面形状信息是该法线向量NV。另外，表面形状信息不限于法线向量NV，也可以是图18的(B)所示的闭合处理后的曲面本身，除此之外，还可以是能够表现表面形状的其他信息。
具体而言，已知特性信息取得部345取得活体固有的腺管的尺寸(长边方向的宽度等)作为已知特性信息，并使用该信息，针对实际的活体表面决定在闭合处理中描绘的球SP的半径(与图像上的腺管尺寸对应的半径)。此时，将球SP的半径设定为比图像上的腺管尺寸大的半径。表面形状计算部350通过使用该球SP进行闭合处理，能够仅提取期望的表面形状。
图19示出表面形状计算部350的详细结构例。表面形状计算部350包含形态学特性设定部351、闭合处理部352、法线向量计算部353。
从已知特性信息取得部345对形态学特性设定部351输入作为已知特性信息的活体固有的腺管的尺寸(长边方向的宽度等)。形态学特性设定部351根据该腺管的尺寸和距离映射图，决定表面形状计算信息(闭合处理中使用的球SP的半径等)。
所决定的球SP的半径信息例如作为具有与距离映射图相同的像素数的半径映射图而被输入到闭合处理部352。半径映射图是对各像素对应了该像素处的球SP的半径的信息而得到的映射图。闭合处理部352通过该半径映射图，以像素单位变更半径来进行闭合处理，并将其处理结果输出到法线向量计算部353。
对法线向量计算部353输入闭合处理后的距离映射图。法线向量计算部353通过该距离映射图上的关注样本位置处的三维信息(例如像素的坐标和该坐标处的距离信息)、和与关注样本位置相邻的2个样本位置处的三维信息来定义平面，并计算该定义出的平面的法线向量。法线向量计算部353将计算出的法线向量作为与距离映射图相同采样数的法线向量映射图，输出到分类处理部360。
7.3.分类处理部
图20示出分类处理部360的详细结构例。分类处理部360包含分类基准数据存储部361、射影变换部362、搜索区域尺寸设定部363、相似度计算部364、区域设定部365。
在分类基准数据存储部361中存储有图18的(A)所示的将活体表面中露出的正常腺管模型化而得到的基本腺管开口。该基本腺管开口是2值图像，是与拍摄处于规定距离处的正常腺管的情况相应的大小的图像。分类基准数据存储部361将该基本腺管开口输出到射影变换部362。
对射影变换部362输入来自距离信息取得部340的距离映射图、来自表面形状计算部350的法线向量映射图、来自控制部302(图示省略)的光学倍率。射影变换部362从距离映射图中提取关注样本位置的距离信息，从法线向量映射图中提取与其对应的样本位置的法线向量。然后，如图18的(B)所示，使用该法线向量对基本腺管开口进行射影变换，进而，结合光学倍率进行倍率校正，生成修正腺管开口。射影变换部362将该修正腺管开口作为分类基准输出到相似度计算部364，将修正腺管开口的尺寸输出到搜索区域尺寸设定部363。
搜索区域尺寸设定部363设定修正腺管开口的尺寸的纵横2倍的区域，作为相似度计算处理的搜索区域，并将该搜索区域的信息输出到相似度计算部364。
从射影变换部362对相似度计算部364输入关注样本位置处的修正腺管开口，从搜索区域尺寸设定部363对相似度计算部364输入与该修正腺管开口对应的搜索区域。相似度计算部364从由图像构成部320输入的图像中提取该搜索区域的图像。
相似度计算部364对该提取出的搜索区域的图像实施高通滤波处理或带通滤波处理，截止低频成分，并对该滤波处理后的图像进行2值化处理，生成搜索区域的2值图像。然后，在该搜索区域的2值图像内，利用修正腺管开口进行形态匹配处理，计算相关值，并将该相关值的峰值位置和最大相关值的映射图输出到区域设定部365。例如，相关值是差分绝对值和，最大相关值是差分绝对值和的最小值。
另外，作为相关值的计算方法，也可以使用POC(PhaseOnlyCorrelation：仅相位相关)等其他方法。在使用POC的情况下，旋转和倍率变化不变，所以，能够提高相关计算的精度。
区域设定部365根据从相似度计算部364输入的最大相关值映射图，提取差分绝对值和为规定阈值T以下(包含该值)的区域，进而，计算该区域内的最大相关值的位置与相邻搜索范围的最大相关值的位置之间的三维距离。然后，在计算出的三维距离包含在规定误差的范围内的情况下，将包含该最大相关位置的区域分组为正常区域，生成分类映射图。区域设定部365将所生成的分类映射图输出到强调处理部330。
图21的(A)～图21的(F)示出上述分类处理的具体例。如图21的(A)所示，设某个图像内位置为处理对象位置。如图21的(B)所示，射影变换部362通过根据该处理对象位置处的表面形状信息对基准形态进行变形，取得该处理对象位置处的修正形态。如图21的(C)所示，搜索区域尺寸设定部363根据所取得的修正形态来设定处理对象位置周边的搜索区域(如果是上述例子，则为修正形态的纵横2倍的尺寸的区域)。
如图21的(D)所示，相似度计算部364在该搜索区域中取得所拍摄的构造物与修正形态的匹配。如果以像素单位进行该匹配，则按照每个像素计算相似度。然后，如图21的(E)所示，区域设定部365确定搜索区域中的与相似度的峰值对应的像素，判定该像素处的相似度是否为给定阈值以上。如果相似度为阈值以上，则在以该峰值位置为基准的修正形态的大小区域(在图21的(E)中将修正形态的中心部作为基准位置，但是不限于此)中检测到修正形态，所以，能够进行该区域是与基准形态一致的区域这样的分类。
另外，如图21的(F)所示，也可以将表示修正形态的形状内部作为与分类基准一致的区域，能够进行各种变形实施。另一方面，在相似度小于阈值的情况下，在处理对象位置的周边区域中不存在与基准形态匹配的构造。通过在各图像内位置处进行该处理，在拍摄图像内设定0个、1个或多个与基准形态一致的区域以及除此以外的区域。然后，在存在多个与基准形态一致的区域的情况下，通过对这些区域中的重合的区域或接近的区域进行综合，最终得到分类结果。但是，这里所述的基于相似度的分类处理的方法是一例，也可以通过其他方法来进行分类处理。并且，关于相似度的具体计算方法，公知有计算图像间相似度、图像间差异度的各种方法，所以省略详细说明。
根据以上的实施方式，分类部310包含：根据距离信息和已知特性信息，求出被摄体的表面形状信息的表面形状计算部350；以及根据表面形状信息生成分类基准，并使用所生成的分类基准进行分类处理的分类处理部360。
由此，能够根据由表面形状信息表示的表面形状，适应性地生成分类基准并进行分类处理。考虑到由于上述摄像部200的光轴方向与被摄体表面所成的角度而引起的拍摄图像上的构造物的变形等、基于表面形状的分类处理的各种精度下降因素，但是，根据本实施方式的方法，在这种情况下也能够高精度地进行分类处理。
并且，已知特性信息取得部345也可以取得与给定状态下的被摄体的构造物对应的基准形态作为已知特性信息，分类处理部360生成通过对基准形态进行基于表面形状信息的变形处理而取得的修正形态作为分类基准，并使用所生成的分类基准进行分类处理。
由此，在被摄体的构造物在由于表面形状而变形的状态下被拍摄的情况下，也能够高精度地进行分类处理。具体而言，如图1的(B)等所示，圆形的腺管构造在进行各种变形的状态下被拍摄，但是，根据基准形态(图18的(A)的基准腺管开口)，对应于表面形状生成适当的修正形态(图18的(B)的修正腺管开口)并作为分类基准，由此，在变形的区域中也能够适当检测腺管开口形态并进行分类。
并且，作为已知特性信息取得，已知特性信息取得部345取得与正常状态下的被摄体的构造物对应的基准形态。
由此，能够进行将拍摄图像分类为正常区域和不正常区域的分类处理。例如如果是活体用内窥镜，则不正常区域是疑似为活体的病变部的区域。由于假设了用户对这种区域的关注度较高，所以，通过适当进行分类，能够抑制应该关注的区域的漏看等。
并且，被摄体具有全局的三维构造和与该全局的三维构造相比成为局部的凹凸构造，表面形状计算部350也可以通过从距离信息中提取被摄体所具有的全局的三维构造和局部的凹凸构造中的、全局的三维构造，求出表面形状信息。
由此，在将被摄体的构造分为全局构造和局部构造的情况下，能够根据全局构造求出表面形状信息。关于拍摄图像上的基准形态的变形，由于比该基准形态大的构造即全局构造而引起的变形是支配性的。因此，在本实施方式中，通过根据全局的三维构造求出表面形状信息，能够高精度地进行分类处理。
8.第2分类处理方法
图22示出第2分类处理方法中的分类处理部360的详细结构例。分类处理部360包含分类基准数据存储部361、射影变换部362、搜索区域尺寸设定部363、相似度计算部364、区域设定部365、第2分类基准数据生成部366。另外，对与第2分类处理方法中的结构要素相同的结构要素标注相同标号并适当省略说明。
在第2分类处理方法中，与第1分类处理方法的不同之处在于，不仅是正常腺管，还针对异常腺管准备作为分类基准的基本腺管开口，并且，提取实际的拍摄图像的腺管开口，将分类基准数据置换为第2分类基准数据(第2基准形态)，根据该置换后的第2分类基准数据重新计算相似度。
具体而言，如图24的(A)～图24(F)所示，关于活体表面的腺管开口形态，公知根据是正常状态还是异常状态，并且在异常状态的情况下根据病变的发展度等，其形状变化。例如，如果是正常粘膜，则如图24的(A)所示，腺管开口形态接近圆形，当病变发展时，成为图24的(B)的星形、图24的(C)、图24的(D)的管形这样的复杂形状，当进一步发展时，如图24的(F)所示，腺管开口形态消失。由此，保持这些典型形态作为基准形态，通过判定拍摄图像中被拍摄的被摄体表面与该基准形态的相似度等，能够判定被摄体的状态。
对与第1分类处理方法的不同之处进行详细说明。在分类基准数据存储部361中，不仅记录正常腺管的基本腺管开口，还记录图23所示的多个腺管开口，将这些腺管开口输出到射影变换部362。射影变换部362的处理与第1分类处理方法相同。即，对分类基准数据存储部361中存储的全部腺管开口进行射影变换处理，将针对多个分类类型的修正腺管开口输出到搜索区域尺寸设定部363和相似度计算部364。
相似度计算部364针对多个修正腺管开口分别生成最大相关值映射图。另外，该时刻的最大相关值映射图不用于分类映射图的生成(分类处理的最终输出的生成)，而被输出到第2分类基准数据生成部366，用于新的分类基准数据的生成。
第2分类基准数据生成部366采用由相似度计算部364判定为相似度高(例如差分绝对值为规定阈值以下)的图像上的位置的腺管开口图像，作为新的分类基准。由此，不是预先准备的标准的模型化的腺管开口，而是将从实际的图像中提取出的腺管开口作为分类基准，所以，能够进行最佳的精度高的分类判定。
具体而言，对第2分类基准数据生成部366输入来自相似度计算部364的每个分类的最大相关值映射图、来自图像构成部320的图像、来自距离信息取得部340的距离映射图、来自控制部302的光学倍率、来自已知特性信息取得部345的每个分类的腺管的尺寸。然后，第2分类基准数据生成部366根据该位置的距离信息、腺管的尺寸和光学倍率，提取与每个分类的最大相关值的样本位置对应的图像数据。
进而，第2分类基准数据生成部366取得从提取出的实际图像中去除了低频成分后的灰度图像(用于消除明亮度的差异)，将该灰度图像作为第2分类基准数据，与法线向量和距离信息一起输出到分类基准数据存储部361。分类基准数据存储部361存储该第2分类基准数据和关联信息。由此，在各分类中收集了与被摄体的相关性高的第2分类基准数据。
另外，关于上述第2分类基准数据，未排除基于摄像部200的光轴方向与被摄体面所成的角度、以及从摄像部200到被摄体面的距离的变形(大小的变化)的影响。因此，第2分类基准数据生成部366也可以在进行消除这些影响的处理后，生成第2分类基准数据。具体而言，对上述灰度图像进行变形处理(射影变换处理和变倍处理)，使其与拍摄了在给定基准方向上处于给定距离的部分的情况相应地，将进行变形处理后的结果作为第2分类基准数据即可。
在生成第2分类基准数据后，将该第2分类基准数据作为对象，在射影变换部362、搜索区域尺寸设定部363、相似度计算部364中再次进行处理即可。具体而言，对第2分类基准数据进行射影变换处理，生成第2修正形态，将所生成的第2修正形态作为分类基准，进行与第1分类处理方法相同的处理。
另外，绝大多数情况下，本实施方式中使用的异常腺管的基本腺管开口不是点对象。因此，在由相似度计算部364进行的相似度计算(使用修正形态的情况和使用第2修正形态的情况双方)中，优选实施旋转不变的POC(PhaseOnlyCorrection：仅相位相关)来计算相似度。
区域设定部365生成按照图23的分类(I型、II型、…)进行分组而得到的分类映射图、或按照图23的分类的类型(类型A、B、…)进行分组而得到的分类映射图。具体而言，生成在被分类为正常腺管的修正腺管开口中得到相关的区域的分类映射图，按照分类或类型生成在被分类为异常腺管的修正腺管开口中得到相关的区域的分类映射图。然后，生成对这些分类映射图进行合成而得到的分类映射图(多值图像)。在进行合成时，在各个分类中得到相关的区域的重叠区域可以作为分类未确定区域，也可以置换为恶性级别较高的分类。区域设定部365将该合成后的分类映射图输出到强调处理部330。
强调处理部330根据多值图像的分类映射图进行例如亮度或颜色的强调处理等。
根据以上的实施方式，作为已知特性信息取得，已知特性信息取得部345取得与异常状态下的被摄体的构造物对应的基准形态。
由此，例如图23所示，能够取得多个基准形态，使用这些基准形态生成分类基准，进行分类处理。即，通过将图24的(A)～图24的(F)所示的典型形态作为基准形态来进行分类处理，能够对被摄体的状态进行详细分类。
并且，也可以是，已知特性信息取得部345取得与给定状态下的被摄体的构造物对应的基准形态作为已知特性信息，分类处理部360通过对基准形态进行基于表面形状信息的变形处理，取得修正形态，在拍摄图像的各图像内位置处，求出拍摄图像中所拍摄的被摄体的构造物与修正形态的相似度，根据所求出的相似度取得第2基准形态候选。然后，分类处理部360也可以根据所取得的第2基准形态候选和表面形状信息，生成新的基准形态即第2基准形态，生成通过对第2基准形态进行基于表面形状信息的变形处理而取得的第2修正形态作为分类基准，使用所生成的分类基准进行分类处理。
由此，能够根据拍摄图像生成第2基准形态，并使用该第2基准形态进行分类处理。因此，能够根据实际在拍摄图像中被拍摄的被摄体生成分类基准，所以，该分类基准良好地反映出作为处理对象的被摄体的特性，与直接使用作为已知特性信息而取得的基准形态的情况相比，能够进一步提高分类处理的精度等。
以上对应用了本发明的实施方式及其变形例进行了说明，但是，本发明不限于各实施方式及其变形例本身，在实施阶段，能够在不脱离发明主旨的范围内对结构要素进行变形并具体化。并且，通过适当组合上述各实施方式和变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合不同实施方式和变形例中说明的结构要素。这样，能够在不脱离发明主旨的范围内实现各种变形和应用。此外，在说明书或附图中，对于至少一次地与更广义或同义的不同用语一起记载的用语，在说明书或附图的任何位置处，都可以将其置换为该不同的用语。
标号说明
40：正常腺管；50：异常腺管；60：腺管消失区域；100：光源部；101：白色光源；102：旋转滤色器；103：旋转驱动部；104：聚光透镜；200：摄像部；201：光导纤维；202：照明透镜；204：物镜；206、207：摄像元件；209：A/D转换部；210：存储器；213：连接器；300：处理器部；301：图像处理部；302：控制部；305：图像取得部；310：分类部；320：图像构成部；330：强调处理部；340：距离信息取得部；345：已知特性信息取得部；350：表面形状计算部；351：形态学特性设定部；352：闭合处理部；353：法线向量计算部；360：分类处理部；361：分类基准数据存储部；362：射影变换部；363：搜索区域尺寸设定部；364：相似度计算部；365：区域设定部；366：分类基准数据生成部；370：存储部；380：运动检测部；390：运动判定部；395：拍摄条件取得部；400：显示部；500：外部I/F部；GR1～GR3：区域；MA、MC1、MC2：运动；MB：运动模糊；MD1、MD2：运动量；NV：法线向量；SP：球。
权利要求书(按照条约第19条的修改)
1.(修改后)一种图像处理装置，其特征在于，该图像处理装置包含：
图像取得部，其按照时间序列取得包含被摄体的像的拍摄图像；
距离信息取得部，其取得基于在拍摄时从摄像部到所述被摄体的距离的距离信息；
运动检测部，其根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；
分类部，其根据所述距离信息，进行所述被摄体的构造物的分类处理；以及
强调处理部，其根据所述分类处理的结果进行所述拍摄图像的强调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象或强调量的控制，
所述强调处理部根据所述运动信息，将所述被摄体的运动量大于阈值的所述拍摄图像内的像素或区域，从基于分类结果的所述强调处理的对象中排除，
或者，根据所述运动信息，使得所述拍摄图像内的像素或区域中的所述被摄体的运动量越大，越减小针对所述像素或所述区域的所述强调处理的所述强调量。
2.(修改后)根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置包含运动判定部，所述运动判定部根据所述运动信息，判定所述像素或所述区域中的所述运动量是否大于所述阈值，
所述强调处理部将被判定为所述运动量大于所述阈值的所述像素或所述区域，从所述强调处理的对象中排除。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述分类部通过判定所述像素或所述区域是否与正常构造物的特性一致，将所述像素或所述区域分类为正常部和非正常部，
所述强调处理部将被判定为所述运动量大于所述阈值的所述像素或所述区域，从基于所述正常部和所述非正常部的分类结果的所述强调处理的对象中排除。
4.(删除)
5.(修改后)根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置包含运动判定部，所述运动判定部根据所述运动信息，判定所述拍摄图像内的像素或区域中的所述被摄体的运动量是否大于阈值，
所述分类部在所述运动判定部判定为所述运动量大于所述阈值的情况下，将所述像素或所述区域从所述分类处理的对象中排除。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述运动检测部根据所述距离信息，将所述拍摄图像中的所述运动信息转换为所述被摄体上的运动信息，
所述强调处理部根据所述被摄体上的运动信息，进行所述强调处理的对象或强调量的控制。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述运动检测部具有取得拍摄所述拍摄图像时的拍摄条件的拍摄条件取得部，
所述运动检测部根据所述距离信息和所述拍摄条件，计算所述被摄体上的运动信息。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述拍摄条件是与所述距离信息对应的所述摄像部的光学系统的倍率，
所述运动检测部对所述拍摄图像中的所述运动信息乘以所述倍率，计算所述被摄体上的运动信息。
9.一种图像处理装置，其特征在于，该图像处理装置包含：
图像取得部，其按照时间序列取得包含被摄体的像的拍摄图像；
距离信息取得部，其取得基于在拍摄时从摄像部到所述被摄体的距离的距离信息；
运动检测部，其根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；以及
分类部，其根据所述距离信息，进行所述被摄体的构造物的分类处理，并根据所述局部的所述运动信息，控制所述分类处理的对象。
10.根据权利要求9所述的图像处理装置，其特征在于，
所述图像处理装置包含运动判定部，所述运动判定部根据所述运动信息，判定所述拍摄图像内的像素或区域中的所述被摄体的运动量是否大于阈值，
所述分类部将被判定为所述运动量大于所述阈值的所述像素或所述区域从所述分类处理的对象中排除。
11.根据权利要求10所述的图像处理装置，其特征在于，
所述分类部通过判定所述像素或所述区域是否与正常构造物的特性一致，将所述像素或所述区域分类为正常部和非正常部，
所述分类部将被判定为所述运动量大于所述阈值的所述像素或所述区域，从对所述正常部和所述非正常部进行分类的处理的对象中排除，而分类为所述正常部和所述非正常部的分类不明的不明状态。
12.根据权利要求9所述的图像处理装置，其特征在于，
所述图像处理装置包含运动判定部，所述运动判定部根据所述运动信息，判定所述拍摄图像内的像素或区域中的所述被摄体的运动量是否大于阈值，
所述分类部针对被判定为所述运动量大于所述阈值的所述像素或所述区域，修正所述分类处理的结果。
13.根据权利要求12所述的图像处理装置，其特征在于，
所述分类部通过判定所述像素或所述区域是否与正常构造物的特性一致，将所述像素或所述区域分类为正常部和非正常部，
所述分类部针对被判定为所述运动量大于所述阈值的所述像素或所述区域，将所述正常部和所述非正常部的分类结果修正为所述正常部和所述非正常部的分类不明的不明状态。
14.根据权利要求9所述的图像处理装置，其特征在于，
所述运动检测部根据所述距离信息，将所述拍摄图像中的所述运动信息转换为所述被摄体上的运动信息，
所述分类部根据所述被摄体上的运动信息，控制所述分类处理的对象。
15.根据权利要求9所述的图像处理装置，其特征在于，
所述图像处理装置包含强调处理部，所述强调处理部根据所述分类处理的结果，进行所述拍摄图像的强调处理。
16.根据权利要求1或9所述的图像处理装置，其特征在于，
所述图像处理装置包含已知特性信息取得部，所述已知特性信息取得部取得表示与所述被摄体的构造相关的已知特性的信息即已知特性信息，
所述分类部包含：
表面形状计算部，其根据所述距离信息和所述已知特性信息求出所述被摄体的表面形状信息；以及
分类处理部，其根据所述表面形状信息生成分类基准，并使用所生成的所述分类基准进行所述分类处理。
17.根据权利要求16所述的图像处理装置，其特征在于，
所述已知特性信息取得部取得与给定状态下的所述被摄体的所述构造物对应的基准形态作为所述已知特性信息，
所述分类处理部生成通过对所述基准形态进行基于所述表面形状信息的变形处理而取得的修正形态，作为所述分类基准，并使用所生成的所述分类基准进行所述分类处理。
18.一种内窥镜装置，其特征在于，该内窥镜装置包含权利要求1～15中的任意一项所述的图像处理装置。
19.(修改后)一种程序，其特征在于，该程序使计算机执行以下步骤：
按照时间序列取得包含被摄体像的拍摄图像；
取得基于在拍摄时从摄像部到所述被摄体的距离的距离信息；
根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；
根据所述距离信息，进行所述被摄体的构造物的分类处理；以及
根据所述分类处理的结果进行所述拍摄图像的强调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象或强调量的控制，
在进行所述强调处理的对象的所述控制时，根据所述运动信息，将所述被摄体的运动量大于阈值的所述拍摄图像内的像素或区域，从基于分类结果的所述强调处理的对象中排除，
在进行所述强调量的所述控制时，根据所述运动信息，使得所述拍摄图像内的所述像素或所述区域中的所述被摄体的运动量越大，越减小针对所述像素或所述区域的所述强调处理的所述强调量。
20.一种程序，其特征在于，该程序使计算机执行以下步骤：
按照时间序列取得包含被摄体像的拍摄图像；
取得基于在拍摄时从摄像部到所述被摄体的距离的距离信息；
根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；以及
根据所述距离信息，进行所述被摄体的构造物的分类处理，并根据所述局部的所述运动信息，控制所述分类处理的对象。
21.(修改后)一种图像处理方法，其特征在于，
按照时间序列取得包含被摄体的像的拍摄图像；
取得基于在拍摄时从摄像部到所述被摄体的距离的距离信息；
根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；
根据所述距离信息，进行所述被摄体的构造物的分类处理；以及
根据所述分类处理的结果进行所述拍摄图像的强调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象或强调量的控制，
在进行所述强调处理的对象的所述控制时，根据所述运动信息，将所述被摄体的运动量大于阈值的所述拍摄图像内的像素或区域，从基于分类结果的所述强调处理的对象中排除，
在进行所述强调量的所述控制时，根据所述运动信息，使得所述拍摄图像内的所述像素或所述区域中的所述被摄体的运动量越大，越减小针对所述像素或所述区域的所述强调处理的所述强调量。
22.一种图像处理方法，其特征在于，
按照时间序列取得包含被摄体的像的拍摄图像；
取得基于在所述拍摄时从所述摄像部到所述被摄体的距离的距离信息，
根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；以及
根据所述距离信息，进行所述被摄体的构造物的分类处理，并根据所述局部的所述运动信息，控制所述分类处理的对象。

Claims (22)

1.一种图像处理装置，其特征在于，该图像处理装置包含：
图像取得部，其按照时间序列取得包含被摄体的像的拍摄图像；
距离信息取得部，其取得基于在拍摄时从摄像部到所述被摄体的距离的距离信息；
运动检测部，其根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；
分类部，其根据所述距离信息，进行所述被摄体的构造物的分类处理；以及
强调处理部，其根据所述分类处理的结果进行所述拍摄图像的强调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象或强调量的控制。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置包含运动判定部，所述运动判定部根据所述运动信息，判定所述拍摄图像内的像素或区域中的所述被摄体的运动量是否大于阈值，
所述强调处理部将被判定为所述运动量大于所述阈值的所述像素或所述区域，从基于分类结果的所述强调处理的对象中排除。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述分类部通过判定所述像素或所述区域是否与正常构造物的特性一致，将所述像素或所述区域分类为正常部和非正常部，
所述强调处理部将被判定为所述运动量大于所述阈值的所述像素或所述区域，从基于所述正常部和所述非正常部的分类结果的所述强调处理的对象中排除。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述强调处理部具有强调控制部，所述强调控制部根据所述运动信息，使得所述拍摄图像内的像素或区域中的所述被摄体的运动量越大，越减小针对所述像素或所述区域的所述强调处理的所述强调量。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述图像处理装置包含运动判定部，所述运动判定部根据所述运动信息，判定所述拍摄图像内的像素或区域中的所述被摄体的运动量是否大于阈值，
所述分类部在所述运动判定部判定为所述运动量大于所述阈值的情况下，将所述像素或所述区域从所述分类处理的对象中排除。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述运动检测部根据所述距离信息，将所述拍摄图像中的所述运动信息转换为所述被摄体上的运动信息，
所述强调处理部根据所述被摄体上的运动信息，进行所述强调处理的对象或强调量的控制。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述运动检测部具有取得拍摄所述拍摄图像时的拍摄条件的拍摄条件取得部，
所述运动检测部根据所述距离信息和所述拍摄条件，计算所述被摄体上的运动信息。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述拍摄条件是与所述距离信息对应的所述摄像部的光学系统的倍率，
所述运动检测部对所述拍摄图像中的所述运动信息乘以所述倍率，计算所述被摄体上的运动信息。
9.一种图像处理装置，其特征在于，该图像处理装置包含：
图像取得部，其按照时间序列取得包含被摄体的像的拍摄图像；
距离信息取得部，其取得基于在拍摄时从摄像部到所述被摄体的距离的距离信息；
运动检测部，其根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；以及
分类部，其根据所述距离信息，进行所述被摄体的构造物的分类处理，并根据所述局部的所述运动信息，控制所述分类处理的对象。
10.根据权利要求9所述的图像处理装置，其特征在于，
所述图像处理装置包含运动判定部，所述运动判定部根据所述运动信息，判定所述拍摄图像内的像素或区域中的所述被摄体的运动量是否大于阈值，
所述分类部将被判定为所述运动量大于所述阈值的所述像素或所述区域从所述分类处理的对象中排除。
11.根据权利要求10所述的图像处理装置，其特征在于，
所述分类部通过判定所述像素或所述区域是否与正常构造物的特性一致，将所述像素或所述区域分类为正常部和非正常部，
所述分类部将被判定为所述运动量大于所述阈值的所述像素或所述区域，从对所述正常部和所述非正常部进行分类的处理的对象中排除，而分类为所述正常部和所述非正常部的分类不明的不明状态。
12.根据权利要求9所述的图像处理装置，其特征在于，
所述图像处理装置包含运动判定部，所述运动判定部根据所述运动信息，判定所述拍摄图像内的像素或区域中的所述被摄体的运动量是否大于阈值，
所述分类部针对被判定为所述运动量大于所述阈值的所述像素或所述区域，修正所述分类处理的结果。
13.根据权利要求12所述的图像处理装置，其特征在于，
所述分类部通过判定所述像素或所述区域是否与正常构造物的特性一致，将所述像素或所述区域分类为正常部和非正常部，
所述分类部针对被判定为所述运动量大于所述阈值的所述像素或所述区域，将所述正常部和所述非正常部的分类结果修正为所述正常部和所述非正常部的分类不明的不明状态。
14.根据权利要求9所述的图像处理装置，其特征在于，
所述运动检测部根据所述距离信息，将所述拍摄图像中的所述运动信息转换为所述被摄体上的运动信息，
所述分类部根据所述被摄体上的运动信息，控制所述分类处理的对象。
15.根据权利要求9所述的图像处理装置，其特征在于，
所述图像处理装置包含强调处理部，所述强调处理部根据所述分类处理的结果，进行所述拍摄图像的强调处理。
16.根据权利要求1或9所述的图像处理装置，其特征在于，
所述图像处理装置包含已知特性信息取得部，所述已知特性信息取得部取得表示与所述被摄体的构造相关的已知特性的信息即已知特性信息，
所述分类部包含：
表面形状计算部，其根据所述距离信息和所述已知特性信息求出所述被摄体的表面形状信息；以及
分类处理部，其根据所述表面形状信息生成分类基准，并使用所生成的所述分类基准进行所述分类处理。
17.根据权利要求16所述的图像处理装置，其特征在于，
所述已知特性信息取得部取得与给定状态下的所述被摄体的所述构造物对应的基准形态作为所述已知特性信息，
所述分类处理部生成通过对所述基准形态进行基于所述表面形状信息的变形处理而取得的修正形态，作为所述分类基准，并使用所生成的所述分类基准进行所述分类处理。
18.一种内窥镜装置，其特征在于，该内窥镜装置包含权利要求1～15中的任意一项所述的图像处理装置。
19.一种程序，其特征在于，该程序使计算机执行以下步骤：
按照时间序列取得包含被摄体像的拍摄图像；
取得基于在拍摄时从摄像部到所述被摄体的距离的距离信息；
根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；
根据所述距离信息，进行所述被摄体的构造物的分类处理；以及
根据所述分类处理的结果进行所述拍摄图像的强调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象或强调量的控制。
20.一种程序，其特征在于，该程序使计算机执行以下步骤：
按照时间序列取得包含被摄体像的拍摄图像；
取得基于在拍摄时从摄像部到所述被摄体的距离的距离信息；
根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；以及
根据所述距离信息，进行所述被摄体的构造物的分类处理，并根据所述局部的所述运动信息，控制所述分类处理的对象。
21.一种图像处理方法，其特征在于，
按照时间序列取得包含被摄体的像的拍摄图像；
取得基于在拍摄时从摄像部到所述被摄体的距离的距离信息；
根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；
根据所述距离信息，进行所述被摄体的构造物的分类处理；以及
根据所述分类处理的结果进行所述拍摄图像的强调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象或强调量的控制。
22.一种图像处理方法，其特征在于，
按照时间序列取得包含被摄体的像的拍摄图像；
取得基于在所述拍摄时从所述摄像部到所述被摄体的距离的距离信息，
根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；以及
根据所述距离信息，进行所述被摄体的构造物的分类处理，并根据所述局部的所述运动信息，控制所述分类处理的对象。
CN201380075017.7A 2013-03-27 2013-09-24 图像处理装置、内窥镜装置以及图像处理方法 Expired - Fee Related CN105050473B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-067422 2013-03-27
JP2013067422A JP6150583B2 (ja) 2013-03-27 2013-03-27 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
PCT/JP2013/075629 WO2014155778A1 (ja) 2013-03-27 2013-09-24 画像処理装置、内視鏡装置、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN105050473A true CN105050473A (zh) 2015-11-11
CN105050473B CN105050473B (zh) 2017-09-01

Family

ID=51622818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380075017.7A Expired - Fee Related CN105050473B (zh) 2013-03-27 2013-09-24 图像处理装置、内窥镜装置以及图像处理方法

Country Status (5)

Country Link
US (1) US20150320296A1 (zh)
EP (1) EP2979607A4 (zh)
JP (1) JP6150583B2 (zh)
CN (1) CN105050473B (zh)
WO (1) WO2014155778A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864321A (zh) * 2017-11-29 2018-03-30 苏州蛟视智能科技有限公司 一种基于定焦镜头的电动调焦装置及方法
CN110267578A (zh) * 2017-02-06 2019-09-20 波士顿科学医学有限公司 膀胱映射
CN110418596A (zh) * 2017-03-28 2019-11-05 富士胶片株式会社 测量辅助装置、内窥镜系统及处理器
CN110769738A (zh) * 2017-06-21 2020-02-07 奥林巴斯株式会社 图像处理装置、内窥镜装置、图像处理装置的工作方法及图像处理程序
CN111758025A (zh) * 2018-02-22 2020-10-09 松下知识产权经营株式会社 检查装置及检查方法
CN112236067A (zh) * 2018-06-05 2021-01-15 奥林巴斯株式会社 内窥镜系统
CN112770662A (zh) * 2018-09-28 2021-05-07 富士胶片株式会社 医用图像处理装置、医用图像处理方法、及程序、诊断辅助装置以及内窥镜系统
CN113994654A (zh) * 2019-06-14 2022-01-28 索尼集团公司 传感器装置和信号处理方法
US11490785B2 (en) 2017-03-28 2022-11-08 Fujifilm Corporation Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
RU2510235C2 (ru) 2008-03-18 2014-03-27 Новадак Текнолоджиз Инк. Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области
WO2017038774A1 (ja) * 2015-09-01 2017-03-09 オリンパス株式会社 撮像システム、処理装置、処理方法及び処理プログラム
CN113648067A (zh) 2015-11-13 2021-11-16 史赛克欧洲运营有限公司 用于目标的照明和成像的系统和方法
GB2545641B (en) * 2015-12-15 2020-05-27 Siemens Medical Solutions Usa Inc A method for detecting motion in a series of image data frames, and providing a corresponding warning to a user
EP4155716A1 (en) 2016-01-26 2023-03-29 Stryker European Operations Limited Image sensor assembly
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
JP6668942B2 (ja) * 2016-05-23 2020-03-18 富士通株式会社 撮影制御装置、プログラム及び方法
WO2017214730A1 (en) * 2016-06-14 2017-12-21 Novadaq Technologies Inc. Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
WO2018003349A1 (ja) * 2016-06-27 2018-01-04 オリンパス株式会社 内視鏡装置
JP6329715B1 (ja) * 2016-10-31 2018-05-23 オリンパス株式会社 内視鏡システムおよび内視鏡
EP3580609B1 (en) 2017-02-10 2023-05-24 Stryker European Operations Limited Open-field handheld fluorescence imaging systems and methods
WO2018155560A1 (ja) * 2017-02-24 2018-08-30 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2018229831A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229832A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
JP7093409B2 (ja) * 2018-06-05 2022-06-29 オリンパス株式会社 内視鏡システム
JP7326308B2 (ja) * 2018-09-11 2023-08-15 富士フイルム株式会社 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US11457981B2 (en) 2018-10-04 2022-10-04 Acclarent, Inc. Computerized tomography (CT) image correction using position and direction (P andD) tracking assisted optical visualization
JP7213686B2 (ja) * 2018-12-28 2023-01-27 キヤノン株式会社 形状計測装置、制御方法及びプログラム
CN110084280B (zh) * 2019-03-29 2021-08-31 广州思德医疗科技有限公司 一种确定分类标签的方法及装置
EP4115789B1 (en) * 2021-07-08 2023-12-20 Ambu A/S Endoscope image processing device
CN113420170B (zh) * 2021-07-15 2023-04-14 宜宾中星技术智能系统有限公司 大数据图像的多线程存储方法、装置、设备和介质
CN115861718B (zh) * 2023-02-22 2023-05-05 赛维森(广州)医疗科技服务有限公司 胃活检图像分类方法、装置、设备、介质和程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003088498A (ja) * 2001-09-19 2003-03-25 Pentax Corp 電子内視鏡装置
CN101351149A (zh) * 2005-12-28 2009-01-21 奥林巴斯医疗株式会社 图像处理装置和该图像处理装置中的图像处理方法
CN102332160A (zh) * 2010-07-05 2012-01-25 奥林巴斯株式会社 图像处理装置及图像处理方法
EP2446809A1 (en) * 2010-10-26 2012-05-02 Fujifilm Corporation Electronic endoscope system having processor device, and method for processing endoscopic image
US20120197079A1 (en) * 2011-01-31 2012-08-02 Olympus Corporation Control device, endoscope apparatus, aperture control method, and information storage medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671540B1 (en) * 1990-08-10 2003-12-30 Daryl W. Hochman Methods and systems for detecting abnormal tissue using spectroscopic techniques
GB0519769D0 (en) * 2005-09-28 2005-11-09 Imp College Innovations Ltd Imaging system
JP4139430B1 (ja) * 2007-04-27 2008-08-27 シャープ株式会社 画像処理装置及び方法、画像表示装置及び方法
JP2008278963A (ja) * 2007-05-08 2008-11-20 Olympus Corp 画像処理装置および画像処理プログラム
JP4959445B2 (ja) * 2007-07-04 2012-06-20 オリンパス株式会社 画像処理装置および画像処理プログラム
US7982776B2 (en) * 2007-07-13 2011-07-19 Ethicon Endo-Surgery, Inc. SBI motion artifact removal apparatus and method
JP2010068865A (ja) * 2008-09-16 2010-04-02 Fujifilm Corp 画像診断装置
JP2012010214A (ja) * 2010-06-28 2012-01-12 Panasonic Corp 画像処理装置、画像処理方法
JP2012055498A (ja) * 2010-09-09 2012-03-22 Olympus Corp 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法
JP2013153813A (ja) * 2012-01-27 2013-08-15 Olympus Corp 内視鏡装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003088498A (ja) * 2001-09-19 2003-03-25 Pentax Corp 電子内視鏡装置
CN101351149A (zh) * 2005-12-28 2009-01-21 奥林巴斯医疗株式会社 图像处理装置和该图像处理装置中的图像处理方法
CN102332160A (zh) * 2010-07-05 2012-01-25 奥林巴斯株式会社 图像处理装置及图像处理方法
EP2446809A1 (en) * 2010-10-26 2012-05-02 Fujifilm Corporation Electronic endoscope system having processor device, and method for processing endoscopic image
US20120197079A1 (en) * 2011-01-31 2012-08-02 Olympus Corporation Control device, endoscope apparatus, aperture control method, and information storage medium

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110267578A (zh) * 2017-02-06 2019-09-20 波士顿科学医学有限公司 膀胱映射
CN110418596B (zh) * 2017-03-28 2021-12-24 富士胶片株式会社 测量辅助装置、内窥镜系统及处理器
CN110418596A (zh) * 2017-03-28 2019-11-05 富士胶片株式会社 测量辅助装置、内窥镜系统及处理器
US11490785B2 (en) 2017-03-28 2022-11-08 Fujifilm Corporation Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light
US11419694B2 (en) 2017-03-28 2022-08-23 Fujifilm Corporation Endoscope system measuring size of subject using measurement auxiliary light
CN110769738B (zh) * 2017-06-21 2022-03-08 奥林巴斯株式会社 图像处理装置、内窥镜装置、图像处理装置的工作方法及计算机可读存储介质
CN110769738A (zh) * 2017-06-21 2020-02-07 奥林巴斯株式会社 图像处理装置、内窥镜装置、图像处理装置的工作方法及图像处理程序
CN107864321A (zh) * 2017-11-29 2018-03-30 苏州蛟视智能科技有限公司 一种基于定焦镜头的电动调焦装置及方法
CN107864321B (zh) * 2017-11-29 2024-02-02 苏州蛟视智能科技有限公司 一种基于定焦镜头的电动调焦装置及方法
CN111758025A (zh) * 2018-02-22 2020-10-09 松下知识产权经营株式会社 检查装置及检查方法
CN112236067A (zh) * 2018-06-05 2021-01-15 奥林巴斯株式会社 内窥镜系统
CN112770662A (zh) * 2018-09-28 2021-05-07 富士胶片株式会社 医用图像处理装置、医用图像处理方法、及程序、诊断辅助装置以及内窥镜系统
US11910994B2 (en) 2018-09-28 2024-02-27 Fujifilm Corporation Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system
CN113994654A (zh) * 2019-06-14 2022-01-28 索尼集团公司 传感器装置和信号处理方法

Also Published As

Publication number Publication date
EP2979607A4 (en) 2016-11-30
JP2014188222A (ja) 2014-10-06
EP2979607A1 (en) 2016-02-03
WO2014155778A1 (ja) 2014-10-02
JP6150583B2 (ja) 2017-06-21
CN105050473B (zh) 2017-09-01
US20150320296A1 (en) 2015-11-12

Similar Documents

Publication Publication Date Title
CN105050473A (zh) 图像处理装置、内窥镜装置、程序以及图像处理方法
Ozyoruk et al. EndoSLAM dataset and an unsupervised monocular visual odometry and depth estimation approach for endoscopic videos
CN105072968A (zh) 图像处理装置、内窥镜装置、程序和图像处理方法
US10198872B2 (en) 3D reconstruction and registration of endoscopic data
CN104883946B (zh) 图像处理装置、电子设备、内窥镜装置和图像处理方法
CN108292366B (zh) 在内窥镜手术中检测可疑组织区域的系统和方法
Lin et al. Video‐based 3D reconstruction, laparoscope localization and deformation recovery for abdominal minimally invasive surgery: a survey
Herrera et al. Development of a Multispectral Gastroendoscope to Improve the Detection of Precancerous Lesions in Digestive Gastroendoscopy
CN102247114B (zh) 图像处理装置及图像处理方法
US8064669B2 (en) Fast 3D-2D image registration system with application to continuously guided endoscopy
WO2014119047A1 (ja) 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
US11918178B2 (en) Detecting deficient coverage in gastroenterological procedures
US20090010507A1 (en) System and method for generating a 3d model of anatomical structure using a plurality of 2d images
CN111508068B (zh) 一种应用于双目内窥镜图像的三维重建方法及系统
JP2017522072A (ja) 信頼度マッチング付き生体内マルチカメラカプセルからの画像の再構築
JP7071240B2 (ja) 検査支援装置、方法およびプログラム
CN105007802A (zh) 图像处理装置、内窥镜装置、图像处理方法和图像处理程序
Ben-Hamadou et al. Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept
Mahmood et al. Topographical reconstructions from monocular optical colonoscopy images via deep learning
Chen 3D Reconstruction of Endoscopy Images with NeRF
Ahmad et al. 3D reconstruction of gastrointestinal regions using shape-from-focus
Ozyoruk et al. Quantitative evaluation of endoscopic slam methods: Endoslam dataset
Conen et al. Development and evaluation of a miniature trinocular camera system for surgical measurement applications
US20230081476A1 (en) Method of multiple image reconstruction and registration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170901

Termination date: 20190924

CF01 Termination of patent right due to non-payment of annual fee