CN106132266A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents

图像处理装置、图像处理方法以及图像处理程序 Download PDF

Info

Publication number
CN106132266A
CN106132266A CN201580014177.XA CN201580014177A CN106132266A CN 106132266 A CN106132266 A CN 106132266A CN 201580014177 A CN201580014177 A CN 201580014177A CN 106132266 A CN106132266 A CN 106132266A
Authority
CN
China
Prior art keywords
image
region
abnormal
similar degree
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580014177.XA
Other languages
English (en)
Inventor
北村诚
神田大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN106132266A publication Critical patent/CN106132266A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4216—Diagnosing or evaluating gastrointestinal ulcers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4255—Intestines, colon or appendix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4233—Evaluating particular parts, e.g. particular organs oesophagus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4238—Evaluating particular parts, e.g. particular organs stomach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供一种在从按照时间序列拍摄活体的管腔内而取得的一系列的图像组中提取代表图像的情况下，能够抑制连续提取拍摄有相同的异常区域的异常图像作为代表图像的情况的图像处理装置等。图像处理装置(1)具有：检测部(110)，其从通过依次拍摄活体的管腔内而取得的一系列的图像组中检测包含异常区域的异常图像；大局类似度计算部(120)，其计算在不同的异常图像之间，包含除异常区域以外的区域的区域之间的类似度即大局类似度；异常图像组提取部(130)，其根据大局类似度或者基于该大局类似度的判别参数与阈值之间的比较，提取包含相同的异常区域的异常图像组；以及代表图像提取部(140)，其从提取出的异常图像组中提取代表图像。

Description

图像处理装置、图像处理方法以及图像处理程序
技术领域
本发明涉及从通过拍摄活体的管腔内而取得的图像组中提取代表图像的图像处理装置、图像处理方法以及图像处理程序。
背景技术
已知以下技术：从通过使用内窥镜或胶囊型内窥镜等医用观察装置按照时间序列顺序拍摄活体的管腔内而取得的一系列的图像组(以下，也称作管腔内图像组)中，提取拍摄有异常区域等关注区域的图像作为代表图像。用户通过观察从图像组中提取出的代表图像，能够减轻详细观察大量图像的负担，并能够进行正确且高效的诊断。
例如在专利文献1中公开了以下图像处理装置：从按照时间序列顺序取得的管腔内图像组中检测关注区域，根据检测出的各个关注区域的特征量，将在时间序列上相邻且特征量类似的关注区域分类为相同的组，根据特征量的平均值，从分类为各个组的关注区域中选出该组的代表区域，将包含选出的代表区域的图像作为代表图像输出。
现有技术文献
专利文献
专利文献1：日本特开2011-24727号公报
发明内容
发明所要解决的课题
如胶囊型内窥镜那样，在使用摄像方向频繁发生变化的医用观察装置进行了拍摄的情况下，虽然在时间序列中接近的管腔内图像之间拍摄有相同的关注区域，但是有时关注区域的位置、形状或颜色发生较大变化，或者相同的关注区域从视野中消失或再次出现。例如浮游出血那样，在将不具有特定形状的异常设为关注区域的情况下，关注区域的形状频繁发生变化的情况较多。
当针对这样的管腔内图像组使用在上述专利文献1中公开的技术时，有时会将位置、形状或颜色发生较大变化的关注区域判断为不同的关注区域，分类到不同的组中。其结果，有可能连续提取出拍摄有相同的关注区域的关注图像作为代表图像。
本发明正是鉴于上述问题而作出的，其目的在于提供在从按照时间序列顺序拍摄活体的管腔内而取得的一系列的图像组中提取代表图像的情况下，能够抑制连续提取拍摄有相同的关注区域的关注图像作为代表图像的情况的图像处理装置、图像处理方法以及图像处理程序。
用于解决课题的手段
为了解决上述课题、实现目的，本发明的图像处理装置的特征在于，具有：检测单元，其从通过依次拍摄活体的管腔内而取得的一系列的图像组中，检测包含被估计为检测对象的区域即关注区域的关注图像；大局类似度计算单元，其计算不同的关注图像之间，至少包含除了所述关注区域以外的区域的区域之间的类似度即大局类似度；关注图像组提取单元，其根据所述大局类似度或者基于该大局类似度的判别参数与阈值之间的比较，提取包含相同的关注区域的关注图像组；以及代表图像提取单元，其从所述关注图像组中提取代表图像。
本发明的根据通过依次拍摄活体的管腔内而取得并记录在记录部中的一系列的图像组的图像数据来使计算机具备的运算部执行的图像处理方法，其特征在于，所述图像处理方法包含：检测步骤，从所述一系列的图像组中检测包含关注区域的关注图像；大局类似度计算步骤，计算在不同的关注图像之间至少包含除了所述关注区域以外的区域的区域之间的类似度即大局类似度；关注图像组提取步骤，根据所述大局类似度或者基于该大局类似度的判别参数与阈值之间的比较，提取包含相同的关注区域的关注图像组；以及代表图像提取步骤，从所述关注图像组中提取代表图像。
本发明的图像处理程序的特征在于，使计算机执行以下步骤：检测步骤，从通过依次拍摄活体的管腔内而取得的一系列的图像组中检测包含关注区域的关注图像；大局类似度计算步骤，计算在不同的关注图像之间至少包含除了所述关注区域以外的区域的区域之间的类似度即大局类似度；关注图像组提取步骤，根据所述大局类似度或者基于该大局类似度的判别参数与阈值之间的比较，提取包含相同的关注区域的关注图像组；以及代表图像提取步骤，从所述关注图像组中提取代表图像。
发明效果
根据本发明，由于根据关注图像之间的大局类似度，对于从一系列的图像组中检测出的关注图像提取关注图像组，所以能够抑制连续提取拍摄有相同的异常区域的异常图像作为代表图像。
附图说明
图1是示出本发明实施方式1的图像处理装置的结构的框图。
图2是示出图1所示的图像处理装置的动作的流程图。
图3是示出按照时间序列顺序取得的一系列的管腔内图像的示意图。
图4是示出由图1所示的大局类似度计算部执行的大局类似度计算处理的流程图。
图5是用于说明由图1所示的大局类似度计算部执行的大局类似度计算处理的示意图。
图6是用于说明本发明实施方式1的变形例1-1的大局类似度计算处理的示意图。
图7是示出本发明实施方式2的图像处理装置具备的运算部的结构的框图。
图8是示出本发明实施方式2的图像处理装置的动作的流程图。
图9是示出由图7所示的异常图像组提取部执行的异常图像组提取处理的流程图。
图10是用于说明由图7所示的异常图像组提取部执行的异常图像组的提取处理的示意图。
图11是示出本发明实施方式2的变形例2的图像处理装置具备的运算部的结构的框图。
图12是示出由图11所示的代表图像提取部执行的代表图像提取处理的流程图。
图13是示出本发明实施方式3的图像处理装置具备的运算部的结构的框图。
图14是示出本发明的实施方式3的图像处理装置的动作的流程图。
图15是示出由图13所示的异常图像组提取部执行的异常图像组的提取处理的流程图。
图16是示出图13所示的异常分类部的另一个结构例的框图。
图17是示出图13所示的异常分类部的另一其它结构例的框图。
图18是示出本发明实施方式4的图像处理装置具备的运算部的结构的框图。
图19是示出本发明的实施方式4的图像处理装置的动作的流程图。
图20是示出由图18所示的异常图像组提取部执行的异常图像组的提取处理的流程图。
图21是示出本发明实施方式5的图像处理装置具备的运算部的结构的框图。
图22是示出本发明的实施方式5的图像处理装置的动作的流程图。
图23是示出由图21所示的异常图像组提取部执行的异常图像组的提取处理的流程图。
图24是示出本实施方式5的变形例5-3中的异常图像组的提取处理的流程图。
具体实施方式
以下，参照附图说明本发明的实施方式的图像处理装置、图像处理方法以及图像处理程序。另外，本发明不受这些实施方式限定。另外，在各附图的记载中，对相同部分标注相同标号来示出。
(实施方式1)
图1是示出本发明实施方式1的图像处理装置的框图。实施方式1的图像处理装置1是以下装置：从通过胶囊型内窥镜等医用观察装置依次拍摄作为被检体的活体的管腔内而取得的一系列的图像组中，提取包含被估计为检测对象的关注区域的图像(关注图像)组，从提取出的关注图像组中进一步提取代表图像。拍摄有活体的管腔内的图像(也称作管腔内图像)通常是在各个像素位置处对于R(红)、G(绿)、B(蓝)的波长成分具有像素级(像素值)的彩色图像。在以下的说明中，对于检测出血、发红、口疮、溃疡等异常区域作为关注区域，从包含这些异常区域的关注图像(异常图像)组中提取代表图像的情况进行说明，但是关注区域不限定于上述例示的异常区域。
如图1所示，图像处理装置1具有：控制部10，其控制该图像处理装置1整体的动作；图像取得部20，其取得与通过胶囊内窥镜等医用观察装置拍摄的管腔内图像对应的图像数据；输入部30，其将与来自外部的操作对应的信号输入到控制部10；显示部40，其进行各种信息和图像的显示；记录部50，其存储由图像取得部20取得的图像数据和各种程序；以及运算部100，其对图像数据执行规定的图像处理。
控制部10由CPU等硬件来实现，其通过读入记录在记录部50中的各种程序，根据从图像取得部20输入的图像数据和从输入部30输入的信号等，向构成图像处理装置1的各部进行指示或者数据传送等，统一控制整个图像处理装置1的动作。
图像取得部20根据包含对被检体内进行拍摄的胶囊型内窥镜的系统的方式而适当构成。例如，在使用与胶囊型内窥镜之间交换图像数据的可移动型记录介质的情况下，图像取得部20由拆装自如地安装该记录介质并读出已记录的图像的图像数据的读出装置构成。此外，在设置预先保存由胶囊型内窥镜拍摄的图像的图像数据的服务器的情况下，图像取得部20由与服务器连接的通信装置等构成，并与服务器进行数据通信来取得图像数据。
输入部30通过例如键盘、鼠标、触摸面板及各种开关等输入器件来实现，其将根据针对这些输入设备的来自外部的操作而产生的输入信号输出到控制部10。
显示部40由LCD或EL显示器等显示装置来实现，在控制部10的控制下，显示包含管腔内图像在内的各种画面。
记录部50由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、或者CD-ROM等信息记录装置及其读取装置等来实现。记录部50除了存储由图像取得部20取得的管腔内图像的图像数据以外，还存储用于使图像处理装置1动作并使该图像处理装置1执行各种功能的程序、以及在该程序的执行中使用的数据等。具体而言，记录部50存储图像处理程序51、在检测异常区域时使用的判别基准和在提取代表图像时使用的判别基准等，其中，该图像处理程序51使该图像处理装置1执行以下图像处理：从管腔内图像中检测出血、发红、口疮、溃疡等异常区域，从包含这些异常区域的图像(异常图像)中提取包含相同的异常区域的异常图像组，从各个异常图像组中提取代表图像。
运算部100由CPU等硬件来实现，通过读入图像处理程序51，进行以下图像处理：从管腔内图像中提取包含相同的异常区域的异常图像组，从各个异常图像组中提取代表图像。
接着，对运算部100的结构进行说明。如图1所示，运算部100具有；检测部110，其从一系列的管腔内图像组中检测包含异常区域的异常图像；大局类似度计算部120，其计算不同的异常图像之间的整体上的类似度即大局类似度；异常图像组提取部130，其根据大局类似度，从由检测部110检测出的异常图像中提取包含相同的异常区域的异常图像组；以及代表图像提取部140，其从提取出的各个异常图像组中提取代表图像。
检测部110根据管腔内图像的各种特征量来检测异常区域。在实施方式1中，对于根据管腔内图像的颜色特征量(颜色信息)来检测异常区域的例子进行说明。这里，出血、发红或血管异常等异常区域示出红色调的特定颜色，溃疡或口疮等异常区域示出白色调的特定颜色。因此，检测部110可以使用像素值的各个颜色成分(R成分、G成分、B成分)和根据这些各个颜色成分通过公知的转换而2元地计算出的值(例如，通过YCbCr转换计算出的色差、通过HSI转换计算出的色相、饱和度、G/R、B/G等颜色比等)这样的颜色特征量，检测管腔内图像内的示出特定颜色的区域，设该区域为异常区域。更详细而言，根据预先收集的各种异常区域的颜色特征量，预先制作异常区域的判别基准(颜色范围)，并记录到记录部50中。然后，在从管腔内图像中检测异常区域时，从记录部50读出该判别基准，并且对于构成管腔内图像的各个像素计算颜色特征量，通过将各个像素的颜色特征量与判别基准进行比较，从该管腔内图像中检测异常区域。
另外，异常区域的检测方法不限定于上述的检测方法，只要能够检测异常区域，则可应用公知的各种方法。例如，可以使用基于与代表性的颜色特征量之间的特征空间距离的方法等。此外，虽然在上述说明中，使用以构成管腔内图像的像素为单位的颜色特征量来检测出异常区域，但是也可以根据图像内的边缘信息等将管腔内图像分割为小区域，使用以小区域为单位的颜色特征量来检测异常区域。并且，可以使用除颜色特征量以外的形状特征量或纹理特征量来检测异常区域。
大局类似度计算部120计算在相互不同的异常图像之间，至少包含除异常区域以外的区域的区域、即包含异常区域的背景的区域之间的类似度作为大局类似度。
异常图像组提取部130是以下的关注图像组提取单元：根据由大局类似度计算部120计算出的大局类似度，提取包含由检测部110检测出的异常区域中的相同的异常区域的图像作为一个异常图像组。
代表图像提取部140分别从包含相同的异常区域的异常图像组中提取代表图像。代表图像的提取方法未特别限定，可以仅是提取异常图像组的时间序列上的开头的图像或中央的图像作为代表图像，也可以提取包含在图像诊断上重要度高的异常区域的异常图像和异常区域的视觉辨认性良好的异常图像作为代表图像。能够根据例如异常区域的颜色特征量、形状特征量、纹理特征量等，判别异常区域的重要度和视觉辨认性。
接着，对图1所示的图像处理装置1的动作进行说明。图2是示出图像处理装置1的动作的流程图。首先，在步骤S10中，图像处理装置1经由图像取得部20取得按照时间序列顺序拍摄的一系列的管腔内图像的图像数据，并记录到记录部50中。
在接下来的步骤S11中，检测部110依次读出记录在记录部50中的管腔内图像的图像数据，从各个管腔内图像中检测异常区域，提取包含异常区域的异常图像。具体而言，检测部110读出预先记录在记录部50中的异常区域的判别基准，通过将构成各个管腔内图像的各个像素的颜色特征量与该判别基准进行比较，来检测异常区域。
图3是示出按照时间序列顺序取得的一系列的管腔内图像的示意图。这里，下标i(i＝1、2、……)表示各个管腔内图像在时间序列上的排列顺序(拍摄顺序)，并与图像编号对应。通过步骤S11的处理，检测出异常区域Ai(i＝t1～t1+4、t2、t2+2、t2+4)，提取包含各个异常区域Ai的管腔内图像Ii。以下，将包含异常区域Ai的管腔内图像Ii记作异常图像Ii，也将仅由沿着时间序列(拍摄顺序)排列的异常图像Ii构成的图像列称作异常图像列。
在接下来的步骤S12中，大局类似度计算部120对于在步骤S11中提取出的各个异常图像，计算在异常图像列中相邻的异常图像之间的大局类似度。在例如图3的情况下，计算作为在异常图像列中相邻的异常图像，即异常图像It1与It1+1、异常图像It1+1与It1+2、异常图像It1+2与It1+3、异常图像It1+3与It1+4、异常图像It1+4与It2、异常图像It2与It2+2、异常图像It2+2与It2+4的各个组合的大局类似度。
在实施方式1中，说明计算异常区域的背景区域之间的类似度作为大局类似度的例子。图4是示出在步骤S12中由大局类似度计算部120执行的大局类似度计算处理的流程图。此外，图5是用于说明大局类似度计算处理的示意图。
如图5所示，假设从在异常图像列中相邻的异常图像Ik、Ik’(k、k’为k<k’的自然数)中分别检测异常区域Ak、Ak’。在该情况下，在图4所示的步骤S101中，大局类似度计算部120从各个异常图像Ik、Ik’中分别提取除异常区域Ak、Ak’以外的区域、即非异常区域Bk、Bk’作为背景区域。
在接下来的步骤S102中，大局类似度计算部120分别计算背景区域、即非异常区域Bk、Bk’的特征量ck、ck’。作为特征量ck、ck’，可以举出构成非异常区域Bk、Bk’的像素的像素值(亮度值或G成分的值)的平均值或者中央值等统计量、构成非异常区域Bk、Bk’的像素的颜色特征量(使用R成分、G成分、B成分的各个值，通过YCbCr转换计算出的色差、通过HSI转换计算出的色相、饱和度、G/R、B/G等颜色比等)的平均值或者中央值等统计量、非异常区域Bk、Bk’的形状特征量(面积或圆形度等)、构成非异常区域Bk、Bk’的各个像素的纹理特征量(使用索贝尔滤波器或拉普拉斯滤波器等计算的边缘量等)的平均值或者中央值等统计量等。
在接下来的步骤S103中，大局类似度计算部120计算在异常图像列中相邻的异常图像Ik、Ik’之间的非异常区域Bk、Bk’的特征量ck、ck’的变化量Δc(Δc＝ck-ck’)。
在接下来的步骤S104中，大局类似度计算部120使用特征量的最大值cmax和变化量Δc来计算通过下式(1)给出的大局类似度sglobal。
sglobal＝(cmax－Δc)/cmax……(1)
在式(1)中，特征量的特征量的最大值cmax是特征量ck、ck’能够采用的最大的值。在对于例如256灰度的异常图像Ik、Ik’，计算像素值(G成分的值)的统计值作为特征量ck、ck’的情况下，最大值cmax是256。此外，在计算圆形度作为特征量ck、ck’的情况下，最大值cmax是1。然后，图像处理装置1的动作返回到主例程。
在接着步骤S12的步骤S13中，异常图像组提取部130根据在步骤S12中计算出的大局类似度sglobal，从在步骤S11中提取出的异常图像中提取包含相同的异常区域的异常图像组。详细来说，异常图像组提取部130将大局类似度sglobal为规定阈值以上的异常图像彼此判定为包含相同的异常区域的异常图像。相反地，将大局类似度sglobal小于等于规定阈值的异常图像彼此判定为不包含相同的异常区域的异常图像。然后，异常图像组提取部130提取包含相同的异常区域的异常图像，作为1个异常图像组。
例如，在图3中，在判定为异常图像It1与It1+1、异常图像It1+1与It1+2、异常图像It1+2与It1+3、和异常图像It1+3与It1+4分别包含相同的异常区域的情况下，提取这些异常图像It1、It1+1、It1+2、It1+3、It1+4作为1个异常图像组Gt1。此外，在判定为异常图像It1+4和It2不包含相同的异常区域的情况下，不提取异常图像It2作为与异常图像It1+4相同的异常图像组。并且，在判定为异常图像It2与It2+2、异常图像It2+2与It2+4分别包含相同的异常区域的情况下，提取这些异常图像It2、It2+2、It2+4作为1个异图像组Gt2。
在接下来的步骤S14中，代表图像提取部140从在步骤S13中提取出的各个异常图像组中提取代表图像。提取的代表图像的数量可以是常数(例如，从各个异常图像组中提取1张)，也可以根据包含于异常图像组中的异常图像的张数来确定(例如，异常图像的张数的α倍、0<α<1)。另外，在后者的情况下，假设在代表图像的张数不足1张时，提取至少1张代表图像。或者，不指定要提取的代表图像的数量，可以提取满足规定基准的全部异常图像(例如，颜色特征量为规定阈值以上的异常图像)作为代表图像。
代表图像的提取方法没有特别限定。例如，可以提取各个异常图像组的时间序列顺序上的开头的图像或中央的图像作为代表图像。或者，可以根据各个异常图像组中的相同的异常区域的颜色特征量来提取。具体而言，在异常区域示出红色调的特定颜色的情况下，优先提取异常区域的红色强的异常图像作为代表图像，在异常区域示出白色调的特定颜色的情况下，优先提取异常区域的白色强的异常图像作为代表图像。此外，可以优先提取异常区域的面积大的异常图像或异常区域的位置靠近中央的异常图像作为代表图像。
在接下来的步骤S15中，运算部100输出表示在步骤S14中从各个异常图像组中提取出的代表图像的信息作为代表图像的提取结果。与此相应，记录部50在作为代表图像提取出的管腔内图像的图像数据中附加表示是代表图像的意思的信息(标记)。
如以上所说明那样，根据本发明的实施方式1，由于根据包含异常图像内的背景区域的区域之间的大局类似度来提取异常图像组，所以即使在由于拍摄异常区域时的状况而导致异常区域的位置、形状或颜色在异常图像之间发生较大变化，或者，异常区域一瞬间从视野偏离且异常图像彼此在时间序列上远离这样的情况下，也能够提取这些异常图像作为相同的异常图像组。所以，能够抑制连续提取拍摄有相同的异常区域的异常图像作为代表图像的情况。因此，通过网罗检测出的全部异常，同时观察提取张数得到抑制的代表图像，用户能够进行正确且高效的诊断。
(变形例1-1)
接着，说明本发明实施方式1的变形例1-1。
在计算大局类似度时从各个异常图像中提取的背景区域可以不是整个非异常区域。例如，可以提取拍摄有异常图像内的粘膜的区域(粘膜区域)作为背景区域，计算该粘膜区域之间的大局类似度。
能够使用预先制成的判别基准，提取粘膜区域。判别基准根据在管腔内图像中拍摄的出血、残渣、泡、光晕、暗部等非粘膜区域的颜色特征量(像素值的R成分、G成分、B成分的值、根据这些各个颜色成分的值而通过公知的转换而2元地计算出的值(通过YCbCr转换计算出的色差、通过HSI转换计算出的色相、饱和度、G/R、B/G等颜色比等))、形状特征量(HOG(Histogramsof Oriented Gradients：直方图梯度方向)、面积、周长、费雷特直径等形状信息)或纹理特征量(LBP(Local Binary Pattern：局部二值模式)、同时归一矩阵等)的特征量分布，通过SVM(support vector machines：支持向量机)等学习机来制作，并预先记录到记录部50中。
图6是用于说明变形例1-1的大局类似度计算处理(参照图2的步骤S12和图4)的示意图。在该情况下，在步骤S101中，大局类似度计算部120从记录部50读出用于判别粘膜区域的判别基准，通过将对于构成异常图像的各个像素计算出的特征量与判别基准进行比较，提取粘膜区域。由此，如图6所示，从在异常图像列中相邻的异常图像Ik、Ik’中分别提取除了出血等异常区域Ak、Ak’和泡等无用区域Ck、Ck’以外的粘膜区域Dk、Dk’。
大局类似度计算部120将该粘膜区域Dk、Dk’作为背景区域计算特征量ck、ck’(参照步骤S102)，使用该特征量的最大值cmax和变化量Δc，计算通过式(1)给出的大局类似度sglobal(参照步骤S103、S104)。
如以上所说明那样，根据变形例1-1，由于计算异常图像之间的粘膜区域之间的大局类似度，所以能够抑制由于如出血、残渣、泡、光晕和暗部那样局部发生的现象引起的影响，并提取包含相同的异常区域的异常图像组。
(变形例1-2)
接着，说明本发明实施方式1的变形例1-2。
大局类似度不仅可以根据背景区域，还可以根据包含异常区域的区域的特征量来进行计算。具体而言，可以根据包含异常区域和非异常区域的整个异常图像的特征量来计算大局类似度。或者，可以使用从整个异常图像中去除了残渣、泡、光晕、暗部等无用区域(除诊断中的检测对象以外的区域)以外的区域的特征量来计算大局类似度。无论哪一种情况，大局类似度只要是针对至少包含非异常区域的区域彼此计算出的即可。
(变形例1-3)
接着，说明本发明实施方式1的变形例1-3。
异常图像之间的大局类似度可以根据在异常图像中拍摄到的脏器的种类来确定。以下，说明基于脏器的种类的大局类似度的确定方法。
首先，判别在各个异常图像中拍摄到的脏器的种类。能够使用公知的各种方法，来判别脏器的种类。以下，作为一个例子，说明在日本特开2006-288612号公报中公开的方法。首先，预先确定拍摄有管腔内的各个脏器(食道、胃、小肠和大肠)的图像中的R、G、B各个颜色成分(颜色要素)的数值范围。然后，计算构成异常图像的各个像素的R成分、G成分和B成分的值的各自的平均值，并与预先确定的各个脏器的颜色成分的数值范围进行比较。其结果，如果针对异常图像计算出的每个颜色成分的平均值在预先确定的食道的颜色成分的数值范围内，则判别为在该异常图像中拍摄的脏器是食道。同样，如果针对异常图像计算出的每个颜色成分的平均值在预先确定的胃的颜色成分的数值范围内，则判别为在该异常图像中拍摄的脏器是胃，如果在小肠的颜色成分的数值范围内，则判别为在该异常图像中拍摄的脏器是小肠，如果在大肠的颜色成分的数值范围内，则判别为在该异常图像中拍摄的脏器是大肠。
大局类似度计算部120根据针对各个异常图像判别出的脏器的种类来确定大局类似度。具体而言，在异常图像列中相邻的异常图像之间，如果脏器的种类相同，则将类似度确定为1.0。另一方面，在异常图像列中相邻的异常图像之间，在脏器的种类不同的情况下，将类似度确定为0.0。
另外，脏器的种类也可以由用户进行判别。具体而言，通过运算部100中的图像处理，计算一系列的管腔内图像各自的平均颜色，制作按照管腔内图像的排列顺序(时间序列顺序)排列这些平均颜色的彩条并显示在显示部40中。该彩条上的平均颜色的交替位置(边界)与一系列的管腔内图像中的脏器的边界对应。因此，在根据针对输入部30的用户操作而从输入部30向控制部10输入了选择彩条上的特定的点的信号后，控制部10将与该点对应的管腔内图像的图像编号输入到运算部100。运算部100以与所输入的图像编号对应的管腔内图像为脏器的边界，确定在各个管腔内图像中拍摄的脏器的种类。大局类似度计算部120根据检测出异常区域的管腔内图像的脏器的种类来确定大局类似度。
(变形例1-4)
接着，说明本发明实施方式2的变形例1-4。
运算部100可以在步骤S10中取得图像数据以后，对一系列的管腔内图像整体进行脏器的种类的判别处理。另外，脏器的种类的判别方法与变形例1-3相同，可以进行自动判别，也可以由用户手动进行判别。
在该情况下，运算部100对于拍摄有检查对象的脏器(例如小肠)的管腔内图像执行上述的步骤S11～S14的处理(参照图2)。另一方面，运算部100对于拍摄有除检查对象以外的脏器(例如食道、胃、大肠)的管腔内图像，在通过检测异常区域而提取了异常图像以后，按照例如异常区域的红色从强到弱的顺序或者异常区域的白色从强到弱的顺序，提取规定张数的异常图像(例如10张等少量)，作为代表图像进行输出。另外，红色的强度能够通过颜色比G/R来表示，颜色比G/R越小，则表示红色越强。此外，白色的强度能够通过颜色比G/R和B/G来表示，颜色比G/R和B/G均越大，则表示白色越强。或者，运算部100不对拍摄有除检查对象以外的脏器的管腔内图像进行异常区域的检测，而可以根据各个管腔内图像的颜色特征量(上述的颜色比等)，提取规定张数(例如10张等少量)的管腔内图像作为代表图像。并且，运算部100也可以不从拍摄有除检查对象以外的脏器的管腔内图像中进行代表图像的提取。
(实施方式2)
接着，对本发明的实施方式2进行说明。
图7是示出本发明实施方式2的图像处理装置具备的运算部的结构的框图。实施方式2的图像处理装置替代图1所示的运算部100而具有图7所示的运算部200。除运算部200以外的各部分的结构和动作与实施方式1相同。
运算部200具有：检测部110、位置信息取得部210、大局类似度计算部120、异常图像组提取部220和代表图像提取部140。其中，检测部110、大局类似度计算部120和代表图像提取部140的动作与实施方式1相同。
位置信息取得部210取得各个异常图像Ii的一系列的管腔内图像(参照图3)的时间序列上的排列顺序(拍摄顺序)或者表示该排列顺序的图像编号或者各个异常图像Ii的拍摄时刻，作为该异常图像Ii的时间序列上的位置信息。这里，当设在一系列的管腔内图像的拍摄中使用的胶囊型内窥镜的平均行进速度为v(例如，1mm/秒)、拍摄帧率为F(例如，2张/秒)时，能够将管腔内图像(异常图像)Ii的拍摄位置估计为从一系列的管腔内图像的拍摄开始位置(例如，口腔内)行进了距离i·v/F(mm)后的位置。此外，即使使用拍摄时刻，同样也能够估计胶囊型内窥镜的位置。因此，能够将管腔内图像的排列顺序、图像编号和拍摄时刻作为异常图像Ii的位置信息进行处理。
异常图像组提取部220根据由位置信息取得部210取得的位置信息和由大局类似度计算部120计算出的大局类似度，提取包含相同的异常区域的异常图像组。
接着，对实施方式2的图像处理装置的动作进行说明。图8是示出实施方式2的图像处理装置的动作的流程图。另外，图8所示的步骤S10和S11与实施方式1相同(参照图2)。
在接着步骤S11的步骤S21中，位置信息取得部210取得在步骤S11中提取出的异常图像的时间序列上的位置信息。具体而言，取得异常图像Ii的拍摄时刻或者排列顺序i作为位置信息。
在接下来的步骤S22中，大局类似度计算部120计算在异常图像列中相邻的异常图像之间的大局类似度。大局类似度的计算方法与实施方式1相同(参照图4和图5)。或者，可以与变形例1-1～1-3同样地计算大局类似度。
在接下来的步骤S23中，异常图像组提取部220根据在步骤S21中取得的位置信息和在步骤S22中计算出的大局类似度，提取包含相同的异常区域的异常图像组。
图9是示出在步骤S23中由异常图像组提取部220执行的异常图像组的提取处理的流程图。此外，图10是用于说明异常图像组的提取处理的示意图。异常图像组提取部220对在步骤S11中提取出的各个异常图像执行循环A的处理。
首先，在步骤S201中，异常图像组提取部220对于处理对象的异常图像Ik(k为自然数)，计算与在异常图像列中相邻的异常图像Ik’(k’为k<k’的自然数)之间的拍摄时刻T(Ik)、T(Ik’)的差分ΔT(＝T(Ik’)－T(Ik))、即经过时间。
在接下来的步骤S202中，异常图像组提取部220判定在步骤S201中计算出的拍摄时刻的差分ΔT是否为规定阈值th1以下。
在拍摄时刻的差分ΔT为阈值th1以下的情况下(步骤S202：是)，接着，异常图像组提取部220判定该异常图像Ik、Ik’之间的大局类似度sglobal是否为规定阈值th2以上(步骤S203)。
在大局类似度sglobal为阈值th2以上的情况下(步骤S203：是)，异常图像组提取部220判定为处理对象的异常图像Ik和下一个提取的异常图像Ik’包含相同的异常区域(步骤S204)。
例如图10所示的异常图像It1与异常图像It1+1那样，在按照时间序列相邻的情况下(ΔT1<th1)，如果大局类似度sglobal为阈值th2以上，则判定为这些异常图像It1、It1+1包含相同的异常区域。此外，即使是如异常图像It2和异常图像It2+2那样在管腔内图像组Ii(i＝1、2、……)中按照时间序列未直接相邻的情况下，如果拍摄时刻的差分ΔT2为阈值th1以下，则将大局类似度sglobal在阈值th2以上作为条件，判定为这些异常图像It2、It2+2包含相同的异常区域。
另一方面，在步骤S202中拍摄时刻的差分ΔT大于阈值th1的情况下(步骤S202：否)、或者在步骤S203中大局类似度sglobal小于阈值th2的情况下(步骤S203：否)，异常图像组提取部220判定为处理对象的异常图像Ik和下一个提取的异常图像Ik’不包含相同的异常区域(步骤S205)。在例如图10的情况下，由于异常图像It1+4与异常图像It2之间的拍摄时刻的差分ΔT3大于阈值th1，所以判定为不包含相同的异常区域。
在针对全部异常图像结束循环A的处理后，在步骤S206中，异常图像组提取部220提取判定为拍摄有相同的异常区域的异常图像彼此作为相同的异常图像组。然后，图像处理装置的动作返回到主例程。
另外，在步骤S201中可以替代拍摄时刻，计算异常图像Ii的排列顺序i的差分。在该情况下，在步骤S202中，判定排列顺序的差分是否为规定阈值以下。
接着步骤S22的步骤S14和S15与实施方式1相同(参照图2)。
如以上所说明那样，根据本发明的实施方式2，由于根据异常图像的时间序列上的位置信息和大局类似度，提取包含相同的异常区域的异常图像组，所以能够防止提取在时间序列上分离较大的异常图像彼此作为相同的异常图像组的情况。
(变形例2)
接着，对本发明的实施方式2的变形例2进行说明。
虽然在上述实施方式2中，在包含相同的异常区域的异常图像组的提取处理中使用了异常图像的时间序列上的位置信息，但是也可以使用该位置信息来进行代表图像的提取处理。
图11是示出变形例2的图像处理装置具备的运算部的结构的框图。如图11所示，变形例2的运算部250替代实施方式2的运算部200(参照图7)具备的代表图像提取部140而具有代表图像提取部141。除了代表图像提取部141以外的运算部205的各部分的结构和动作与实施方式2相同。
代表图像提取部141分别从包含相同的异常区域的异常图像组中，优先提取作为重要度高的异常区域而拍摄有出血源的异常图像作为代表图像。更详细来说，代表图像提取部141具有出血源检测部141a，该出血源检测部141a从拍摄有出血的异常区域的异常图像组中检测出血源。该出血源检测部141a具有位置估计部141b，该位置估计部141b估计在异常图像中拍摄的被摄体(脏器)在管腔内的位置、即异常图像在管腔内的拍摄位置。
图12是示出在图8所示的步骤S14中由代表图像提取部141执行的代表图像提取处理的流程图。代表图像提取部141对在步骤S23中提取出的各个异常图像组执行循环B的处理。另外，在以下的说明中，设从各个异常图像组中提取的代表图像的张数为n张。
首先，在步骤S211中，代表图像提取部141判定在处理对象的异常图像组中包含的相同的异常区域是否是出血。具体而言，在步骤S11(参照实施方式1)中，将被检测为表示红色调的特定颜色的区域的异常区域判定为出血。或者，可以根据异常区域的颜色特征量、形状特征量或者纹理特征量，判定异常区域是否是出血。
在相同的异常区域是出血的情况下(步骤S211：是)，位置估计部141b取入在步骤S21中由位置信息取得部210取得的时间序列上的位置信息(异常图像的拍摄时刻或者排列顺序)，根据该位置信息来估计在该异常图像组中包含的各个异常图像在管腔内的拍摄位置(步骤S212)。
在接下来的步骤S213中，出血源检测部141a检测出血源图像(拍摄有出血源的异常图像)。详细来说，从该异常图像组中的、包含红色强的异常区域的异常图像中检测管腔内的拍摄位置为最上游的异常图像(换言之，在时间序列上最早的异常图像)，作为出血源图像。这里，能够将红色强的异常区域判别为是例如颜色比G/R的值为规定阈值以下的区域。另外，可以比在步骤S11中检测异常区域时使用的判别基准(颜色比G/R)更严格(减小值)地设定这时使用的颜色比G/R的阈值。
一般来说，在管腔内发生了出血的情况下，血液从上游(口腔侧)朝向下游(肛门侧)流动。所以，能够估计为在包含红色强的异常区域的异常图像中的、拍摄位置最靠上游的异常图像中拍摄有出血源。
在接下来的步骤S214中，代表图像提取部141提取1张在步骤S213中检测出的出血源图像作为代表图像。
在接下来的步骤S215中，代表图像提取部141从该异常图像组中的、包含红色强的异常区域的异常图像(除了出血源图像以外)中随机提取代表图像的提取张数为n-1张的代表图像。
在接下来的步骤S216中，代表图像提取部141判定是否提取了n张代表图像。在该异常图像组中的、包含红色强的异常区域的异常图像的张数为n张以上的情况下，能够从这些异常图像中提取总计n张的代表图像。在该情况下(步骤S216：是)，处理转移到步骤S219。
另一方面，在该异常图像组中的、包含红色强的异常区域的异常图像的张数不足n张的情况下，无法提取n张代表图像。在该情况下(步骤S216：否)，代表图像提取部141从不包含红色强的异常区域的剩余的异常图像中，随机提取代表图像直到总张数为n张为止(步骤S217)。然后，处理转移到步骤S219。
此外，在步骤S211中，在处理对象的异常图像组的相同的异常区域不是出血的情况下(步骤S211：否)，代表图像提取部141与实施方式1同样地从异常图像组中提取n张代表图像(步骤S218)。然后，处理转移到步骤S219。
在步骤S219中，代表图像提取部141在提取出的n张代表图像的图像数据中附加表示是代表图像的意思的信息(标记)。
在对于在步骤S23(参照图8)中提取出的全部异常图像组执行了循环B的处理以后，图像处理装置的动作返回到主例程。
如以上所说明那样，根据变形例2，能够根据异常区域的红色的强度和各个异常图像在管腔内的位置信息，优先提取在诊断中重要度高的出血源作为代表图像。
(实施方式3)
接着，对本发明的实施方式3进行说明。
图13是示出本发明实施方式3的图像处理装置具备的运算部的结构的框图。实施方式3的图像处理装置替代图1所示的运算部100而具有图13所示的运算部300。除运算部300以外的各部分的结构和动作与实施方式1相同。
运算部300具有：检测部110、位置信息取得部210、大局类似度计算部120、异常分类部310、异常图像组提取部320和代表图像提取部140。其中，检测部110、大局类似度计算部120和代表图像提取部140的动作与实施方式1相同。其中，位置信息取得部210的动作与实施方式2相同。
异常分类部310是根据该异常区域中的被摄体的种类来对作为关注区域的异常区域进行分类的关注区域分类单元。详细来说，异常分类部310具有连续异常判定部(连续性判定单元)311，该连续异常判定部311判定异常区域是否是在一系列的管腔内图像中连续产生的异常区域。在异常区域中的被摄体为浮游的出血或血管异常等异常的情况下，连续异常判定部311判定为该异常区域是连续产生的异常区域。
能够使用预先制成的判别基准，判定浮游的出血或血管异常这样的异常的种类。判别基准根据在管腔内图像中拍摄的浮游的出血或血管异常等异常区域的颜色特征量(像素值的R成分、G成分、B成分的值、根据这些各个颜色成分的值通过公知的转换而2元地计算的值(通过YCbCr转换计算出的色差、通过HSI转换计算出的色相、饱和度、G/R、B/G等颜色比等))、形状特征量(HOG、面积、周长、费雷特直径等形状信息)或纹理特征量(LBP、同时归一矩阵等)的特征量分布，通过支持向量机(SVM)等学习机来生成，并预先记录到记录部50中。
异常图像组提取部320根据由位置信息取得部210取得的位置信息、由大局类似度计算部120计算出的大局类似度和异常分类部310的分类结果，提取包含相同的异常区域的异常图像组。
接着，说明实施方式3的图像处理装置的动作。图14是示出实施方式3的图像处理装置的动作的流程图。另外，图14所示步骤S10、S11与实施方式1相同(参照图2)。
在接着步骤S11的步骤S31中，位置信息取得部210取得在步骤S11中提取出的异常图像的时间序列上的位置信息。具体而言，取得异常图像Ii的排列顺序i或者拍摄时刻作为位置信息。
在接下来的步骤S32中，大局类似度计算部120计算在异常图像列中相邻的异常图像之间的大局类似度。大局类似度的计算方法与实施方式1相同(参照图4和图5)。或者，可以与变形例1-1～1-3同样地计算大局类似度。
在接下来的步骤S33中，异常分类部310对在步骤11中检测出的各个异常区域进行分类。详细来说，连续异常判定部311从记录部50读出用于判定连续产生的异常区域的判别基准，通过将对处理对象的异常区域计算出的特征量与判别基准进行比较，判别该异常区域中的被摄体的种类，并根据该被摄体的种类来判定该异常区域是否是连续产生的异常区域。具体而言，在异常区域中的被摄体是浮游的出血或血管异常的情况下，判定为该异常区域是连续产生的异常区域。
在接下来的步骤S34中，异常图像组提取部320根据步骤S33的分类结果，使用在步骤S31中取得的位置信息和在步骤S32中计算出的大局类似度，提取包含相同的异常区域的异常图像组。
图15是示出在步骤S34中由异常图像组提取部320执行的异常图像组的提取处理的流程图。异常图像组提取部320对在步骤S11中提取出的各个异常图像执行循环C的处理。
首先，在步骤S301中，异常图像组提取部320计算表示处理对象的异常图像Ij(j为自然数)与在异常图像列中和该异常图像Ij相邻的异常图像Ij+n(n为自然数)之间的位置的接近度的参数spos。参数spos通过下式(2)给出。
spos＝(N－n)/N……(2)
在式(2)中，N是用于使排列顺序的差n归一化的参数，设定为例如N＝10。在异常图像Ij、Ij+n中分别拍摄的被摄体在管腔内的位置越近(n越小)，则该参数spos的值越大。
另外，步骤S31中，在取得了异常图像Ii的拍摄时刻作为位置信息的情况下，通过替代式(2)中的排列顺序的差n而代入拍摄时刻的差，替代参数N而使用用于使拍摄时刻的差归一化的参数，计算表示位置的接近度的参数。
在接下来的步骤S302中，异常图像组提取部320根据处理对象的异常图像中的异常区域的分类结果(参照步骤S33)，确定分别赋予给大局类似度sglobal和表示位置的接近度的参数spos的权重w1、w2(w1+w2＝1)。这时，如果异常图像Ij中的异常区域是连续产生的异常区域，则以相对于权重w1使权重w2相对较大的方式来确定权重w1、w2。另一方面，如果异常图像Ij中的异常区域不是连续产生的异常区域，则以相对于权重w2使权重w1相对较大的方式来确定权重w1、w2。
在接下来的步骤S303中，异常图像组提取部320使用在步骤S302中确定的权重w1、w2，计算结合了大局类似度sglobal和表示位置的接近度的参数spos的总判别参数stotal1。总判别参数stotal1通过下式(3)给出。
stotal1＝w1·sglobal+w2·spos……(3)
在接下来的步骤S304中，异常图像组提取部320判定总判别参数stotal1是否为规定阈值th3以上。在总判别参数stotal1为阈值th3以上的情况下(步骤S304：是)，异常图像组提取部320判定为处理对象的异常图像Ij和下一个提取的异常图像Ij+n包含相同的异常区域(步骤S305)。另一方面，在总判别参数stotal小于阈值th3的情况下(步骤S304：否)，异常图像组提取部320判定为处理对象的异常图像Ij和下一个提取的异常图像Ij+n不包含相同的异常区域(步骤S306)。
在针对全部异常图像结束循环C的处理后，在步骤S307中，异常图像组提取部320提取判定为拍摄有相同的异常区域的异常图像彼此作为相同的异常图像组。然后，图像处理装置的动作返回到主例程。
另外，接着步骤S34的步骤S14和S15与实施方式1相同(参照图2)。
如以上所说明那样，根据本发明的实施方式3，由于在根据异常图像的时间序列上的位置信息和大局类似度来提取包含相同的异常区域的异常图像组时，根据异常图像中的异常区域是否是连续产生的异常区域，变更大局类似度与位置信息的权重，所以能够提高包含相同的异常区域的异常图像组的提取精度。
(变形例3-1)
接着，说明本发明实施方式3的变形例3-1。
图16是示出图13所示的异常分类部310的另一个结构例的框图。可以在图13所示的运算部300中设置图16所示的异常分类部330来替代异常分类部310。异常分类部330具有零散异常判定部(零散性判定单元)331，该零散异常判定部331判定异常区域在一系列的管腔内图像中是否是零散产生的异常区域。在异常区域中的被摄体是发红、出血点、口疮、溃疡等异常的情况下，零散异常判定部331判定为该异常区域是零散产生的异常区域。
能够使用预先制成的判别基准，来判定发红、出血点、口疮、溃疡这样的异常的种类。判别基准根据在管腔内图像中拍摄的发红、出血点、口疮、溃疡等异常区域的颜色特征量(像素值的R成分、G成分、B成分的值、根据这些各个颜色成分的值通过公知的转换而2元地计算的值(通过YCbCr转换计算出的色差、通过HSI转换计算出的色相、饱和度、G/R、B/G等颜色比等))、形状特征量(HOG、面积、周长、费雷特直径等形状信息)或纹理特征量(LBP、同时归一矩阵等)的特征量分布，通过支持向量机(SVM)等学习机来制作，并预先记录到记录部50中。
在该情况下，在图14所示的步骤S33中，异常分类部330对在步骤S11中检测出的各个异常区域进行分类。详细来说，零散异常判定部331从记录部50读出用于判定零散产生的异常区域的判别基准，通过将对处理对象的异常区域计算出的特征量与判别基准进行比较，判别该异常区域中的被摄体的种类，并根据该被摄体的种类来判定异常区域是否是零散产生的异常区域。
此外，在该情况下，在图14所示的步骤S34中，异常图像组提取部320根据异常分类部330的分类结果，使用在步骤S31中取得的位置信息和在步骤S32中计算出的大局类似度，提取包含相同的异常区域的异常图像组。
详细来说，在图15所示的步骤S302中，异常图像组提取部320根据异常分类部330对异常区域的分类结果，确定分别赋予给大局类似度sglobal和表示位置的接近度的参数spos的权重w1、w2。这时，如果异常图像Ij中的异常区域是零散产生的异常区域，则以相对于权重w2使权重w1相对较大的方式来确定权重w1、w2。另一方面，如果异常图像Ij中的异常区域不是零散产生的异常区域，则以相对于权重w1使权重w2相对较大的方式来确定权重w1、w2。
(变形例3-2)
接着，说明本发明实施方式3的变形例3-2。
图17是示出图13所示的异常分类部310的另一其它结构例的框图。在图13所示的运算部300中设置图17所示的异常分类部340来替代异常分类部310。异常分类部340具有连续异常判定部311和零散异常判定部331。连续异常判定部311的动作与实施方式3相同，零散异常判定部331的动作与变形例3-1相同。
在该情况下，在图14所示的步骤S33中，异常分类部340对在步骤S11中检测出的各个异常区域进行分类。详细来说，连续异常判定部311判定处理对象的异常区域是否是在一系列的管腔内图像组中连续产生的异常区域。此外，零散异常判定部331判定处理对象的异常区域是否是在一系列的管腔内图像组中零散产生的异常区域。其结果，将该异常区域分类为连续产生的异常区域、零散产生的异常区域和除此以外的异常区域。
此外，在该情况下，在图14所示的步骤S34中，异常图像组提取部320根据异常分类部340的分类结果，使用在步骤S31中取得的位置信息和在步骤S32中计算出的大局类似度，提取包含相同的异常区域的异常图像组。
详细来说，在图15所示的步骤S302中，异常图像组提取部320根据异常分类部340的分类结果，确定分别赋予给大局类似度sglobal和表示位置的接近度的参数spos的权重w1、w2。这时，如果异常图像Ij中的异常区域是连续产生的异常区域，则以相对于权重w1使权重w2相对较大的方式来确定权重w1、w2。另一方面，如果异常图像Ij中的异常区域是零散产生的异常区域，则以相对于权重w2使权重w1相对较大的方式来确定权重w1、w2。并且，在异常图像Ij中的异常区域既不是连续产生的异常区域，也不是零散产生的异常区域的情况下，将权重w1、w2确定为相同程度。
(实施方式4)
接着，对本发明的实施方式4进行说明。
图18是示出本发明实施方式4的图像处理装置具备的运算部的结构的框图。实施方式4的图像处理装置替代图1所示的运算部100而具有图18所示的运算部400。除运算部400以外的各部分的结构和动作与实施方式1相同。
运算部400具有：检测部110、大局类似度计算部120、局部类似度计算部410、异常分类部310、异常图像组提取部420和代表图像提取部140。其中，检测部110、大局类似度计算部120和代表图像提取部140的动作与实施方式1相同(参照图1)。此外，异常分类部310的动作与实施方式3相同。
局部类似度计算部410计算在异常图像列中相邻的异常图像之间，异常区域彼此的类似度作为局部类似度。
异常图像组提取部420根据由大局类似度计算部120计算出的大局类似度、由局部类似度计算部410计算出的局部类似度和异常分类部310的分类结果，提取包含相同的异常区域的异常图像组。
接着，对实施方式4的图像处理装置的动作进行说明。图19是示出实施方式4的图像处理装置的动作的流程图。另外，图19所示步骤S10～S12与实施方式1相同(参照图2)。步骤S12可以与变形例1-1～1-3同样地计算大局类似度。
在接着步骤S12的步骤S41中，局部类似度计算部410计算在异常图像列中相邻的异常图像之间的局部类似度。局部类似度的计算方法没有特别限定。作为一例，通过SIFT(Scale Invariant Feature Transform：尺度不变特征转换)等公知手法提取异常图像之间的对应点，在2个异常图像之间异常区域相对应的情况下，设局部类似度为1.0。另一方面，在2个异常图像之间异常区域未对应起来的情况下，设局部类似度为0.0。
在接下来的步骤S42中，异常分类部310对在步骤11中检测出的各个异常区域进行分类。即，连续异常判定部311从记录部50读出用于判定连续产生的异常区域的判别基准，根据该判别基准来判定该异常区域是否是连续产生的异常区域。
在接下来的步骤S43中，异常图像组提取部420根据步骤S42中的分类结果，使用在步骤S12中计算出的大局类似度和在步骤S41中计算出的局部类似度，提取包含相同的异常区域的异常图像组。
图20是示出在步骤S43中由异常图像组提取部420执行的异常图像组的提取处理的流程图。异常图像组提取部420对在步骤S11中提取出的各个异常图像执行循环D的处理。
首先，在步骤S401中，异常图像组提取部420根据处理对象的异常图像中的异常区域的分类结果(参照步骤S42)，确定分别赋予给大局类似度sglobal和局部类似度slocal的权重w3、w4。如果该异常区域是连续产生的异常区域，则以使权重w3相对较大的方式来确定权重w3、w4(例如，w3＝1、w4＝0等)。另一方面，如果该异常区域不是连续产生的异常区域，则以使权重w4相对较大的方式来确定权重w3、w4(例如，w3＝0、w4＝1等)。
在接下来的步骤S402中，异常图像组提取部420使用在步骤S401中确定的权重w3、w4，计算结合了大局类似度sglobal与局部类似度slocal的总判别参数stotal2。总判别参数stotal2通过下式(4)给出。
stotal2＝w3·sglobal+w4·slocal……(4)
在接下来的步骤S403中，异常图像组提取部420判定总判别参数stotal2是否为规定阈值th4以上。在总判别参数stotal2为阈值th4以上的情况下(步骤S403：是)，异常图像组提取部420判定为处理对象的异常图像和下一个提取的异常图像包含相同的异常区域(步骤S404)。另一方面，在总判别参数stotal2小于阈值th4的情况下(步骤S403：否)，异常图像组提取部420判定为处理对象的异常图像和下一个提取的异常图像不包含相同的异常区域(步骤S405)。
在针对全部异常图像结束循环D的处理后，在步骤S406中，异常图像组提取部420提取判定为拍摄有相同的异常区域的异常图像彼此作为相同的异常图像组。然后，图像处理装置的动作返回到主例程。
接着步骤S43的步骤S14和S15与实施方式1相同(参照图2)。
如以上所说明那样，根据本发明的实施方式4，由于根据异常区域是否是连续产生的异常区域，改变分别赋予给异常图像的整体类似度和异常区域的局部类似度的权重，根据这些总判别参数来判断2个异常图像是否包含相同的异常区域，所以能够提高包含相同的异常区域的异常图像组的提取精度。
(变形例4-1)
接着，说明本发明实施方式4的变形例4-1。
图18所示的局部类似度计算部410除了在上述实施方式4中说明的方法以外，还通过各种方法来计算局部类似度。
作为一个例子，局部类似度计算部410首先计算在各个异常图像中包含的异常区域的特征量。作为特征量，可以举出构成各个异常区域的像素的像素值(亮度值或G成分的值)的平均值或者中央值等统计量、构成各个异常区域的像素的颜色特征量(使用R成分、G成分、B成分的各个值，通过YCbCr转换计算出的色差、通过HSI转换计算出的色相、饱和度、G/R、B/G等颜色比等)的平均值或者中央值等统计量、各个异常区域的形状特征量(面积或圆形度等)、构成各个异常区域的各个像素中的纹理特征量(使用索贝尔滤波器或拉普拉斯滤波器等计算的边缘量等)的平均值或者中央值等统计量等。
接着，局部类似度计算部410计算在异常图像列中相邻的异常图像之间，上述的特征量的变化量Δca。然后，使用特征量的最大值ca(max)和变化量Δca，计算通过下式(5)给出的局部类似度slocal。
slocal＝(ca(max)-Δca)/ca(max)……(5)
在式(5)中，特征量的最大值ca(max)是特征量可以采用的最大的值。在对于例如256灰度的异常图像计算出像素值(G成分的值)的统计值作为特征量的情况下，最大值ca(max)是256。此外，在计算圆形度作为特征量的情况下，最大值ca(max)是1。
(变形例4-2)
接着，说明本发明实施方式4的变形例4-2。
在图18所示的运算部400中，替代异常分类部310而设置仅具有图16所示的零散异常判定部331的异常分类部330，将处理对象的异常区域分类为是否是零散产生的异常区域的2类(参照变形例3-1)。
在该情况下，在图19所示的步骤S42中，异常分类部330对在步骤S11中检测出的各个异常区域进行分类。即，零散异常判定部331从记录部50读出用于判定零散产生的异常区域的判别基准，根据该判别基准来判定异常区域是否是零散产生的异常区域。
此外，在该情况下，在图19所示的步骤S43中，异常图像组提取部420根据异常分类部330的分类结果，使用在步骤S12中计算出的大局类似度sglobal和在步骤S41中计算出的局部类似度slocal，提取包含相同的异常区域的异常图像组。
详细来说，在图20所示的步骤S401中，异常图像组提取部420根据异常分类部330对异常区域的分类结果，确定分别赋予给大局类似度sglobal和局部类似度slocal的权重w3、w4。如果该异常区域是零散产生的异常区域，则以使权重w4相对较大的方式来确定权重w3、w4(例如，w3＝0、w4＝1等)。另一方面，如果该异常区域不是零散产生的异常区域，则以使权重w3相对较大的方式来确定权重w3、w4(例如，w3＝1、w4＝0等)。
(变形例4-3)
接着，说明本发明实施方式4的变形例4-3。
在图18所示的运算部400中，可以替代异常分类部310而设置图17所示的具有连续异常判定部311和零散异常判定部331的异常分类在部340，将处理对象的异常区域分类为是连续产生的异常区域、是零散产生的异常区域、或是两者都不是的三类(参照变形例3-2)。
在该情况下，在图19所示的步骤S42中，异常分类部340对在步骤S11中检测出的各个异常区域进行分类。即，连续异常判定部311判定处理对象的异常区域是否是在一系列的管腔内图像组中连续产生的异常区域。此外，零散异常判定部331判定处理对象的异常区域是否是在一系列的管腔内图像组中零散产生的异常区域。
此外，在该情况下，在图19所示的步骤S43中，异常图像组提取部420根据异常分类部340的分类结果，使用在步骤S12中计算出的大局类似度sglobal和在步骤S41中计算出的局部类似度slocal，提取包含相同的异常区域的异常图像组。
详细来说，在图20所示的步骤S401中，异常图像组提取部420根据异常分类部340的分类结果，确定分别赋予给大局类似度sglobal和局部类似度slocal的权重w3、w4。如果异常区域是连续产生的异常区域，则以使权重w3相对较大的方式来确定权重w3、w4(例如，w3＝1、w4＝0等)。此外，如果异常区域是零散产生的异常区域，则以使权重w4相对较大的方式来确定权重w3、w4(例如，w3＝0、w4＝1等)。并且，在异常区域既不是连续产生的异常区域，也不是零散产生的异常区域的情况下，将权重w3、w4确定为相同程度的值(例如，w3＝0.5、w4＝0.5等)。
(实施方式5)
接着，对本发明的实施方式5进行说明。
图21是示出本发明实施方式5的图像处理装置具备的运算部的结构的框图。实施方式5的图像处理装置替代图1所示的运算部100而具有图21具备的运算部500。除运算部500以外的各部分的结构和动作与实施方式1相同。
运算部500具有：检测部110、位置信息取得部210、大局类似度计算部120、局部类似度计算部410、异常分类部340、异常图像组提取部510和代表图像提取部140。其中，检测部110、大局类似度计算部120和代表图像提取部140的动作与实施方式1相同(参照图1)。位置信息取得部210的动作与实施方式2(参照图7)相同。局部类似度计算部410的动作与实施方式4或者变形例4-1(参照图18)相同。局部分类部340的动作与变形例3-2(参照图17)相同。
异常图像组提取部510根据由位置信息取得部210取得的位置信息、由大局类似度计算部120计算出的大局类似度、由局部类似度计算部410计算出的局部类似度和异常分类部340的分类结果，提取包含相同的异常区域的异常图像组。
接着，对实施方式5的图像处理装置的动作进行说明。图22是示出实施方式5的图像处理装置的动作的流程图。另外，图14所示的步骤S10和S11与实施方式1相同(参照图2)。
在接着步骤S11的步骤S51中，位置信息取得部210取得异常图像Ii的拍摄时刻或者排列顺序i作为在步骤S11中提取出的异常图像的时间序列上的位置信息。
在接下来的步骤S52中，大局类似度计算部120计算在异常图像列中相邻的异常图像之间的大局类似度sglobal。大局类似度sglobal的计算方法与实施方式1相同(参照图4和图5)。或者，与变形例1-1～1-3同样地计算大局类似度sglobal。
在接下来的步骤S53中，局部类似度计算部410计算在异常图像列中相邻的异常图像之间的局部类似度slocal。局部类似度slocal的计算方法与实施方式4或者变形例4-1相同(参照图19的步骤S41)。
在接下来的步骤S54中，异常分类部340对在步骤11中检测出的各个异常区域进行分类。异常区域的分类方法与变形例3-2相同。其结果，将各个异常区域分类为连续产生的异常区域、零散产生的异常区域和除此以外的异常区域。
在接下来的步骤S55中，异常图像组提取部510根据步骤S54中的分类结果，根据在步骤S51中取得的位置信息、在步骤S52中计算出的大局类似度sglobal和在步骤S53中计算出的局部类似度slocal，提取包含相同的异常区域的异常图像组。
图23是示出在步骤S55中由异常图像组提取部510执行的异常图像组的提取处理的流程图。异常图像组提取部510对在步骤S11中提取出的各个异常图像执行循环E的处理。
首先，在步骤S501中，异常图像组提取部510对于处理对象的异常图像Ik(k为自然数)，计算与在异常图像列中相邻的异常图像Ik’(k’为k<k’的自然数)之间的拍摄时刻T(Ik)、T(Ik’)的差分ΔT(＝T(Ik’)－T(Ik))、即经过时间。
在接下来的步骤S502中，异常图像组提取部510判定异常图像Ik中的异常区域的分类结果(参照步骤S54)是否是连续的。
在上述分类结果是连续的情况下(步骤S502：是)，异常图像组提取部510判定拍摄时刻的差分ΔT是否为规定阈值th5以下(步骤S503)。
在拍摄时刻的差分ΔT为阈值th5以下的情况下(步骤S503：是)，接着，异常图像组提取部510判定异常图像Ik、Ik’之间的大局类似度sglobal是否为规定阈值th6以上(步骤S504)。
在大局类似度sglobal为阈值th6以上的情况下(步骤S504：是)，异常图像组提取部510判定为处理对象的异常图像Ik和下一个提取的异常图像Ik’包含相同的异常区域(步骤S505)。
另一方面，在步骤S503中拍摄时刻的差分ΔT大于阈值th5的情况下(步骤S503：否)、或者在步骤S504中大局类似度sglobal小于阈值th6的情况下(步骤S504：否)，异常图像组提取部510判定为处理对象的异常图像Ik和下一个提取的异常图像Ik’不包含相同的异常区域(步骤S506)。
在步骤S502中分类结果不是连续的情况下(步骤S502：否)，接着，异常图像组提取部510判定该分类结果是否是零散的(步骤S507)。
在上述分类结果是零散的情况下(步骤S507：是)，异常图像组提取部510判定拍摄时刻的差分ΔT是否为规定阈值th7以下(步骤S508)。这里，在零散产生的异常区域的情况下，有可能在一系列的时间序列图像中分散地拍摄有相同的异常区域。所以，将阈值th7设定为比步骤S503中的阈值th5长。
在拍摄时刻的差分ΔT为阈值th7以下的情况下(步骤S508：是)，接着，异常图像组提取部510判定异常图像Ik、Ik’之间的局部类似度slocal是否为规定阈值th8以上(步骤S509)。
在局部类似度slocal为阈值th8以上的情况下(步骤S509：是)，异常图像组提取部510判定为处理对象的异常图像Ik和下一个提取的异常图像Ik’包含相同的异常区域(步骤S505)。
另一方面，在步骤S508中拍摄时刻的差分ΔT大于阈值th7的情况下(步骤S508：否)、或者在步骤S509中局部类似度slocal小于阈值th8的情况下(步骤S509：否)，异常图像组提取部510判定为处理对象的异常图像Ik和下一个提取的异常图像Ik’不包含相同的异常区域(步骤S506)。
在步骤S507中分类结果不是零散的情况下(步骤S507：否)，接着，异常图像组提取部510判定拍摄时刻的差分ΔT是否为规定阈值th9以下(步骤S510)。这里，在异常区域既不是连续产生的异常区域，也不是零散产生的异常区域的情况下，将阈值th9设定为步骤S503中的阈值th5与步骤S508中的阈值th7之间的值。
在拍摄时刻的差分ΔT为阈值th9以下的情况下(步骤S510：是)，接着，异常图像组提取部510判定异常图像Ik、Ik’之间的大局类似度sglobal是否为规定阈值th6以上且局部类似度slocal是否为规定阈值th8以上(步骤S511)。
在大局类似度sglobal为规定阈值th6以上且局部类似度slocal为规定阈值th8以上的情况下(步骤S511：是)，异常图像组提取部510判定为处理对象的异常图像Ik和下一个提取的异常图像Ik’包含相同的异常区域(步骤S505)。
另一方面，在步骤S510中拍摄时刻的差分ΔT大于阈值th9的情况下(步骤S510：否)、或者在步骤S511中大局类似度sglobal小于阈值th6或者局部类似度slocal小于阈值th8的情况下(步骤S511：否)，异常图像组提取部510判定为处理对象的异常图像Ik和下一个提取的异常图像Ik’不包含相同的异常区域(步骤S506)。
在针对全部异常图像结束循环E的处理后，在步骤S512中，异常图像组提取部510提取判定为拍摄有相同的异常区域的异常图像彼此作为相同的异常图像组。然后，图像处理装置的动作返回到主例程。
接着步骤S55的步骤S14和S15与实施方式1相同(参照图2)。
如以上所说明那样，根据本发明的实施方式5，由于根据异常区域中的被摄体的种类而改变判定拍摄时刻的差分ΔT时的阈值，并且切换在异常图像之间的类似的判定中使用的类似度(大局类似度sglobal、局部类似度slocal)，所以能够提高包含相同的异常区域的异常图像组的提取精度。
另外，在本实施方式5中，可以通过调整分别在连续异常判定部311和零散异常判定部331进行异常区域的判定时使用的判别基准，将全部异常区域分类为连续产生的异常区域和零散产生的异常区域中的任意一个。在该情况下，省略上述步骤S510、S511。
(变形例5-1)
接着，说明本发明实施方式5的变形例5-1。
在图21所示的运算部500中，可以替代异常分类部340而设置仅具有图13所示的连续异常判定部311的异常分类部310，将处理对象的异常区域分类为是否是连续产生的异常区域这2类(参照实施方式3)。在该情况下，在图23所示的步骤S502中处理对象的异常区域不是连续产生的异常区域的情况下(步骤S502：否)，视作零散产生的异常区域，处理直接转移到步骤S508。此外，在该情况下，省略步骤S510、S511。
(变形例5-2)
接着，说明本发明实施方式5的变形例5-2。
在图21所示的运算部500中，替代异常分类部340而设置仅具有图16所示的零散异常判定部331的异常分类部330，将处理对象的异常区域分类为是否是零散产生的异常区域这2类(参照变形例3-1)。在该情况下，在图23所示的步骤S501以后，处理直接转移到步骤S507。然后，在步骤S507中处理对象的异常区域不是零散产生的异常区域的情况下(步骤S507：否)，视作是连续产生的异常区域，处理转移到步骤S503。此外，在该情况下，省略步骤S510、S511。
(变形例5-3)
接着，说明本发明实施方式5的变形例5-3。
在图22所示的步骤S55中，异常图像组提取部510可以根据使用了位置信息、大局类似度和局部类似度的总判别参数，提取包含相同的异常区域的异常图像组。
图24是示出在变形例5-3中由异常图像组提取部510执行的异常图像组的提取处理的流程图。异常图像组提取部510对在步骤S11中提取出的各个异常图像执行循环F的处理。
首先，在步骤S521中，异常图像组提取部510计算表示处理对象的异常图像Ij(j为自然数)与在异常图像列中和该异常图像Ij相邻的异常图像Ij+n(n为自然数)之间的位置的接近度的参数spos(spos＝(N－n)/N)。另外，在步骤S51中，可以在取得异常图像Ii的拍摄时刻作为位置信息的情况下，根据拍摄时刻的差来计算表示位置的接近度的参数。
在接下来的步骤S522中，异常图像组提取部510根据处理对象的异常图像中的异常区域的分类结果(参照步骤S54)，确定分别赋予给大局类似度sglobal、局部类似度slocal和表示位置的接近度的参数spos的权重w5、w6、w7(w5+w6+w7＝1)。
如果异常图像Ij中的异常区域是连续产生的异常区域，则以使权重w7相对较大，在权重w5、w6之间权重w5相对较大的方式来设定权重w5、w6、w7。另一方面，如果该异常区域是零散产生的异常区域，则以使权重w7相对较小，在权重w5、w6之间使权重w6相对较大的方式来设定权重w5、w6、w7。
在接下来的步骤S523中，异常图像组提取部510使用在步骤S522确定的权重w5、w6、w7，计算结合了大局类似度sglobal、局部类似度slocal和表示位置的接近度的参数spos的总判别参数stotal3。总判别参数stotal3通过下式(6)给出的。
stotal3＝w5·sglobal+w6·slocal+w7·spos……(6)
在接下来的步骤S524中，异常图像组提取部510判定总判别参数stotal3是否为规定阈值th10以上。在总判别参数stotal3为阈值th10以上的情况下(步骤S524：是)，异常图像组提取部510判定为处理对象的异常图像Ij和下一个提取的异常图像Ij+n包含相同的异常区域(步骤S525)。另一方面，在总判别参数stotal3小于阈值th10的情况下(步骤S524：否)，异常图像组提取部510判定为处理对象的异常图像Ij和下一个提取的异常图像Ij+n不包含相同的异常区域(步骤S526)。
在针对全部异常图像结束循环F的处理后，在步骤S527中，异常图像组提取部510提取判定为拍摄有相同的异常区域的异常图像彼此作为相同的异常图像组。然后，图像处理装置的动作返回到主例程。
虽然在以上说明的实施方式1～5和这些变形例中构成为在不同的异常图像之间大局类似度或者基于该大局类似度的判别参数为规定阈值以上的情况下，判定为这些异常图像包含相同的异常区域，但是也可以构成为根据大局类似度或者判别参数的计算方法，在大局类似度或者判别参数为规定阈值以下的情况下判定为包含相同的异常区域。
以上所说明的实施方式1～5以及它们的变形例的图像处理装置能够通过在个人计算机或工作站等计算机系统中执行记录介质所记录的图像处理程序来实现。此外，也可以经由局域网(LAN)、广域网(WAN)或互联网等的公共线路，将这种计算机系统连接到其他计算机系统或服务器等设备上进行使用。此时，实施方式1～5以及这些变形例的图像处理装置也可以经由这些网络取得管腔内图像的图像数据，或者将图像处理结果输出到经由这些网络连接的各种输出设备(浏览器或打印机等)，还将图像处理结果存储到经由这些网络连接的存储装置(记录介质及其读取装置等)中。
另外，本发明不直接限定为各实施方式1～5及它们的变形例，可通过适当组合各实施方式或变形例所公开的多个结构要素来形成各种发明。例如，可从个各实施方式或变形例所示的全部结构要素中去除几个结构要素来形成，也可适当组合不同实施方式或变形例所示的结构要素来形成。
标号说明
1：图像处理装置；10：控制部；20：图像取得部；30：输入部；40：显示部；50：记录部；51：图像处理程序；100、200、250、300、400、500：运算部；110：检测部；120：大局类似度计算部；130、220、320、420、510：异常图像组提取部；140、141：代表图像提取部；210：位置信息取得部；310、330、340：异常分类部；311：连续异常判定部；331：零散异常判定部；410：局部类似度计算部。

Claims (20)

1.一种图像处理装置，其特征在于，具有：
检测单元，其从通过依次拍摄活体的管腔内而取得的一系列的图像组中，检测包含被估计为检测对象的区域即关注区域的关注图像；
大局类似度计算单元，其计算不同的关注图像之间，至少包含除了所述关注区域以外的区域的区域之间的类似度即大局类似度；
关注图像组提取单元，其根据所述大局类似度或者基于该大局类似度的判别参数与阈值之间的比较，提取包含相同的关注区域的关注图像组；以及
代表图像提取单元，其从所述关注图像组中提取代表图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述大局类似度计算单元从所述关注图像中提取背景区域，计算在所述不同的关注图像之间所述背景区域之间的类似度。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述大局类似度计算单元从所述关注图像中提取除了所述关注区域以外的区域，作为所述背景区域。
4.根据权利要求2所述的图像处理装置，其特征在于，
所述大局类似度计算单元从所述关注图像中提取拍摄有粘膜的区域，作为所述背景区域。
5.根据权利要求1所述的图像处理装置，其特征在于，
该图像处理装置还具有局部类似度计算单元，该局部类似度计算单元计算在所述不同的关注图像之间所述关注区域之间的类似度即局部类似度，
所述关注图像组提取单元根据所述大局类似度和所述局部类似度，提取包含所述相同的关注区域的关注图像组。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述局部类似度计算单元进行所述关注区域之间的对应，并根据该对应的结果来计算所述局部类似度。
7.根据权利要求5所述的图像处理装置，其特征在于，
该图像处理装置还具有关注区域分类单元，该关注区域分类单元根据该关注区域中的被摄体的种类对所述关注区域进行分类，
所述判别参数是通过对所述大局类似度与所述局部类似度进行加权相加而给出的，
所述关注图像组提取单元使分别赋予给所述大局类似度和所述局部类似度的权重根据所述关注区域分类单元的分类结果而变化，并提取所述关注图像组。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述关注图像组提取单元提取所述判别参数为所述阈值以上的关注图像，作为包含所述相同的关注区域的关注图像组。
9.根据权利要求7或者8所述的图像处理装置，其特征在于，
所述关注区域分类单元具有零散性判定单元，该零散性判定单元判定所述关注区域是否是在所述一系列的图像组中零散产生的关注区域，
在所述关注区域为所述零散产生的关注区域的情况下，所述关注图像组提取单元使针对所述局部类似度的权重大于针对所述大局类似度的权重。
10.根据权利要求7或者8所述的图像处理装置，其特征在于，
所述关注区域分类单元具有连续性判定单元，该连续性判定单元判定所述关注区域是否是在所述一系列的图像组中连续产生的关注区域，
在所述关注区域为所述连续产生的关注区域的情况下，所述关注图像组提取单元使针对所述大局类似度的权重大于针对所述局部类似度的权重。
11.根据权利要求1所述的图像处理装置，其特征在于，
该图像处理装置还具有位置信息取得单元，该位置信息取得单元取得与所述一系列的图像组中的所述关注图像的拍摄顺序对应的时间序列上的位置信息，
所述关注图像组提取单元根据所述大局类似度和所述位置信息，提取包含所述相同的关注区域的关注图像组。
12.根据权利要求11所述的图像处理装置，其特征在于，
该图像处理装置还具有关注区域分类单元，该关注区域分类单元对所述关注区域进行分类，
所述判别参数是通过对所述大局类似度与基于所述位置信息的、表示所述不同的关注图像之间的接近度的参数进行加权相加而给出的，
所述关注图像组提取单元使分别赋予给所述大局类似度和表示所述接近度的参数的权重根据所述关注区域分类单元的分类结果而变化，并提取所述提取图像组。
13.根据权利要求12所述的图像处理装置，其特征在于，
表示所述接近度的参数的值越大，则表示所述不同的关注图像之间越接近，
所述关注图像组提取单元提取所述判别参数为所述阈值以上的关注图像，作为包含所述相同的关注区域的关注图像组。
14.根据权利要求12或者13所述的图像处理装置，其特征在于，
所述关注区域分类单元具有零散性判定单元，该零散性判定单元判定所述关注区域是否是在所述一系列的图像组中零散产生的关注区域，
在所述关注区域是所述零散产生的关注区域的情况下，所述关注图像组提取单元使针对所述大局类似度的权重大于针对表示所述接近度的参数的权重。
15.根据权利要求12或者13所述的图像处理装置，其特征在于，
所述关注区域分类单元具有连续性判定单元，该连续性判定单元判定所述关注区域是否是在所述一系列的图像组中连续产生的关注区域，
在所述关注区域是所述连续产生的关注区域的情况下，所述关注图像组提取单元使针对表示所述接近度的参数的权重大于针对所述大局类似度的权重。
16.根据权利要求9或者14所述的图像处理装置，其特征在于，
在所述关注区域中的被摄体是发红、出血点、溃疡中的任意一种的情况下，所述零散性判定单元判定为所述关注区域是所述零散产生的关注区域。
17.根据权利要求10或者15所述的图像处理装置，其特征在于，
在所述关注区域中的被摄体是浮游的出血、血管异常中的任意一种的情况下，所述连续性判定单元判定为所述关注区域是所述连续产生的关注区域。
18.根据权利要求1所述的图像处理装置，其特征在于，
所述关注图像组提取单元提取所述大局类似度为所述阈值以上的关注图像作为包含所述相同的关注区域的关注图像组。
19.一种根据通过依次拍摄活体的管腔内而取得并记录在记录部中的一系列的图像组的图像数据来使计算机具备的运算部执行的图像处理方法，其特征在于，
所述图像处理方法包含：
检测步骤，从所述一系列的图像组中检测包含关注区域的关注图像；
大局类似度计算步骤，计算在不同的关注图像之间至少包含除了所述关注区域以外的区域的区域之间的类似度即大局类似度；
关注图像组提取步骤，根据所述大局类似度或者基于该大局类似度的判别参数与阈值之间的比较，提取包含相同的关注区域的关注图像组；以及
代表图像提取步骤，从所述关注图像组中提取代表图像。
20.一种图像处理程序，其特征在于，使计算机执行以下步骤：
检测步骤，从通过依次拍摄活体的管腔内而取得的一系列的图像组中检测包含关注区域的关注图像；
大局类似度计算步骤，计算在不同的关注图像之间至少包含除了所述关注区域以外的区域的区域之间的类似度即大局类似度；
关注图像组提取步骤，根据所述大局类似度或者基于该大局类似度的判别参数与阈值之间的比较，提取包含相同的关注区域的关注图像组；以及
代表图像提取步骤，从所述关注图像组中提取代表图像。
CN201580014177.XA 2014-03-17 2015-02-02 图像处理装置、图像处理方法以及图像处理程序 Pending CN106132266A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-054126 2014-03-17
JP2014054126A JP6196922B2 (ja) 2014-03-17 2014-03-17 画像処理装置、画像処理方法、及び画像処理プログラム
PCT/JP2015/052870 WO2015141302A1 (ja) 2014-03-17 2015-02-02 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
CN106132266A true CN106132266A (zh) 2016-11-16

Family

ID=54144282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580014177.XA Pending CN106132266A (zh) 2014-03-17 2015-02-02 图像处理装置、图像处理方法以及图像处理程序

Country Status (5)

Country Link
US (1) US9959618B2 (zh)
JP (1) JP6196922B2 (zh)
CN (1) CN106132266A (zh)
DE (1) DE112015000972T5 (zh)
WO (1) WO2015141302A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110891129A (zh) * 2019-11-13 2020-03-17 上海华力集成电路制造有限公司 扫描式电子显微镜晶圆照片拍摄方法及拍摄系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
WO2016117277A1 (ja) 2015-01-21 2016-07-28 Hoya株式会社 内視鏡システム
US9576219B2 (en) * 2015-07-14 2017-02-21 ADANI Systems, Inc. Method and system for detection of contraband narcotics in human digestive tract
JPWO2018020558A1 (ja) * 2016-07-25 2019-05-09 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP6850225B2 (ja) * 2017-09-01 2021-03-31 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
KR20190046530A (ko) * 2017-10-26 2019-05-07 아주대학교산학협력단 캡슐내시경의 위치 추적 방법 및 장치
US11026585B2 (en) * 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
CN109977194B (zh) * 2019-03-20 2021-08-10 华南理工大学 基于无监督学习的文本相似度计算方法、系统、设备及介质
JP6879520B2 (ja) * 2019-08-28 2021-06-02 サイバネットシステム株式会社 画像処理装置及び画像処理方法
WO2021199152A1 (ja) * 2020-03-30 2021-10-07 日本電気株式会社 情報処理装置、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
EP4129151A4 (en) * 2020-03-31 2023-12-13 NEC Corporation INFORMATION PROCESSING DEVICE, DISPLAY METHOD AND NON-TRANSITORY COMPUTER READABLE MEDIUM WITH PROGRAM STORED THEREIN
WO2022059668A1 (ja) * 2020-09-15 2022-03-24 富士フイルム株式会社 医用画像処理装置及び医用画像処理装置の作動方法並びに医用画像処理装置用プログラム
CN113298724A (zh) * 2020-12-31 2021-08-24 深圳北芯生命科技股份有限公司 图像处理方法
US11138734B1 (en) 2021-02-19 2021-10-05 Vr Media Technology, Inc. Hyperspectral facial analysis system and method for personalized health scoring
CN113674270B (zh) * 2021-09-06 2023-11-14 深邦智能科技集团(青岛)有限公司 一种轮胎花纹一致性检测系统及其方法
WO2023175916A1 (ja) * 2022-03-18 2023-09-21 オリンパスメディカルシステムズ株式会社 医療支援システムおよび画像表示方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080119691A1 (en) * 2005-03-22 2008-05-22 Yasushi Yagi Capsule Endoscope Image Display Controller
US20080212881A1 (en) * 2005-05-20 2008-09-04 Olympus Medical Systems Corp. Image Display Apparatus
CN101751680A (zh) * 2008-12-16 2010-06-23 奥林巴斯株式会社 图像处理装置以及图像处理方法
JP2010158308A (ja) * 2009-01-06 2010-07-22 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
CN102056530A (zh) * 2008-06-05 2011-05-11 奥林巴斯株式会社 图像处理装置、图像处理程序以及图像处理方法
CN102469925A (zh) * 2009-07-23 2012-05-23 奥林巴斯株式会社 图像处理装置、图像处理程序以及图像处理方法
CN102982529A (zh) * 2011-08-31 2013-03-20 奥林巴斯株式会社 图像处理装置及图像处理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2500805A1 (en) * 2002-09-13 2004-03-25 Arcturus Bioscience, Inc. Interactive and automated tissue image analysis
WO2005106773A2 (en) * 2004-04-15 2005-11-10 Edda Technology, Inc. Spatial-temporal lesion detection, segmentation, and diagnostic information extraction system and method
US7756309B2 (en) * 2005-07-27 2010-07-13 Bioimagene, Inc. Method and system for storing, indexing and searching medical images using anatomical structures of interest
JP5374078B2 (ja) * 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5492480B2 (ja) * 2009-07-13 2014-05-14 日立アプライアンス株式会社 モータ制御装置並びにこれを備えた氷破砕機，給水機及び冷蔵庫
US8891881B2 (en) * 2012-01-25 2014-11-18 General Electric Company System and method for identifying an optimal image frame for ultrasound imaging
CN106859578B (zh) * 2012-03-08 2018-11-20 奥林巴斯株式会社 图像处理装置和图像处理方法
JP5963480B2 (ja) * 2012-03-08 2016-08-03 オリンパス株式会社 画像要約装置及びプログラム
JP6371544B2 (ja) * 2014-03-14 2018-08-08 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080119691A1 (en) * 2005-03-22 2008-05-22 Yasushi Yagi Capsule Endoscope Image Display Controller
US20080212881A1 (en) * 2005-05-20 2008-09-04 Olympus Medical Systems Corp. Image Display Apparatus
CN102056530A (zh) * 2008-06-05 2011-05-11 奥林巴斯株式会社 图像处理装置、图像处理程序以及图像处理方法
CN101751680A (zh) * 2008-12-16 2010-06-23 奥林巴斯株式会社 图像处理装置以及图像处理方法
JP2010158308A (ja) * 2009-01-06 2010-07-22 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
CN102469925A (zh) * 2009-07-23 2012-05-23 奥林巴斯株式会社 图像处理装置、图像处理程序以及图像处理方法
CN102982529A (zh) * 2011-08-31 2013-03-20 奥林巴斯株式会社 图像处理装置及图像处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110891129A (zh) * 2019-11-13 2020-03-17 上海华力集成电路制造有限公司 扫描式电子显微镜晶圆照片拍摄方法及拍摄系统

Also Published As

Publication number Publication date
US9959618B2 (en) 2018-05-01
DE112015000972T5 (de) 2016-12-29
JP2015173921A (ja) 2015-10-05
JP6196922B2 (ja) 2017-09-13
US20170004620A1 (en) 2017-01-05
WO2015141302A1 (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
CN106132266A (zh) 图像处理装置、图像处理方法以及图像处理程序
CN106102554B (zh) 图像处理装置以及图像处理方法
Pan et al. Bleeding detection in wireless capsule endoscopy based on probabilistic neural network
Pogorelov et al. Nerthus: A bowel preparation quality video dataset
CN104363815B (zh) 图像处理装置以及图像处理方法
CN104244802B (zh) 图像处理装置、图像处理方法以及图像处理程序
CN110600122A (zh) 一种消化道影像的处理方法、装置、以及医疗系统
Sainju et al. Bleeding detection in wireless capsule endoscopy based on color features from histogram probability
Figueiredo et al. Computer-assisted bleeding detection in wireless capsule endoscopy images
JP5576775B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN107835654A (zh) 图像处理装置、图像处理方法和图像处理程序
CN104812288A (zh) 图像处理装置、图像处理方法和图像处理程序
Meienberger et al. Observer‐independent assessment of psoriasis‐affected area using machine learning
CN109117890A (zh) 一种图像分类方法、装置和存储介质
JP2007301035A (ja) 超音波断層画像による生体組織評価システム
Yang et al. Machine vision system for on-line wholesomeness inspection of poultry carcasses
Ghosh et al. Automatic bleeding detection in wireless capsule endoscopy based on RGB pixel intensity ratio
CN107529963A (zh) 图像处理装置、图像处理方法和图像处理程序
Rex et al. Determining the adenoma detection rate and adenomas per colonoscopy by photography alone: proof-of-concept study
CN108697310A (zh) 图像处理装置、图像处理方法和程序
JP5789786B2 (ja) 画像計測装置および画像計測方法
CN110858396A (zh) 生成子宫颈学习数据的系统和对子宫颈学习数据进行分类的方法
Bourbakis et al. A neural network-based detection of bleeding in sequences of WCE images
JP2010008159A (ja) 外観検査処理方法
WO2015004843A1 (ja) 画像計測装置及び画像計測方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161116

WD01 Invention patent application deemed withdrawn after publication