CN101150977B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN101150977B
CN101150977B CN200680010400.4A CN200680010400A CN101150977B CN 101150977 B CN101150977 B CN 101150977B CN 200680010400 A CN200680010400 A CN 200680010400A CN 101150977 B CN101150977 B CN 101150977B
Authority
CN
China
Prior art keywords
mentioned
image
classification
image processing
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200680010400.4A
Other languages
English (en)
Other versions
CN101150977A (zh
Inventor
西村博一
野波徹绪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2005115961A external-priority patent/JP4624842B2/ja
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority claimed from PCT/JP2006/305022 external-priority patent/WO2006112227A1/ja
Publication of CN101150977A publication Critical patent/CN101150977A/zh
Application granted granted Critical
Publication of CN101150977B publication Critical patent/CN101150977B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种可以提高用户的观察效率的图像处理装置以及图像处理方法。本发明的图像处理装置具有：图像输入部，其输入由多个颜色信号构成的医用图像；判定部，其判定上述输入的医用图像是否充分拍摄到了生物体粘膜；以及控制部，其根据上述判定部的判定结果，控制上述医用图像的显示或者存储之中的至少一方。

Description

图像处理装置
技术领域
本发明涉及图像处理装置，特别涉及可以清除未能良好地对生物体粘膜表面的像进行拍摄的图像的图像处理装置。
背景技术
以往在医疗领域中，广泛地使用X射线、CT、MRI、超声波观测装置和内窥镜装置等图像摄像设备进行观察。在这样的图像摄像设备中，内窥镜装置例如具有如下作用和结构，即，具有插入作为生物体的体腔内的细长的插入部，通过固体摄像元件等拍摄由配置在该插入部前端部上的物镜光学系统形成的体腔内的像，并将其作为摄像信号输出，根据该摄像信号，在监视器等上显示体腔内的像的图像。然后，用户根据显示在上述监视器等上的体腔内的像的图像，例如对体腔内的脏器等进行观察。而且，内窥镜装置可以直接拍摄消化道粘膜的像。因此，用户可以综合观察例如粘膜的色调、病变的形状和粘膜表面细小的结构等各种情况。
而且，近些年来，作为可以期待具有与上述内窥镜装置大致相同的实用性的图像摄像设备，例如提出有胶囊型内窥镜装置。一般地，胶囊型内窥镜装置构成为具有：胶囊型内窥镜，其通过由被检者从口中吞入而配置在体腔内，将拍摄到的该体腔内的像作为摄像信号发送到外部；接收器，其在体腔外接收所发送的该摄像信号，之后，蓄积所接收到的该摄像信号；以及观察装置，其用于观察体腔内的像的图像，其中该体腔内的像的图像是基于蓄积在接收器中的摄像信号得到的。
构成胶囊型内窥镜装置的胶囊型内窥镜伴随消化道的蠕动运动而前进，所以一般例如从口部进入体腔内之后，需要经过几个小时左右的时间才能从肛门排出。而且，由于胶囊型内窥镜在进入体腔内之后到被排出为止，几乎始终向接收器持续输出摄像信号，所以例如几个小时内的动态图像中的、蓄积在接收器中的作为帧图像的静态图像的张数会变得庞大。因此，从提高用户观察效率的观点出发，例如期待提出如下方案、即，在进行检测所蓄积的图像中包含有出血部位等病变部位的规定图像的图像处理方法的基础上，进行不显示或者不保存该规定的图像之外的图像的处理，从而削减图像的数据量。
作为上述这种图像处理方法，例如具有PCT WO 02/073507 A2号公报所述的方法。作为专利文献1所述的用于检测生物体内对比色分析异常的方法是采用如下所述方法的图像处理方法：着眼于正常粘膜和出血部位之间的色调差异，根据将色调设定为特征量的特征空间中距各平均值的距离，对图像的每个分割区域检测出血部位，即，检测包含作为病变部位的出血部位的规定的图像。
但是，PCT WO 02/073507 A2号公报所述的图像处理方法具有如下课题。
一般在消化道中并非总是仅仅对生物体粘膜表面的像进行拍摄，例如还会在混合存在大小便、气泡、粘液或者食物残渣等异物的像和生物体粘膜表面的像的状态下进行拍摄。因此在并未考虑到上述这种异物的存在情况的PCT WO 02/073507 A2号公报所述的图像处理方法中，可以预见到例如有可能由于该异物而将正常粘膜误检为出血部位、以及有可能会将该异物的像占据大部分画面的图像检测出来。其结果，在使用PCTWO 02/073507 A2号公报的图像处理方法进行观察的情况下，会产生由于病变部位的检测精度降低而导致观察效率降低的课题。
发明内容
本发明是鉴于上述问题而完成的，其目的在于提供一种能提高用户的观察效率的图像处理装置以及图像处理方法。
本发明的第1方面的图像处理装置，其特征在于，该图像处理装置具有：图像输入部，其输入由多个颜色信号构成的医用图像；判定部， 其判定上述输入的医用图像是否充分拍摄到了生物体粘膜；以及控制部，其根据上述判定部的判定结果，控制上述医用图像的显示或者存储中的至少一方。
本发明的第2方面的图像处理装置，其特征在于，在上述第1方面的图像处理装置中，该图像处理装置还具有：图像分割部，其将上述医用图像分割为多个区域；特征量计算部，其分别计算出上述医用图像的上述多个区域的特征量；区域分类部，其根据上述特征量，识别上述多个区域分别属于多个类别内的哪个类别，并且根据其识别结果，对上述多个区域分别进行分类；分类判定值计算部，其根据上述区域分类部的分类结果，计算被分类到上述多个类别内的、规定类别中的区域组在上述多个区域中所占比例；以及图像分类部，其根据由上述分类判定值计算部计算出的上述比例和与上述比例相关的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，上述判定部根据上述图像分类部的分类结果进行判定，即，当上述比例为规定阈值以下时，将上述医用图像判定为没有充分拍摄到生物体粘膜的图像；当上述比例大于规定阈值时，将上述医用图像判定为充分拍摄到生物体粘膜的图像。
本发明的第3方面的图像处理装置，其特征在于，在上述第2方面的图像处理装置中，上述控制部进行控制，以不显示被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
本发明的第4方面的图像处理装置，其特征在于，在上述第2方面的图像处理装置中，上述控制部进行控制，以不存储被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
本发明的第5方面的图像处理装置，其特征在于，在上述第3方面的图像处理装置中，上述控制部进行控制，以不存储被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
本发明的第6方面的图像处理装置，其特征在于，在上述第2方面的图像处理装置中，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
本发明的第7方面的图像处理装置，其特征在于，在上述第3方面 的图像处理装置中，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
本发明的第8方面的图像处理装置，其特征在于，在上述第4方面的图像处理装置中，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
本发明的第9方面的图像处理装置，其特征在于，在上述第5方面的图像处理装置中，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
本发明的第10方面的图像处理装置，其特征在于，在上述第2方面的图像处理装置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第11方面的图像处理装置，其特征在于，该图像处理装置具有：图像输入部，其输入由多个颜色信号构成的多个医用图像；区域设定部，其对上述输入的医用图像设定多个区域；检测部，其从上述多个区域中检测出怀疑存在病变的区域；区域判定部，其判定由上述区域设定部设定的上述多个区域是否为拍摄到生物体粘膜的区域；以及检测结果判定部，其根据上述区域判定部的判定结果，判定上述检测部的检测结果是否正确。
本发明的第12方面的图像处理装置，其特征在于，在上述第11方面的图像处理装置中，该图像处理装置还具有：特征量计算部，其分别计算出上述医用图像的上述多个区域的特征量；区域分类部，其根据上述特征量，把上述多个区域分别分类到多个类别内的某一个类别中，其中，上述多个类别包括与生物体粘膜相关的类别和与非生物体粘膜相关的类别；边缘检测部，其根据上述医用图像的绿色成分的浓度值，在上述多个区域中检测出具有边缘的区域；出血部位判定部，其根据上述图像的红色成分的浓度值，判定上述具有边缘的区域是否为包含出血部位的区域；以及分类结果判定部，其根据上述出血部位判定部的判定结果，判定上述区域分类部的分类结果是否正确，上述检测部检测出包含上述出血部位的区域作为怀疑存在病变的区域。
本发明的第13方面的图像处理装置，其特征在于，在上述第12方面的图像处理装置中，在根据上述区域分类部的分类结果将一个区域分类到与生物体粘膜相关的类别中的情况下，上述区域判定部将这一区域判定为拍摄到生物体粘膜的区域。
本发明的第14方面的图像处理装置，其特征在于，在上述第13方面的图像处理装置中，在根据上述检测部的检测结果和上述区域判定部的判定结果，认为上述怀疑存在病变的区域是上述拍摄到生物体粘膜的区域的情况下，上述检测结果判定部判定上述检测部的检测结果正确。
本发明的第15方面的图像处理装置，其特征在于，在上述第12方面的图像处理装置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第16方面的图像处理装置，其特征在于，该图像处理装置具有：图像输入部，其输入时间上连续拍摄的多个医用图像；区域设定部，其对上述医用图像设定多个区域；判定部，其对通过上述区域设定部设定的上述多个区域上的拍摄对象进行判定；确定部，其根据上述判定部的判定结果，确定被拍摄到上述医用图像中的脏器；以及确定结果显示部，其显示上述确定部的确定结果。
本发明的第17方面的图像处理装置，其特征在于，在上述第16方面的图像处理装置中，该图像处理装置还具有：图像分割部，其将上述医用图像分割为多个区域；特征量计算部，其分别计算出上述医用图像的上述多个区域的特征量；区域分类部，其根据上述特征量，识别上述多个区域分别属于多个类别内的哪个类别，并且根据其识别结果，对上述多个区域分别进行分类；分类判定值计算部，其根据上述区域分类部的分类结果，计算被分类到上述多类别内的、规定类别中的区域组在上述多个区域中所占比例；以及图像分类部，其根据由上述分类判定值计算部计算出的上述比例和与上述比例相关的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，上述确定部根据上述图像分类部的分类结果，确定被拍摄到上述医用图像中的脏器。
本发明的第18方面的图像处理装置，其特征在于，在上述第17方 面的图像处理装置中，上述多个类别至少具有胃粘膜类别、肠毛类别、以及大小便类别。
本发明的第19方面的图像处理装置，其特征在于，在上述第18方面的图像处理装置中，当上述规定类别为胃粘膜类别时，上述确定部判定被拍摄到上述医用图像中的脏器是胃。
本发明的第20方面的图像处理装置，其特征在于，在上述第18方面的图像处理装置中，当上述规定类别为肠毛类别时，上述确定部判定被拍摄到上述医用图像中的脏器是小肠。
本发明的第21方面的图像处理装置，其特征在于，在上述第18方面的图像处理装置中，当上述规定类别为大小便类别时，上述确定部判定被拍摄到上述医用图像中的脏器是大肠。
本发明的第22方面的图像处理装置，其特征在于，在上述第17方面的图像处理装置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第23方面的图像处理装置，其特征在于，该图像处理装置具有：图像信号输入部，其输入图像信号，其中，该图像信号是基于由具有拍摄功能的医疗设备拍摄到的图像而得到的；图像分割部，其根据上述图像信号输入部所输入的图像信号，把由该医疗设备拍摄到的图像分割为多个区域；特征量计算部，其分别计算由上述图像分割部分割的多个区域的特征量；第1区域分类部，其根据在上述特征量计算部中计算出的特征量和规定的第1分类基准，将上述多个区域分别分类到多个类别内的某一个类别中；分类基准设定部，其根据上述特征量和上述第1区域分类部的分类结果，设定第2分类基准；以及第2区域分类部，其根据上述特征量和上述第2分类基准，将上述多个区域分别分类到上述多个类别内的某一个类别中。
本发明的第24方面的图像处理装置，其特征在于，在上述第23方面的图像处理装置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第25方面的图像处理装置，其特征在于，在上述第23方 面的图像处理装置中，上述第1区域分类部使用统计识别器将上述多个区域分别分类到上述多个类别内的某一个类别中，其中上述统计识别器使用了确定上述第1分类基准的总体参数；上述第2区域分类部使用统计识别器将上述多个区域分别分类到上述多个类别内的某一个类别中，其中上述统计识别器使用了确定上述第2分类基准的总体参数。
本发明的第26方面的图像处理装置，其特征在于，该图像处理装置具有：图像信号输入部，其输入图像信号，其中，该图像信号是基于由具有拍摄功能的医疗设备拍摄到的图像而得到的；图像分割部，其根据上述图像信号输入部所输入的图像信号，把由该医疗设备拍摄到的图像分割为多个区域；特征量计算部，其分别计算出由上述图像分割部分割的多个区域的特征量；第1区域分类部，其根据在上述特征量计算部中计算出的特征量和规定的第1分类基准，分别将上述多个区域分类到多个类别内的某一个类别中；评价值计算部，其通过计算评价值，对由上述第1区域分类部得到的、上述多个区域中一个区域的分类结果进行评价，其中，上述评价值是基于由上述第1区域分类部得到的、对位于上述一个区域附近的区域的分类结果而得到的；以及第2区域分类部，其根据上述评价值计算部的评价值，将上述一个区域分类到上述多个类别内的某一个类别中。
本发明的第27方面的图像处理装置，其特征在于，在上述第26方面的图像处理装置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第28方面的图像处理装置，其特征在于，该图像处理装置具有：图像信号输入部，其输入图像信号，其中，该图像信号是基于由具有拍摄功能的医疗设备拍摄到的图像而得到的；图像分割部，其根据上述图像信号输入部输入的图像信号，把由该医疗设备拍摄到的图像分割为多个区域；特征量计算部，其分别计算出由上述图像分割部分割的多个区域的特征量；关注区域设定部，其把上述多个区域中的一个区域设定为关注区域；附近外周区域检测部，其检测附近外周区域，其中上述附近外周区域是距上述关注区域有规定距离的区域；大致圆形形状检 测部，其根据上述特征量，检测在上述附近外周区域中存在大致圆形形状的轮廓部的至少一部分的情况；以及区域提取部，其在通过上述大致圆形形状检测部检测出上述大致圆形形状时，提取上述关注区域。
本发明的第29方面的图像处理装置，其特征在于，在上述第28方面的图像处理装置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第30方面的图像处理装置，其特征在于，在上述第28方面的图像处理装置中，在判断为上述附近外周区域中的、存在上述大致圆形形状的轮廓部中的至少一部分的区域的比例为规定阈值以上的情况下，上述大致圆形形状检测部检测大致圆形形状，上述区域提取部提取出上述关注区域作为存在上述大致圆形形状的中央部的区域。
本发明的第31方面的图像处理装置，其特征在于，在上述第29方面的图像处理装置中，上述大致圆形形状为气泡。
本发明的第32方面的图像处理装置，其特征在于，在上述第30方面的图像处理装置中，上述大致圆形形状为气泡。
本发明的第33方面的图像处理装置，其特征在于，该图像处理装置具有：图像信号输入部，其输入图像信号，其中，上述图像信号是基于由具有拍摄功能的医疗设备拍摄到的图像而得到的；图像分割部，其根据上述图像信号输入部输入的图像信号，把由该医疗设备拍摄到的图像分割为多个区域；特征量计算部，其分别计算出由上述图像分割部分割的多个区域中的特征量；区域分类部，其根据在上述特征量计算部中计算出的特征量和规定的分类基准，分别把上述多个区域分类到多个类别的某一个类别中；区域检测部，其从上述多个区域中检测被分类到上述多个类别中、预先设定为具有明显的结构特征的类别的规定类别中的区域；以及分类基准设定部，其根据在上述区域检测部中检测出的上述区域所具有的上述特征量，设定上述区域分类部中的上述规定的分类基准。
本发明的第34方面的图像处理装置，其特征在于，在上述第33方面的图像处理装置中，上述规定类别具有气泡类别或者肠毛类别中的至少1个类别。
本发明的第35方面的图像处理装置，其特征在于，在上述第33方面的图像处理装置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第1方面的图像处理方法，其特征在于，该图像处理方法具有：图像输入步骤，输入由具有拍摄功能的医疗设备拍摄到的图像；区域分割步骤，将上述图像分割为多个区域；特征量计算步骤，分别从上述多个区域中计算出特征量；以及区域分类步骤，根据上述特征量，将上述多个区域分别分类为拍摄到生物体粘膜表面的区域或者拍摄到非生物体粘膜的区域中的某一个。
本发明的第2方面的图像处理方法，该图像处理方法具有：图像输入步骤，输入由具有拍摄功能的医疗设备拍摄到的图像；区域分割步骤，将上述图像分割为多个区域；特征量计算步骤，分别从上述多个区域中计算出特征量；以及区域分类步骤，根据上述特征量，将上述多个区域分别分类到多个不同类别内的某一类别中，该图像处理方法的特征在于，在上述区域分类步骤中，把上述多个区域分别分类到拍摄到生物体粘膜表面的区域、拍摄到非生物体粘膜的区域以及既不对应于上述生物体粘膜表面也不对应于上述非生物体粘膜的区域中的某一个。
本发明的第3方面的图像处理方法，该图像处理方法具有：图像输入步骤，输入由具有拍摄功能的医疗设备拍摄到的图像；区域分割步骤，将上述图像分割为多个区域；特征量计算步骤，分别从上述多个区域中计算出特征量；区域分类步骤，根据上述特征量，将上述多个区域分别分类到多个不同类别内的某一类别中；排他类别设定步骤，在上述多个不同类别中，设定不允许混合存在于上述图像中的排他类别的组合；以及优先类别设定步骤，设定要使上述排他类别的组合中的哪个类别优先，该图像处理方法的特征在于，在上述区域分类步骤中，当存在分类到由上述排他类别设定步骤中设定的排他类别的组合中的某一个类别中的区域时，将上述区域分类到在上述优先类别设定步骤中设定的类别中。
本发明的第4方面的图像处理方法，其特征在于，在上述第3方面的图像处理方法中，该图像处理方法还具有分类判定值计算步骤，在该 分类判定值计算步骤中，根据上述区域分类步骤的分类结果，计算被分类到上述排他类别的组合中所包含的类别的一个类别中的区域组在上述多个区域中所占比例，在上述优先类别设定步骤中，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关的规定阈值进行比较，从而设定要使上述排他类别的组合中的哪个类别优先。
本发明的第5方面的图像处理方法，其特征在于，在上述第1方面的图像处理方法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第6方面的图像处理方法，其特征在于，在上述第2方面的图像处理方法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第7方面的图像处理方法，其特征在于，在上述第3方面的图像处理方法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第8方面的图像处理方法，其特征在于，在上述第1方面的图像处理方法中，该图像处理方法还具有判定步骤，在该判定步骤中，根据上述区域分类步骤中的上述多个区域各自的分类结果，判定上述图像是否拍摄到了生物体粘膜表面。
本发明的第9方面的图像处理方法，其特征在于，在上述第2方面的图像处理方法中，该图像处理方法还具有判定步骤，在该判定步骤中，根据上述区域分类步骤中的上述多个区域各自的分类结果，判定上述图像是否拍摄到了生物体粘膜表面。
本发明的第10方面的图像处理方法，其特征在于，在上述第4方面的图像处理方法中，该图像处理方法还具有判定步骤，在该判定步骤中，根据上述区域分类步骤中的上述多个区域各自的分类结果，判定上述图像是否拍摄到了生物体粘膜表面。
本发明的第11方面的图像处理方法，其特征在于，在上述第8方面的图像处理方法中，该图像处理方法还具有：分类判定值计算步骤，根据上述区域分类步骤的分类结果，计算被分类到上述多个不同的类别内 的规定类别中的区域组在上述多个区域中所占比例；以及图像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述判定步骤中，根据上述图像分类步骤的分类结果进行判定，即，当上述比例为规定阈值以下时，将上述图像判定为没有充分拍摄到生物体粘膜的图像；当上述比例大于规定阈值时，将上述图像判定为充分拍摄到生物体粘膜的图像。
本发明的第12方面的图像处理方法，其特征在于，在上述第9方面的图像处理方法中，该图像处理方法还具有：分类判定值计算步骤，根据上述区域分类步骤的分类结果，计算被分类到上述多个不同的类别内的规定类别中的区域组在上述多个区域中所占比例；以及图像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述判定步骤中，根据上述图像分类步骤的分类结果进行判定，即，当上述比例为规定阈值以下时，将上述图像判定为没有充分拍摄到生物体粘膜的图像；当上述比例大于规定阈值时，将上述图像判定为充分拍摄到生物体粘膜的图像。
本发明的第13方面的图像处理方法，其特征在于，在上述第10方面的图像处理方法中，该图像处理方法还具有：分类判定值计算步骤，根据上述区域分类步骤的分类结果，计算被分类到上述多个不同的类别内的规定类别中的区域组在上述多个区域中所占比例；以及图像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述判定步骤中，根据上述图像分类步骤的分类结果进行判定，即，当上述比例为规定阈值以下时，将上述图像判定为没有充分拍摄到生物体粘膜的图像；当上述比例大于规定阈值时，将上述图像判定为充分拍摄到生物体粘膜的图像。
本发明的第14方面的图像处理方法，其特征在于，该图像处理方法具有：图像输入步骤，输入由具有拍摄功能的医疗设备拍摄到的图像； 区域分割步骤，将上述图像分割为多个区域；特征量计算步骤，分别计算出上述多个区域中的特征量；区域分类步骤，根据上述特征量，识别上述多个区域分别属于多个类别内的哪个类别，并且根据其识别结果，对上述多个区域分别进行分类；以及拍摄脏器估计步骤，根据上述区域分类步骤中的分类结果，估计上述医疗设备拍摄到的脏器。
本发明的第15方面的图像处理方法，其特征在于，在上述第14方面的图像处理方法中，该图像处理方法还具有：分类判定值计算步骤，根据上述区域分类步骤的分类结果，计算被分类到上述多个类别内的规定类别中的区域组在上述多个区域中所占比例；以及图像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述拍摄脏器估计步骤中，根据上述图像分类步骤的分类结果，确定上述图像所拍摄到的脏器。
本发明的第16方面的图像处理方法，其特征在于，在上述第15方面的图像处理方法中，上述多个类别至少具有胃粘膜类别、肠毛类别、以及大小便类别。
本发明的第17方面的图像处理方法，其特征在于，在上述第16方面的图像处理方法中，当上述规定类别为胃粘膜类别时，上述确定部判定上述图像所拍摄到的脏器是胃。
本发明的第18方面的图像处理方法，其特征在于，在上述第16方面的图像处理方法中，当上述规定类别为肠毛类别时，上述确定部判定上述图像所拍摄到的脏器是小肠。
本发明的第19方面的图像处理方法，其特征在于，在上述第16方面的图像处理方法中，当上述规定类别为大小便类别时，上述确定部判定上述图像所拍摄到的脏器是大肠。
本发明的第20方面的图像处理方法，其特征在于，在上述第14方面的图像处理方法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第21方面的图像处理方法，其特征在于，该图像处理方法 具有：图像分割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像分割为多个区域，其中，上述图像信号输入部用于输入与由具有拍摄功能的该医疗设备拍摄到的所述图像对应的图像信号；特征量计算步骤，分别计算由上述图像分割步骤分割的多个区域的特征量；第1区域分类步骤，根据由上述特征量计算步骤计算出的特征量和规定的第1分类基准，将上述多个区域分别分类到多个类别内的某一个类别中；分类基准设定步骤，根据上述特征量和上述第1区域分类步骤的分类结果，设定第2分类基准；以及第2区域分类步骤，根据上述特征量和上述第2分类基准，将上述多个区域分别分类到上述多个类别中的某一个类别中。
本发明的第22方面的图像处理方法，其特征在于，在上述第21方面的图像处理方法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第23方面的图像处理方法，其特征在于，在上述第21方面的图像处理方法中，在上述第1区域分类步骤中，使用统计识别器将上述多个区域分别分类到上述多个类别内的某一个类别中，其中上述统计识别器使用了确定上述第1分类基准的总体参数；在上述第2区域分类步骤中，使用统计识别器将上述多个区域分别分类到上述多个类别内的某一个类别中，其中上述统计识别器使用了确定上述第2分类基准的总体参数。
本发明的第24方面的图像处理方法，其特征在于，该图像处理方法具有：图像分割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像分割为多个区域，其中，上述图像信号输入部用于输入与由具有拍摄功能的该医疗设备拍摄到的所述图像对应的图像信号；特征量计算步骤，分别计算由上述图像分割步骤分割的多个区域的特征量；第1区域分类步骤，根据由上述特征量计算步骤计算出的特征量和规定的第1分类基准，将上述多个区域分别分类到多个类别内的某一个类别中；评价值计算步骤，通过计算评价值，对由上述第1区域分类步骤得到的、上述多个区域中一个区域的分类结果进行评价，其中， 上述评价值是基于由上述第1区域分类步骤得到的、对位于上述一个区域附近的区域的分类结果而得到的；以及第2区域分类步骤，根据上述评价值计算步骤的评价值，将上述一个区域分类到上述多个类别内的某一个类别中。
本发明的第25方面的图像处理方法，其特征在于，在上述第24方面的图像处理方法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第26方面的图像处理方法，其特征在于，该图像处理方法具有：图像分割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像分割为多个区域，其中，上述图像信号输入部用于输入与由具有拍摄功能的该医疗设备拍摄到的所述图像对应的图像信号；特征量计算步骤，分别计算由上述图像分割步骤分割的多个区域中的特征量；关注区域设定步骤，将上述多个区域中的一个区域设定为关注区域；附近外周区域检测步骤，检测附近外周区域，其中上述附近外周区域是距上述关注区域有规定距离的区域；大致圆形形状检测步骤，根据上述特征量，在上述附近外周区域中，检测存在大致圆形形状的轮廓部中的至少一部分的情况；以及区域提取步骤，在通过上述大致圆形形状检测步骤检测出上述大致圆形形状的情况下，提取上述关注区域。
本发明的第27方面的图像处理方法，其特征在于，在上述第26方面的图像处理方法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第28方面的图像处理方法，其特征在于，在上述第26方面的图像处理方法中，在上述大致圆形形状检测步骤中，在判断为上述附近外周区域中的、存在上述大致圆形形状的轮廓部中的至少一部分的区域的比例为规定阈值以上的情况下，检测大致圆形形状；在上述区域提取步骤中，提取出上述关注区域作为存在上述大致圆形形状的中央部的区域。
本发明的第29方面的图像处理方法，其特征在于，在上述第26方面的图像处理方法中，上述大致圆形形状为气泡。
本发明的第30方面的图像处理方法，其特征在于，在上述第28方面的图像处理方法中，上述大致圆形形状为气泡。
本发明的第31方面的图像处理方法，其特征在于，该图像处理方法具有：图像分割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像分割为多个区域，其中，上述图像信号输入部用于输入与由具有拍摄功能的该医疗设备拍摄到的上述图像对应的图像信号；特征量计算步骤，分别计算由上述图像分割步骤分割的多个区域中的特征量；区域分类步骤，根据由上述特征量计算步骤计算出的特征量和规定的分类基准，把上述多个区域分别分类到多个类别内的某一个类别中；区域检测步骤，从上述多个区域中检测出被分类到上述多个类别中、预先设定为具有明显结构特征的类别的规定类别中的区域；以及分类基准设定步骤，根据由上述区域检测步骤检测到的上述区域所具有的上述特征量，设定上述区域分类步骤中的上述规定的分类基准。
本发明的第32方面的图像处理方法，其特征在于，在上述第31方面的图像处理方法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
本发明的第33方面的图像处理方法，其特征在于，在上述第31方面的图像处理方法中，上述规定类别为气泡类别或者肠毛类别中的至少1种类别。
附图说明
图1是表示作为第1实施方式的进行图像处理动作的图像处理装置和周边设备的外观的外观主视图。
图2是对生成第1实施方式的图像处理装置中要进行处理的规定的图像信息的胶囊型内窥镜的一部分进行切取来表示的主要部分放大截面图。
图3是表示对第1实施方式的图像处理装置提供规定的图像信息的胶囊型内窥镜装置的概要内部结构的框图。
图4是表示对第1实施方式的图像处理装置提供规定的图像信息的 胶囊型内窥镜装置的一个使用例的图。
图5是表示从图2所示的胶囊型内窥镜输出的信号的一个例子的时序图。
图6是说明图2所示的胶囊型内窥镜的位置检测的说明图。
图7是表示使用图3所示的胶囊型内窥镜装置时的天线单元的主要部分放大截面图。
图8是说明使用图3所示的胶囊型内窥镜装置时的屏蔽外套(shieldjacket)的说明图。
图9是说明将胶囊型内窥镜装置的外部装置安装在被检体上的安装状态的说明图。
图10是表示图2所示的胶囊型内窥镜的电结构的框图。
图11是表示第1实施方式的图像处理动作的流程图。
图12是表示在第1实施方式的图像处理动作中，将所输入的图像分割为(m×n)个区域时的一个例子的图。
图13是表示构成训练数据的多个图像中的胃粘膜的图像的一个例子的图。
图14是表示构成训练数据的多个图像中的肠毛的图像的一个例子的图。
图15是表示构成训练数据的多个图像中的大小便的图像的一个例子的图。
图16是表示构成训练数据的多个图像中的气泡的图像的一个例子的图。
图17是表示胶囊型内窥镜所拍摄的体腔内的像的图像的一个例子的示意图。
图18是表示图17所示的图像的分类结果的一个例子的图。
图19是表示在第1实施方式的图像处理动作中，与图11不同的图像处理动作的流程图。
图20是表示显示在显示器上的观察器的图像中主菜单画面的一个例子的图。
图21是表示第2实施方式的图像处理动作的流程图。
图22是表示第3实施方式的图像处理动作的流程图。
图23是表示第4实施方式的图像处理动作的流程图。
图24是表示第5实施方式的图像处理动作的一部分的流程图。
图25是表示作为第5实施方式的图像处理动作的一部分的、执行了图24的流程图所示处理之后进行的图像的显示控制动作的流程图。
图26是表示第6实施方式的图像处理动作的一部分的流程图。
图27是表示接着图26的处理进行的第6实施方式的图像处理动作的一部分的流程图。
图28是表示接着图27的处理进行的第6实施方式的图像处理动作的一部分的流程图。
图29A是表示在第6实施方式的图像处理动作中，在确定边缘特征量(边缘特征矢量)时作为指标的8个方向中一个方向的图。
图29B是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A不同的一个方向的图。
图29C是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A和图29B不同的一个方向的图。
图29D是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A至图29C不同的一个方向的图。
图29E是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A至图29D不同的一个方向的图。
图29F是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A至图29E不同的一个方向的图。
图29G是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A至图29F不同的一个方向的图。
图29H是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A至图29G不同的一个方向的图。
图30是表示在第6实施方式的图像处理动作中设定的、中心区域与最外周区域之间的位置关系的图。
图31是表示在第6实施方式的图像处理动作中设定的、由边缘特征矢量的方向和矢量V1的方向构成的角度的图。
图32是表示第7实施方式的图像处理动作的一部分的流程图。
图33是表示接着图32的处理进行的第7实施方式的图像处理动作的一部分的流程图。
图34是表示在第7实施方式的图像处理动作中，将所输入的图像分割为(m×n)个区域时的一个例子的图。
图35是表示第8实施方式的图像处理装置的图像处理动作的流程图。
图36是表示第8实施方式的图像处理装置的图像处理动作的流程图。
图37是表示在第8实施方式的图像处理动作中，确定一个区域的附近区域时的一个例子的图。
图38是表示在第8实施方式的图像处理动作中使用的、胶囊型内窥镜所拍摄的体腔内的像的图像的一个例子的示意图。
图39是表示图38所示的图像的分类结果的一个例子的图。
图40是表示根据图39所示的分类结果，进行了第8实施方式的图像处理动作之后的再分类结果的图。
图41是表示第9实施方式的图像处理动作的流程图。
图42是表示第9实施方式的图像处理动作的流程图。
图43是表示在第9实施方式的图像处理动作中，对分别虚拟分配到具有4×4个像素数的小矩形区域的序号进行排列的一个例子的图。
图44是表示在第9实施方式的图像处理动作中，附近外周区域Ht相对于一个矩形区域RO的位置关系的图。
图45是表示在第9实施方式的图像处理动作中，由近似gradient矢量Vgt和方向矢量Vdt构成的角度θt的一个例子的图。
图46是表示在第9实施方式中使用的胶囊型内窥镜所拍摄的体腔内的像的图像的一个例子的示意图。
图47是表示图46所示的图像的分类结果的一个例子的图。
具体实施方式
下面参照附图说明本发明的实施方式。
(第1实施方式)
图1至图20涉及本发明的第1实施方式。图1是表示作为本发明的第1实施方式的进行图像处理动作的图像处理装置和周边设备的外观的外观主视图。图2是对生成本实施方式的图像处理装置中生成要进行处理的规定的图像信息的胶囊型内窥镜的一部分进行切取来表示的主要部分放大截面图。图3是表示对本实施方式的图像处理装置提供规定的图像信息的胶囊型内窥镜装置的概要内部结构的框图。图4是表示对本实施方式的图像处理装置提供规定的图像信息的胶囊型内窥镜装置的一个使用例的图。图5是表示从图2所示的胶囊型内窥镜输出的信号的一个例子的时序图。图6是说明图2所示的胶囊型内窥镜的位置检测的说明图。图7是表示使用图3所示的胶囊型内窥镜装置时的天线单元的主要部分放大截面图。图8是说明使用图3所示的胶囊型内窥镜装置时的屏蔽外套的说明图。图9是说明将图3所示的胶囊型内窥镜装置的外部装置安装在被检体上的安装状态的说明图。图10是表示图2所示的胶囊型内窥镜的电结构的框图。图11是表示本实施方式的图像处理动作的流程图。图12是表示在本实施方式的图像处理动作中，将所输入的图像分割为(m×n)个区域时的一个例子的图。图13是表示构成训练数据的多个图像中的胃粘膜的图像的一个例子的图。图14是表示构成训练数据的多个图像中的肠毛的图像的一个例子的图。图15是表示构成训练数据的多个图像中的大小便的图像的一个例子的图。图16是表示构成训练数据的多个图像中的气泡的图像的一个例子的图。图17是表示胶囊型内窥镜所拍摄的体腔内的像的图像的一个例子的示意图。图18是表示图17所示的图像的分类结果的一个例子的图。图19是表示在本实施方式的图像处理动作中，与图11不同的图像处理动作的流程图。图20是表示显示在显示器上的观察器的图像中主菜单画面的一个例子的图。
如图3所示，向作为本发明的第1实施方式的图像处理装置提供规 定的图像信息的胶囊型内窥镜装置1的主要部分由胶囊型内窥镜3、天线单元4和外部装置5构成。
作为医疗设备的胶囊型内窥镜3，其形成为从作为被检体的患者2的口部吞入体腔内而配置在体腔内之后通过蠕动运动在消化道内行进的形状，并且在其内部具有拍摄体腔内以生成该拍摄图像信息的拍摄功能和向体外发送该拍摄图像信息的发送功能，对此在后面将详细叙述。天线单元4具有多个接收天线11，该多个接收天线11设置在患者2的身体表面上，接收从上述胶囊型内窥镜3发送来的拍摄图像信息，对此在后面将详细叙述。外部装置5的外形形成为箱型形状，其具有对上述天线单元4接收到的拍摄图像信息进行各种处理、存储拍摄图像信息和通过拍摄图像信息显示拍摄图像等的功能，对此在后面将详细叙述。在该外部装置5的外装表面上设置有显示上述拍摄图像的液晶监视器12和进行各种功能的操作指示的操作部13。
而且，该外部装置5的外装表面上设置有用于对驱动电源用的电池余量进行警告显示的LED和由电源开关等开关构成的操作部13。并且在胶囊型内窥镜3的内部设有使用了CPU和存储器的运算执行部，例如该运算执行部也可以构成为对已接收和存储的拍摄图像信息执行后述的本发明的图像处理方法。
该外部装置5可拆装地安装在患者2的身体上，并且如图1所示，通过安装在底座6上，可拆装地与作为本发明的第1实施方式的图像处理装置(下面记作终端装置)7连接。该终端装置7例如使用个人计算机，其具有具备了对各种数据的处理功能和存储功能的终端主体9、用于输入各种操作处理的键盘8a和鼠标8b、以及显示各种处理结果的具有作为显示部的功能的显示器8c。该终端装置7例如具有进行如下图像处理的基本功能、即，经由底座6来取入存储在上述外部装置5的拍摄图像信息，并将其写入存储到内置于终端主体9内的可改写存储器或者可拆装于终端主体9的可改写的半导体存储器等便携式存储器中，并在显示器8c上显示该存储的拍摄图像信息。而且存储在上述外部装置5中的拍摄图像信息也可以不通过上述底座6，而是通过USB电缆等被取入到终端装置 7中。
而且由终端装置7执行的图像处理包括如下：对根据从上述外部装置5取入、并存储在未图示的具有作为存储部的功能的存储器等中的拍摄图像信息来对应于经过时间显示的图像进行选择的处理；以及终端主体9所具有的控制部9a中执行的基于后述的本发明的图像处理方法的处理。控制部9a由CPU等构成，例如在进行上述处理时，可以将处理结果暂时保持在未图示的寄存器等中。
接着使用图2说明上述胶囊型内窥镜3的外形和内部结构。胶囊型内窥镜3由截面为U字状的外装部件14和大致半球形状的罩部件14a构成，该罩部件14a通过粘结剂以水密方式安装在该外装部件14的前端侧的开放端上、并由透明部件形成。因此，在外装部件14和罩部件14a连接的状态下，胶囊型内窥镜3的外装形成为具有水密结构和胶囊形状。
在作为由该外装部件14和罩部件14a构成的胶囊形状的内部中空部、且相当于上述罩部件14a的半球圆弧的大致中央处的部分上，取入经由罩部件14a而射入的观察部位像的物镜15以收纳于镜头框16的方式进行了配置。在该物镜15的成像位置上配置有作为摄像元件的电荷耦合元件(以下称为CCD)17。而且在收纳了上述物镜15的镜头框16的周围，在同一平面上配置了发出放射照明光的4个白色色系的LED18(图中仅示出2个LED)。在上述CCD17的后端侧的上述外装部件14的内部中空部上配置有：处理电路19，其进行拍摄处理和LED驱动处理，该拍摄处理中驱动控制上述CCD17来生成光电转换后的摄像信号，对该摄像信号进行规定的信号处理来生成拍摄图像信号，该LED驱动处理中控制上述LED18的点亮/不点亮的动作；通信处理电路20，其将通过该处理电路19的拍摄处理生成的拍摄图像信号转换为无线信号进行发送；发送天线23，其向外部发送来自该通信处理电路20的无线信号；以及多个纽扣型电池21，其提供上述处理电路19和通信处理电路20的驱动用电源。
而且，CCD17、LED18、处理电路19、通信处理电路20和发送天线23配置在未图示的基板上，在这些基板之间通过未图示的挠性基板连接。并且，在上述处理电路19上具有用于进行后述图像处理的未图示的运算 电路。即，如图3所示，上述胶囊型内窥镜3具有：具备上述CCD17、LED18和处理电路19的摄像装置43；具备上述通信处理电路20的发送器37；以及发送天线23。
下面参照图10说明上述胶囊型内窥镜3的摄像装置43的详细结构。摄像装置43具有：控制LED18的点亮/不点亮动作的LED驱动器18A；用于控制CCD17的驱动来传送光电转换之后的电荷的CCD驱动器17A；处理电路19A，其使用从上述CCD17传送来的电荷生成摄像信号，而且对该摄像信号进行规定的信号处理而生成拍摄图像信号；向上述LED驱动器18A、CCD驱动器17A、处理电路19A和发送器37提供来自电池21的驱动电源的开关部；和向上述开关部以及CCD驱动器17A提供定时信号的定时发生器(timing generator)19B。并且上述开关部具有：开通/断开从电池21对上述LED驱动器18A进行的电源供给的开关19C；开通/断开对上述CCD17、CCD驱动器17A和处理电路19A进行的电源供给的开关19D；以及开通/断开对上述发送器37进行的电源供给的开关19E。而且从电池21始终向上述定时发生器19B提供驱动电源。
在具有这种结构的胶囊型内窥镜3的摄像装置43中，当开关19C、开关19D、开关19E为断开状态时，定时发生器19B之外的各部为非工作状态。而且，如果从定时发生器19B输出定时信号，则上述开关19D接通，由此使从电池21提供了电源的CCD17、CCD驱动器17A和处理电路19A处于工作状态。
在上述CCD17的驱动初期时，启动CCD17的电子快门，除去了不需要的暗电流之后，定时发生器19B使开关19C接通而驱动LED驱动器18A，从而点亮LED18来对CCD17进行曝光。LED18在点亮了CCD17曝光所需的规定时间之后，为降低消耗功率，在开关19C断开的定时熄灭。
在进行上述CCD17的曝光的上述规定时间内所蓄积的电荷通过CCD驱动器17A的控制而被传送给处理电路19A。处理电路19A以从CCD17传送来的电荷为基础生成摄像信号，对该摄像信号进行规定的信号处理来生成内窥镜图像信号。例如在从发送器37发送来的信号为模拟无线方式时，处理电路19A生成将复合同步信号重叠在CDS输出信号上的模拟摄像信号，之后将该模拟摄像信号作为内窥镜图像信号输出给发送器37。而且例如在从发送器37发送来的信号为数字无线方式时，处理电路19A生成数字拍摄图像信号，将该数字摄像信号作为内窥镜图像信号输出给发送器37，其中，所述数字拍摄图像信号是通过进一步对由模/数转换器生成的串行数字信号进行加扰(scramble)等编码处理而得到的。
该发送器37对作为从上述处理电路19A提供来的内窥镜图像信号的、模拟拍摄图像信号或者数字拍摄图像信号进行调制处理，从发送天线23将其无线发送到外部。此时，开关19E通过定时发生器19B而进行接通/断开，以仅在从上述处理电路19A输出了拍摄图像信号的定时向发送器37提供驱动功率。
而且开关19E也可以被控制为，在从处理电路19A输出了拍摄图像信号起经过了规定时间之后，向发送器37提供驱动功率。并且开关19E也可以具有如下结构、即，开关19E被控制为，根据设置在胶囊型内窥镜3上的、未图示的pH传感器对规定值的pH值的检测；未图示的湿度传感器对规定值以上的湿度的检测；未图示的压力传感器或者未图示的加速度传感器对规定值以上的压力或者加速度的检测等的检测结果，通过从定时发生器19B输出的信号，在插入到作为被检体的患者2的体腔内时，向发送器37提供电源。
并且上述胶囊型内窥镜3的摄像装置43一般每秒拍摄2张图像(每秒2帧＝2fps)，但例如在进行食道检测时，可以每秒拍摄15～30张图像(15fps～30fps)。具体而言，在胶囊型内窥镜3上设置未图示的定时器电路，通过该定时器电路控制摄像装置43的驱动，使得例如定时器计时器在规定时间以内时进行每秒拍摄张数较多的高速拍摄，在经过了规定时间之后，进行每秒拍摄张数较少的低速拍摄。或者与接通胶囊型内窥镜3的电源同时地启动定时器电路，可以通过该定时器电路控制摄像装置43的驱动，使得例如在患者2吞入之后到通过食道为止的时间内进行高速拍摄。还可以分别设置低速拍摄用胶囊型内窥镜和高速拍摄用胶囊型内窥镜，对应于观察对象部位区分使用。
然后说明设置在上述患者2的身体表面上的天线单元4。如图4所示，在吞入胶囊型内窥镜3进行内窥镜检查时，患者2穿戴上设置了由多个接收天线11构成的天线单元4的外套10。如图7所示，该天线单元4例如将用于GPS的贴片天线(Patch Antenna)那样的具有单向指向性的多个接收天线11配置成其指向性朝向患者2的身体内侧。即，由于胶囊型内窥镜3的胶囊主体3D留存于身体内部，所以以包围该体内的胶囊主体3D的方式配置上述多个天线11。通过使用该指向性较高的天线11，不易受到来自体内的胶囊主体3D之外的电波引起的干扰妨碍的影响。
如图8所示，上述外套10由设置在患者2的身体表面的上述天线单元4和覆盖通过带子设置在患者2的腰上的外部装置5的主体部5D的、由电磁屏蔽纤维形成的屏蔽外套72构成。形成该屏蔽外套72的电磁屏蔽纤维可使用金属纤维、金属化学纤维或者含硫化铜的纤维等。而且该屏蔽外套72不限于外套形状，例如也可以是马甲或者连衣裙形状等。
而且作为将上述外部装置5安装在上述屏蔽外套72上的例子，如图9所示，在上述外部装置5的外部主体5D上设置钥匙孔74，通过将设置在上述屏蔽外套72上的钥匙75插入上述钥匙孔74，从而可自由拆装地安装到带73上。或者也可以单纯在屏蔽外套72上设置未图示的口袋，在该口袋内收纳外部主体5D，还可以在外部装置5的外部主体5D和屏蔽外套72上设置魔术贴(magic tape，注册商标)，通过该魔术贴(注册商标)来安装固定。
即，通过把屏蔽外套72安装在配置有天线单元4的身体上，对天线单元4屏蔽来自外部的电波，从而更不易受到外部电波引起的干扰妨碍的影响。
然后使用图3说明上述天线单元4和外部装置5的结构。上述天线单元4由接收从上述胶囊型内窥镜3的发送天线23发送来的无线信号的多个接收天线11a～11d和切换该天线11a～11d的天线切换开关45构成。上述外部装置5由以下部分构成：进行将来自天线切换开关45的无线信号转换为拍摄图像信号以及放大等接收处理的接收电路33；对从该接收电路33提供来的拍摄图像信号实施规定的信号处理，生成拍摄图像的显 示用信号和拍摄图像数据的信号处理电路35；根据由该信号处理电路35生成的拍摄图像显示用信号显示拍摄图像的液晶监视器12；存储由上述信号处理电路35所生成的拍摄像图像数据的存储器47；以及根据由上述接收电路33所接收处理的无线信号的大小来控制上述天线切换开关45的天线选择电路46。
在上述天线单元4的图中作为接收天线11a～11d表示出来的多个接收天线11接收以恒定电波强度从上述胶囊型内窥镜3的发送天线23发送来的无线信号。该多个接收天线11a～11d通过来自上述外部装置5的天线选择电路46的天线选择信号来控制天线切换开关45，依次对接收上述无线信号的接收天线进行切换。即，由通过上述天线切换开关45依次切换的接收天线11a～d分别接收到的无线信号被输出给上述接收器33。在该接收器33中，检测出接收天线11a～11d各自的无线信号的接收强度，计算出各接收天线11a～11d与胶囊型内窥镜3的位置关系，并且对该无线信号进行解调处理而向信号处理电路35输出拍摄图像信号。上述天线选择电路46通过来自上述接收器33的输出来控制。
说明由上述天线选择电路46实现的天线切换开关45的动作。如图5所示，上述胶囊型内窥镜3所发送的无线信号在拍摄图像信号1帧的发送期间内，依次重复作为表示无线信号的接收强度的接收强度信号的发送期间的强度接收期间以及作为拍摄图像信号的发送期间的影像信号期间，进行发送。
上述天线选择电路46经由上述接收电路33来提供各接收天线11a～11d接收到的接收强度信号的接收强度。上述天线选择电路46比较从上述接收器33提供来的各接收天线11a～11d的接收强度信号的强度，确定接收影像信号期间的拍摄图像信号的最佳接收天线、即接收强度信号的强度最高的天线11i(i＝a～d)，生成输出将天线切换开关电路45切换为该天线11i的控制信号。由此当其他天线的接收强度信号的接收强度高于当前正接收图像信号的天线时，从下一帧起切换影像信号期间的接收天线。
这样，每当接收来自胶囊型内窥镜3的无线信号时，比较拍摄图像 信号或者接收强度信号的接收强度，通过接受到该比较结果的天线选择电路46将接收强度为最大的天线11i指定为图像信号接收用的天线。由此即使胶囊型内窥镜3在患者2的体内移动，也可以通过能够检测该移动位置上接收强度最高的信号的天线11来接收所获得的图像信号。而且由于胶囊型内窥镜3在体内的移动速度分为非常慢的部分和快的部分，所以不限于在1次摄像动作中始终进行1次天线切换动作，而可以在高速摄像模式等中对于多次摄像动作进行1次天线切换动作。
而且胶囊型内窥镜3由于在患者2的体内移动，所以也能以适当的时间间隔从外部装置5发送作为检测到电波强度的结果的检测结果信号，根据该信号更新胶囊型内窥镜3进行发送时的输出。这样，即使当胶囊型内窥镜3在患者2的体内移动的情况下，也能适当设定发送输出，可以防止无为地消耗电池21的能量，能使信号的收发状态维持适当的状态。
接着使用图6说明表示上述多个接收天线11和胶囊型内窥镜3的位置关系的信息的获得方法。并且在图6中，以将胶囊型内窥镜3设定在3维坐标X、Y、Z的原点上的情况为例进行说明。而且为了简化说明，使用上述多个接收天线11a～11d中的3个接收天线11a、11b、11c，设接收天线11a与接收天线11b之间的距离为Dab、接收天线11b与接收天线11c之间的距离为Dbc、接收天线11a与接收天线11c之间的距离为Dac。进而设该接收天线11a～11c与胶囊型内窥镜3为规定的距离关系。
胶囊型内窥镜3所发送的恒定发送强度的无线信号被各接收天线11j(j＝a、b、c)接收时的接收强度成为与胶囊型内窥镜3(胶囊型内窥镜3的发送天线23)的距离Li(i＝a、b、c)的函数。具体而言，其取决于伴随着电波衰减量的距离Li。因而根据胶囊型内窥镜3所发送的无线信号被接收天线11j接收的接收强度来计算胶囊型内窥镜3与各接收天线11j之间的距离Li。为了计算该距离Li，事先在上述天线选择电路46中设定上述胶囊型内窥镜3与接收天线11j之间的距离所致的电波的衰减量等关系数据。并且将表示该计算出的胶囊型内窥镜3与各接收天线11j的位置关系的距离数据作为胶囊型内窥镜3的位置信息存储在上述存储器47中。以存储在该存储器47中的拍摄图像信息和胶囊型内窥镜3的位置信 息为基础，在上述终端装置7进行的后述图像信息处理方法中，对于内窥镜观察所需的位置设定是有用的。
下面说明本实施方式的图像处理装置的图像处理动作。
而且在本实施方式中，由胶囊型内窥镜3拍摄的体腔内的像的图像由大小为ISX×ISY(满足1≤ISX、1≤ISY的值、例如ISX＝300、ISY＝300)、RGB的3平面构成，设各平面上的各像素分别为8bit、即从0到255的值。而且在本实施方式中，将时间上连续拍摄的N张图像(1≤N)的第i个图像设为Ii(1≤i≤N)，将该RGB各平面分别表示为Ri、Gi和Bi。而且在本实施方式中，各平面上的第k个像素(1≤k≤ISX×ISY)分别表示为rik、gik和bik。
而且本实施方式的图像处理装置的图像处理动作作为上述终端装置7的终端主体9所具有的控制部9a的处理来进行。
首先具有作为图像信号输入部和图像输入部的功能的控制部9a输入基于由胶囊型内窥镜3所拍摄的体腔内的像的图像的图像信号，作为前处理，对于构成所输入的第i个图像Ii的Ri、Gi和Bi的各平面，例如进行中值滤波(median filtering)下的噪声去除和逆γ校正，并且从之后的处理对象中除去光晕像素(halation pixel)和暗部像素，因此通过基于阈值的处理进行检测(图11的步骤S1)。而且基于上述阈值的处理例如当rik、gik和bik的浓度值都为10以下的值，则作为暗部像素进行处理，如果rik、gik和bik的浓度值都为230以上的值，则作为光晕像素进行处理。
之后，具有作为图像分割部和区域设定部的功能的控制部9a将Ri、Gi和Bi的各平面分割为小区域(图11的步骤S2)。而且在本实施方式中，如图12所示，控制部9a将Ri、Gi和Bi的各平面分割为由x轴方向的像素数1x×y轴方向的像素数1y(1≤1x、1≤1y)构成的矩形区域，该区域数为(m×n)个(m＝ISX/1x、n＝ISY/1y)。而且当m或者n无法取整数时，控制部9a将大小为小数部分的最端部的区域作为具有小数部分的像素数的区域进行处理，或是从之后的处理对象中将其除去。
具有作为特征量计算部的功能的控制部9a在所分割的各区域中，将 反映拍摄对象的像的图像上的颜色差异的色调信息以及反映拍摄对象的像的图像上的结构差异的结构信息作为特征量计算出来(图11的步骤S3)。而且在以后的说明中，将在控制部9a所分割的区域中的一个区域表示为Hst(1≤s≤m、1≤t≤n)。
在本实施方式中，控制部9a计算出的色调信息是如下的值、即，其由作为基于一个区域Hst所包含的各像素的RGB的值之比的值的gik/rik的平均值(以下记作μgst)和bik/rik的平均值(以下记作μbst)构成，且作为2个特征量表示。而且，μgst和μbst的各值取0到1的值。另外，μgst和μbst的各值例如在胃粘膜这样显现较为红色色调的区域中取大致同样较小的值。另一方面，μgst和μbst的各值例如在小肠这样显现较为白色色调的区域中取大致同样较大的值。另外，μgst和μbst的各值例如在大小便这样显现较为黄色色调的区域中取μgst＞μbst这样的值。
在本实施方式中，如上所述，控制部9a计算出的结构信息反映拍摄对象的像的图像上的结构差异。而且拍摄对象的像的图像上的结构例如作为粘膜表面的肠毛等的细微结构和大小便具有的不定型的外形等而显现出来。具体而言，控制部9a计算出的结构信息是用一个区域Hst所包含的各像素的RGB值的标准偏差σrst、σgst和σbst除以一个区域Hst所包含的各像素的RGB值的平均值mrst、mgst和mbst后的、作为3个特征量而表示的RGB值的变动系数CVrst、CVgst和CVbst。而且用于计算变动系数CVrst、CVgst和CVbst的式表示为下面的式(1)、式(2)和式(3)。
CVrst＝σrst/mrst...(1)
CVgst＝σgst/mgst...(2)
CVbst＝σbst/mbst...(3)
通过上述式(1)、式(2)和式(3)计算出的变动系数CVrst、CVgst和CVbst，可不受到提供给拍摄对象的照明光量的差异等带来的影响，将结构构造下的像素变动的程度数值化。CVrst、CVgst和CVbst的各值例如在未进行放大观察的状态、即通常观察下拍摄的胃粘膜那样的图像上结构较平坦的区域中，没有明确的结构构造，因此取大致相同的较小的 值。另一方面，CVrst、CVgst和CVbst的各值在例如小肠肠毛那样的图像上结构中包含较多边缘的区域中，取大致相同的较大的值。
而且在本实施方式的控制部9a进行的之后的处理中，使用具有色调信息和结构信息的5个特征量，但构成该特征量的值可以根据用户的用途等适当进行改变或者追加。例如控制部9a也可以不使用作为色调信息的μgst的值和μbst的值，而使用作为表示为色度的值的各区域的各像素中的rik、gik和bik的比率、即rik/(rik+gik+bik)、gik/(rik+gik+bik)和bik/(rik+gik+bik)的值来进行之后的处理。
并且控制部9a根据除去光晕像素和暗部像素之后的各像素的RGB值来分别在(m×n)个区域Hst中计算出由色调信息和结构信息构成的5个特征量、即μgst、μbst、CVrst、CVgst和CVbst的各值。并且在本实施方式中，在一个区域Hst具有的(1x×1y)个像素中，例如当光晕像素的个数与暗部像素的个数之和所占比例超过50％时，也可以进行从之后的处理中除去一个区域Hst的控制。
之后具有作为区域分类部的功能的控制部9a通过执行基于进行了分割的区域Hst中分别计算出的5个特征量的识别分类，在识别到每个区域的拍摄对象是什么之后，根据该识别结果分别对区域Hst进行分类。
具体而言，首先控制部9a根据作为构成由胃粘膜、肠毛、大小便和气泡所构成的4个类别的训练数据的图像而事先准备的例如图13、图14、图15和图16所示的图像，计算出在该图像的一个区域中每次分别确定的上述5个特征量之后，制作关于该4个类别各自的线性判别函数。然后控制部9a使用通过上述步骤计算出来的作为识别器的线性判别函数，识别例如一个区域Hst属于由胃粘膜、肠毛、大小便和气泡所构成的4个类别中的哪个类别，进行基于该识别结果的分类。控制部9a通过对图像Ii具有的区域Hst整体进行上述识别和分类，从而例如当输入了图17所示的图像时，得到图18所示的分类有肠毛和气泡的分类结果(图11的步骤S4)。
而且本实施方式的控制部9a使用识别器对图像的一个区域分别进行的识别和分类不限于线性判别函数，也可以例如根据2次分类规则或者 神经网络等的方法。并且在本实施方式中，作为胃粘膜、肠毛、大小便和气泡这4个类别中的某个，控制部9a对所输入的图像的一个区域分别进行识别和分类，但也可以根据用户的用途等对所分类的类别的数量和种类适当进行改变或追加。除了上述4个类别，控制部9a例如还可以进行食道或者大肠粘膜的分类，还可以作为其他类别来处理十二指肠和肠毛来进行分类。
进而，具有作为分类判定值计算部的功能的控制部9a根据上述分类结果，通过下式(4)来计算分类为生物体粘膜表面、即分类为胃粘膜或者肠毛的区域数的合计数z在图像Ii的全部区域数(m×n)中所占比例p的值(图11的步骤S5)。
P＝z/(m×n)...(4)
而且具有作为图像分类部的功能的控制部9a为了识别图像Ii是否为充分拍摄了生物体粘膜表面的图像，而比较式(4)计算出的比例p的值和阈值thr。一旦检测到图像Ii上比例p的值大于阈值thr(图11的步骤S6)，则控制部9a将其识别和分类为充分拍摄了生物体粘膜表面的图像、即需要观察的图像，将作为参照值的标志值flagi设为1(图11的步骤S7)。并且在本实施方式中，例如设阈值thr的值为0.5。
另外，当检测到图像Ii上比例p的值为阈值thr以下(图11的步骤S6)，则控制部9a将图像Ii识别和分类为由于大小便和气泡而未能充分拍摄生物体粘膜表面的图像、即不需要观察的图像，将标志值flagi为0(图11的步骤S8)。
之后当控制部9a对所输入的所有图像Ii完成了上述处理时(图11的步骤S9)，则对图像序号i加1(图11的步骤S10)，接着对下一个图像进行从图11的步骤S1到步骤S9所示的处理。
具有作为图像显示控制部的功能的控制部9a通过进行上述处理，从而在用户观察拍摄对象的像时，根据标志值flagi的值，例如在显示器8c上仅显示标志值flagi为1、需要观察的图像，而且不在显示器8c上显示标志值flagi为0、不需要观察的图像。而且具有作为图像删除部的功能的控制部9a也可以通过删除标志值flagi为0、不需要观察的图像，从而 削减所存储的图像数据的尺寸。
而且在上述处理中的、在图11的步骤S5所示的处理中，控制部9a根据合计了分类为胃粘膜或者肠毛的区域数的值z来计算比例p。但控制部9a进行的处理不限于此，例如也可以分别处理下述这样的分类为胃粘膜的区域数z1和分类为肠毛的区域数z2。
此时，控制部9a在图11的步骤S5所示的处理中，根据下式(5)计算分类为胃粘膜或者肠毛的区域数的合计数(z1+z2)在图像Ii的全部区域数(m×n)中所占比例p的值。
P＝(z1+z2)/(m×n)...(5)
而且控制部9a还可以根据分类到各类别中的区域数，进行按每个类别分别计算该区域数在图像Ii的全部区域数(m×n)中所占比例的处理。
首先，控制部9a通过进行从图11的步骤S1到步骤S4的处理，得到对于图像Ii具有的所有区域Hst的分类结果(图19的步骤S11)。然后设分类为胃粘膜的区域数为z1、分类为肠毛的区域数为z2、分类为大小便的区域数为z3，则控制部9a根据上式(4)分别计算出分类为胃粘膜的区域数z1在图像Ii的全部区域数(m×n)中所占比例p1、分类为肠毛的区域数z2在图像Ii的全部区域数(m×n)中所占比例p2、分类为大小便的区域数z3在图像Ii的全部区域数(m×n)中所占比例p3(图19的步骤S12)。
然后控制部9a比较比例p1的值和阈值thr1。具有作为图像分类部的功能的控制部9a在检测到图像Ii的比例p1的值大于阈值thr1的情况(图19的步骤S13)时，则将图像Ii识别和分类为作为被摄体拍摄了胃的像的图像(图19的步骤S14)。而且在本实施方式中，例如设阈值thr1的值为0.8。
而且控制部9a一旦检测到图像Ii的比例p1的值为阈值thr1以下的情况(图11的步骤S13)，此次比较比例p2的值与阈值thr2。具有作为图像分类部的功能的控制部9a一旦检测到图像Ii的比例p2的值大于阈值thr2的情况(图19的步骤S15)，则将图像Ii识别和分类为作为被摄体拍摄了小肠(的肠毛)的像的图像(图19的步骤S16)。而且在本实施 方式中，设阈值thr2的值为0.8。
而当控制部9a一旦检测到图像Ii的比例p2的值为阈值thr2以下的情况(图11的步骤S15)，则此次比较比例p3的值与阈值thr3。具有作为图像分类部的功能的控制部9a一旦检测到图像Ii的比例p3的值大于阈值thr3的情况(图19的步骤S17)，由于图像Ii中大小便所占比例较大，所以将图像Ii识别和分类为作为被摄体拍摄了大肠的像的图像(图19的步骤S18)。而且在本实施方式中，例如设阈值thr3的值为0.8。
之后，控制部9a保留对于在此前处理中，没有作为胃粘膜、肠毛和大小便中的某个图像被识别和分类的图像的识别和分类。然后控制部9a在对所有输入的图像Ii，上述处理没有完成的情况下(图19的步骤S19)，对其图像序号i加1(图19的步骤S20)，对下一个图像接着进行图19的步骤S11到步骤S19所示的处理。
控制部9a通过进行上述图19的步骤S11到步骤S19所示的处理，分别确定识别和分类为拍摄了小肠的图像和拍摄了大肠的图像的图像。换言之，控制部9a通过进行上述图19的步骤S11到步骤S19所示的处理，从而可以检测出作为被摄体而拍摄的脏器是胃、小肠还是大肠中的哪一种。
另外用户在观察拍摄对象的像时，如图20所示，具有GUI的观察器显示在终端装置7的显示器8c上。图20所示的观察器的主画面101具有：显示拍摄对象的像的图像的图像显示部102；显示关于患者和检查内容的信息的患者/检查信息显示部103；显示图像的张数等的图像信息显示部104；对图像显示部102进行显示控制的图像显示控制部105；以及滑动器106。
滑动器106具有通过使用未图示的鼠标光标来进行指示，从而在图像显示部102显示基于该指示的期望的图像的功能。而且该滑动器106具有用于指示拍摄了小肠的图像和拍摄了大肠的图像的开始位置的引导显示部107。因此，用户可以容易地对体腔内期望部位进行观察，例如对于怀疑小肠出血的病症，优先且高效地观察小肠。而且在图20所示的观察器的主画面101中，也可以例如设置未图示的记载有“小肠”等的按 钮。此时，用户通过使用未图示的鼠标光标来点击上述按钮，从而可以直接显示拍摄了小肠的图像来进行观察。
而且在本实施方式的图像处理方法中，终端装置7的控制部9a将图像Ii分割为由x轴方向的像素数1x×y轴方向的像素数1y构成的矩形区域，但也可以进一步例如将由x轴方向的像素数1x/2和y轴方向的像素数1y/2的大小构成的区域重叠在该矩形区域上来进行同样的处理。此时，可以减少当作为分类对象的各类别的界线包含在上述矩形区域上时可能产生的错误分类。
而且如上所述，终端装置7的控制部9a通过使用本实施方式的图像处理方法，将胃粘膜和肠毛作为独立的类别进行识别和分类，但例如也可以将胃粘膜和肠毛识别和分类为1个类别即“生物体粘膜表面”之后，再对分类为“生物体粘膜表面”的区域Hst再次进行胃粘膜和肠毛这两个类别的识别和分类。
并且胶囊型内窥镜3配置在体腔内之后，从胃依次向小肠前进。因此，终端装置7的控制部9a还可以根据所得的分类结果，例如在分类为肠毛的区域相对于所有区域数的比例超过0.7的时刻，进行停止对胃粘膜类别的分类的处理。
另外，本实施方式的图像处理方法还可以用于例如通过设定食道类别和大肠类别，来实现基于粘膜表面的色调和外形差异的识别器这一用途。进而，本实施方式的图像处理方法还可以用作如下用途：分类为大小便的区域在所有区域数中所占比例较大，而且分类为肠毛的区域在所有区域数中所占比例较小的情况下，识别为大肠。
如上所述，根据本实施方式的图像处理方法，可以按照每个图像对作为生物体粘膜表面的像的胃粘膜和肠毛的像、以及与生物体粘膜表面不同的作为异物或者非生物体粘膜的像的大小便和气泡的像进行识别和分类，在显示器8c上仅显示需要观察的图像。因此用户可以在除去了未能良好拍摄生物体粘膜表面的像的图像的状态下观察体腔内，其结果可以实现使用胶囊型内窥镜装置1的观察效率的提高。
另外，上述本实施方式的图像处理方法例如通过与检测出血或者红 肿等病变部位的图像处理方法组合起来使用，可以判定病变部位的检测结果是否得自生物体粘膜表面上，其结果可以提高病变部位的检测精度。具体而言，终端装置7的控制部9a通过使用检测出血或者红肿等病变部位的图像处理方法，参照作为怀疑为病变的区域而提取出的区域Hst的分类结果，当该分类结果为大小便、气泡等的非生物体粘膜表面像的情况下，进行将其作为误检的处理，从而可以提高病变部位的检测精度。
而且根据本实施方式，通过使用如下的图像处理方法，可以提高病变部位的检测精度：对于分类为生物体粘膜表面的像的各区域，例如进一步根据上述各区域具有的特征量，分类为正常的粘膜的像和病变部位的像。
(第2实施方式)
图21涉及本发明的第2实施方式。而且对于具有与第1实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式相同的结构要素使用相同符号并省略其说明。进而，本实施方式的胶囊型内窥镜装置1的结构与第1实施方式相同，并且本实施方式的图像处理方法也同样实现为在作为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终端主体9具有的控制部9a中的处理而被执行。
图21是表示本实施方式的图像处理动作的流程图。
首先控制部9a输入基于胶囊型内窥镜3所拍摄的体腔内的像的图像的图像信号，作为前处理，对于构成所输入的第i个图像Ii的Ri、Gi和Bi的各平面例如进行中值滤波下的噪声去除和逆γ校正，并且从之后的处理对象中除去光晕像素和暗部像素，因此通过基于阈值的处理进行检测(图21的步骤S21)。而且基于上述阈值的处理例如当rik、gik和bik的浓度值都为10以下的值，则作为暗部像素进行处理，如果rik、gik和bik的浓度值都为230以上的值，则作为光晕像素进行处理。
之后，控制部9a将Ri、Gi和Bi的各平面分割为小区域(图21的步骤S22)。而且在本实施方式中，与第1实施方式中进行的方法相同，控制部9a将Ri、Gi和Bi的各平面分割为由x轴方向的像素数1x×y轴方 向的像素数1y(1≤1x、1≤1y)构成的矩形区域，该区域数为(m×n)个(m＝ISX/1x、n＝ISY/1y)。而且当m或者n无法取整数时，控制部9a将大小为小数部分的最端部的区域作为具有小数部分的像素数的区域进行处理，或是从之后的处理对象中将其除去。
控制部9a在所分割的各区域中，将反映拍摄对象的像的图像上的颜色差异的色调信息以及反映拍摄对象的像的图像上的结构差异的结构信息作为特征量计算出来(图21的步骤S23)。而且在本实施方式的图像处理方法中，将在控制部9a所分割的区域中的一个区域表示为Hj(1≤j≤m×n)。
在本实施方式中，控制部9a计算出的色调信息是如下的值、即，其由作为基于一个区域Hj所包含的各像素的RGB值之比的值的gik/rik的平均值(以下记作μgj)和bik/rik的平均值(以下记作μbj)构成，且作为2个特征量进行表示。而且，μgj和μbj的各值取0到1的值。另外，μgj和μbj的各值例如在胃粘膜这样显现较为红色色调的区域中取大致同样较小的值。另一方面，μgj和μbj的各值例如在小肠这样显现较为白色色调的区域中取大致同样较大的值。另外，μgj和μbj的各值例如在大小便这样显现较为黄色色调的区域中取μgj＞μbj这样的值。
在本实施方式中，如上所述，控制部9a计算出的结构信息反映拍摄对象的像的图像上的结构差异。而且拍摄对象的像的图像上的结构例如作为粘膜表面的肠毛等的细微结构和大小便具有的不定型的外形而显现出来。具体而言，控制部9a计算出的结构信息是用一个区域Hj所包含的各像素的RGB值的标准偏差σrj、σgj和σbj除以一个区域Hj所包含的各像素的RGB值的平均值mrj、mgj和mbj后的、作为3个特征量表示的RGB值的变动系数CVrj、CVgj和CVbj。而且用于计算变动系数CVrj、CVgj和CVbj的式表示为下面的式(6)、式(7)和式(8)。
CVrj＝σrj/mrj...(6)
CVgj＝σgj/mgj...(7)
CVbj＝σbj/mbj...(8)
通过上述式(6)、式(7)和式(8)计算出的变动系数CVrj、CVgj 和CVbj，可不受到提供给拍摄对象的照明光量的差异等带来的影响，将结构构造下的像素变动的程度数值化。CVrj、CVgj和CVbj的各值例如在未进行放大观察的状态、即通常观察下拍摄的胃粘膜那样的图像上结构较平坦的区域中，没有明确的结构构造，因此取大致相同的较小的值。另一方面，CVrj、CVgj和CVbj的各值在例如小肠肠毛那样的图像上结构中包含较多边缘的区域中，取大致相同的较大的值。
并且控制部9a根据除去光晕像素和暗部像素之后的各像素的RGB值，分别在(m×n)个区域Hj中计算出由色调信息和结构信息构成的5个特征量、即μgj、μbj、CVrj、CVgj和CVbj的各值。并且在本实施方式中，在一个区域Hj具有的(1x×1y)个像素中，例如当光晕像素的个数与暗部像素的个数之和所占比例超过50％时，也可以进行从之后的处理中除去一个区域Hj的控制。
之后控制部9a为了进行之后所说明的处理，设一个区域Hj的区域序号j为j＝1(图21的步骤S24)。然后控制部9a使用基于贝叶斯定理(Bayes’theorem)的统计识别器来识别一个区域Hj属于由胃粘膜、肠毛、大小便和气泡构成的4个类别中的哪个类别，根据该识别结果进行分类。
具体而言，设4个类别的识别和分类中，一个类别ωa(a＝1、2、...、C；C表示类别数)产生的事先概率为P(ωa)、由一个区域Hj中的5个特征量所确定的特征矢量为x，基于来自所有类别的特征矢量x产生概率的概率密度函数为p(x)，基于来自一个类别ωa的特征矢量x产生概率的状态依赖概率密度(多变量正规概率密度)函数为p(x|ωa)，则用于计算所产生的特征矢量x属于一个类别ωa的事后概率p(ωa|x)的式表示为下式(9)。
P(ωa|x)＝p(x|ωa)P(ωa)/p(x)...(9)
而且状态依赖概率密度函数p(x|ωa)和概率密度函数p(x)表示为下式(10)和式(11)。
p(x|ωa)＝(1/((2π)d/2|∑a|1/2))exp[(-1/2)(x-μa)t∑a-1(x-μa)]...(10)
p ( x ‾ ) = Σ a = 1 C p ( x ‾ | ωa ) P ( ωa ) . . . ( 11 )
而且在上述式(10)和式(11)中，d表示与x的特征量的个数相同 的维数，μa和∑a表示类别ωa中特征矢量x的平均矢量和一个类别ωa中的方差协方差矩阵。而且(x-μa)t表示(x-μa)的转置矩阵，|∑a|表示∑a的矩阵，∑a-1表示∑a的逆矩阵。而且为了简化说明，假设事先概率P(ωa)在所有类别中为相等值，而且概率密度函数p(x)通过上式(11)而表示为所有类别中共同使用的函数。
作为分类基准的平均矢量μa和方差协方差矩阵∑a是构成一个类别ωa中的总体参数的要素，在将第1个图像I1输入到终端装置7之前的阶段中，根据构成了由胃粘膜、肠毛、大小便和气泡构成的4个类别的训练数据的多个图像、例如图13、图14、图15和图16所示的图像，根据每次在该图像的一个区域中分别确定的特征矢量x来按照每个类别进行计算，之后作为初始值分别存储在终端装置7中。
而且平均矢量μa是由特征矢量x具有的5个特征量各自的平均值构成，而且是具有与特征矢量x相同维数的矢量。即，使用x＝(x1、x2、x3、x4、x5)表示特征矢量x时，平均矢量μa使用特征矢量x具有的5个特征量各自的平均值、即μx1、μx2、μx3、μx4和μx5表示为μa＝(μx1、μx2、μx3、μx4、μx5)。而且方差协方差矩阵∑a是表示属于一个类别ωa的特征矢量x的分布的偏差和扩散程度的矩阵，对于与特征矢量x的特征量个数相同数量的维数d，表示为d×d矩阵。
控制部9a使用基于贝叶斯定理的上述式(9)到(11)分别计算出产生的特征矢量x属于类别ω1的事后概率P(ω1|x)、产生的特征矢量x 属于类别ω2的事后概率P(ω2|x)、产生的特征矢量x属于类别ω3的事后概率P(ω3|x)、以及产生的特征矢量x属于类别ω4的事后概率P(ω4|x)。然后控制部9a将赋予了这4个事后概率中最大的事后概率P1(ωa|x)的类别ωa识别为特征矢量x所属的类别，根据该识别结果将作为产生了特征矢量x的区域的一个区域Hj分类到类别ωa(图21的步骤S25)，并且计算赋予了最大的事后概率P1(ωa|x)的概率密度函数p1(x |ωa)的值。
而且控制部9a为了判定在此前的处理中分类到类别ωa的一个区域Hj的分类结果是否正确，还进行基于与平均值的距离的处理、即进行基 于赋予了最大事后概率P1(ωa|x)的概率密度函数p1(x|ωa)的值的阈值的处理。
具体而言，首先，控制部9a对于平均矢量μa具有的5个特征量各自的平均值中例如特征量x1的平均值μx1确定阈值矢量xb1，其中该阈值矢量xb1包含加入了特征量x1的标准偏差σx1与作为规定的常数的相乘系数α相乘的积的值。而且该阈值矢量xb1例如表示为下式(12)，而且在本实施方式中相乘系数的α值为1.5。
xb1＝(μx1+α×σx1，μx2，μx3，μx4，μx5)...  (12)
当通过上式(12)而确定了阈值矢量xb1时，控制部9a代入阈值矢量xb1作为上式(9)、式(10)和式(11)的x，计算出作为分类到了一个区域Hj的类别ωa的阈值的概率密度函数p(xb1|ωa)的值。
然后一旦检测到p1(x|ωa)的值大于p(xb1|ωa)的值(图21的步骤S26)，则控制部9a在图21的步骤S25所示的处理中，将把一个区域Hj分类到类别ωa的分类结果判断为正确(图21的步骤S27)。
而且一旦检测到p1(x|ωa)的值为p(xb1|ωa)的值以下(图21的步骤S26)，则控制部9a在图21的步骤S25所示的处理中，将把一个区域Hj分类到类别ωa的分类结果判断为不正确，将一个区域Hj分类为不确定分类(图21的步骤S28)。
并且当没有完成对于所分割的所有(m×n)个区域的分类时(图21的步骤S29)，控制部9a对区域序号j加1(图21的步骤S30)，对下一区域进行从图21的步骤S25到步骤S29所示的处理。
另外当没有对所输入的所有图像Ii完成上述处理(图21的步骤S31)，控制部9a对图像序号i加1(图21的步骤S32)，对下一图像接着进行从图21的步骤S21到步骤S31所示的处理。
而且在以上说明中描述了一次使用了所有基于色调信息和结构信息的5个特征量来确定特征矢量x这样的规定5维多变量正态概率密度的情况。但在本实施方式的图像处理方法中，例如可以分别使用关于色调信息和结构信息的各特征量，确定2种特征矢量xc和xt，对1个类别规定2个多变量正态概率密度，从而能以更高精度进行图像分类。
具体而言，首先，控制部9a分别将关于构成色调信息的2个特征量μgj和μbj的状态依赖概率密度函数计算为pc(xc|ωa)，而且将关于构成结构信息的3个特征量CVrj、CVgj和CVbj的状态依赖概率密度函数计算为pt(xt|ωa)。而且，xc是表示为xc＝(μgj、μbj)的2维矢量， xt是表示为xt＝(CVrj、CVgj、CVbj)的3维矢量。
控制部9a使用这2个状态依赖概率密度函数pc(xc|ωa)和pt(xt|ωa)计算出基于式(10)的事后概率Pc(ωa|xc)和Pt(ωa|xt)之后，通过下式(13)计算最终的事后概率P(ωa|x)。
P(ωa|x)＝Pc(ωa|xc)×Pt(ωa|xt)...(13)
而且根据色调信息和结构信息的特征量各自的平均矢量μc和μt和标准偏差σc1和σt1，例如设定用于判断对类别ωa的分类结果的正确性的阈值为p(xcb|ωa)和p(xtb|ωa)。而且如果p1(xc|ωa)＞p(xcb|ωa)、并且p1(xt|ωa)＞p(xtb|ωa)，则控制部9a认为分类结果正确，将具有特征矢量xc和特征矢量xt的一个区域Hj分类为胃粘膜、肠毛、大小便或者气泡的某个类别；反之分类为不确定类别。
而且在以上说明中，假定事先概率P(ωa)在所有类别中相等，但不限于此。关于事先概率P(ωa)也可以例如根据胶囊型内窥镜3拍摄的部位的时间分布，将肠毛类别或者大小便类别的事先概率P(ωa)设定得较高，或者根据胶囊型内窥镜3拍摄的部位的错误分类的风险，把胃粘膜类别和肠毛类别的事先概率P(ωa)设定得高于无需观察的大小便类别和气泡类别等，可以设定为对应于各种用途的值。
如上所述，根据本实施方式的图像处理方法，可以按照每个图像上的小区域，对作为生物体粘膜表面的像的胃粘膜和肠毛的像、作为异物或者非生物体粘膜的像的大小便和气泡的像进行识别和分类。因此用户可以容易地将异物的像占据了图像的小区域中较多部分那样的、未能良好拍摄生物体粘膜表面的像的图像作为不需要观察的图像除去，其结果可以实现使用胶囊型内窥镜装置1的观察效率的提高。
而且根据本实施方式的图像处理方法，当例如存在由于特征量相当于分类对象类别的分布界线或者分布重复范围等的原因而难以可靠地进 行分类的图像的情况下，可以将该图像分类为不确定类别。因此终端装置7的控制部9a通过使用本实施方式的图像处理方法进行处理，可以获得可靠性较高的图像分类结果。
(第3实施方式)
图22涉及本发明的第3实施方式。而且对于具有与第1实施方式和第2实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式和第2实施方式相同的结构要素使用相同符号并省略其说明。进而，本实施方式的胶囊型内窥镜装置1的结构与第1实施方式和第2实施方式相同，并且本实施方式的图像处理方法也同样实现为在作为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终端主体9具有的控制部9a中的处理而被执行。
图22是表示本实施方式的图像处理动作的流程图。
在进行本实施方式的图像处理方法之前，控制部9a首先对所输入的第i个图像Ii进行第2实施方式中说明的图21所示的从步骤S21到步骤S30的处理，获得对于图像Ii的分类结果(图22的步骤S41)。而且在本实施方式中通过进行图22的步骤S41所示处理而由控制部9a得到的分类结果是图像内的各区域分类到由胃粘膜类别、肠毛类别、大小便类别、气泡类别和不确定类别构成的5个类别中的某个类别的分类结果。
并且，具有作为分类判定值计算部的功能的控制部9a根据关于图像Ii的分类结果计算分类为肠毛类别的区域数在图像Ii的全部区域数(m×n)中所占比例J的值(图22的步骤S42)。而且具体而言，比例J是例如通过把上述式(4)中的p置换为J、并将z置换为分类到肠毛类别中的区域数za来计算出的值。
之后控制部9a比较比例J的值与阈值thrJ。具有作为区域分类部的功能的控制部9a一旦检测到图像Ii中比例p的值大于阈值thrJ(图22的步骤S43)，则将图像Ii的各区域Hj中分类为胃粘膜类别的区域再分类为肠毛类别(图22的步骤S44)。而且本实施方式中，例如设阈值thrJ的值为0.5。
另外，具有作为区域分类部的功能的控制部9a一旦检测到图像Ii 中比例p的值为阈值thrJ以下(图22的步骤S43)，则将图像Ii的各区域Hj中分类为肠毛类别的区域再分类为胃粘膜类别(图22的步骤S45)。
而且一旦结束了对于图像Ii的上述处理下的再分类，则控制部9a此次对于第(i+1)个图像Ii+1进行从图22的步骤S41起的一系列处理(图22的步骤S46)。
如上所述，在通过控制部9a使用本实施方式的图像处理方法进行处理的情况下，用户可以获得与第2实施方式中所述效果相同的效果、即可以实现使用胶囊型内窥镜装置1的观察下的观察效率的提高。
而且在使用本实施方式的图像处理方法的情况下，终端装置7的控制部9a对得到分类结果的图像进一步进行把分类为胃粘膜和肠毛的各类别中的区域Hj排他性地进行置换而再分类的处理。因此终端装置7的控制部9a通过进行使用本实施方式的图像处理方法的处理，可以消除无法在一个图像内混合存在的、对胃粘膜的像的图像和(小肠的)肠毛的像的图像进行分类时的错误分类，其结果可以获得精度较高的图像分类结果。
(第4实施方式)
图23涉及本发明的第4实施方式。而且对于具有与第1实施方式到第3实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式到第3实施方式相同的结构要素使用相同符号并省略其说明。进而，本实施方式的胶囊型内窥镜装置1的结构与第1实施方式到第3实施方式相同，并且本实施方式的图像处理方法也同样实现为在作为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终端主体9具有的控制部9a中的处理而被执行。
图23是表示本实施方式的图像处理动作的流程图。
在进行本实施方式的图像处理方法之前，控制部9a首先输入基于胶囊型内窥镜3所拍摄的体腔内的像的图像的图像信号，对所输入的第i个图像Ii进行第2实施方式中说明的图21所示的从步骤S21到步骤S30的处理，获得对于图像Ii的分类结果(图23的步骤S51)。而且在本实施方式中通过进行图23的步骤S51所示处理而由控制部9a得到的分类 结果是图像内的各区域分类到由大小便类别、气泡类别、不确定类别和生物体粘膜类别构成的4个类别中的某个类别的分类结果。
然后，控制部9a为了进行之后所说明的处理，设一个区域Hj的区域序号j为j＝1(图23的步骤S52)。然后控制部9a根据对于图像Ii的分类结果判定区域Hj是否分类为生物体粘膜类别(图23的步骤S53)。
当检测出将区域Hj分类为生物体粘膜类别时，控制部9a使用代入了根据构成训练数据的胃粘膜的图像和肠毛的图像各自具有的特征量而计算出的平均矢量μa和方差协方差矩阵∑a的上式(9)到式(11)，分别计算在该区域Hj中产生的特征矢量x属于胃粘膜类别(设a＝1)的事后概率P(ω1|x)、产生的特征矢量x属于肠毛类别(设a＝2)的事后概率P(ω2|x)。而且控制部9a将特征矢量x识别为属于赋予了这2个事后概率中最大的事后概率P2(ωa|x)的类别，根据该识别结果将作为产生了特征矢量x的区域的一个区域Hj分类为胃粘膜类别或者肠毛类别中的某个类别(图23的步骤S54)。
而且控制部9a在没有完成对所分割的(m×n)个所有区域的分类的情况下(图23的步骤S55)，对区域序号j加1(图23的步骤S56)，对下一区域进行从图23的步骤S53到步骤S55所示的处理。
而且当控制部9a完成了对图像Ii的上述处理下的分类时，此次对于第(i+1)个的图像Ii+1进行从图23的步骤S51起的一系列处理(图23的步骤S57)。
如上所述，在通过控制部9a使用本实施方式的图像处理方法进行处理的情况下，用户可以获得与第2实施方式中所述效果相同的效果、即可以实现使用胶囊型内窥镜装置1的观察下的观察效率的提高。
而且在使用本实施方式的图像处理方法的情况下，终端装置7的控制部9a对于得到分类结果的图像还进行把分类到生物体粘膜类别中的区域Hj再分类为胃粘膜类别或者肠毛类别的处理。因此终端装置7的控制部9a通过进行使用本实施方式的图像处理方法的处理，可以高精度地对胃粘膜的像的图像和(小肠的)肠毛的像的图像进行分类。而且终端装置7的控制部9a通过组合使用本实施方式的图像处理方法和第3实施方 式的图像处理方法，可以得到以更高精度对胃粘膜的像的图像和(小肠的)肠毛的像的图像进行分类的分类结果。
而且本发明的第1实施方式到第4实施方式所说明的图像处理方法不仅用于胶囊型内窥镜装置1的胶囊型内窥镜3所拍摄的像的图像，例如还可以用于具有在插入部的前端部具备摄像元件和物镜光学系统那样的内窥镜的内窥镜装置所拍摄的像的图像。
(第5实施方式)
图24和图25涉及本发明的第5实施方式。而且对于具有与第1实施方式到第4实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式到第4实施方式相同的结构要素使用相同符号并省略其说明。并且，本实施方式的胶囊型内窥镜装置1的结构与第1实施方式到第4实施方式相同，并且本实施方式的图像处理方法也同样实现为在作为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终端主体9具有的控制部9a中的处理而被执行。并且本实施方式中，控制部9a对于预先输入到终端装置7中的状态下的一系列图像，使用后述的图像处理。
图24是表示本实施方式的图像处理动作的一部分的流程图。图25是表示作为本实施方式的图像处理动作的一部分的、在进行了图24的流程图所示的处理之后进行的、图像的显示控制动作的流程图。
在进行本实施方式的图像处理方法之前，控制部9a首先获得对于全部N张(1≤N)的图像中、所输入的第i张图像Ii(I1≤Ii≤IN)的分类结果(图24的步骤S61)。而且在本实施方式中，控制部9a作为用于获得关于图像Ii的分类结果的处理方法，例如也可以使用任一的下列处理方法、即，图11所示的步骤S1到步骤S4的处理或者图21所示的步骤S21到步骤S30的处理。而且假设，控制部9a通过进行用于获得关于图像Ii的分类结果的处理而得到的分类结果是图像内的各区域被分类到由胃粘膜类别、肠毛类别、大小便类别、气泡类别和不确定类别构成的5个类别中的某个类别中的分类结果。进而，控制部9a在进行用于获得关于图像Ii的分类结果的处理时，如果在一个区域检测出极其明显的暗部或者 光晕等的像素数包含有规定阈值以上的情况，则例如也可以将该一个区域分类为大小便类别、气泡类别或不确定类别中的某一个类别。
而且控制部9a根据由图24的步骤S61的处理而得到的分类结果，例如计算分类为大小便类别、气泡类别和不确定类别的区域数的合计在图像Ii的全部区域数(m×n)中所占比例K(图24的步骤S62)。之后控制部9a比较比例K的值与阈值th1x(本实施方式中例如为0.7)，从而判定图像Ii是否为不需要观察的图像。而且在用于进行上述判定的处理中，如果控制部9a获得的分类结果没有包含不确定类别的分类结果时，控制部9a也可以计算分类为大小便类别和气泡类别的区域数的合计在图像Ii的全部区域数(m×n)中所占比例K1，之后比较比例K1的值与阈值th1x。而且在用于进行上述判定的处理中，控制部9a也可以计算分类为胃粘膜类别和肠毛类别的区域数的合计在图像Ii的全部区域数(m×n)中所占比例K2，之后比较比例K2的值与阈值th1y(例如为0.3)。而且阈值th1x与阈值th1y不仅限于预先固定的值，还可以例如通过终端装置7的操作来设定用户所期望的值。由此用户可以选择将对生物体粘膜表面拍摄到何种程度的图像作为观察对象。因此用户可以使控制部9a执行本实施方式的图像处理方法而作为根据用途区分使用的处理，从而实现如下功能：例如在为了发现病变而进行筛选(screening)检查时重视观察效率，在进行精密检查时更详细地观察更多的图像。
之后控制部9a一旦检测到图像Ii的比例K的值为阈值th1x以上(图24的步骤S63)，则将图像Ii作为不需要观察的图像，例如将作为参照值的标志值kflagi的值设为1(图24的步骤S64)。
并且控制部9a一旦检测到图像Ii的比例K的值小于阈值th1x(图24的步骤S63)，则不会将图像Ii作为不需要观察的图像，例如将标志值kflagi的值设为0(图24的步骤S65)。
控制部9a将通过上述处理确定的标志值kflagi与图像Ii关联起来进行保持(图24的步骤S66)。
之后，控制部9a对于从图像I1到图像IN的所有图像判定是否进行了上述处理下的分类(图24的步骤S67)，在没有对所有图像进行分类的 情况下，此次对于第(i+1)个图像Ii+1进行从图24的步骤S61起的一系列处理(图24的步骤S68)。而且控制部9a在对从图像I1到图像IN的所有图像进行了上述处理下的分类时，结束对于预先输入到终端装置7的状态下的一系列的图像的处理。
接着，在设想例如用户从图像I1(图像序号i＝1的图像)起依次观察通过上述处理而被分类的图像I1到图像IN的一系列图像的情况下，控制部9a读取与图像Ii关联起来保持的标志值kflagi的值(图25的步骤S71)。然后控制部9a根据标志值kflagi的值判定图像Ii是否为不需要观察的图像。
当与图像Ii关联起来保持的标志值kflagi的值为1时(图25的步骤S72)，控制部9a对终端装置7的各部分进行不在显示器8c上显示图像Ii的显示控制(图25的步骤S73)。
而且当与图像Ii关联起来的标志值kflagi的值不为1时、即标志值kflagi的值为0时(图25的步骤S72)，控制部9a对终端装置7的各部分进行在显示器8c上显示图像Ii的显示控制(图25的步骤S74)。
之后，控制部9a对从图像Ii到图像IN的所有图像判定是否进行了上述显示控制处理(图25的步骤S75)，在没有对所有图像进行处理时，对图像序号i加1之后，对下一图像Ii+1进行从图25的步骤S71起的一系列处理(图25的步骤S76)。而且，当控制部9a对从图像I1到图像IN的所有图像进行了上述显示控制处理时，即认为用户依次结束了对从图像I1到图像IN的一系列图像的观察，结束显示控制处理。
而且，上述图像处理方法不仅用于用户从图像I1起依次观察从图像I1到图像IN的一系列图像的情况，也可以用于例如用户从图像I1到图像IN的一系列图像中选择期望图像进行观察的情况。而且，在上述图像处理方法中，控制部9a既可以将终端装置7的各部分控制为不存储分类为不需要观察的图像的图像，也可以将终端装置7的各部分控制为将其分类为不需要观察的图像之后，删除存储在未图示的存储部中的图像。
如上所述，根据本实施方式的图像处理方法，可以按照每个图像对作为生物体粘膜表面的像的胃粘膜和肠毛的像、作为异物或者非生物体 粘膜的像的大小便和气泡的像进行识别和分类，在显示器8c上仅显示需要观察的图像。因此用户可以在除去了未能良好拍摄生物体粘膜表面的像的图像的状态下观察体腔内，其结果可以实现使用胶囊型内窥镜装置1的观察下的观察效率的提高。
(第6实施方式)
图26至图31涉及本发明的第6实施方式。而且对于具有与第1实施方式到第5实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式到第5实施方式相同的结构要素使用相同符号并省略其说明。并且，本实施方式的胶囊型内窥镜装置1的结构与第1实施方式到第5实施方式相同，并且本实施方式的图像处理方法也同样实现为在作为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终端主体9具有的控制部9a中的处理而被执行。
图26是表示本实施方式的图像处理动作的一部分的流程图。图27是表示接着图26的处理进行的本实施方式的图像处理动作的一部分的流程图。图28是表示接着图27的处理进行的本实施方式的图像处理动作的一部分的流程图。图29A是表示在本实施方式的图像处理动作中，在确定边缘特征量(也记作边缘特征矢量)时作为指标的8个方向中一个方向的图。图29B是表示在本实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A不同的一个方向的图。图29C是表示在本实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A和图29B不同的一个方向的图。图29D是表示在本实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A至图29C不同的一个方向的图。图29E是表示在本实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A至图29D不同的一个方向的图。图29F是表示在本实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A至图29E不同的一个方向的图。图29G是表示在本实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向中与图29A至图29F不同的一个方向的图。图29H是表示在本实施方式的图像处理动作中，在确 定边缘特征量时作为指标的8个方向中与图29A至图29G不同的一个方向的图。图30是表示在本实施方式的图像处理动作中设定的中心区域与最外周区域的位置关系的图。图31是表示在本实施方式的图像处理动作中设定的、由边缘特征矢量的方向和矢量V1的方向构成的角度的图。
在进行本实施方式的图像处理方法之前，控制部9a首先输入基于由胶囊型内窥镜3拍摄的体腔内的像的画像的图像信号，获得对于所输入的第i张图像Ii的分类结果(图26的步骤S81)。而且在本实施方式中，控制部9a作为用于获得关于图像Ii的分类结果的处理方法，例如也可以使用任一的下列处理方法、即，图11所示的步骤S1到步骤S4的处理或者图21所示的步骤S21到步骤S30的处理。而且假设，控制部9a通过进行用于获得关于图像Ii的分类结果的处理而得到的分类结果是图像内的各区域被分类到由胃粘膜类别、肠毛类别、大小便类别、气泡类别和不确定类别构成的5个类别中的某个类别的分类结果。进而，在本实施方式中，控制部9a在进行图26的步骤S81的处理时，将所输入的第i张图像Ii分割为M×M个区域Hk(1≤k≤M×M)。换言之，作为图像Ii的分类结果，控制部9a得到M×M个区域Hk分别被分类到由胃粘膜类别、肠毛类别、大小便类别、气泡类别和不确定类别构成的5个类别中的某一类别的分类结果。
控制部9a得到关于图像Ii的分类结果之后，计算M×M个区域Hk各自上的G(绿色)像素的浓度值的平均值gak(图26的步骤S82)。然后控制部9a根据区域Hk的G像素的浓度值的平均值gak和与区域Hk相邻的区域Hkt(t≤8)各自的G像素的浓度值的平均值gakt，通过下式(14)计算G像素的浓度值的变动量Gbt(图26的步骤S83)。
Gbt＝log(gakt)-log(gak)...(14)
控制部9a将通过上式(14)得到的区域Hkt各自的Gbt的值中最大的值作为最大值Gbm、而且将区域Hkt中赋予了最大值Gbm的区域Hktm相对于区域Hk存在的方向作为dirGbm，之后将这2个值保持为区域Hk的边缘特征量(图26的步骤S84)。而且，假设赋予了G像素的浓度值的变动量的最大值Gbm的区域Hktm相对于区域Hk存在的方向被确定 为从图29A到图29H所示的方向1到方向8中的某1个方向。
之后，具有作为边缘检测部的功能的控制部9a比较最大值Gbm和阈值thre1(图26的步骤S85)，当最大值Gbm大于阈值thre1时，判定为区域Hk上存在图像Ii的边缘(图26的步骤S86)，而且当最大值Gbm为阈值thre1以下时，判定为区域Hk上不存在图像Ii的边缘(图26的步骤S87)。而且在本实施方式中，阈值thre1的值例如为0.3。而且控制部9a对区域序号k的值加1，同时对于(M×M)个区域Hk的全部区域Hk重复进行从图26的步骤S83到步骤S87所示的使用了上式(14)的处理，从而确定图像Ii中存在边缘的区域(图26的步骤S88和步骤S89)。
而且，在进行上述那样的用于检测图像Ii中的边缘的处理之前的阶段中，作为对于图像Ii的前处理，控制部9a例如也可以进行逆γ校正或者黑点校正(shading Correction)等处理。
控制部9a通过对(M×M)个区域Hk的全部区域进行上述处理，确定了图像Ii中存在边缘的区域之后，获得以区域Hk为中心区域的、由M1×M1(M1≤M)个区域构成的配置评价区域(图27的步骤S91)。之后，控制部9a检测构成配置评价区域的区域中位于最外周的区域的数、即最外周区域数D(图27的步骤S92)。而且，控制部9a计算配置评价区域中的D个最外周区域Hk1各自中、朝向存在区域Hk的方向的矢量、即矢量V1(图27的步骤S93)。而且区域Hk与最外周区域Hk1的位置关系例如图30所示。
控制部9a根据确定为最外周区域Hk1的区域分别具有的表示边缘特征矢量的方向的dirGbm和矢量V1的方向，计算出图31所示的这2个矢量所构成的角度θ1(图27的步骤S94)。之后，控制部9a判定为其是D个最外周区域Hk1中在从图26的步骤S81到步骤S89的处理中存在边缘的区域，而且检测θ1≤thre2成立的区域数E(图27的步骤S95)。而且本实施方式中，阈值thre2的值例如为45度。
然后控制部9a计算E/D的值，当E/D的值大于阈值thre3时(图27的步骤S96)，将区域Hk判定为在图像Ii中有可能存在出血部的出血部候选区域(图27的步骤S97)。而且当E/D的值大于阈值thre3时(图27 的步骤S96)，控制部9a将区域Hk判定为在图26的步骤S81到步骤S89的处理中存在边缘的区域，而且将满足θ1≤thre2的E个最外周区域Hk1判定为可能存在出血部边缘的出血部边缘候选区域(图27的步骤S97)。而且本实施方式中阈值thre3的值例如为0.7。
而且控制部9a对区域序号k的值加1，同时对(M×M)个区域Hk的全部区域重复进行从图27的步骤S91到步骤S97所示的使用了上式(14)的处理，从而确定图像Ii中存在出血部的区域的候选和存在出血部的边缘的区域的候选(图27的步骤S98和步骤S99)。
控制部9a通过对(M×M)个区域Hk的全部区域进行上述处理，从而确定图像Ii中的出血部候选区域和出血部边缘候选区域，之后检测出血部候选区域的区域数H(图28的步骤S101)。之后，控制部9a检测对应于各出血部候选区域的E个出血部边缘候选区域(图28的步骤S102)。
然后，控制部9a进行如下处理：在与作为出血部候选区域的区域Hk对应的、作为出血部边缘候选区域的最外周区域Hk1中，根据被确定为区域Hk1的区域具有的G像素的浓度值的平均值gak1和与区域Hk1相邻的区域Hk1t(t≤8)各自的G像素的浓度值的平均值gak1t，通过下式(15)计算G像素的浓度值的变动量Gb1t(图28的步骤S103)。
Gb1t＝log(gak1t)-log(gak1)...(15)
而且，控制部9a进行如下的处理：在与作为出血部候选区域的区域Hk对应的、作为出血部边缘候选区域的最外周区域Hk1中，计算被确定为区域Hk1的区域上的R(红色)像素的浓度值的平均值rak1和与区域Hk1相邻的区域Hk1t(t≤8)各自的R像素的浓度值的平均值rak1t。然后控制部9a根据平均值rak1和平均值rak1t，通过下式(16)计算R像素的浓度值的变动量Rb1t(图28的步骤S104)。
Rb1t＝log(rak1t)-log(rak1)...(16)
控制部9a根据被确定为区域Hk1的区域具有的最大值Gbm和方向dirGbm上的变动量Rb1t，计算作为彩色边缘特征量的Gbm/Rb1t的值。之后控制部9a检测E个区域Hk1中Gbm/Rb1t＞thre4成立的区域数F(图28的步骤S105)。而且本实施方式中，阈值thre4的值例如为1.0。并且 在本实施方式中，在控制部9a进行的处理中用作彩色边缘特征量的值不限于Gbm/Rb1t的值。控制部9a也可以在上述处理中例如根据通过与变动量Rb1t大致相同的方法所计算出的B像素的浓度值的变动量Bb1t，将Gbm/Bb1t的值用作彩色边缘特征量。
然后作为出血部位判定部的控制部9a计算F/E的值，当F/E的值大于阈值thre5时(图28的步骤S106)，将区域Hk判定为在图像Ii中的出血部，而且将区域Hk1判定为与区域Hk对应的出血部边缘区域(图28的步骤S107)。而且当F/E的值为阈值thre5以下时(图28的步骤S106)，控制部9a将区域Hk判定为不是出血部(图28的步骤S108)。而且本实施方式中，阈值thre5的值例如为0.7。之后，控制部9a通过对检测作为出血部候选区域的H个区域Hk的全部区域重复进行从图28的步骤S101到步骤S108所示的处理，从而确定图像Ii中存在出血部的区域和存在出血部边缘的区域(图28的步骤S109和步骤S110)。
进而控制部9a一旦确定了图像Ii中存在出血部的区域，则通过参照图26的步骤S81的处理中得到的对于图像Ii的分类结果，检测确定为存在出血部的区域的区域Hk被分类到哪个类别中(图28的步骤S111)。然后，具有作为分类结果判定部的功能的控制部9a当检测到确定为存在出血部的区域的区域Hk被分类为包含于与生物体粘膜相关的类别中的胃粘膜类别、包含于与生物体粘膜相关的类别中的肠毛类别或者不确定类别中的某个类别时(图28的步骤S112)，判定为图像Ii中的区域Hk的分类结果正确(图28的步骤S113)。而且当检测到确定为存在出血部的区域的区域Hk被分类为包含于与非生物体粘膜相关的类别中的大小便类别或者包含于与非生物体粘膜相关的类别中的气泡类别时(图28的步骤S112)，控制部9a判定为图像Ii中的区域Hk的分类结果有误(图28的步骤S114)。并且控制部9a也可以构成为，当检测到确定为存在出血部的区域的区域Hk被分类为不确定类别时，不判定区域Hk的分类结果的正确与否，而例如另行判定为“可能拍摄了病变部位的区域”。
之后，控制部9a对所输入的图像Ii的所有图像判定是否进行了上述处理(图28的步骤S115)，在没有对所有图像进行处理时，对下一图像 Ii+1进行从图25的步骤S71起的一系列处理(图28的步骤S116)。而且，控制部9a当对所有所输入的图像Ii进行了上述处理时，结束处理。
如上所述，在使用本实施方式的图像处理方法进行处理的情况下，作为与第2实施方式中所述效果相同的效果，可以实现使用胶囊型内窥镜装置1的观察下的观察效率的提高的效果。
并且在使用本实施方式的图像处理方法时，终端装置7的控制部9a在确定了图像Ii内存在出血部的区域Hk之后，对于预先得到的图像Ii的区域Hk的分类结果进行正确与否的判定处理。因此终端装置7的控制部9a通过使用本实施方式的图像处理方法，例如可以防止对出血部位的误检、即防止在拍摄了大小便等异物或者非生物体粘膜的像的区域上存在作为病变部位的出血部位这样的检测，其结果是相比于以往，可以得到可靠性更高的病变部位的检测结果。
(第7实施方式)
图32至图34涉及本发明的第7实施方式。而且对于具有与第1实施方式到第6实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式到第6实施方式相同的结构要素使用相同符号并省略其说明。并且，本实施方式的胶囊型内窥镜装置1的结构与第1实施方式到第6实施方式相同，并且本实施方式的图像处理方法也同样实现为在作为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终端主体9具有的控制部9a中的处理而被执行。
图32是表示本实施方式的图像处理动作的一部分的流程图。图33是表示接着图32的处理进行的、作为本实施方式的图像处理动作的一部分流程图。图34是表示在本实施方式的图像处理动作中，将所输入的图像分割为(m×n)个区域时的一个例子的图。
首先，控制部9a输入基于由胶囊型内窥镜3所拍摄的体腔内的像的图像的图像信号，作为前处理，对于构成所输入的第i个图像Ii的Ri、Gi和Bi的各平面例如进行中值滤波下的噪声去除和逆γ校正，并且从之后的处理对象中除去光晕像素和暗部像素，因此通过基于阈值的处理进行检测(图32的步骤S201)。而且基于上述阈值的处理，例如当rik、gik 和bik的浓度值都为10以下的值时，作为暗部像素进行处理，如果rik、gik和bik的浓度值都为230以上的值，则作为光晕像素进行处理。
之后，控制部9a将Ri、Gi和Bi的各平面分割为小区域(图32的步骤S202)。而且在本实施方式中，如图34所示，控制部9a将Ri、Gi和Bi的各平面分割为由x轴方向的像素数1x×y轴方向的像素数1y(1≤1x、1≤1y)构成的矩形区域，该区域数为(m×n)个(m＝ISX/1x、n＝ISY/1y)。而且，当m或者n无法取整数时，控制部9a将大小为小数部分的最端部的区域作为具有小数部分的像素数的区域进行处理，或是从之后的处理对象中将其除去。
控制部9a在所分割的各区域中，将反映拍摄对象的像的图像上的颜色差异的色调信息以及反映拍摄对象的像在图像上的结构差异的结构信息作为特征量计算出来(图32的步骤S203)。而且在以后的说明中，将在控制部9a所分割的区域中的一个区域表示为Hj(1≤j≤m×n)。
在本实施方式中，控制部9a计算出的色调信息是如下的值、即，其由作为基于一个区域Hj所包含的各像素的RGB的值之比的值的gik/rik的平均值(以下记作μgj)和bik/rik的平均值(以下记作μbj)构成，且作为2个特征量进行表示。而且，设μgj和μbj的各值取0到1的值。另外，μgj和μbj的各值例如在胃粘膜这样显现较为红色色调的区域中取大致同样较小的值。另一方面，μgj和μbj的各值例如在小肠这样显现较为白色色调的区域中取大致同样较大的值。另外，μgj和μbj的各值例如在大小便这样显现较为黄色色调的区域中取μgj＞μbj这样的值。
在本实施方式中，如上所述，控制部9a计算出的结构信息反映拍摄对象的像的图像上的结构差异。而且拍摄对象的像的图像上的结构例如作为粘膜表面的肠毛等的细微结构和大小便具有的不定型的外形等而显现出来。具体而言，控制部9a计算出的结构信息是用一个区域Hj所包含的各像素的RGB值的标准偏差σrj、σgj和σbj除以一个区域Hj所包含的各像素的RGB值的平均值mrj、mgj和mbj后的、作为3个特征量表示的RGB值的变动系数CVrj、CVgj和CVbj。而且用于计算变动系数CVrj、CVgj和CVbj的式表示为下面的式(17)、式(18)和式(19)。
CVrj＝σrj/mrj...(17)
CVgj＝σgj/mgj...(18)
CVbj＝σbj/mbj...(19)
通过上述式(17)、式(18)和式(19)计算出的变动系数CVrj、CVgj和CVbj，可不受到提供给拍摄对象的照明光量的差异等带来的影响，将结构构造下的像素变动的程度数值化。CVrj、CVgj和CVbj的各值例如在未进行放大观察的状态、即通常观察下拍摄的胃粘膜那样的图像上结构较平坦的区域中，没有明显的结构构造，因此取大致相同的较小的值。另一方面，CVrj、CVgj和CVbj的各值在例如小肠肠毛那样图像上结构中包含较多边缘的区域，取大致相同的较大的值。
并且控制部9a根据除去光晕像素和暗部像素之后的各像素的RGB值，分别在(m×n)个区域Hj中计算出由色调信息和结构信息构成的5个特征量、即μgj、μbj、CVrj、CVgj和CVbj的各值。并且在本实施方式中，在一个区域Hj具有的(1x×1y)个像素中，例如当光晕像素的个数与暗部像素的个数之和所占比例超过50％时，也可以进行从之后的处理中除去一个区域Hj的控制。
之后，控制部9a为了进行之后说明的处理，设一个区域Hj的区域序号j为j＝1(图32的步骤S204)。然后控制部9a使用基于贝叶斯定理的统计识别器来识别一个区域Hj属于由胃粘膜、肠毛、大小便和气泡构成的4个类别中的哪个类别，根据该识别结果进行分类。
具体而言，设4个类别的识别和分类中，一个类别ωa(a＝1、2、...、C；C表示类别数)产生的事先概率为P(ωa)、由一个区域Hj中的5个特征量所确定的特征矢量为x，基于来自所有类别的特征矢量x产生概率的概率密度函数为p(x)，基于来自一个类别ωa的特征矢量x产生概率的状态依赖概率密度(多变量正态概率密度)函数为p(x|ωa)，则用于计算所产生的特征矢量x属于一个类别ωa的事后概率p(ωa|x)的式表示为下式(20)。
P(ωa|x)＝p(x|ωa)P(ωa)/p(x)...(20)
而且状态依赖概率密度函数p(x|ωa)和概率密度函数p(x)表示 为下式(21)和式(22)。
p(x|ωa)＝(1/((2π)d/2|∑a|1/2))exp[(-1/2)(x-μa)t∑a-1(x-μa)]...(21)
p ( x ‾ ) = Σ a = 1 C p ( x ‾ | ωa ) P ( ωa ) . . . ( 22 )
而且，在上述式(21)和式(22)中，d表示与x的特征量的个数相同个数的维数，μa和∑a表示类别ωa中特征矢量x的平均矢量和一个类别ωa中的方差协方差矩阵。而且(x-μa)t表示(x-μa)的转置矩阵，|∑a|表示∑a的矩阵，∑a-1表示∑a的逆矩阵。而且为了简化说明，假设事先概率P(ωa)在所有类别中为相等值，而且概率密度函数p(x)通过上式(22)而表示为所有类别中共同使用的函数。
与上述基于贝叶斯定理的统计识别器一同作为分类基准使用的平均矢量μa和方差协方差矩阵∑a是构成一个类别ωa中的总体参数的要素，在将第1个图像I1输入到终端装置7之前的阶段中，根据构成了由胃粘膜、肠毛、大小便和气泡构成的4个类别的训练数据的多个图像、例如第1实施方式的说明中所示的、图14、图15、图16和图17那样的图像，根据每次在该图像的一个区域中分别确定的特征矢量x来按照每个类别预先进行计算，之后作为初始值分别存储在终端装置7中。而且，此时，控制部9a也可以通过对各类别的训练数据的特征矢量上相加各类别在图像Ii的特征矢量的方式来估计总体参数。
而且平均矢量μa是由特征矢量x具有的5个特征量各自的平均值构成，而且是具有与特征矢量x相同维数的矢量。即，使用x＝(x1、x2、x3、x4、x5)表示特征矢量x时，平均矢量μa使用特征矢量x具有的5个特征量各自的平均值、即μx1、μx2、μx3、μx4和μx5表示为μa＝(μx1、μx2、μx3、μx4、μx5)。而且方差协方差矩阵∑a是表示属于一个类别ωa的特征矢量x的分布的偏差和扩散程度的矩阵，对于与特征矢量x的特征量个数相同数量的维数d，使用d×d矩阵进行表示。
控制部9a使用基于贝叶斯定理的上述式(20)到(22)分别计算出产生的特征矢量x属于类别ω1的事后概率P(ω1|x)、产生的特征矢量x 属于类别ω2的事后概率P(ω2|x)、产生的特征矢量x属于类别ω3的事后概率P(ω3|x)、产生的特征矢量x属于类别ω4的事后概率P(ω4|x)。 然后控制部9a将赋予了这4个事后概率中最大的事后概率P1(ωa|x)的类别ωa识别为特征矢量x所属的类别，根据该识别结果将作为产生了特征矢量x的区域的一个区域Hj分类到类别ωa(图32的步骤S205)，并且计算赋予了最大的事后概率P1(ωa|x)的概率密度函数p1(x|ωa)的值。
而且控制部9a为了判定在此前的处理中分类到类别ωa的一个区域Hj的分类结果是否正确，还进行基于与平均值的距离的处理、即进行基于赋予了最大事后概率P1(ωa|x)的概率密度函数p1(x|ωa)的值的阈值的处理。
具体而言，控制部9a首先对于平均矢量μa具有的5个特征量各自的平均值中例如特征量x1的平均值μx1确定阈值矢量xb1，其中该阈值矢量xb1包含加入了特征量x1的标准偏差σx1与作为规定的常数的相乘系数α相乘的积的值。而且这样的阈值矢量xb1例如表示为下式(23)，而且在本实施方式中相乘系数α的值为1.5。
xb1＝(μx1+α×σx1、μx2、μx3、μx4、μx5)...(23)
当通过上式(23)而确定了阈值矢量xb1时，控制部9a代入阈值矢量xb1作为上式(20)、式(21)和式(22)的x，计算出作为分类到了一个区域Hj的类别ωa的阈值的概率密度函数p(xb1|ωa)的值。
然后，一旦检测到p1(x|ωa)的值大于p(xb1|ωa)的值(图32的步骤S206)，则控制部9a在图32的步骤S205所示的处理中，将把一个区域Hj分类到类别ωa的分类结果判断为正确(图32的步骤S207)。
而且一旦检测到p1(x|ωa)的值为p(xb1|ωa)的值以下(图32的步骤S206)，则控制部9a在图32的步骤S205所示的处理中，将把一个区域Hj分类到类别ωa的分类结果判断为不正确，将一个区域Hj分类为不确定分类(图32的步骤S208)。
并且，当没有完成对于所分割的所有m×n个区域的分类时(图32的步骤S209)，控制部9a对区域序号j加1(图32的步骤S210)，对下一区域进行从图32的步骤S205到步骤S209所示的处理。另外，控制部9a当完成了对于所分割的所有m×n个区域的分类时(图32的步骤S209)， 根据图像Ii的m×n个分类结果和m×n个区域分别具有的特征量，再次计算出在4个类别中各自作为分类基准的平均矢量μa和方差协方差矩阵∑a(图33的步骤S211)。而且再次计算出平均矢量μa和方差协方差矩阵∑a时，也可以不对基于色调信息和结构信息的所有5个特征量进行计算，例如可以仅对构成色调信息的2个特征量进行计算。
而后控制部9a为了进行之后所说明的处理，设一个区域Hj的区域序号j为j＝1(图33的步骤S212)。
控制部9a使用代入了在图33的步骤S211所示的处理中计算出来的平均矢量μa和方差协方差矩阵∑a的上述式(20)到(22)而再次分别计算出产生的特征矢量x属于类别ω1的事后概率P(ω1|x)、产生的特征矢量x属于类别ω2的事后概率P(ω2|x)、产生的特征矢量x属于类别ω3的事后概率P(ω3|x)、产生的特征矢量x属于类别ω4的事后概率P(ω4|x)。然后，控制部9a将赋予了这4个事后概率中最大的事后概率P2(ωa|x)的类别ωa识别为特征矢量x所属的类别，根据该识别结果将作为产生了特征矢量x的区域的一个区域Hj再分类到类别ωa(图33的步骤S213)，并且计算赋予了最大的事后概率P2(ωa|x)的概率密度函数p2(x|ωa)的值。
而且控制部9a为了判定在之前的处理中再分类到类别ωa的一个区域Hj的再分类结果是否正确，还进行基于对赋予了最大事后概率P2(ωa|x)的概率密度函数p2(x|ωa)的值的阈值的处理。
即，如上所述，首先对于在图33的步骤S211所示处理中计算出的平均矢量μa具有的5个特征量各自的平均值中例如特征量x1的平均值μx1确定阈值矢量xb2，其中该阈值矢量xb2包含加入了特征量x1的标准偏差σx1与作为规定的常数的相乘系数α相乘的积的值。而且当确定了阈值矢量xb2时，控制部9a代入阈值矢量xb2作为上式(20)、式(21)和式(22)的x，计算出作为一个区域Hj被再分类到的类别ωa的阈值的概率密度函数p(xb2|ωa)的值。
然后，一旦检测到p2(x|ωa)的值大于p(xb2|ωa)的值(图33的步骤S214)，则控制部9a将把一个区域Hj再分类到类别ωa的再分类结 果判断为正确(图33的步骤S215)。
而且一旦检测到p2(x|ωa)的值为p(xb2|ωa)的值以下(图33的步骤S214)，则控制部9a将把一个区域Hj再分类到类别ωa的再分类结果判断为不正确，将一个区域Hj再分类为不确定分类(图33的步骤S216)。
并且，控制部9a当没有完成对于所分割的所有m×n个区域的分类时(图33的步骤S217)，对区域序号j加1(图33的步骤S218)，对下一区域进行从图33的步骤S213到步骤S217所示的处理。另外，控制部9a当完成了对于所分割的所有m×n个区域的分类时(图33的步骤S217)，此次对于第(i+1)个图像Ii+1进行从图32的步骤S201起的一系列处理(图33的步骤S219)。
而且，在图33的步骤S211所示处理中计算出的平均矢量μa和方差协方差矩阵∑a也可以用于对于第(i+1)个图像Ii+1进行的图32的步骤S205所示的处理。此时，通过在时间上连续的图像之间动态改变用于识别和分类图像的总体参数，从而可以更高精度地进行图像的分类。
而且，一般对于生物体粘膜表面的像而言，基于结构信息的差比基于色调信息的差显著。因此，在图33的步骤S211所示处理中，控制部9a不限于进行对色调信息和结构信息双方再次计算出平均矢量μa和方差协方差矩阵∑a的处理，例如也可以进行仅对色调信息或结构信息中某一方再次计算出μa和方差协方差矩阵∑a的处理。
终端装置7的控制部9a通过进一步进行上述这样的图32和图33中从步骤S201到步骤S218所示的使用了图像Ii的分类结果的处理，从而例如可以判断图像Ii是否为胃粘膜、肠毛等的像、即生物体粘膜表面的像。
具体而言，控制部9a在图32和图33中从步骤S201到步骤S218所示的图像Ii的分类结果中，计数了分类到各类别中的区域数之后，例如计算出分类到胃粘膜类别或者肠毛类别中的区域数A在全部区域数(m×n)中所占比例。而且当A/(m×n)为规定阈值以上(例如0.8)时，控制部9a判断为图像Ii是生物体粘膜表面的像。由此，控制部9a可以 提取出确实是生物体粘膜表面的像的图像。
而且，在以上说明中描述了一次使用了所有基于色调信息和结构信息的5个特征量来确定特征矢量x这样的规定5维多变量正态概率密度的情况。但在本实施方式的图像处理方法中，例如可以分别使用关于色调信息和结构信息的各特征量，确定2种特征矢量xc和xt，对1个类别规定2个多变量正态概率密度，从而可以更高精度进行图像分类。
具体而言，首先，控制部9a分别将关于构成色调信息的2个特征量μgj和μbj的状态依赖概率密度函数计算为pc(xc|ωa)，而且将关于构成结构信息的3个特征量CVrj、CVgj和CVbj的状态依赖概率密度函数计算为pt(xt|ωa)。而且，xc是表示为xc＝(μgj、μbj)的2维矢量， xt是表示为xt＝(CVrj、CVgj、CVbj)的3维矢量。
控制部9a使用这2个状态依赖概率密度函数pc(xc|ωa)和pt(xt|ωa)计算出基于式(21)的事后概率Pc(ωa|xc)和Pt(ωa|xt)之后，通过下式(24)计算最终的事后概率P(ωa|x)。
P(ωa|x)＝Pc(ωa|xc)×Pt(ωa|xt)...(24)
而且，根据色调信息和结构信息的特征量各自的平均矢量μc和μt、以及标准偏差σc1和σt1，例如设定用于判断对类别ωa的分类结果的正确性的阈值为p(xcb|ωa)和p(xtb|ωa)。而且如果p1(xc|ωa)＞p(xcb|ωa)、并且p1(xt|ωa)＞p(xtb|ωa)，则认为分类结果正确，控制部9a将具有特征矢量xc和特征矢量xt的一个区域Hj分类为胃粘膜、肠毛、大小便或者气泡的某个类别；反之分类为不确定类别。
而且在以上说明中，假定事先概率P(ωa)在所有类别中相等，但不限于此。关于事先概率P(ωa)也可以例如根据胶囊型内窥镜3拍摄的部位的时间分布将肠毛类别或者大小便类别的事先概率P(ωa)设定得较高，或者根据胶囊型内窥镜3拍摄的部位的错误分类下的风险而把胃粘膜类别和肠毛类别的事先概率P(ωa)设定得高于无需观察的大小便类别和气泡类别等，可以设定为对应于各种用途的值。
进而在上述说明中，进行图像分类时控制部9a所使用的统计识别器不限于基于贝叶斯定理的识别器，也可以例如使用基于线性判别函数等 的识别器。
如上所述，根据本实施方式，可以按照图像上的每个小区域，对作为生物体粘膜表面的像的胃粘膜和肠毛的像、作为异物或者非生物体粘膜的像的大小便和气泡的像进行识别和分类。因此用户可以易于除去作为不需要观察的图像的、异物的像占据了图像的小区域中较多部分那样的未能良好拍摄生物体粘膜表面的像的图像，其结果可以实现使用了胶囊型内窥镜装置1的观察效率的提高。
而且如上所述，根据本实施方式，可以将统计上的识别器的总体参数计算为与输入到终端装置7的图像对应的最佳值。因此，用于本实施方式的胶囊型内窥镜装置1即使在由于生物体粘膜表面的色调和细微结构上的个人差异、构成胶囊型内窥镜3的各部分的特性偏差等而在特征量上产生变化的情况下，也能高精度地对输入到终端装置7的图像的各区域进行分类。
而且根据本实施方式，还对分类为生物体粘膜表面的像的各个区域，例如还进行使用了根据上述各区域所具有的特征量分类为正常的粘膜的像和病变部位的像这样的图像处理方法的处理，从而可以提高病变部位的检测精度。
进而，根据本实施方式，可以检测到在图像中拍摄了肠毛的像或者大小便的像的情况来进行分类。因而，控制部9a根据上述分类结果，例如进行进一步使用了大小便的像占据图像的较大部分时为拍摄了大肠的图像等的分类基准的处理，从而可以确定上述图像中所拍摄的脏器。
(第8实施方式)
图35至图40涉及本发明的第8实施方式。而且对于具有与第1实施方式到第7实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式到第7实施方式相同的结构要素使用相同符号并省略其说明。进而，本实施方式的胶囊型内窥镜装置1的结构与第1实施方式到第7实施方式相同，并且本实施方式的图像处理方法也同样实现为在作为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终端主体9具有的控制部9a中的处理而被执行。
图35是表示本实施方式的图像处理装置的图像处理动作的流程图。图36是表示本实施方式的图像处理装置的图像处理动作的流程图。图37是表示在本实施方式的图像处理动作中，确定一个区域的附近区域时的一个例子的图。图38是表示在本实施方式的图像处理动作中使用的、胶囊型内窥镜所拍摄的体腔内的像的图像的一个例子的示意图。图39是表示图38所示的图像的分类结果的一个例子的图。图40是表示根据图39所示的分类结果，进行了本实施方式的图像处理动作之后的再分类结果的图。
在进行本实施方式的图像处理动作之前，控制部9a首先输入基于胶囊型内窥镜3所拍摄的体腔内的像的图像的图像信号，对于所输入的第i个图像Ii，进行在第7实施方式中说明的、图32和图33所示的从步骤S201到步骤S218的处理，获得关于图像Ii的分类结果(图35的步骤S221)。
之后，控制部9a设表示区域综合的重复次数的count的值(1≤count)为count＝1(图35的步骤S222)。并且，表示区域综合的最大重复次数的countmax的值是由用户设定的值。而且控制部9a对应于用户设定的countmax的值的次数的量来进行后面详细叙述的区域综合的处理。并且在本实施方式中，在之后的说明中设countmax的值为5。
而且当控制部9a把一个区域Hj的区域序号设为j＝1之后(图35的步骤S223)，计算出用于对把一个区域Hj分类为类别c(c＝1、2、3、4或者5)进行评价的评价值。而且从类别1到类别5的5个类别分别与胃粘膜类别、肠毛类别、大小便类别、泡类别和不明类别中的某个类别一对一地对应。
具体而言，控制部9a首先设作为区域Hj的分类候选的类别c为c＝1(图36的步骤S231)。之后，控制部9a将后述的根据基于区域Hj的附近区域的分类结果的成本函数所导出的值、即评价值Vjc设为Vjc＝0(图36的步骤S232)。然后控制部9a将例如图37所示的表示一个区域Hj的8个附近区域的区域s(s＝1、2、3、4、5、6、7或者8)设为s＝1(图36的步骤S233)。并且表示为从区域1到区域8的这8个区域的一个区域 Hj的8个附近区域分别与例如图37所示的区域1到区域8的矩形区域中某个区域一对一对应。之后将一个区域Hj的各个附近区域表示为Hjs。并且由于一个区域Hj是图像边缘部、而且由于暗部像素或者光晕像素而具有从处理中去除的区域等理由，因而无法将一个区域Hj的附近区域设定为8个区域的情况下，控制部9a仅对可以设定为一个区域Hj的附近区域的个数下的区域进行之后的处理。
控制部9a根据对于图像Ii的分类结果来判定是否将附近区域Hjs分类为类别c(图36的步骤S234)。而且具有作为评价值计算部的功能的控制部9a一旦检测到未将附近区域Hjs分类为类别c，则使用下式(25)所示的成本函数，对评价值Vjc的值加0.2(图36的步骤S235)。
Vjc＝Vjc+0.2...(25)
之后，控制部9a对区域s的值加1，同时对于一个区域Hj的附近区域的全部区域重复进行图36的步骤S234和步骤S235所示的使用了上式(25)的处理，从而计算出类别c上的评价值(图36的步骤S236和步骤S237)。
然后如果控制部9a确定了类别c上的评价值(图36的步骤S236)，则对类别c的值加1，同时重复进行图36的步骤S232到步骤S237所示的一系列处理，从而计算出类别1至类别5的所有类别中的评价值(图36的步骤S238和步骤S239)。
具有作为区域分类部的功能的控制部9a比较各Vjc的值、即Vj1、Vj2、Vj3、Vj4和Vj5的值，将一个区域Hj再分类到赋予了最小的Vjc的值的类别c中(图35的步骤S224)。而且当存在多个赋予了最小的Vjc的值的类别c时，控制部9a例如进行选择c为最小的类别的处理。
并且在规定的count的值中没有完成对于所分割的m×n个区域的所有区域的分类时(图35的步骤S225)，控制部9a对区域序号j加1(图35的步骤S226)，同时对下一区域重复进行由图35的步骤S223和步骤S224所示处理和图36的步骤S231至步骤S239所示的处理构成的一系列的处理。
当结束了对于所分割的m×n个区域的所有区域的分类、并且count的值小于countmax的值时(图35的步骤S227)，控制部9a对count的值加1(图35的步骤S228)，然后对图像Ii重复进行由图35的步骤S222到步骤S227所示处理和图36的步骤S231至步骤S239所示的处理构成的一系列的处理。另外，当结束了对于所分割的m×n个区域的所有区域的分类、并且count的值为countmax的值以上时(图35的步骤S227)，控制部9a此次对于第(i+1)个图像Ii+1进行图35的步骤S221起的一系列处理(图35的步骤S229)。
而且图38、图39和图40表示终端装置7的控制部9a使用本实施方式的图像处理动作进行处理时的一个例子。图38是示意性地表示上述本实施方式的图像处理动作中相当于图像Ii的图像的图。并且一旦将图38所示的图像Ii输入到终端装置7，则终端装置7的控制部9a在图35的步骤S221所示处理中获得图39所示的分类结果。之后控制部9a根据图39所示的分类结果重复进行预先设定为countmax的值的次数(本实施方式中为5次)下的图35的步骤S222之后所示的区域综合的处理，从而得到图40所示的再分类结果。
如上所述，在通过控制部9a使用本实施方式的图像处理方法进行处理的情况下，用户可以获得与第7实施方式中所述效果相同的效果、即，可以实现使用胶囊型内窥镜装置1的观察下的观察效率的提高。另外在使用本实施方式的图像处理方法的情况下，终端装置7的控制部9a根据输入到终端装置7的图像的规定区域的附近区域的分类结果来进行对该规定区域的再分类，所以既能抑制错误分类区域的产生，又能以更高精度进行对该图像的各区域的分类。
(第9实施方式)
图41至图47涉及本发明的第9实施方式。而且对于具有与第1实施方式到第8实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式到第8实施方式相同的结构要素使用相同符号并省略其说明。进而，本实施方式的胶囊型内窥镜装置1的结构与第1实施方式到第8实施方式相同，并且本实施方式的图像处理方法也同样实现为在作为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终端主体9具有的控制部9a中的处理而被执行。
图41是表示本实施方式的图像处理动作的流程图。图42是表示本实施方式的图像处理动作的流程图。图43是表示在本实施方式的图像处理动作中，对分别虚拟分配到具有4×4的像素数的小矩形区域的序号进行排列的一个例子的图。图44是表示在本实施方式的图像处理动作中，附近外周区域Ht相对于一个矩形区域RO的位置关系的图。图45是表示在本实施方式的图像处理动作中，由近似gradient矢量Vgt和方向矢量 Vdt构成的角度θt的一个例子的图。图46是表示本实施方式中使用的胶囊型内窥镜所拍摄的体腔内的像的图像的一个例子的示意图。图47是表示图46所示的图像的分类结果的一个例子的图。
首先，终端装置7的控制部9a进行与上述图32的步骤S210到步骤S203所示的处理大致相同的处理。即，控制部9a输入基于胶囊型内窥镜3拍摄的体腔内的像的图像的图像信号，对所输入的第i个图像Ii进行前处理(图41的步骤S241)，把图像Ii分割为m×n个小区域(图41的步骤S242)，之后在所分割的各区域中计算出色调信息和结构信息来作为特征量(图41的步骤S243)。然后控制部9a进行之后所述的图像处理，检测所分割的各区域中被分类到预先设定为具有明显的结构特征的类别的类别中、例如气泡类别的区域(图41的步骤S244)。另外在本实施方式中，控制部9a在将图像Ii分割为m×n个小区域时，以使各区域中1x＝1y＝8、即成为具有8×8的像素数的矩形区域的方式来分割图像Ii。
具体而言，控制部9a通过将图像Ii的各平面中作为绿色平面的平面Gi中具有8×8像素数的各矩形区域进一步分成4份，从而生成各自具有4×4像素数的小矩形区域(图42的步骤S251)。控制部9a计算出具有4×4像素数的小矩形区域各自的G(绿色)像素的浓度值的平均值ga之后，对具有4×4像素数的小矩形区域分别虚拟地赋予例如具有图43所示的排列的序号。然后控制部9a分别进行如下设定、即，将连接区域1与区域7或者区域2与区域8的线段构成的方向设为图像上的垂直方向、将连接区域3与区域4或者区域5与区域6的线段构成的方向设为图像上的水平方向、将连接区域2与区域5或者区域4与区域7的线段构成的方向 设为图像上的左倾斜方向、将连接区域1与区域6或者区域3与区域8的线段构成的方向设为图像上的右倾斜方向，之后在各区域之间计算出G像素的浓度值的平均值ga的对数差的值。然后控制部9a判断为存在上述对数差的值为最大的区域组合的图像上的方向上存在表示大致圆形形状的边缘的像素的排列，暂时保持上述对数差的最大值和赋予了上述最大值的图像上的方向。
另外具有作为关注区域设定部和附近外周区域检测部的功能的控制部9a在将具有8×8的像素数的矩形区域中如图44那样作为关注区域的一个矩形区域RO作为存在大致圆形形状的中央部的区域而设定为虚拟坐标(xo，yo)之后，通过下式(26)检测用坐标(xt，yt)表示的附近外周区域Ht(t＝1、2、3、...、T)，作为从(xo，yo)相隔距离Q(Q＝1、2、3、...)的区域、即可能存在以RO作为中央部的大致圆形形状的边缘的至少一部分的区域(图42的步骤S252)。
[((xo-xt)2+(yo-yt)2)1/2]＝Q...(26)
在上式(26)中[]表示高斯符号。
具有作为矢量计算部的功能的控制部9a检测出全部的满足上式(26)的坐标(xt，yt)之后，计算检测出的附近外周区域各自的近似gradient矢量Vgt和连接各坐标(xt，yt)和坐标(xo，yo)的方向矢量Vdt(图42的步骤S253)。
并且，附近外周区域Ht各自的近似gradient矢量Vgt是以保持于控制部9a的G像素的浓度值的平均值ga的对数差的最大值作为其大小，而且以赋予了上述最大值的图像上的方向作为方向的矢量。
而且控制部9a在计算出附近外周区域Ht各自的近似gradient矢量 Vgt和方向矢量Vdt之后，判定Vgt的大小|Vgt|的值是否为阈值(本实施方式中为0.4)以上。控制部9a一旦检测到|Vgt|的值为阈值以上，则根据内积的公式，对于图45所示的由近似gradient矢量Vgt和方向矢量Vdt 构成的角度θt，用下式(27)计算出cosθt的值(图42的步骤S254)。
cosθt＝Vgt·Vdt/|Vgt|Vdt|...(27)
具有作为边缘判定部的功能的控制部9a根据使用上式(27)的cosθt 的计算结果检测到|cosθt|的值大于0.7(图42的步骤S255)时，判断为以一个矩形区域RO为中心的放射状的gradient矢量存在于附近外周区域Ht、即存在以一个矩形区域RO为中央部的大致圆形形状的边缘的至少一部分，并提取该一个矩形区域RO。
在T个附近外周区域中的L个区域中存在以一个矩形区域RO为中心的放射状的gradient矢量时，具有作为区域提取部的功能的控制部9a根据L/T的值进行判断，如果L/T的值例如为0.7以上(图42的步骤S256)，则判断为所提取的上述一个矩形区域RO中存在具有大致圆形形状的气泡的中央部。然后控制部9a使距离Q的值变化到用户预先设定的Qmax值，同时对距离Q的各值进行上述处理(图42的步骤S257和步骤S258)。另外，控制部9a对于具有8×8的像素数的所有矩形区域逐一设定一个矩形区域RO，同时每次对于所设定的每个区域RO进行上述处理(图42的步骤S259和步骤S260)。控制部9a通过进行上述处理，对应于图像Ii上的各种区域中存在的各种气泡的大小来检测分类到气泡类别中的区域。
之后控制部9a在分类到气泡类别中的区域之外的区域中检测分类到肠毛类别中的区域(图41的步骤S245)，为此进行与图32的步骤S205到步骤S210所示的处理大致相同的处理。
即，如上所述，控制部9a使用具有根据训练数据而按照每个类别预先计算出的平均矢量μa和方差协方差矩阵∑a的上述式(20)到(22)，分别计算出产生的特征矢量x属于类别ω1的事后概率P(ω1|x)、产生的特征矢量x属于类别ω2的事后概率P(ω2|x)、产生的特征矢量x属于类别ω3的事后概率P(ω3|x)、产生的特征矢量x属于类别ω4的事后概率P(ω4|x)。然后控制部9a将赋予了这4个事后概率中最大的事后概率P1(ω1|x)的类别ωa识别为特征矢量x所属的类别，根据该识别结果将作为产生了特征矢量x的区域的一个区域Hj分类到类别ωa。并且如果肠毛类别为类别ω1(a＝1)，则控制部9a检测m×n个区域中在之前的处理中分类到类别ω1的区域，对该各区域计算出赋予了最大的事后概率P1(ω1|x)的概率密度函数p1(x|ω1)的值。
而且控制部9a为了判定分类到类别ω1的各区域的分类结果是否正确，还进行基于对赋予了最大事后概率P1(ω1|x)的概率密度函数p1(x |ω1)的值的阈值的处理。
具体而言，如上所述，控制部9a对于根据训练数据而预先计算出来的平均矢量μ1具有的5个特征量各自的平均值中例如特征量x1的平均值μx1确定阈值矢量xb1，其中该阈值矢量xb1包含加入了特征量x1的标准偏差σx1与作为规定的常数的相乘系数α相乘的积的值。而且为了可靠地对肠毛类别进行分类，相乘系数α的值作为构成对于p1(x|ω1)值的阈值的值，在本处理中被设定为0.8。并且，当确定了阈值矢量xb1 时，控制部9a代入阈值矢量xb1作为上式(20)、式(21)和式(22)的x，计算出概率密度函数p(xb1|ω1)的值。
而且，控制部9a对于p1(x|ω1)的值大于p(xb1|ω1)的值的区域，将分类到肠毛类别中的分类结果判断为正确，而且对于p1(x|ω1)的值为p(xb1|ω1)的值以下的区域，将分类到肠毛类别中的分类结果判断为不正确，将相应区域分类为不确定类别。
控制部9a通过对m×n个区域进行上述处理，在分类到气泡类别的区域之外的区域中检测分类到肠毛类别中的区域。之后，控制部9a根据上述处理的检测结果，根据分类到肠毛类别中的区域分别具有的5个特征量，计算作为构成肠毛类别的总体参数的平均矢量μ1和方差协方差矩阵∑1(图41的步骤S246)。并且如果设气泡类别为类别ω2(a＝2)，则控制部9a根据上述处理的检测结果，根据分类到气泡类别中的区域分别具有的5个特征量，计算作为构成气泡类别的总体参数的平均矢量μ2和方差协方差矩阵∑2(图41的步骤S246)。之后，控制部9a使用作为构成肠毛类别的总体参数的平均矢量μ1和方差协方差矩阵∑1、作为构成气泡类别的总体参数的平均矢量μ2和方差协方差矩阵∑2，例如对于图46所示的图像Ii，通过进一步进行本发明的第7实施方式或者第8实施方式所述的图像处理，得到图47所示的最终的分类结果(图41的步骤S247)。
而且本实施方式中对于分类到气泡类别的区域的检测不限于上述检 测，例如也可以以如下所述方式进行。
控制部9a例如对边缘形状扭曲而成为椭圆形形状的气泡，根据下式(28)检测由坐标(xt，yt)所示的附近外周区域Ht。
Q-β≤[((xo-xt)2+(yo-yt)2)1/2]≤Q+β...(28)
并且在上式(28)中，β为1以上的整数，而且[]表示高斯符号。
控制部9a在检测出全部的满足上式(28)的坐标(xt，yt)之后，计算检测出的附近外周区域各自的近似gradient矢量Vgt和连接各坐标(xt，yt)和坐标(xo，yo)的方向矢量Vdt。然后，控制部9a判定Vgt的大小|Vgt|的值是否为阈值(本实施方式中为0.4)以上。控制部9a一旦检测到|Vgt|的值为阈值以上，则根据内积的公式，对于由近似gradient矢量 Vgt和方向矢量Vdt构成的角度θt，用上式(27)计算出cosθt的值。
控制部9a根据使用上式(27)的cosθt的计算结果检测到|cosθt|的值大于0.7时，判断为以一个矩形区域RO为中心的放射状的gradient矢量存在于附近外周区域Ht。进而，控制部9a设判断为存在放射状的gradient矢量的附近外周区域为Ht1，而且将之外的附近外周区域设为Ht0进行二值化，之后对于检测为Ht1的区域进行细线化处理。然后控制部9a即使在进行了细线化处理之后也计量作为Ht1而残留的区域数。当上述区域数为L1个时，控制部9a根据区域数L1和通过使用上式(26)检测出的附近外周区域数T，计算L1/T的值。然后控制部9a根据上述L1/T的值进行判断，如果上述L1/T的值为阈值(例如0.7)以上，则判断为在一个矩形区域RO上存在具有扭曲的边缘形状的大致圆形形状的气泡的中央部。
并且在上述处理中，控制部9a也可以进行如下处理，在以区域RO为中心、从0度到360度的区间内，按角度φ来依次改变方向，并且在从距离(Q-β)到距离(Q+β)的范围内，检测具有放射状的gradient矢量的附近外周区域。此时，控制部9a将判定为存在着具有放射状的gradient矢量的附近外周区域的方向数设为S，而且设附近外周区域数T为[360/φ]个，之后计算S/T的值。并且，控制部9a根据上述S/T的值进行判断，如果上述S/T的值为阈值(例如0.7)以上，则判断为在一个矩 形区域RO上存在气泡的中央部。
而且在本实施方式中，控制部9a检测分类到气泡类别中的区域时所用的矢量不限于近似gradient矢量，例如也可以是平均gradient矢量。
如上所述，根据本实施方式，除了可以获得第7实施方式所述的能够得到实现使用胶囊型内窥镜装置1的观察下的观察效率的提高这样的效果，而且即使在难以根据由色调信息和结构信息所组成的特征量进行分类的情况下，也能精度良好地对输入到终端装置7的图像上的气泡类别的区域进行分类。
另外根据本实施方式，通过对具有明显的结构特征的气泡和肠毛预先进行基于输入到终端装置7的图像的总体参数的计算，可以进一步高精度地对气泡类别和肠毛类别的区域进行分类。
而且在本发明的第7实施方式到第9实施方式中，使用胶囊型内窥镜3的拍摄图像作为图像处理的适用对象，但例如在对于具有不同于胶囊型内窥镜3的结构的内窥镜所拍摄的像的图像使用该图像处理方法的情况下也能获得相同的处理结果。
并且在本发明的第7实施方式到第9实施方式中，使用基于色调信息和结构信息的5个值作为构成特征量的值，但该构成特征量的值可以根据用户的用途等适当进行变更或者追加。
进而在本发明的第7实施方式到第9实施方式中，通过与进行出血或者红肿等的病变部位的检测的图像处理组合使用，从而可以判定病变部位的检测结果是否得自生物体粘膜表面上，其结果可以提高病变部位的检测精度。
而且本发明不限于上述实施方式，当然可以在不脱离本发明主旨的范围内进行各种变更和应用。
本申请以2005年4月13日在日本申请的特愿2005-115960号和特愿2005-115961号作为优先权的基础而提出申请，上述公开内容被引用于本申请说明书、权利要求书和附图中。 

Claims (15)

1.一种图像处理装置，其特征在于，该图像处理装置具有：
图像输入部，其输入由多个颜色信号构成的医用图像；
判定部，其判定上述输入的医用图像是否充分拍摄到了生物体粘膜；以及
控制部，其根据上述判定部的判定结果，控制上述医用图像的显示或者存储中的至少一方，
该图像处理装置还具有：
图像分割部，其将上述医用图像分割为多个区域；
特征量计算部，其分别计算出上述医用图像的上述多个区域的特征量；
区域分类部，其根据上述特征量，识别上述多个区域分别属于多个类别中的哪个类别，并且根据其识别结果，对上述多个区域分别进行分类；
分类判定值计算部，其根据上述区域分类部的分类结果，计算被分类到上述多个类别中的规定类别的区域组在上述多个区域中所占比例；以及
图像分类部，其根据由上述分类判定值计算部计算出的上述比例和与上述比例相关的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，
上述判定部根据上述图像分类部的分类结果进行判定，即，当上述比例为规定阈值以下时，将上述医用图像判定为没有充分拍摄到生物体粘膜的图像；当上述比例大于规定阈值时，将上述医用图像判定为充分拍摄到生物体粘膜的图像。
2.根据权利要求1所述的图像处理装置，其特征在于，上述控制部进行控制，以不显示被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
3.根据权利要求1所述的图像处理装置，其特征在于，上述控制部进行控制，以不存储被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
4.根据权利要求2所述的图像处理装置，其特征在于，上述控制部进行控制，以不存储被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
5.根据权利要求1所述的图像处理装置，其特征在于，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
6.根据权利要求2所述的图像处理装置，其特征在于，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
7.根据权利要求3所述的图像处理装置，其特征在于，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
8.根据权利要求4所述的图像处理装置，其特征在于，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分拍摄到生物体粘膜的上述医用图像。
9.根据权利要求1所述的图像处理装置，其特征在于，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
10.一种图像处理装置，其特征在于，该图像处理装置具有：
图像输入部，其输入时间上连续拍摄的多个医用图像；
区域设定部，其对上述医用图像设定多个区域；
判定部，其对通过上述区域设定部设定的上述多个区域中的拍摄对象进行判定；
图像分割部，其将上述医用图像分割为多个区域；
特征量计算部，其分别计算出通过上述图像分割部分割后的上述多个区域各自的特征量；
区域分类部，其根据上述特征量，识别通过上述图像分割部分割后的上述多个区域分别属于多个类别中的哪个类别，并且根据其识别结果，对通过上述图像分割部分割后的上述多个区域分别进行分类；
分类判定值计算部，其根据上述区域分类部的分类结果，计算被分类到上述多类别内的规定类别的区域组在通过上述图像分割部分割后的上述多个区域中所占比例；
图像分类部，其根据由上述分类判定值计算部计算出的上述比例和与上述比例相关的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类；
确定部，其根据上述图像分类部的分类结果，确定被拍摄到上述医用图像中的脏器；以及
确定结果显示部，其显示上述确定部的确定结果。
11.根据权利要求10所述的图像处理装置，其特征在于，上述多个类别至少具有胃粘膜类别、肠毛类别、以及大小便类别。
12.根据权利要求11所述的图像处理装置，其特征在于，当上述规定类别为胃粘膜类别时，上述确定部判定被拍摄到上述医用图像中的脏器是胃。
13.根据权利要求11所述的图像处理装置，其特征在于，当上述规定类别为肠毛类别时，上述确定部判定被拍摄到上述医用图像中的脏器是小肠。
14.根据权利要求11所述的图像处理装置，其特征在于，当上述规定类别为大小便类别时，上述确定部判定被拍摄到上述医用图像中的脏器是大肠。
15.根据权利要求10所述的图像处理装置，其特征在于，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
CN200680010400.4A 2005-04-13 2006-03-14 图像处理装置 Expired - Fee Related CN101150977B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2005115961A JP4624842B2 (ja) 2005-04-13 2005-04-13 画像処理方法、画像処理装置及びプログラム
JP115960/2005 2005-04-13
JP2005115960A JP4624841B2 (ja) 2005-04-13 2005-04-13 画像処理装置および当該画像処理装置における画像処理方法
JP115961/2005 2005-04-13
PCT/JP2006/305022 WO2006112227A1 (ja) 2005-04-13 2006-03-14 画像処理装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2010105160418A Division CN101966071B (zh) 2005-04-13 2006-03-14 图像处理装置以及图像处理方法

Publications (2)

Publication Number Publication Date
CN101150977A CN101150977A (zh) 2008-03-26
CN101150977B true CN101150977B (zh) 2011-06-08

Family

ID=37410122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680010400.4A Expired - Fee Related CN101150977B (zh) 2005-04-13 2006-03-14 图像处理装置

Country Status (2)

Country Link
JP (1) JP4624841B2 (zh)
CN (1) CN101150977B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5312807B2 (ja) 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5305850B2 (ja) * 2008-11-14 2013-10-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
KR101184876B1 (ko) * 2010-02-11 2012-09-20 삼성전자주식회사 영상과 상호작용이 가능한 캐릭터의 동적 효과를 생성하는 방법 및 장치
JP5690327B2 (ja) * 2010-03-09 2015-03-25 オリンパス株式会社 蛍光内視鏡装置
US9058342B2 (en) 2010-08-04 2015-06-16 Panasonic Intellectual Property Corporation Of America Image classification device, method, program, recording media with program thereon, and integrated circuit
JP5576775B2 (ja) * 2010-11-29 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5757724B2 (ja) * 2010-12-10 2015-07-29 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5576782B2 (ja) * 2010-12-16 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5526044B2 (ja) * 2011-01-11 2014-06-18 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN102984990B (zh) * 2011-02-01 2015-05-20 奥林巴斯医疗株式会社 诊断辅助装置
JP5766986B2 (ja) 2011-03-16 2015-08-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5326064B2 (ja) * 2011-07-12 2013-10-30 オリンパスメディカルシステムズ株式会社 画像処理装置
CN103312950B (zh) * 2012-03-09 2016-12-28 株式会社理光 摄像装置
WO2013140667A1 (ja) * 2012-03-21 2013-09-26 オリンパスメディカルシステムズ株式会社 画像処理装置
CN104469334B (zh) * 2014-12-10 2016-08-17 深圳市理邦精密仪器股份有限公司 一种医疗设备取得图像数据的处理方法及装置
JP6058241B1 (ja) 2015-04-27 2017-01-11 オリンパス株式会社 画像解析装置、画像解析システム、画像解析装置の作動方法
US10025902B2 (en) * 2016-08-12 2018-07-17 Verily Life Sciences Llc Enhanced pathology diagnosis
CN107871314B (zh) * 2016-09-23 2022-02-18 商汤集团有限公司 一种敏感图像鉴别方法和装置
CN110013102B (zh) * 2017-12-22 2021-12-10 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
JP6755273B2 (ja) * 2018-03-09 2020-09-16 オリンパス株式会社 内視鏡業務支援システム
JP7154803B2 (ja) * 2018-04-12 2022-10-18 オムロン株式会社 生体情報測定装置、方法およびプログラム
CN109965829B (zh) * 2019-03-06 2022-05-06 重庆金山医疗技术研究院有限公司 成像优化方法、图像处理装置、成像装置及内窥镜系统
CN110954447B (zh) * 2019-12-11 2022-07-29 中国建材检验认证集团股份有限公司 物理混合物中组分体积掺量的定量测定方法、装置及系统
JP7404857B2 (ja) * 2019-12-23 2023-12-26 コニカミノルタ株式会社 画像判定装置、画像判定方法及びプログラム
JPWO2021132023A1 (zh) * 2019-12-26 2021-07-01
CN112991325B (zh) * 2021-04-14 2021-08-17 上海孚慈医疗科技有限公司 一种基于智能编码的斑状发红图像采集和处理方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11104072A (ja) * 1997-10-03 1999-04-20 Mitsubishi Electric Corp 医療支援システム
JP2002336193A (ja) * 2001-05-17 2002-11-26 Olympus Optical Co Ltd 診断支援装置
JP3862582B2 (ja) * 2001-06-29 2006-12-27 富士フイルムホールディングス株式会社 蛍光画像取得方法および装置並びにプログラム
JP4583704B2 (ja) * 2002-11-01 2010-11-17 オリンパス株式会社 内視鏡撮像装置
JP4493386B2 (ja) * 2003-04-25 2010-06-30 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP3810381B2 (ja) * 2003-04-25 2006-08-16 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP4615963B2 (ja) * 2004-10-29 2011-01-19 オリンパス株式会社 カプセル型内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冒宇清等.肺癌早期诊断系统中形态学识别的研究与实现.《计算机工程》.1999,第25卷(第8期),第21-23页. *

Also Published As

Publication number Publication date
CN101150977A (zh) 2008-03-26
JP2006288878A (ja) 2006-10-26
JP4624841B2 (ja) 2011-02-02

Similar Documents

Publication Publication Date Title
CN101150977B (zh) 图像处理装置
CN101966071B (zh) 图像处理装置以及图像处理方法
CN101947113B (zh) 图像处理装置和该图像处理装置中的图像处理方法
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
CN101351149B (zh) 图像处理装置和该图像处理装置中的图像处理方法
EP1857042B1 (en) Image display apparatus and image display method
US7684599B2 (en) System and method to detect a transition in an image stream
US20070191677A1 (en) Image processing method and capsule type endoscope device
CN101594817B (zh) 医疗用图像处理装置以及医疗用图像处理方法
JP4624842B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP4554647B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2007175434A (ja) 画像処理装置および当該画像処理装置における画像処理方法
JP2007307396A (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP4547402B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
AU2008200088B2 (en) Image Display Apparatus, Image Display Method and Image Display Program
CA2614635C (en) Image display apparatus, image display method, and image display program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151113

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan

Patentee before: Olympus Medical Systems Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110608

Termination date: 20180314