CN101947114B - 图像处理装置和该图像处理装置中的图像处理方法 - Google Patents

图像处理装置和该图像处理装置中的图像处理方法 Download PDF

Info

Publication number
CN101947114B
CN101947114B CN2010105119860A CN201010511986A CN101947114B CN 101947114 B CN101947114 B CN 101947114B CN 2010105119860 A CN2010105119860 A CN 2010105119860A CN 201010511986 A CN201010511986 A CN 201010511986A CN 101947114 B CN101947114 B CN 101947114B
Authority
CN
China
Prior art keywords
image
image processing
classification
processing apparatus
characteristic quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010105119860A
Other languages
English (en)
Other versions
CN101947114A (zh
Inventor
西村博一
野波徹绪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2005380212A external-priority patent/JP4520405B2/ja
Priority claimed from JP2005380210A external-priority patent/JP4472631B2/ja
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN101947114A publication Critical patent/CN101947114A/zh
Application granted granted Critical
Publication of CN101947114B publication Critical patent/CN101947114B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/07—Endoradiosondes
    • A61B5/073—Intestinal transmitters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00025—Operational features of endoscopes characterised by power management
    • A61B1/00036—Means for power saving, e.g. sleeping mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供可实现用户观察的高效化的图像处理装置和该图像处理装置中的图像处理方法。本发明的图像处理装置具有：图像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的多个图像的图像信号；图像分割单元，其将所述多个图像分别分割为多个区域；特征量计算单元，其计算所述多个区域各方中的特征量；簇分类单元，其根据所述特征量和所述特征量的产生频度，将在特征空间上所生成的多个簇分别分类为多个类别中的任一方；子集生成单元，其使用所述多个图像来生成多个子集；以及分类基准计算单元，其根据一个子集内包含的各个图像的在所述特征空间上的所述特征量的分布状态，计算将所述一个子集内包含的图像分类时的分类基准。

Description

图像处理装置和该图像处理装置中的图像处理方法
本申请是原案申请号为No.200680049583.0的发明专利申请(国际申请号：PCT/JP2006/322387，申请日：2006年11月09日，发明名称：图像处理装置和该图像处理装置中的图像处理方法)的分案申请。
技术领域
本发明涉及图像处理装置和该图像处理装置中的图像处理方法，特别是涉及可将未良好拍摄生物体粘膜表面的像的图像去除的图像处理装置和该图像处理装置中的图像处理方法。
背景技术
以往，在医疗领域中，广泛进行使用X射线、CT、MRI、超声波观测装置以及内窥镜装置等的图像摄像设备的观察。在这种图像摄像设备中，内窥镜装置例如具有这样的作用和结构，即：具有插入作为生物体的体腔内的细长的插入部，使用固体摄像元件等摄像单元拍摄由配置在该插入部的前端部的物镜光学系统所成像的体腔内的像并将其作为摄像信号来输出，根据该摄像信号在监视器等显示单元上显示体腔内的像的图像。然后，用户根据显示在监视器等显示单元上的体腔内的像的图像，进行例如体腔内的脏器等的观察。并且，内窥镜装置可直接拍摄消化道粘膜的像。因此，用户可综合观察例如粘膜色调、病变形状以及粘膜表面的细微结构等的各种情况。
而且，近年来，作为可期待具有与所述的内窥镜装置大致相同的实用性的图像摄像设备，例如提出了胶囊型内窥镜装置。一般情况下，胶囊型内窥镜装置包括：胶囊型内窥镜，其通过由被检者从口腔吞入而配置在体腔内，并将所拍摄的该体腔内的像作为摄像信号发送到外部；接收器，其在体腔外接收所发送的该摄像信号之后，蓄积所接收的该摄像信号；以及观察装置，其用于观察基于蓄积在接收器内的摄像信号的体腔内的像的图像。
构成胶囊型内窥镜装置的胶囊型内窥镜伴随消化道的蠕动运动而前进，因而例如从口腔进入体腔内之后到从肛门排出一般需要数小时左右的时间。而且，由于胶囊型内窥镜在进入体腔内之后到被排出期间，大致总是向接收器持续输出摄像信号，因而例如数小时的动态图像中的蓄积在接收器内的作为帧图像的静态图像的张数变得庞大。因此，在用户观察的高效化方面，例如期望提出这样的方案，即：在执行了检测所蓄积的图像中包含有出血部位等病变部位的规定图像的图像处理方法之后，进行不显示或不存储该规定图像以外的图像的处理，从而削减图像的数据量。
作为所述的图像处理方法，例如有PCT国际公开编号WO02/073507号公报所记载的方法。PCT国际公开编号WO02/073507号公报所记载的用于检测生物体内的比色分析异常的方法是具有如下的方法的图像处理方法，即：着眼于正常粘膜和出血部位之间的色调差异，根据将色调设定为特征量的特征空间上的与各平均值的距离，对图像的每个分割区域进行出血部位检测的方法，即，用于检测包含有作为病变部位的出血部位的规定图像的方法。
然而，在PCT国际公开编号WO02/073507号公报所记载的图像处理方法中，具有以下所述的课题。
一般情况下，在消化道中，并不总是仅对生物体粘膜表面的像进行摄像，例如还会在大小便、气泡、粘液或食物残渣等异物的像和生物体粘膜表面的像混合存在的状态下进行摄像。因此，在未考虑到所述的异物存在的PCT国际公开编号WO02/073507号公报所记载的图像处理方法中，例如认为有由于该异物而将正常粘膜误检为出血部位的可能性、以及检测该异物的像占大部分的这种图像的可能性。其结果，产生不能实现用户观察的高效化的课题。
发明内容
本发明是鉴于所述的情况而作成的，本发明的目的是提供如下的图像处理装置和该图像处理装置中的图像处理方法，即：例如，通过将作为生物体粘膜表面的像的胃粘膜和绒毛的像、以及作为异物的像的大小便和气泡的像按图像的每个小区域进行识别并分类，可容易将异物的像占图像的小区域的大部分的这种未良好拍摄生物体粘膜表面的像的图像作为不需要观察的图像去除，而且可根据所述分类结果确定所拍摄的脏器，其结果，可实现用户观察的高效化。
并且，本发明的目的是提供如下的图像处理装置和该图像处理装置中的图像处理方法，即：通过使用针对被分类为生物体粘膜表面的像的各个区域，进一步根据例如所述各个区域具有的特征量来将正常粘膜的像和病变部位的像分类的图像处理方法，可提高病变部位的检测精度。
本发明的第1图像处理装置的特征在于，该图像处理装置具有：图像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的多个图像的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入的图像信号，将所述多个图像分别分割为多个区域；特征量计算单元，其计算由所述图像分割单元所分割的所述多个区域各方中的特征量；簇分类单元，其根据所述特征量和所述特征量的产生频度，在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；子集生成单元，其使用所述多个图像来生成基于分别拍摄所述多个图像的定时的多个子集；以及分类基准计算单元，其根据由所述子集生成单元所生成的一个子集内包含的各个图像的在所述特征空间上的所述特征量的分布状态，计算将所述一个子集内包含的图像分别分类为所述多个类别中的任一方时的分类基准。
本发明的第2图像处理装置的特征在于，在所述第1图像处理装置中，所述分类基准计算单元进一步针对所述多个类别中的在一个子集内未产生所述特征量的类别，不计算所述分类基准。
本发明的第3图像处理装置的特征在于，在所述第1图像处理装置中，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体粘膜相关的类别。
本发明的第4图像处理装置的特征在于，在所述第2图像处理装置中，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体粘膜相关的类别。
本发明的第5图像处理装置的特征在于，在所述第3图像处理装置中，该图像处理装置还具有：分类单元，其根据所述分类基准，进行所述一个子集内包含的一个图像中的各区域的分类；以及病变检测单元，其根据所述一个图像的分类结果，在所述一个图像具有被分类为与所述生物体粘膜相关的类别的区域的情况下，对该各个区域进行用于检测病变部位的处理。
本发明的第6图像处理装置的特征在于，在所述第4图像处理装置中，该图像处理装置还具有：分类单元，其根据所述分类基准，进行所述一个子集内包含的一个图像中的各区域的分类；以及病变检测单元，其根据所述一个图像的分类结果，在所述一个图像具有被分类为与所述生物体粘膜相关的类别的区域的情况下，对该各个区域进行用于检测病变部位的处理。
本发明的第7图像处理装置的特征在于，该图像处理装置具有：图像信号输入单元，其输入基于由具有摄像功能的医疗设备按时序拍摄的多个图像的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入的图像信号，将所述多个图像分别分割为多个区域；特征量计算单元，其计算由所述图像分割单元所分割的所述多个区域各方中的特征量；图像区域分类单元，其根据所述特征量将所述多个区域各方分别分割为多个类别中的任一方；代表值计算单元，其在所述多个图像各方中计算至少一个类别的特征量的代表值；以及变动检测单元，其检测所述代表值的变动为极大的图像或时间的任一方。
本发明的第8图像处理装置的特征在于，在所述第7图像处理装置中，该图像处理装置还具有平滑化单元，该平滑化单元对所述各个代表值应用时序方向的平滑化，所述变动检测单元根据由所述平滑化单元平滑化后的所述代表值，检测所述代表值的变动为极大的图像或时间的任一方。
本发明的第9图像处理装置的特征在于，在所述第7图像处理装置中，所述代表值的变动是根据生物体内的观察部位的变化而产生的。
本发明的第10图像处理装置的特征在于，在所述第8图像处理装置中，所述代表值的变动是根据生物体内的观察部位的变化而产生的。
本发明的第11图像处理装置的特征在于，在所述第7图像处理装置中，所述代表值的变动是根据生物体内的大小便的存在而产生的。
本发明的第12图像处理装置的特征在于，在所述第8图像处理装置中，所述代表值的变动是根据生物体内的大小便的存在而产生的。
本发明的第13图像处理装置的特征在于，在所述第7图像处理装置中，所述代表值的变动是根据生物体内的胆汁的存在而产生的。
本发明的第14图像处理装置的特征在于，在所述第8图像处理装置中，所述代表值的变动是根据生物体内的胆汁的存在而产生的。
本发明的第15图像处理装置的特征在于，在所述第7图像处理装置中，所述代表值的变动是根据生物体内的病变部位的存在而产生的。
本发明的第16图像处理装置的特征在于，在所述第8图像处理装置中，所述代表值的变动是根据生物体内的病变部位的存在而产生的。
本发明的第17图像处理装置的特征在于，在所述第7图像处理装置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第18图像处理装置的特征在于，在所述第8图像处理装置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第19图像处理装置的特征在于，在所述第9图像处理装置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第20图像处理装置的特征在于，在所述第10图像处理装置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第21图像处理装置的特征在于，在所述第11图像处理装置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第22图像处理装置的特征在于，在所述第12图像处理装置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第23图像处理装置的特征在于，在所述第13图像处理装置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第24图像处理装置的特征在于，在所述第14图像处理装置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第25图像处理装置的特征在于，在所述第15图像处理装置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第26图像处理装置的特征在于，在所述第16图像处理装置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第27图像处理装置的特征在于，该图像处理装置具有：图像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的图像的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入的图像信号，将所述图像分别分割为多个区域；特征量计算单元，其计算由所述图像分割单元所分割的所述多个区域各方中的特征量；簇分类单元，其根据所述特征量和所述特征量的产生频度，在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；以及图像区域分类单元，其根据所述簇分类单元的分类结果，将所述多个区域分别分类为所述多个类别中的任一方。
本发明的第28图像处理装置的特征在于，该图像处理装置具有：图像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的图像的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入的图像信号，将所述图像分别分割为多个区域；特征量计算单元，其计算由所述图像分割单元所分割的所述多个区域各方中的特征量；簇分类单元，其根据所述特征量和所述特征量的产生频度，在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；特征量分布信息取得单元，其取得与所述特征空间上的所述特征量的分布状态相关的信息，即特征量分布信息；以及图像区域分类单元，其根据所述特征量分布信息取得单元所取得的所述特征量分布信息，将所述多个区域分别分类为所述多个类别中的任一方。
本发明的第29图像处理装置的特征在于，在所述第27图像处理装置中，所述图像是按时序连续拍摄的多个图像。
本发明的第30图像处理装置的特征在于，在所述第28图像处理装置中，所述图像是按时序连续拍摄的多个图像。
本发明的第31图像处理装置的特征在于，该图像处理装置具有：图像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的图像的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入的图像信号，将所述图像分别分割为多个区域；特征量计算单元，其计算由所述图像分割单元所分割的所述多个区域各方中的多种特征量；第1簇分类单元，其根据所述多种特征量中的一种特征量和该一种特征量的产生频度，在一个特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；第2簇分类单元，其根据所述多种特征量中的另一种特征量和该另一种特征量的产生频度，在另一个特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；以及簇分割单元，其根据所述一个特征空间和所述另一个特征空间上的特征量的分布状态，进行对在所述一个特征空间上所生成的多个簇的分割处理。
本发明的第32图像处理装置的特征在于，在所述第5图像处理装置中，所述病变检测单元设置在所述医疗设备内。
本发明的第33图像处理装置的特征在于，在所述第6图像处理装置中，所述病变检测单元设置在所述医疗设备内。
本发明的第34图像处理装置的特征在于，在所述第7图像处理装置中，所述变动检测单元进行检测所述按时序检测的代表值的变动为极大的图像或时间的任一方的处理。
本发明的第35图像处理装置的特征在于，在所述第27图像处理装置中，该图像处理装置还具有摄像部位判定单元，该摄像部位判定单元在由所述图像区域分类单元所分类的区域中的特定区域在所述图像上占规定比例以上的情况下，将该图像判定为是拍摄了特定脏器的图像。
本发明的第36图像处理装置的特征在于，在所述第28图像处理装置中，该图像处理装置还具有摄像部位判定单元，该摄像部位判定单元在由所述图像区域分类单元所分类的区域中的特定区域在所述图像上占规定比例以上的情况下，将该图像判定为是拍摄了特定脏器的图像。
本发明的第1图像处理装置中的图像处理方法的特征在于，该图像处理方法具有：图像分割步骤，其根据基于由具有摄像功能的医疗设备所拍摄的图像而输入的图像信号，将所述图像分别分割为多个区域；特征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区域各方中的特征量；簇分类步骤，其根据所述特征量和所述特征量的产生频度，在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；子集生成步骤，其使用所述多个图像来生成基于分别拍摄所述多个图像的定时的多个子集；以及分类基准计算步骤，其根据由所述子集生成步骤所生成的一个子集内包含的各个图像的在所述特征空间上的所述特征量的分布状态，计算将所述一个子集内包含的图像分别分类时的分类基准。
本发明的第2图像处理装置中的图像处理方法的特征在于，在所述第1图像处理装置中的图像处理方法中，所述分类基准计算步骤进一步针对所述多个簇中的在一个子集内未产生所述特征量的簇，不计算所述分类基准。
本发明的第3图像处理装置中的图像处理方法的特征在于，在所述第1图像处理装置中的图像处理方法中，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体粘膜相关的类别。
本发明的第4图像处理装置中的图像处理方法的特征在于，在所述第2图像处理装置中的图像处理方法中，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体粘膜相关的类别。
本发明的第5图像处理装置中的图像处理方法的特征在于，在所述第3图像处理装置中的图像处理方法中，该图像处理方法还具有：分类步骤，其根据所述分类基准进行所述一个子集内包含的一个图像中的各区域的分类；以及病变检测步骤，其根据所述一个图像的分类结果，在所述一个图像具有被分类为与所述生物体粘膜相关的类别的区域的情况下，对该各个区域进行用于检测病变部位的处理。
本发明的第6图像处理装置中的图像处理方法的特征在于，在所述第4图像处理装置中的图像处理方法中，该图像处理方法还具有：分类步骤，其根据所述分类基准进行所述一个子集内包含的一个图像中的各区域的分类；以及病变检测步骤，其根据所述一个图像的分类结果，在所述一个图像具有被分类为与所述生物体粘膜相关的类别的区域的情况下，对该各个区域进行用于检测病变部位的处理。
本发明的第7图像处理装置中的图像处理方法的特征在于，该图像处理方法具有：图像分割步骤，其根据基于由具有摄像功能的医疗设备所拍摄的图像而输入的图像信号，将所述图像分别分割为多个区域；特征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区域各方中的特征量；图像区域分类步骤，其根据所述特征量将所述多个区域各方分别分割为多个类别中的任一方；代表值计算步骤，其在所述多个图像各方中计算至少一个类别的特征量的代表值；以及变动检测步骤，其检测所述代表值的变动为极大的图像或时间的任一方。
本发明的第8图像处理装置中的图像处理方法的特征在于，在所述第7图像处理装置中的图像处理方法中，该图像处理方法还具有平滑化步骤，该平滑化步骤对所述各个代表值应用时序方向的平滑化，在所述变动检测步骤中进行这样的处理，即：根据由所述平滑化步骤平滑化后的所述代表值，检测所述代表值的变动为极大的图像或时间的任一方。
本发明的第9图像处理装置中的图像处理方法的特征在于，在所述第7图像处理装置中的图像处理方法中，所述代表值的变动是根据生物体内的观察部位的变化而产生的。
本发明的第10图像处理装置中的图像处理方法的特征在于，在所述第8图像处理装置中的图像处理方法中，所述代表值的变动是根据生物体内的观察部位的变化而产生的。
本发明的第11图像处理装置中的图像处理方法的特征在于，在所述第7图像处理装置中的图像处理方法中，所述代表值的变动是根据生物体内的大小便的存在而产生的。
本发明的第12图像处理装置中的图像处理方法的特征在于，在所述第8图像处理装置中的图像处理方法中，所述代表值的变动是根据生物体内的大小便的存在而产生的。
本发明的第13图像处理装置中的图像处理方法的特征在于，在所述第7图像处理装置中的图像处理方法中，所述代表值的变动是根据生物体内的胆汁的存在而产生的。
本发明的第14图像处理装置中的图像处理方法的特征在于，在所述第8图像处理装置中的图像处理方法中，所述代表值的变动是根据生物体内的胆汁的存在而产生的。
本发明的第15图像处理装置中的图像处理方法的特征在于，在所述第7图像处理装置中的图像处理方法中，所述代表值的变动是根据生物体内的病变部位的存在而产生的。
本发明的第16图像处理装置中的图像处理方法的特征在于，在所述第8图像处理装置中的图像处理方法中，所述代表值的变动是根据生物体内的病变部位的存在而产生的。
本发明的第17图像处理装置中的图像处理方法的特征在于，在所述第7图像处理装置中的图像处理方法中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第18图像处理装置中的图像处理方法的特征在于，在所述第8图像处理装置中的图像处理方法中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第19图像处理装置中的图像处理方法的特征在于，在所述第9图像处理装置中的图像处理方法中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第20图像处理装置中的图像处理方法的特征在于，在所述第10图像处理装置中的图像处理方法中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第21图像处理装置中的图像处理方法的特征在于，在所述第11图像处理装置中的图像处理方法中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第22图像处理装置中的图像处理方法的特征在于，在所述第12图像处理装置中的图像处理方法中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第23图像处理装置中的图像处理方法的特征在于，在所述第13图像处理装置中的图像处理方法中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第24图像处理装置中的图像处理方法的特征在于，在所述第14图像处理装置中的图像处理方法中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第25图像处理装置中的图像处理方法的特征在于，在所述第15图像处理装置中的图像处理方法中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第26图像处理装置中的图像处理方法的特征在于，在所述第16图像处理装置中的图像处理方法中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第27图像处理装置中的图像处理方法的特征在于，该图像处理方法具有：图像分割步骤，其根据基于由具有摄像功能的医疗设备所拍摄的图像而输入的图像信号，将所述图像分别分割为多个区域；特征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区域各方中的特征量；簇分类步骤，其根据所述特征量和所述特征量的产生频度，在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；以及图像区域分类步骤，其根据所述簇分类步骤的分类结果，将所述多个区域分别分类为所述多个类别中的任一方。
本发明的第28图像处理装置中的图像处理方法的特征在于，该图像处理方法具有：图像分割步骤，其根据基于由具有摄像功能的医疗设备所拍摄的图像而输入的图像信号，将所述图像分别分割为多个区域；特征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区域各方中的特征量；簇分类步骤，其根据所述特征量和所述特征量的产生频度，在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；特征量分布信息取得步骤，其取得与所述特征空间上的所述特征量的分布状态相关的信息，即特征量分布信息；以及图像区域分类步骤，其根据由所述特征量分布信息取得步骤所取得的所述特征量分布信息，将所述多个区域分别分类为所述多个类别中的任一方。
本发明的第29图像处理装置中的图像处理方法的特征在于，在所述第27图像处理装置中的图像处理方法中，所述图像是按时序连续拍摄的多个图像。
本发明的第30图像处理装置中的图像处理方法的特征在于，在所述第28图像处理装置中的图像处理方法中，所述图像是按时序连续拍摄的多个图像。
本发明的第31图像处理装置中的图像处理方法的特征在于，该图像处理方法具有：图像分割步骤，其根据基于由具有摄像功能的医疗设备所拍摄的图像而输入的图像信号，将所述图像分别分割为多个区域；特征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区域各方中的多种特征量；第1簇分类步骤，其根据所述多种特征量中的一种特征量和该一种特征量的产生频度，在一个特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；第2簇分类步骤，其根据所述多种特征量中的另一种特征量和该另一种特征量的产生频度，在另一个特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；以及簇分割步骤，其根据所述一个特征空间和所述另一个特征空间上的特征量的分布状态，进行对在所述一个特征空间上所生成的多个簇的分割处理。
本发明的第32图像处理装置中的图像处理方法的特征在于，在所述第5图像处理装置中的图像处理方法中，所述病变检测步骤是在所述医疗设备内进行的。
本发明的第33图像处理装置中的图像处理方法的特征在于，在所述第6图像处理装置中的图像处理方法中，所述病变检测步骤是在所述医疗设备内进行的。
本发明的第34图像处理装置中的图像处理方法的特征在于，在所述第7图像处理装置中的图像处理方法中，所述变动检测步骤进行检测所述按时序检测的代表值的变动为极大的图像或时间的任一方的处理。
本发明的第35图像处理装置中的图像处理方法的特征在于，在所述第27图像处理装置中的图像处理方法中，该图像处理方法还具有摄像部位判定步骤，该摄像部位判定步骤在由所述图像区域分类步骤所分类的区域中的特定区域在所述图像上占规定比例以上的情况下，将该图像判定为是拍摄了特定脏器的图像。
本发明的第36图像处理装置中的图像处理方法的特征在于，在所述第28图像处理装置中的图像处理方法中，该图像处理方法还具有摄像部位判定步骤，该摄像部位判定步骤在由所述图像区域分类步骤所分类的区域中的特定区域在所述图像上占规定比例以上的情况下，将该图像判定为是拍摄了特定脏器的图像。
附图说明
图1是示出作为本发明的第1实施方式的进行图像处理动作的图像处理装置和周边设备的外观的外观正面图。
图2是将生成在第1实施方式的图像处理装置中处理的规定的图像信息的胶囊型内窥镜的一部分切取来示出的要部放大截面图。
图3是示出将规定的图像信息提供给第1实施方式的图像处理装置的胶囊型内窥镜装置的概要内部结构的框图。
图4是示出将规定的图像信息提供给第1实施方式的图像处理装置的胶囊型内窥镜装置的一个使用例的图。
图5是示出从图2所示的胶囊型内窥镜输出的信号的一例的时序图。
图6是说明图2所示的胶囊型内窥镜的位置检测的说明图。
图7是示出在使用图3所示的胶囊型内窥镜装置时的天线单元的要部放大截面图。
图8是说明在使用图3所示的胶囊型内窥镜装置时的屏蔽夹克的说明图。
图9是说明图3所示的胶囊型内窥镜装置的外部装置安装在被检体上的状态的说明图。
图10是示出图2所示的胶囊型内窥镜的电气结构的框图。
图11是示出第1实施方式所涉及的图像处理动作的流程图。
图12是示出通过由控制部进行的处理而生成的在特征空间上的直方图的一例的图。
图13是示出通过由控制部进行的处理而生成的在特征空间上的簇(cluster)的一例的图。
图14是示出图13所示的簇中的在特征空间上的面积或体积小于规定阈值的簇被删除的状况的图。
图15是示出由控制部进行的处理，即边界相接的2个以上的簇的合并或分离判定处理的一例的流程图。
图16是示出被分类为胃粘膜类别和绒毛类别的区域具有的特征量μgp的每个子集的在时间方向的变化的曲线图。
图17是在图16的曲线图所示的特征量μgp时进行朝时间方向的平滑化处理的情况的曲线图。
图18是示出由控制部进行的处理，即病变检测处理的一例的流程图。
图19是示出第2实施方式所涉及的图像处理动作的流程图。
图20是示出在第2实施方式中通过由控制部进行的处理而生成的在特征空间上的直方图的一例的图。
图21是示出在第2实施方式中通过由控制部进行的处理而生成的在特征空间上的簇的一例的图。
图22是示出图21所示的簇中的在特征空间上的面积或体积小于规定阈值的簇被删除的状况的图。
图23是示出由控制部进行的处理，即边界相接的2个以上的簇的合并或分离判定处理的一例的流程图。
图24是示出图19所示的图像处理动作的变形例的流程图。
图25是示出第3实施方式所涉及的图像处理动作的流程图。
图26是示出接在图25所示的处理后进行的图像处理动作的流程图。
图27是示出在第3实施方式中通过由控制部进行的处理而生成的在特征空间上的直方图的一例的图。
图28是示出在第3实施方式中通过由控制部进行的第2无教师聚簇处理而生成的在特征空间上的簇的一例的图。
图29是示出在第3实施方式中通过由控制部进行的第1无教师聚簇处理而生成的在特征空间上的簇的一例的图。
图30是示出在第3实施方式中通过由控制部进行的簇分割处理而将图29所示的簇C分割为簇C1和簇C2的状态的图。
具体实施方式
以下参照附图说明本发明的实施方式。
(第1实施方式)
图1至图18涉及本发明的第1实施方式。
图1是示出作为本发明的第1实施方式的进行图像处理动作的图像处理装置和周边设备的外观的外观正面图。图2是将生成在第1实施方式的图像处理装置中处理的规定的图像信息的胶囊型内窥镜的一部分切取来示出的要部放大截面图。图3是示出将规定的图像信息提供给第1实施方式的图像处理装置的胶囊型内窥镜装置的概要内部结构的框图。图4是示出将规定的图像信息提供给第1实施方式的图像处理装置的胶囊型内窥镜装置的一个使用例的图。图5是示出从图2所示的胶囊型内窥镜输出的信号的一例的时序图。图6是说明图2所示的胶囊型内窥镜的位置检测的说明图。图7是示出在使用图3所示的胶囊型内窥镜装置时的天线单元的要部放大截面图。图8是说明在使用图3所示的胶囊型内窥镜装置时的屏蔽夹克的说明图。图9是说明图3所示的胶囊型内窥镜装置的外部装置安装在被检体上的状态的说明图。图10是示出图2所示的胶囊型内窥镜的电气结构的框图。图11是示出第1实施方式所涉及的图像处理动作的流程图。图12是示出通过由控制部进行的处理而生成的在特征空间上的直方图的一例的图。图13是示出通过由控制部进行的处理而生成的在特征空间上的簇的一例的图。图14是示出图13所示的簇中的在特征空间上的面积或体积小于规定阈值的簇被删除的状况的图。图15是示出由控制部进行的处理，即边界相接的2个以上的簇的合并或分离判定处理的一例的流程图。图16是示出被分类为胃粘膜类别和绒毛类别的区域具有的特征量μgp的每个子集的在时间方向的变化的曲线图。图17是在图16的曲线图所示的特征量μgp时进行朝时间方向的平滑化处理的情况的曲线图。图18是示出由控制部进行的处理，即病变检测处理的一例的流程图。
如图3所示，向作为本发明的第1实施方式的图像处理装置提供规定的图像信息的胶囊型内窥镜装置1的要部构成为具有胶囊型内窥镜3、天线单元4以及外部装置5。
作为医疗设备的胶囊型内窥镜3形成为如下的形状，即：在从作为被检体的患者2的口腔被吞入体腔内而配置在体腔内之后，通过蠕动运动在消化道内前进，而且胶囊型内窥镜3在内部具有：对体腔内进行摄像并生成该摄像图像信息的摄像功能，以及将该摄像图像信息发送到体外的发送功能，详情在后面描述。天线单元4具有多个接收天线11，这些多个接收天线11设置在患者2的身体表面上，并接收从所述胶囊型内窥镜3发送的摄像图像信息，详情在后面描述。外部装置5的外形形成为箱形形状，外部装置5具有对所述天线单元4接收到的摄像图像信息进行各种处理、记录摄像图像信息以及利用摄像图像信息显示摄像图像等的功能，详情在后面描述。在该外部装置5的封装表面上设置有：显示所述摄像图像的液晶监视器12，以及进行各种功能的操作指示的操作部13。
并且，在该外部装置5的封装表面上设置有：用于进行与驱动电源用的电池剩余量相关的警告显示的LED，以及由电源开关等的开关构成的操作部13。并且，在胶囊型内窥镜3的内部设置有使用了CPU和存储器的运算执行部，例如在该运算执行部中可以构成为对所接收和记录的摄像图像信息执行后述的图像处理。
该外部装置5可自由拆装地安装在患者2的身体上，并且如图1所示，通过安装在支座6上，可自由拆装地与作为本发明的第1实施方式的图像处理装置(以下记为终端装置)7连接。该终端装置7例如使用个人计算机，其具有：具有各种数据的处理功能和存储功能的终端主体9，各种操作处理输入用的键盘8a和鼠标8b，以及显示各种处理结果的显示器8c。该终端装置7例如具有进行如下的图像处理的功能来作为基本功能，即：通过支座6取入记录在所述外部装置5内的摄像图像信息，将其写入并记录在内置于终端主体9内的可改写存储器或者可在终端主体9上自由拆装的可改写半导体存储器等便携式存储器内，并将该记录的摄像图像信息显示在显示器8c上。另外，存储在所述外部装置5内的摄像图像信息也可以不通过所述支座6，而通过USB电缆等被取入到终端装置7。
另外，终端装置7进行的图像处理，例如，作为根据从所述外部装置5取入并记录的摄像图像信息选择对应于经过时间而显示的图像的处理、以及后述的图像处理，在终端主体9具有的控制部9a中执行。控制部9a具有CPU(中央处理装置)等，例如在进行所述的处理的情况下，可将处理结果暂时保持在未作图示的寄存器等内。
下面使用图2说明所述胶囊型内窥镜3的外形和内部结构。胶囊型内窥镜3具有截面为U字状的封装构件14和大致半球形状的罩构件14a，该罩构件14a借助粘接剂以水密方式安装在该封装构件14的前端侧的开放端上并由透明构件形成。因此，胶囊型内窥镜3的封装形成为，在封装构件14和罩构件14a连接的状态下具有水密结构和胶囊形状。
在具有该封装构件14和罩构件14a的胶囊形状的内部中空部、而且是相当于所述罩构件14a的半球的圆弧的大致中央的部分上配置有取入经由罩构件14a所射入的观察部位像的物镜15，该物镜15被收纳在镜头框16内。在该物镜15的成像位置配置有作为摄像元件的电荷耦合元件(以下记为CCD)17。并且，在收纳所述物镜15的镜头框16的周围，在同一平面上配置有发出并放射照明光的4个白色系的LED 18(图中仅示出2个LED)。在所述CCD 17的后端侧的所述封装构件14的内部中空部配置有：处理电路19，其进行驱动控制所述CCD 17来生成光电转换后的摄像信号，并对该摄像信号实施规定的信号处理来生成摄像图像信号的摄像处理，以及控制所述LED 18的点亮/不点亮的动作的LED驱动处理；通信处理电路20，其将通过该处理电路19的摄像处理所生成的摄像图像信号转换为无线信号来发送；发送天线23，其将来自该通信处理电路20的无线信号发送到外部；以及多个纽扣型电池21，其提供所述处理电路19和通信处理电路20的驱动用电源。
另外，CCD 17、LED 18、处理电路19、通信处理电路20以及发送天线23配置在未作图示的基板上，这些基板之间通过未作图示的挠性基板连接。并且，在所述处理电路19上具有用于进行后述的图像处理的未作图示的运算电路。即，如图3所示，所述胶囊型内窥镜3具有：具有所述CCD 17、LED 18和处理电路19的摄像装置43，具有所述通信处理电路20的发送器37，以及发送天线23。
下面使用图10说明所述胶囊型内窥镜3的摄像装置43的详细结构。摄像装置43包括：LED驱动器18A，其控制LED 18的点亮/不点亮动作；CCD驱动器17A，其用于控制CCD 17的驱动来传送光电转换后的电荷；处理电路19A，其使用从所述CCD 17所传送的电荷来生成摄像信号，并对该摄像信号实施规定的信号处理来生成摄像图像信号；开关部，其将来自电池21的驱动电源提供给所述LED驱动器18A、CCD驱动器17A、处理电路19A和发送器37；以及定时发生器19B，其将定时信号提供给所述开关部和CCD驱动器17A。另外，所述开关部包括：开关19C，其接通/断开从电池21向所述LED驱动器18A的电源供给；开关19D，其接通/断开向所述CCD 17、CCD驱动器17A和处理电路19A的电源供给；以及开关19E，其接通/断开向所述发送器37的电源供给。并且，从电池21总是向所述定时发生器19B提供驱动电源。
在具有这种结构的胶囊型内窥镜3的摄像装置43中，在开关19C、开关19D、开关19E处于断开状态的情况下，定时发生器19B以外的各部处于非动作状态。然后，当从定时发生器19B输出了定时信号时，所述开关19D接通，由此，由电池21提供了电源的CCD 17、CCD驱动器17A和处理电路19A处于动作状态。
在所述CCD 17的驱动初始时，使CCD 17的电子快门动作，去除不需要的暗电流，之后，定时发生器19B接通开关19C，驱动LED驱动器18A，点亮LED 18，使CCD 17曝光。LED 18在点亮了CCD 17的曝光所需要的规定时间之后，为了降低消耗功率，在开关19C断开的定时熄灭。
在进行了所述CCD 17的曝光的所述规定时间内所蓄积的电荷通过CCD驱动器17A的控制被传送到处理电路19A。处理电路19A根据从CCD 17所传送的电荷生成摄像信号，对该摄像信号实施规定的信号处理来生成内窥镜图像信号。例如在从发送器37发送的信号是模拟无线方式的情况下，处理电路19A生成将复合同步信号重叠在CDS输出信号上的模拟摄像信号，之后将该模拟摄像信号作为内窥镜图像信号输出到发送器37。并且，例如在从发送器37发送的信号是数字无线方式的情况下，处理电路19A生成数字摄像图像信号，并将该数字摄像信号作为内窥镜图像信号输出到发送器37，该数字摄像图像信号是对由模拟/数字转换器所生成的串行数字信号进一步实施扰码等编码处理而得到的。
该发送器37对从所述处理电路19A所提供的内窥镜图像信号，即模拟摄像图像信号或数字摄像图像信号实施调制处理，并从发送天线23无线发送到外部。此时，开关19E通过定时发生器19B进行接通/断开，以便仅在从所述处理电路19A输出了摄像图像信号的定时向发送器37提供驱动电力。
另外，开关19E也可以被控制成，在从处理电路19A输出摄像图像信号起经过规定时间后，向发送器37提供驱动电力。并且，开关19E也可以具有如下的结构，即：开关19E被控制成，根据由设置在胶囊型内窥镜3上的未作图示的pH传感器进行的规定值的pH值检测、由未作图示的湿度传感器进行的规定值以上的湿度检测、由未作图示的压力传感器或未作图示的加速度传感器进行的规定值以上的压力或加速度检测等的检测结果，利用从定时发生器19B输出的信号，在插入到作为被检体的患者2的体腔内时，向发送器37提供电源。
另外，所述胶囊型内窥镜3的摄像装置43通常每秒拍摄2张图像(每秒2帧＝2fps)，然而例如在食道检查的情况下，可每秒拍摄15～30张图像(15fps～30fps)。具体地说，在胶囊型内窥镜3上设置未作图示的定时器电路，利用该定时器电路控制摄像装置43的驱动，以便例如定时器计时在规定时间以内进行每秒摄像张数较多的高速摄像，并在经过了规定时间后，进行每秒摄像张数较少的低速摄像。或者，还可以在胶囊型内窥镜3的电源接通的同时使定时器电路动作，利用该定时器电路控制摄像装置43的驱动，以便例如在患者2刚刚吞入之后直到通过食道的时间内进行高速摄像。还可以分别设置低速摄像用胶囊型内窥镜和高速摄像用胶囊型内窥镜，根据观察对象部位分开使用。
下面说明设置在所述患者2的身体表面上的天线单元4。如图4所示，在吞入胶囊型内窥镜3进行内窥镜检查的情况下，患者2穿上设置有由多个接收天线11构成的天线单元4的夹克10。如图7所示，该天线单元4例如将用于GPS的片状天线(Patch Antenna)那样的具有单向指向性的多个接收天线11配置成使其指向性朝向患者2的身体内方向。即，由于胶囊型内窥镜3的胶囊主体3D留置在身体内，因而所述多个天线11配置成包围该身体内的胶囊主体3D。通过使用该指向性高的天线11，不容易受到由来自身体内的胶囊主体3D以外的电波引起的干扰妨碍的影响。
如图8所示，所述夹克10包括：设置在患者2的身体表面上的所述天线单元4，以及由电磁屏蔽纤维形成以覆盖通过皮带设置在患者2的腰上的外部装置5的主体部5D的屏蔽夹克72。形成该屏蔽夹克72的电磁屏蔽纤维可使用金属纤维、金属化学纤维、含硫化铜的纤维等。另外，该屏蔽夹克72不限于夹克形状，例如也可以是马甲、连衣裙形状等。
并且，作为将所述外部装置5安装在所述屏蔽夹克72上的例子，如图9所示，在所述外部装置5的外部主体5D上设置钥匙孔74，通过将设置在所述屏蔽夹克72上的钥匙75插入所述钥匙孔74，可自由拆装地安装在皮带73上。或者，也可以只在屏蔽夹克72上设置未作图示的口袋，将外部主体5D收纳在该口袋内，或者在外部装置5的外部主体5D和屏蔽夹克72上设置魔术贴(magic tape，注册商标)，利用该魔术贴(注册商标)来安装固定。
即，通过将屏蔽夹克72安装在配置有天线单元4的身体上，对天线单元4屏蔽来自外部的电波，从而更不容易受到由外部电波引起的干扰妨碍的影响。
下面使用图3说明所述天线单元4和外部装置5的结构。所述天线单元4包括：接收从所述胶囊型内窥镜3的发送天线23所发送的无线信号的多个接收天线11a～11d，以及切换该天线11a～11d的天线切换开关45。所述外部装置5包括：接收电路33，其进行将来自天线切换开关45的无线信号转换为摄像图像信号并将其放大等接收处理；信号处理电路35，其对从该接收电路33所提供的摄像图像信号实施规定的信号处理，生成摄像图像的显示用信号和摄像图像数据；液晶监视器12，其根据由该信号处理电路35所生成的摄像图像显示用信号显示摄像图像；存储器47，其存储由所述信号处理电路35所生成的摄像图像数据；以及天线选择电路46，其根据由所述接收电路33进行了接收处理后的无线信号的大小控制所述天线切换开关45。
在所述天线单元4的图中作为接收天线11a～11d所示的多个接收天线11接收从所述胶囊型内窥镜3的发送天线23以一定的电波强度所发送的无线信号。该多个接收天线11a～11d利用来自所述外部装置5的天线选择电路46的天线选择信号来控制天线切换开关45，依次切换接收所述无线信号的接收天线。即，由通过所述天线切换开关45依次切换的各接收天线11a～d所接收的无线信号被输出到所述接收器33。在该接收器33中，检测各接收天线11a～11d的无线信号的接收强度，计算各接收天线11a～11d与胶囊型内窥镜3的位置关系，并对该无线信号进行解调处理来将摄像图像信号输出到信号处理电路35。所述天线选择电路46由来自所述接收器33的输出来控制。
对由所述天线选择电路46实现的天线切换开关45的动作进行说明。假定如图5所示，从所述胶囊型内窥镜3发送的无线信号在摄像图像信号的1帧发送期间内，依次重复作为表示无线信号的接收强度的接收强度信号的发送期间的强度接收期间和作为摄像图像信号的发送期间的影像信号期间来发送。
所述天线选择电路46经由所述接收电路33被提供由各接收天线11a～11d所接收的接收强度信号的接收强度。所述天线选择电路46将从所述接收器33所提供的各天线11a～11d的接收强度信号的强度进行比较，决定接收影像信号期间的摄像图像信号的最佳接收天线，即接收强度信号的强度最高的天线11i(i＝a～d)，生成并输出用于将天线切换电路45切换为该天线11i的控制信号。由此，在其他天线的接收强度信号的接收强度比当前接收图像信号的天线高的情况下，从下一帧切换影像信号期间的接收天线。
这样，每当接收来自胶囊型内窥镜3的无线信号时，将摄像图像信号或接收强度信号的接收强度进行比较，利用接收到该比较结果的天线选择电路46来将接收强度为最大的天线11i指定为图像信号接收用的天线。由此，即使胶囊型内窥镜3在患者2的体内移动，也能接收利用可检测在该移动位置接收强度最高的信号的天线11所取得的图像信号。并且，由于体内的胶囊型内窥镜3的移动速度分为非常慢的部分和快的部分，因而不一定对于1次摄像动作总是进行1次天线切换动作，可以在高速摄像模式等中对于多次摄像动作进行1次天线切换动作。
另外，胶囊型内窥镜3由于在患者2的体内移动，因而可以按适当的时间间隔从外部装置5发送作为检测到电波强度的结果的检测结果信号，并根据该信号更新在胶囊型内窥镜3进行发送时的其输出。这样，即使在胶囊型内窥镜3在患者2的体内移动的情况下，也能设定为适当的发送输出，可防止无为地消耗电池21的能量，从而可将信号的收发状态维持在适当的状态。
下面使用图6说明表示所述多个接收天线11和胶囊型内窥镜3的位置关系的信息的取得方法。另外，在图6中，以将胶囊型内窥镜3设定在3维坐标X、Y、Z的原点的情况为例进行说明。并且，为了简化说明，使用所述多个接收天线11a～11d中的3个接收天线11a、11b、11c，设接收天线11a与接收天线11b之间的距离为Dab，设接收天线11b与接收天线11c之间的距离为Dbc，设接收天线11a与接收天线11c之间的距离为Dac。而且，设该接收天线11a～11c与胶囊型内窥镜3之间具有规定的距离关系。
由胶囊型内窥镜3所发送的一定发送强度的无线信号由各接收天线11j(j＝a、b、c)接收到的情况下的接收强度为距胶囊型内窥镜3(胶囊型内窥镜3的发送天线23)的距离Li(i＝a、b、c)的函数。具体来说，依赖于伴随电波衰减量的距离Li。因此，根据从胶囊型内窥镜3所发送的无线信号由接收天线11j接收的接收强度来计算胶囊型内窥镜3与各接收天线11j之间的距离Li。为了计算该距离Li，将基于所述胶囊型内窥镜3与接收天线11j之间的距离的电波衰减量等的关系数据事先设定在所述天线选择电路46内。并且，将表示该计算出的胶囊型内窥镜3与各接收天线11j的位置关系的距离数据作为胶囊型内窥镜3的位置信息存储在所述存储器47内。根据存储在该存储器47内的摄像图像信息和胶囊型内窥镜3的位置信息，在所述终端装置7的后述图像信息处理方法中，对内窥镜观察结果的位置设定是有用的。
下面对第1实施方式的图像处理装置中的图像处理动作进行说明。
另外，在第1实施方式中，假定由胶囊型内窥镜3所拍摄的体腔内的像的图像由x轴方向的点数ISX×y轴方向的点数ISY(是满足1≤ISX，1≤ISY的值，例如，ISX＝300，ISY＝300)、R(红)G(绿)B(蓝)的3个平面构成，并且各平面中的各像素作为浓度值即RGB值分别取8bit，即0至255的值。并且，在本发明的第1实施方式中，假定将按时序连续拍摄的N张图像(1≤N)中的第i个图像表示为Ii(1≤i≤N)。而且，在第1实施方式中，假定将图像Ii的各平面中的第v个像素(1≤v≤ISX×ISY)分别表示为riv、giv和biv。
并且，第1实施方式的图像处理装置中的图像处理动作作为所述的终端装置7的终端主体9具有的控制部9a中的处理来进行。
首先，控制部9a根据预先设定在终端装置7中的抽样值k(k＝1，2，…)，在由胶囊型内窥镜3按时序连续拍摄的N张图像中，进行每第k个图像Ik、I2k、…、Ink(假定nk是满足1≤nk≤N的整数)的抽样(图11的步骤S1)。例如，在胶囊型内窥镜3每秒拍摄2张图像且抽样值k被设定为20的情况下，控制部9a在由胶囊型内窥镜3所拍摄的N张图像中，对从摄像开始时间起每经过10秒的图像一张一张地进行抽样。
然后，控制部9a将所抽样的(N/k)张(假定N/k是舍去小数部分的整数)图像Ink设定为抽样图像组，之后对该抽样图像组的图像Ink各方进行以下所述的处理。另外，所述抽样图像组除了(N/k)张图像Ink以外，还可以由包含第1个图像I1的(n+1)张图像构成。
控制部9a对构成所输入的图像Ink的Rnk、Gnk和Bnk的各平面进行预处理，例如中值滤波的除噪和逆γ校正，并且为了将光晕像素和暗部像素从以后的处理对象中除去，通过基于阈值的处理进行检测(图11的步骤S2)。然后，基于所述阈值的处理例如作为这样的处理来进行，即：当rnkv、gnkv和bnkv的浓度值全部是小于等于10的值时，视为暗部像素，并且当rnkv、gnkv和bnkv的浓度值全部是大于等于230的值时，视为光晕像素。
控制部9a将所输入的图像Ink例如分割为8×8的多个矩形区域(图11的步骤S3)。另外，在以下说明中，假定将在控制部9a中所分割的矩形区域中的一个区域表示为Hp(p是大于等于1的整数)。
之后，控制部9a计算由基于图像Ink的各个区域Hp中的各像素的RGB值的比的值、即gnkv/rnkv的平均值(以下表示为μgp)和bnkv/gnkv的平均值(以下表示为μbp)构成的表示图像色度的2个特征量(图11的步骤S4)。
然后，控制部9a将在各区域Hp中所得到的特征量μgp和μbp分别离散化，并生成基于离散化后的特征量μgp和μbp的产生频度的在特征空间上的直方图(图11的步骤S5)。具体地说，控制部9a是通过如下方式进行离散化和直方图的生成的，即：将特征量μgp和μbp的值例如用作使大于等于1的值全部为1、同时分别取0至1的值的值，并且将作为0至1的值的特征量μgp和μbp乘以80倍的值化整成整数值。
控制部9a通过将例如规定尺寸的平均值滤波器应用于离散化后的特征量μgp和μbp各方，来将直方图平滑化(图11的步骤S6)。另外，由控制部9a通过进行以上的处理而生成的直方图例如如图12所示。
然后，控制部9a在通过对作为抽样图像组的(N/k)张图像全部进行所述的处理而生成的直方图中，检测产生频度极大的(μgp，μbp)的要素，即峰值点(图11的步骤S7)。具体地说，控制部9a在所生成的直方图中提取由一个要素和该一个要素的8个近邻要素构成的9个要素，之后将所提取的该9个要素中的产生频度为最大的要素检测为峰值点。
控制部9a在所生成的直方图中，通过使用作为基于梯度(gradient)矢量的分析方法的例如寻谷(Valley-Seeking)法来确定(μgp，μbp)＝(0，0)以外的各要素是朝向所检测的各峰值点中的哪个峰值点的要素(图11的步骤S8)。然后，控制部9a进行将朝向同一峰值点的具有梯度矢量的要素作为属于同一簇的要素的处理，即针对直方图内的各要素的无教师聚簇处理(图11的步骤S9)。另外，控制部9a通过进行无教师聚簇处理而生成的各簇例如如图13所示。
另外，控制部9a在所述的无教师聚簇处理中检测出2个以上的簇的边界相接的情况下，可以进一步进行以下所述的该2个以上的簇的合并或分离判定处理。
在该情况下，控制部9a通过在所生成的各簇中的包含8个近邻要素的9个要素中提取包含2个以上的簇的要素，即，通过提取属于2个以上的簇的边界的要素，来判定为该2个以上的簇相接(图15的步骤S21)。然后，控制部9a提取属于成为处理对象的所述2个以上的簇的边界的所述各要素中的产生频度为最小的一个要素，将该一个要素中的产生频度设定为μmin1(图15的步骤S22)。并且，控制部9a提取成为处理对象的所述2个以上的簇中的各峰值点中产生频度为最大的一个峰值点，将该一个峰值点中的产生频度设定为μmax1(图15的步骤S23)。
控制部9a在提取了μmin1和μmax1之后，进行μmin1/μmax1的值与阈值μthr的比较。然后，控制部9a在检测出μmin1/μmax1的值大于阈值μthr的情况下(图15的步骤S24)，将成为处理对象的所述2个以上的簇分别判定为不同的簇，使该2个以上的簇处于分离状态(图15的步骤S25)。并且，控制部9a在检测出μmin1/μmax1的值小于等于阈值μthr的情况下(图15的步骤S24)，判定为成为处理对象的所述2个以上的簇属于同一簇，并将该2个以上的簇合并，生成将产生频度μmax1的峰值点用作新的峰值点的合并后的簇(图15的步骤S26)。另外，假定所述的阈值μthr在第1实施方式中例如是0.1。
控制部9a在进行了所述的无教师聚簇处理(图11的步骤S9所示的处理)之后，针对所生成的各簇，取得该各簇的簇信息(图11的步骤S10)。另外，控制部9a取得的簇信息例如是簇编号、该各簇的成为峰值点的要素、该各簇分别在特征空间上的面积和体积、以及该各簇中的特征量μgp和μbp的平均值矢量之簇的信息。
之后，控制部9a根据所取得的簇信息，例如如图14所示，删除特征空间上的面积或体积小于规定阈值的簇(图11的步骤S11)。
然后，控制部9a通过使用根据特征空间上剩余的各簇中的特征量μgp和μbp的平均值矢量和教师数据集所生成的例如线性判别函数或基于贝叶斯定理的函数等的识别器，来判定特征空间上剩余的各簇属于哪个类别(图11的步骤S12)。另外，在第1实施方式中，假定所述类别是由胃粘膜、绒毛、大小便和气泡构成的4个类别。并且，在第1实施方式中，假定所述教师数据集是构成所述4个类别的教师数据的多个图像。
然后，控制部9a将特征空间上剩余的各簇分类为胃粘膜、绒毛、大小便和气泡这4个类别，并将不能分类为该4个类别的簇分类为不明类别(图11的步骤S13)。
这里，以下详述图11的步骤S12和步骤S13所示的处理的具体例。另外，假定控制部9a对特征空间上剩余的所有簇分别进行以下所述的处理。
在所述4个类别的识别和分类中，设一个类别ωa(a＝1、2、…、C，C表示类别数)产生的先验概率为P(ωa)，设根据特征空间上剩余的各簇中的特征量μgp和μbp所决定的特征矢量为x，设基于来自所有类别的特征矢量x的产生概率的概率密度函数为p(x)，设基于来自一个类别ωa的特征矢量x的产生概率的状态依赖概率密度(多变量正规概率密度)函数为p(x|ωa)，则用于计算所产生的特征矢量x属于一个类别ωa的后验概率P(ωa|x)的计算式表示为下述算式(1)。
P(ωa|x)＝p(x|ωa)P(ωa)/p(x)…(1)
另外，状态依赖概率密度函数p(x|ωa)和概率密度函数p(x)表示为下述算式(2)和算式(3)。
p(x|ωa)＝(1/((2π)d/2|∑a|1/2))exp[(-1/2)(x-μa)t∑a-1(x-μa)]…(2)
p ( x ‾ ) = Σ a = 1 C p ( x ‾ | ωa ) P ( ωa ) . . . ( 3 )
另外，假定在上述算式(2)和算式(3)中，d表示与x的特征量个数相同的维数，μa和∑a表示类别ωa中的特征矢量x的平均矢量和一个类别ωa中的方差协方差矩阵。并且，假定(x-μa)t表示(x-μa)的转置矩阵，|∑a|表示∑a的行列式，∑a-1表示∑a的逆矩阵。而且，为了简化说明，假定先验概率P(ωa)在所有类别中取相等值，并且，假定概率密度函数p(x)由上述算式(3)表示为所有类别公共的函数。
被用作分类基准的平均矢量μa和方差协方差矩阵∑a与所述的基于贝叶斯定理的统计识别器一起是构成一个类别ωa中的总体参数(母数)的要素，在第1个图像I1被输入到终端装置7以前的阶段中，基于构成由胃粘膜、绒毛、大小便和气泡组成的4个类别的教师数据的多个图像，根据在该图像的各个区域中每次都决定的特征矢量x来按每个类别预先计算，之后作为初始值分别记录在终端装置7内。另外，此时，控制部9a可以将图像Ii中的每个类别的特征矢量加上每个类别的教师数据中的特征矢量来估计总体参数。
另外，平均矢量μa是由特征矢量x具有的2个特征量各自的平均值构成且具有与特征矢量x相同维数的矢量。即，假定在特征矢量x表示为x＝(μgp，μbp)的情况下，平均矢量μa使用特征矢量x具有的2个特征量各自的平均值即μ(μgp)和μ(μbp)来表示为μa＝(μ(μgp)，μ(μbp))。并且，假定方差协方差矩阵∑a是表示属于一个类别ωa的特征矢量x的分布偏差和扩展程度的矩阵，对于与特征矢量x的特征量个数相同的维数d，表示为d×d矩阵。
控制部9a使用基于贝叶斯定理的上述算式(1)至算式(3)分别计算：所产生的特征矢量x属于类别ω1的后验概率P(ω1|x)，所产生的特征矢量x属于类别ω2的后验概率P(ω2|x)，所产生的特征矢量x属于类别ω3的后验概率P(ω3|x)，以及所产生的特征矢量x属于类别ω4的后验概率P(ω4|x)。然后，控制部9a假定特征矢量x属于提供该4个后验概率中的最大后验概率P1(ωa|x)的类别ωa来进行识别，根据该识别结果将作为产生特征矢量x的区域的一个簇分类为类别ωa，并计算提供最大后验概率P1(ωa|x)的概率密度函数p1(x|ωa)的值。
然后，为了判定在以上的处理中被分类为类别ωa的一个簇的分类结果是否准确，控制部9a进一步进行基于与平均值的距离的处理、即基于相对于提供最大后验概率P1(ωa|x)的概率密度函数p1(x|ωa)的值的阈值的处理。
具体来说，首先，控制部9a决定阈值矢量xb1，该阈值矢量xb1包含平均矢量μa具有的2个特征量各自的平均值中例如特征量μgp的平均值μ(μgp)加上特征量μgp的标准偏差σ(μgp)与作为规定常数的乘法系数α的积所得的值。另外，该阈值矢量xb1例如表示为下述算式(4)，并且在第1实施方式中，假定乘法系数α的值是1.5。
xb1＝(μ(μgp)+α×σ(μgp)，μbp)…(4)
当使用上述算式(4)决定了阈值矢量xb1时，控制部9a代入阈值矢量xb1作为上述算式(1)、算式(2)和算式(3)的x，计算一个簇被分类的类别ωa的阈值、即概率密度函数p(xb1|ωa)的值。
然后，控制部9a在检测出p1(x|ωa)的值大于p(xb1|ωa)的值时，判定为在所述的处理中把一个簇分类为类别ωa的分类结果是准确的。
并且，控制部9a在检测出p1(x|ωa)的值小于等于p(xb1|ωa)的值时，判定为在所述的处理中把一个簇分类为类别ωa的分类结果是不准确的，并将一个簇分类为不明类别。
然后，控制部9a在进行了所述的类别分类之后，根据作为抽样图像组的(N/k)张图像Ink生成基于拍摄定时的每规定间隔t的子集(图11的步骤S14)。例如，在对从摄像开始时间起每经过10秒的图像一张一张地进行抽样(k被设定为20)、且间隔t被设定为180的情况下，控制部9a将作为抽样图像组的(N/k)张图像Ink中从摄像开始时间到每经过1800秒所包含的图像作为1组子集。
之后，控制部9a在每个子集内所包含的各图像Ink中取得表示在特征空间上所产生的类别种簇分布的类别分布信息、以及表示在该特征空间上所产生的簇内包含的特征量μgp和μbp的每个类别的分布状态的特征量分布信息(图11的步骤S15)。然后，控制部9a根据所述特征量分布信息，计算作为在将图像分类时的分类基准的平均值矢量和方差协方差矩阵，之后构成使用该平均值矢量和该方差协方差矩阵的每个子集的识别器(图11的步骤S16)。然后，控制部9a在通过所述的处理，使用按每个子集所构成的识别器的同时，对N张图像分别进行分类(图11的步骤S17)。通过进行这种处理，控制部9a可在所述的统计识别器中，将用于规定每个类别的分布的多变量正规概率密度函数的总体参数按每个子集设定为最佳。
控制部9a通过进行以上所述的从图11的步骤S1到图11的步骤S17所示的处理，可高精度且高速地进行由胶囊型内窥镜3所拍摄的图像的分类。
另外，控制部9a根据所取得的特征量分布信息，针对在一个子集中未产生的类别，可以不计算平均值矢量和方差协方差矩阵。
并且，以上所述的由控制部9a进行的处理不限于在拍摄了N张图像后进行，例如可以在每次根据间隔t拍摄了一个子集的图像后随时进行。
然后，为了获得更高精度的处理结果，控制部9a可以对在图11的步骤S15所示的处理中所取得的特征量分布信息，进行例如使用在一维中进行了均等加权后的规定尺寸的平滑化滤波器的处理，即平滑化处理。然后，控制部9a通过进行这种平滑化处理，可根据特征量分布信息中的特征量μgp或μbp的变动显著的部分、或者特征量μgp或μbp的变动极大的部分来确定摄像部位和病变部位。
以下记载用于由控制部9a根据所述的平滑化处理的处理结果确定摄像部位和病变部位的方法的一例。
例如，在根据控制部9a在图11的步骤S15所示的处理中所取得的特征量分布信息，表示被分类为胃粘膜类别和绒毛类别的区域具有的特征量μgp的每个子集在时间方向的变化的情况下，该变化表示为图16的曲线图。
本来，生物体粘膜等的色调在持续拍摄同一摄像部位的情况下，不伴有在时间方向的频繁变动。因此，从在时间上接近的图像获得的特征量μgp(或特征量μbp)的值可被认为取类似的值。
然后，控制部9a进行使用根据所述观点而预先设定的规定尺寸的滤波器、例如尺寸20的一维均等加权滤波器的图16的曲线图所示的针对特征量μgp的朝时间方向的平滑化处理，从而特征量μgp的每个子集在时间方向的变化如图17的曲线图所示。另外，图16和图17所示的曲线图表示特征量μgp的每个子集在时间方向的变化，然而对于特征量μbp，也能描绘表示每个子集在时间方向的变化的大致相同的曲线图。
并且，控制部9a在进行了平滑化处理后仍检测出存在特征量μgp或特征量μbp的值显著变动的时间段的情况下，判定为在该时间段中确认了例如摄像部位的变化。或者，控制部9a在进行了平滑化处理后仍检测出存在特征量μgp或特征量μbp的值显著变动的时间段的情况下，判定为在该时间段中确认了存在例如大小便、胆汁的气泡或病变部位等。
例如，胶囊型内窥镜3在从胃向小肠(十二指肠)移动时，随着胆汁等消化液被分泌，拍摄带黄色的被摄体的像。因此，控制部9a在检测出胃粘膜类别和绒毛类别中的特征量μbp的值呈现显著减少的时间段的存在的情况下，可确定为在该时间段中胶囊型内窥镜3的摄像部位从胃变化到小肠。
并且，例如在胶囊型内窥镜3通过作为病变部位之一的出血部位时，由于在该出血部位的血液存在而拍摄带红色的被摄体的像。因此，控制部9a在检测出在同一类别中特征量μgp的值呈现显著减少的时间段的存在的情况下，可确定为在该时间段中胶囊型内窥镜3拍摄了病变部位。
然后，控制部9a除了以上所述的从图11的步骤S1到图11的步骤S17所示的一系列处理以外，还可以进行以下所述的处理。另外，假定在以下所述的处理中，控制部9a取得的类别分布信息包含有胃粘膜、绒毛、大小便、气泡和不明物体这5个类别的信息。并且，所述的类别分布信息不限于包含所述的5种类别信息，还可以包含例如将胃粘膜和绒毛类别用作生物体粘膜类别且是同一类别、并将大小便、气泡和不明类别用作非生物体粘膜类别且是同一类别的这种信息，也可以包含将白色调的生物体粘膜和黄色调的生物体粘膜用作同一类别的信息。
控制部9a在进行了所述的图11的步骤S17的处理后，将所输入的第i个图像Ii分割为例如8×8的多个矩形区域(图18的步骤S31)。
这里，将在所述的图11的步骤S17之前的处理中所生成的第s个(假定s是整数)子集具有的最初的图像的最后的图像分别设为Is1和Is2(假定s1和s2是满足1≤s1＜s2≤N的整数)的情况下，控制部9a取得在所述的处理中所生成的每个子集中的满足s1≤i＜s2或者i＝s2的规定子集中的类别分布信息和特征量分布信息(图18的步骤S32)。
之后，控制部9a根据满足s1≤i＜s2或者i＝s2的规定子集中的类别分布信息和特征量分布信息，识别图像Ii具有的各矩形区域属于由胃粘膜、绒毛、大小便、气泡和不明物体构成的5个类别中的哪个类别，并进行基于该识别结果的分类(图18的步骤S33)。另外，控制部9a可以针对在所述的图11的步骤S17之前的处理中未产生的类别，进行使用根据教师数据预先估计的特征量分布信息的识别和分类。
然后，控制部9a根据图18的步骤S33中的分类结果，判定是否存在图像Ii的各矩形区域中的被分类为胃粘膜或绒毛的区域，即拍摄了生物体粘膜的区域。然后，在存在图像Ii的各矩形区域中的拍摄了生物体粘膜的区域的情况下(图18的步骤S34)，控制部9a通过基于在图像Ii中被判定为拍摄了生物体粘膜的所有区域中的所有特征量的值与在图像Ii中被判定为拍摄了生物体粘膜的一个区域具有的特征量μgp和μbp的值的比较，进行用于检测病变部位的处理，即病变检测处理，例如检测出血或发红的处理(图18的步骤S35)。
具体地说，控制部9a例如根据在图像Ii中被判定为拍摄了生物体粘膜的一个区域具有的特征量μgp和μbp的值、以及作为基于在图像Ii中被判定为拍摄了生物体粘膜的所有区域内包含的各像素的RGB值的比的值的giv/riv的平均值(以下记为μgi)和biv/giv的平均值(以下记为μbi)，进行μgp与μgi的比较以及μbp与μbi的比较，从而检测在图像Ii中拍摄了生物体粘膜的区域中拍摄了出血或发红的区域。通过进行这种处理，控制部9a可针对在伴有类别分类的区域分割结果中被判定为拍摄了生物体粘膜的所有区域的平均色度，将具有被认为呈现出血或发红变化的色度的一个区域准确地检测为出血区域或发红区域。另外，控制部9a可以通过进一步进行基于在图像Ii中被分类为不明类别的一个区域具有的特征量与μgi和μbi的比较结果的处理，除了在图像Ii中拍摄了生物体粘膜的区域以外，还能针对在图像Ii中被分类为不明类别的区域检测拍摄了出血或发红的区域。
在针对所输入的所有N张图像未完成所述处理的情况下(图18的步骤S36)，控制部9a给图像编号i加上1(图18的步骤S37)，并针对下一个图像继续进行图18的步骤S31至步骤S36所示的处理。
另外，控制部9a除了被分类为胃粘膜或绒毛的区域以外，还可以判定为是拍摄了由于胆汁等而变为黄色调的绒毛也是生物体粘膜的区域。
并且，以上所述的图像处理方法不限于仅应用于由胶囊型内窥镜所拍摄的图像，例如可以应用于由构成为具有可插入生物体内并具有摄像功能的插入部的内窥镜所拍摄的图像。
如以上所述，根据第1实施方式中的图像处理方法，可将图像按每个摄像对象高精度且高速地分类，而且可根据所述分类结果确定所拍摄的脏器，结果可实现用户观察的高效化。
并且，根据第1实施方式，通过对被分类为拍摄了生物体粘膜的区域的各个区域进一步使用所述的病变检测处理，可提高病变部位的检测精度。
并且，在第1实施方式中，对控制部9a将一个图像Ii分割为大小8×8的多个矩形区域来进行一系列处理作了说明，然而不限于此，例如可以分割成1×1即每个像素来进行处理，并且也可以分割为其他大小的矩形区域来进行处理。
而且，在第1实施方式中，对控制部9a将一个图像Ii分割为大小8×8的多个矩形区域来进行一系列处理作了说明，然而不限于此，例如可以分割为基于与边缘信息等对应的一个图像Ii中的分类结果的区域来进行处理，并且也可以分割为具有其他形状的区域来进行处理。
(第2实施方式)
图19至图24涉及本发明的第2实施方式。另外，关于具有与第1实施方式相同结构的部分，省略详细说明。并且，关于与第1实施方式相同的构成要素，使用相同标号并省略说明。而且，第2实施方式中使用的胶囊型内窥镜装置1的结构与第1实施方式相同。并且，假定第2实施方式中的图像处理动作作为终端主体9具有的控制部9a中的处理来进行。
图19是示出第2实施方式所涉及的图像处理动作的流程图。图20是示出在第2实施方式中通过由控制部进行的处理而生成的在特征空间上的直方图的一例的图。图21是示出在第2实施方式中通过由控制部进行的处理而生成的在特征空间上的簇的一例的图。图22是示出图21所示的簇中的在特征空间上的面积或体积小于规定阈值的簇被删除的状况的图。图23是示出由控制部进行的处理，即边界相接的2个以上的簇的合并或分离判定处理的一例的流程图。图24是示出图19所示的图像处理动作的变形例的流程图。
对第2实施方式的图像处理装置中的图像处理动作进行说明。
另外，在第2实施方式中，与第1实施方式一样，假定由胶囊型内窥镜3所拍摄的体腔内的像的图像由x轴方向的点数ISX×y轴方向的点数ISY(是满足1≤ISX，1≤ISY的值，例如，ISX＝300，ISY＝300)、R(红)G(绿)B(蓝)的3个平面构成，并且各平面中的各像素作为浓度值即RGB值分别取8bit，即0至255的值。并且，在本发明的第2实施方式中，与第1实施方式一样，假定将按时序连续拍摄的N张图像(1≤N)中的第i个图像表示为Ii(1≤i≤N)。而且，在第2实施方式中，假定将图像Ii的各平面中的第w个像素(1≤w≤ISX×ISY)分别表示为riw、giw和biw。
并且，本实施方式的图像处理装置中的图像处理动作，与第1实施方式一样，作为所述的终端装置7的终端主体9具有的控制部9a中的处理来进行。
首先，控制部9a对构成所输入的第i个图像Ii的Ri、Gi和Bi的各平面进行预处理，例如使用中值滤波的除噪和逆γ校正，并且为了将光晕像素和暗部像素从以后的处理对象中除去，通过基于阈值的处理进行检测(图19的步骤S101)。然后，基于所述阈值的处理例如作为如下的处理来进行，即：当riw、giw和biw的浓度值全部是小于等于10的值时视为暗部像素，并且当riw、giw和biw的浓度值全部是大于等于230的值时视为光晕像素。
之后，控制部9a将所输入的图像Ii分割为例如8×8的多个矩形区域(图19的步骤S102)。另外，在以下说明中，假定将在控制部9a中所分割的矩形区域中的一个区域表示为Ho(o是大于等于1的整数)。
之后，控制部9a计算由基于图像Ii的各个区域Ho中的各像素的RGB值的比的值，即giw/riw的平均值(以下表示为μgo)和biw/giw的平均值(以下表示为μbo)构成的表示图像色度的2个特征量(图19的步骤S103)。
然后，控制部9a将在各区域Ho中得到的特征量μgo和μbo分别离散化，并生成基于离散化后的特征量μgo和μbo的产生频度的在特征空间上的直方图(图19的步骤S104)。具体地说，控制部9a是通过如下方式进行离散化和直方图的生成的，即：将特征量μgo和μbo的值例如用作使大于等于1的值全部为1、同时分别取0至1的值的值，并且将作为0至1的值的特征量μgo和μbo乘以80倍后的值化整成整数值。另外，控制部9a在图像Ii内包含的一个区域Ho中检测出超过规定数量的光晕像素和暗部像素的情况下，可以将该一个区域Ho从以后的处理应用中除去。
控制部9a通过将例如规定尺寸的平均值滤波器应用于离散化后的特征量μgo和μbo各方，来将直方图平滑化(图19的步骤S105)。另外，控制部9a通过进行以上的处理而生成的直方图例如如图20所示。
然后，控制部9a在通过对所输入的图像Ii进行所述的处理而生成的直方图中，检测产生频度为极大的(μgo，μbo)的要素，即峰值点(图19的步骤S106)。具体地说，控制部9a在所生成的直方图中提取由一个要素和该一个要素的8个近邻要素构成的9个要素，之后将所提取的该9个要素中的产生频度最大的要素检测为峰值点。
控制部9a在所生成的直方图中，通过使用作为基于梯度矢量的分析方法的例如寻谷法来确定(μgo，μbo)＝(0，0)以外的各要素是朝向所检测的各峰值点中的哪个峰值点的要素(图19的步骤S107)。然后，控制部9a进行将朝向同一峰值点的具有梯度矢量的要素作为属于同一簇的要素的处理，即针对直方图内的各要素的无教师聚簇处理(图19的步骤S108)。另外，控制部9a通过进行无教师聚簇处理而生成的各簇例如如图21所示。
另外，控制部9a在所述的无教师聚簇处理中检测出2个以上的簇的边界相接的情况下，可以进一步进行以下所述的该2个以上的簇的合并或分离判定处理。
在该情况下，控制部9a通过在所生成的各簇中的包含8个近邻要素的9个要素中提取包含2个以上的簇的要素，即，通过提取属于2个以上的簇的边界的要素，来判定为该2个以上的簇相接(图23的步骤S121)。然后，控制部9a提取属于成为处理对象的所述2个以上的簇的边界的所述各要素中的产生频度最小的一个要素，将该一个要素中的产生频度设定为μmin2(图23的步骤S122)。并且，控制部9a提取成为处理对象的所述2个以上的簇中的各峰值点中的产生频度最大的一个峰值点，将该一个峰值点中的产生频度设定为μmax2(图23的步骤S123)。
控制部9a在提取了μmin2和μmax2之后，进行μmin2/μmax2的值与阈值μthq的比较。然后，控制部9a在检测出μmin2/μmax2的值大于阈值μthq的情况下(图23的步骤S124)，将成为处理对象的所述2个以上的簇分别判定为不同的簇，使该2个以上的簇处于分离状态(图15的步骤S25)。并且，控制部9a在检测出μmin2/μmax2的值小于等于阈值μthq的情况下(图15的步骤S24)，判定为成为处理对象的所述2个以上的簇属于同一簇，并将该2个以上的簇合并，生成将产生频度μmax2的峰值点用作新的峰值点的合并后的簇(图15的步骤S26)。另外，假定所述的阈值μthq在第2实施方式中例如是0.1。
控制部9a在进行了所述的无教师聚簇处理(图19的步骤S108所示的处理)之后，针对所生成的各簇，取得该各簇的簇信息(图19的步骤S109)。另外，控制部9a取得的簇信息例如是簇编号、该各簇的成为峰值点的要素、该各簇分别在特征空间上的面积和体积、以及该各簇中的特征量μgo和μbo的平均值矢量之簇的信息。
之后，控制部9a根据所取得的簇信息，例如如图22所示，删除特征空间上的面积或体积小于规定阈值的簇(图19的步骤S110)。
然后，控制部9a通过使用根据特征空间上剩余的各簇中的特征量μgo和μbo的平均值矢量和教师数据集所生成的例如线性判别函数或基于贝叶斯定理的函数等的识别器等识别器，来判定特征空间上剩余的各簇属于哪个类别(图19的步骤S111)。另外，在第2实施方式中，假定所述类别是由胃粘膜、绒毛、大小便和气泡构成的4个类别。并且，在本实施方式中，假定所述教师数据集是构成所述4个类别的教师数据的多个图像。
然后，控制部9a将特征空间上剩余的各簇分类为胃粘膜、绒毛、大小便和气泡这4个类别，并将不能分类为该4个类别的簇分类为不明类别(图19的步骤S112)。
这里，以下详述图19的步骤S111和步骤S112所示的处理的具体例。另外，假定控制部9a对特征空间上剩余的所有簇分别进行以下所述的处理。
在所述4个类别的识别和分类中，设一个类别ωa(a＝1、2、…、C，C表示类别数)产生的先验概率为P(ωa)，设根据特征空间上剩余的各簇中的特征量μgo和μbo所决定的特征矢量为x，设基于来自所有类别的特征矢量x的产生概率的概率密度函数为p(x)，设基于来自一个类别ωa的特征矢量x的产生概率的状态依赖概率密度(多变量正规概率密度)函数为p(x|ωa)，则用于计算所产生的特征矢量x属于一个类别ωa的后验概率P(ωa|x)的计算式表示为下述算式(5)。
P(ωa|x)＝p(x|ωa)P(ωa)/p(x)…(5)
另外，状态依赖概率密度函数p(x|ωa)和概率密度函数p(x)表示为下述算式(6)和算式(7)。
p(x|ωa)＝(1/((2π)d/2|∑a|1/2))exp[(-1/2)(x-μa)t∑a-1(x-μa)]…(6)
p ( x ‾ ) = Σ a = 1 C p ( x ‾ | ωa ) P ( ωa ) . . . ( 7 )
另外，假定在上述算式(6)和算式(7)中，d表示与x的特征量个数相同的维数，μa和∑a表示类别ωa中的特征矢量x的平均矢量和一个类别ωa中的方差协方差矩阵。并且，假定(x-μa)t表示(x-μa)的转置矩阵，|∑a|表示∑a的行列式，∑a-1表示∑a的逆矩阵。而且，为了简化说明，假定先验概率P(ωa)在所有类别中取相等值，并且，假定概率密度函数p(x)由上述算式(7)表示为所有类别公共的函数。
用作分类基准的平均矢量μa和方差协方差矩阵∑a与所述的基于贝叶斯定理的统计识别器一起是构成一个类别ωa中的总体参数的要素，在第1个图像I1被输入到终端装置7以前的阶段中，基于构成由胃粘膜、绒毛、大小便和气泡组成的4个类别的教师数据的多个图像，根据在该图像的各个区域中每次都决定的特征矢量x来按每个类别预先计算，之后作为初始值分别记录在终端装置7内。另外，此时，控制部9a可以将图像Ii中的每个类别的特征矢量加上每个类别的教师数据中的特征矢量来估计总体参数。
另外，平均矢量μa是由特征矢量x具有的2个特征量各自的平均值构成且具有与特征矢量x相同维数的矢量。即，假定在特征矢量x表示为x＝(μgo，μbo)的情况下，平均矢量μa使用特征矢量x具有的2个特征量各自的平均值即μ(μgo)和μ(μbo)来表示为μa＝(μ(μgo)，μ(μbo))。并且，假定方差协方差矩阵∑a是表示属于一个类别ωa的特征矢量x的分布偏差和扩展程度的矩阵，并且对于与特征矢量x的特征量个数相同的维数d表示为d×d矩阵。
控制部9a使用基于贝叶斯定理的上述算式(5)至算式(7)分别计算：所产生的特征矢量x属于类别ω1的后验概率P(ω1|x)，所产生的特征矢量x属于类别ω2的后验概率P(ω2|x)，所产生的特征矢量x属于类别ω3的后验概率P(ω3|x)，以及所产生的特征矢量x属于类别ω4的后验概率P(ω4|x)。然后，控制部9a假定特征矢量x属于提供该4个后验概率中的最大后验概率P1(ωa|x)的类别ωa来进行识别，根据该识别结果将作为产生特征矢量x的区域的一个簇分类为类别ωa，并计算提供最大后验概率P1(ωa |x)的概率密度函数p1(x|ωa)的值。
然后，为了判定在以上的处理中被分类为类别ωa的一个簇的分类结果是否准确，控制部9a进一步进行基于与平均值的距离的处理、即基于相对于提供最大后验概率P1(ωa|x)的概率密度函数p1(x|ωa)的值的阈值的处理。
具体来说，首先，控制部9a决定阈值矢量xb1，该阈值矢量xb1包含平均矢量μa具有的2个特征量各自的平均值中的例如特征量μgo的平均值μ(μgo)加上特征量μgo的标准偏差σ(μgo)与作为规定常数的乘法系数α的积所得的值。另外，该阈值矢量xb1例如表示为下述算式(8)，并且在本实施方式中，假定乘法系数α的值是1.5。
xb1＝(μ(μgo)+α×σ(μgo)，μbo)…(8)
当使用上述算式(8)决定了阈值矢量xb1时，控制部9a代入阈值矢量xb1作为上述算式(5)、算式(6)和算式(7)的x，计算一个簇被分类的类别ωa的阈值、即概率密度函数p(xb1|ωa)的值。
然后，控制部9a在检测出p1(x|ωa)的值大于p(xb1|ωa)的值时，判定为在所述的处理中把一个簇分类为类别ωa的分类结果是准确的。
并且，控制部9a在检测出p1(x|ωa)的值小于等于p(xb1|ωa)的值时，判定为在所述的处理中把一个簇分类为类别ωa的分类结果是不准确的，并将一个簇分类为不明类别。
控制部9a根据通过进行以上的处理所得到的在特征空间上的各簇具有的要素和各簇的类别分类结果、以及在图像Ii具有的各区域中计算出的特征量μgo和μbo，将该各区域分类为所述4个类别和不明类别中的任一方(图19的步骤S113)。具体地说，例如，控制部9a将该各区域Ho分类为与在各区域Ho中计算出且离散化后的特征量μgo和μbo的值所属的簇被分类的类别相同的类别。
另外，假定在特征空间上存在不属于任何簇的要素的情况下，控制部9a将图像Ii具有的各区域中的与该要素对应的特征量被计算的区域分类为不明类别。
然后，在针对所输入的所有N张图像未完成图19的步骤S101至步骤S113所示的处理的情况下(图19的步骤S114)，控制部9a给图像编号i加上1(图19的步骤S115)，并针对下一个图像继续进行图19的步骤S101至步骤S114所示的处理。并且，在针对所输入的所有N张图像完成了图19的步骤S101至步骤S113所示的处理的情况下(图19的步骤S114)，控制部9a结束一系列处理。
控制部9a通过进行以上所述的图19的步骤S101至步骤S115所示的处理，可高精度且高速地进行由胶囊型内窥镜3所拍摄的图像的分类。
另外，以上所述的处理中的图19的步骤S104所示的处理，即特征空间上的直方图生成的处理不限于针对每一张图像进行，例如可以针对N张图像进行。
在该情况下，首先，控制部9a进行与所述的图19的步骤S101、步骤S102和步骤S103所示的处理相同的处理(图24的步骤S131、图24的步骤S132和图24的步骤S133)。即，控制部9a进行针对所输入的图像Ii的预处理和区域分割，并计算将图像Ii分割后的各区域Ho中的特征量μgo和μbo。
之后，作为与图19的步骤S104所示的处理大致相同的处理，控制部9a将在各区域Ho中所获得的特征量μgo和μbo分别离散化，并生成基于离散化后的特征量μgo和μbo的产生频度的在特征空间上的直方图(图24的步骤S134)。
在针对所输入的所有N张图像未完成图24的步骤S131至步骤S134所示的处理的情况下(图24的步骤S135)，控制部9a给图像编号i加上1(图24的步骤S136)，并针对下一个图像继续进行图24的步骤S131至步骤S135所示的处理。
然后，在针对所输入的所有N张图像完成了图24的步骤S131至步骤S134所示的处理的情况下(图24的步骤S135)，控制部9a进行与所述的图19的步骤S105至步骤S112所示的处理相同的处理(图24的步骤S137至步骤S144)。即，控制部9a根据所生成的直方图进行无教师聚簇处理，并将所得到的各簇分类为胃粘膜、绒毛、大小便和气泡这4个类别，并将不能分类为该4个类别的簇分类为不明类别。另外，假定控制部9a在图24的步骤S144所示的处理，即，将特征空间上剩余的各簇分类为胃粘膜、绒毛、大小便和气泡这4个类别、并将不能分类为该4个类别的簇分类为不明类别的处理中，获得表示在该特征空间上产生的簇内包含的特征量μgo和μbo的每个类别的分布状态的特征量分布信息。
之后，控制部9a针对第一张图像I1，进行将图像I1具有的各区域分类为胃粘膜、绒毛、大小便和气泡这4个类别和不明类别中的任一方的处理(图24的步骤S145和步骤S146)。
然后，在未完成针对所输入的所有N张图像的所述的图24的步骤S146所示的处理的情况下(图24的步骤S147)，控制部9a给图像编号i加上1(图24的步骤S148)，并针对下一个图像继续进行图24的步骤S146和步骤S147所示的处理。并且，在完成了针对所输入的所有N张图像的所述的图24的步骤S146所示的处理的情况下(图24的步骤S147)，控制部9a结束图24的步骤S131至步骤S148所示的一系列处理。
另外，控制部9a可以除了通过进行图24的步骤S144所示的处理而获得的特征量分布信息以外，还一并使用例如将图像I1至IN中的被分类为规定类别的区域Ho占图像Ii内的规定比例以上的图像判定为拍摄了规定脏器的图像的判定基准，从而进行每个图像的摄像部位的判定。具体地说，例如，控制部9a可以将图像I1至IN中的被分类为大小便类别的区域Ho占图像Ii内的10％以上的图像判定为是拍摄了大肠的图像。另外，由控制部9a进行的以上所述的摄像部位判定处理可以与所述的图19的步骤S122中的处理一并进行。
控制部9a通过进行以上所述的图24的步骤S131至步骤S148所示的处理，与进行图19的步骤S101至步骤S115所示的处理的情况相比，可更高精度地进行由胶囊型内窥镜3所拍摄的图像的分类。
并且，作为用于将图像Ii具有的各区域更高精度地分类的处理，控制部9a可以进行例如使用根据在进行图24的步骤S144所示的处理中得到的特征量分布信息而构成的统计识别器等的以下所述的处理。
在该情况下，控制部9a在进行了图24的步骤S144所示的处理之后，根据在图24的步骤S144所示的处理中得到的特征量分布信息计算作为将图像分类时的分类基准的平均值矢量和方差协方差矩阵，构成使用该平均值矢量和该方差协方差矩阵的统计识别器。
然后，控制部9a根据通过所述的处理而构成的统计识别器、以及在图像Ii具有的各区域中计算出的特征量μgo和μbo，将该各区域分类为所述4个类别和不明类别中的任一方。
以上所述的图像处理方法不限于仅应用于由胶囊型内窥镜所拍摄的图像，例如可以应用于由构成为具有可插入生物体内并具有摄像功能的插入部的内窥镜所拍摄的图像。
如以上所述，根据本实施方式，可将图像按每个摄像对象高精度且高速地分类，而且可根据所述分类结果确定所拍摄的脏器，其结果可实现用户观察的高效化。
(第3实施方式)
图25至图30涉及本发明的第3实施方式。另外，关于具有与第1实施方式和第2实施方式相同结构的部分，省略详细说明。并且，关于与第1实施方式和第2实施方式相同的构成要素，使用相同标号并省略说明。而且，第3实施方式中使用的胶囊型内窥镜装置1的结构与第1实施方式和第2实施方式相同。并且，假定第3实施方式中的图像处理动作作为终端主体9具有的控制部9a中的处理来进行。
图25是示出第3实施方式所涉及的图像处理动作的流程图。图26是示出接在图25所示的处理后进行的图像处理动作的流程图。图27是示出在第3实施方式中通过由控制部进行的处理而生成的在特征空间上的直方图的一例的图。图28是示出在第3实施方式中通过由控制部进行的第2无教师聚簇处理而生成的在特征空间上的簇的一例的图。图29是示出在第3实施方式中通过由控制部进行的第1无教师聚簇处理而生成的在特征空间上的簇的一例的图。图30是示出在第3实施方式中通过由控制部进行的簇分割处理而将图29所示的簇C分割为簇C1和簇C2的状态的图。
对第3实施方式的图像处理装置中的图像处理动作进行说明。
首先，控制部9a对构成所输入的第i个图像Ii的Ri、Gi和Bi的各平面进行预处理，例如使用中值滤波的除噪和逆γ校正，并且为了将光晕像素和暗部像素从以后的处理对象中除去，通过基于阈值的处理进行检测(图25的步骤S151)。然后，基于所述阈值的处理例如作为如下的处理来进行，即：当riw、giw和biw的浓度值全部是小于等于10的值时视为暗部像素，并且当riw、giw和biw的浓度值全部是大于等于230的值时视为光晕像素。
之后，控制部9a将所输入的图像Ii分割为例如8×8的多个矩形区域(图25的步骤S152)。
之后，控制部9a计算由基于图像Ii的各个区域Ho中的各像素的RGB值的比的值，即μgo和μbo构成的表示图像色度的2个特征量、以及由giw/riw的方差(以下表示为σ2go)和biw/giw的方差(以下表示为σ2bo)构成的表示图像色度偏差的2个特征量(图25的步骤S153)。另外，作为表示图像色度偏差的特征量，控制部9a不限于计算σ2go和σ2bo，例如可以计算giw/riw的标准偏差σgo以及biw/giw的标准偏差σbo。
控制部9a将在各区域Ho中得到的特征量μgo和μbo分别离散化，并生成基于离散化后的特征量μgo和μbo的产生频度的在特征空间上的直方图(图25的步骤S154)。
控制部9a通过将例如规定尺寸的平均值滤波器应用于离散化后的特征量μgo和μbo各方，来将直方图平滑化(图25的步骤S155)。另外，控制部9a通过进行以上的处理而生成的直方图例如与所述的图20所示大致相同。
然后，控制部9a在通过对所输入的图像Ii进行所述的处理而生成的直方图中，检测产生频度极大的(μgo，μbo)的要素，即峰值点(图25的步骤S156)。具体地说，控制部9a在所生成的直方图中提取由一个要素和该一个要素的8个近邻要素构成的9个要素，之后将所提取的该9个要素中的产生频度最大的要素检测为峰值点。
控制部9a在所生成的直方图中，通过使用作为基于梯度矢量的分析方法的例如寻谷法来确定(μgo，μbo)＝(0，0)以外的各要素是朝向所检测的各峰值点中的哪个峰值点的要素(图25的步骤S157)。然后，控制部9a进行将朝向同一峰值点的具有梯度矢量的要素作为属于同一簇的要素的处理，即针对直方图内的各要素(μgo，μbo)的第1无教师聚簇处理(图25的步骤S158)。另外，控制部9a通过进行第1无教师聚簇处理而生成的各簇例如与所述的图21所示大致相同。
控制部9a在进行了第1无教师聚簇处理之后，针对所生成的各簇，取得该各簇的簇信息(图25的步骤S159)。另外，在图25的步骤S159所示的处理中由控制部9a取得的簇信息例如是簇编号、该各簇的成为峰值点的要素、该各簇分别在特征空间上的面积和体积、以及该各簇中的特征量μgo和μbo的平均值矢量之簇的信息。
之后，控制部9a根据所取得的簇信息，删除特征空间上的面积或体积小于规定阈值的簇(图25的步骤S160)。
然后，控制部9a通过使用根据特征空间上剩余的各簇中的特征量μgo和μbo的平均值矢量和教师数据集所生成的例如线性判别函数或基于贝叶斯定理的函数等的识别器等识别器，来判定特征空间上剩余的各簇属于哪个类别(图25的步骤S161)。另外，在本实施方式中，假定所述类别是由胃粘膜、绒毛、大小便和气泡构成的4个类别。并且，在本实施方式中，假定所述教师数据集是构成所述4个类别的教师数据的多个图像。
然后，控制部9a将特征空间上剩余的各簇分类为胃粘膜、绒毛、大小便和气泡这4个类别，并将不能分类为该4个类别的簇分类为不明类别(图25的步骤S162)。
另外，假定本实施方式中的图25的步骤S161和步骤S162中的处理应用与在第2实施方式中所说明的图19的步骤S111和步骤S112所示的处理大致相同的处理。
并且，控制部9a将在各区域Ho中得到的特征量σ2go和σ2bo分别离散化，并生成基于离散化后的特征量σ2go和σ2bo的产生频度的在特征空间上的直方图(图26的步骤S163)。
控制部9a通过将例如规定尺寸的平均值滤波器应用于离散化后的特征量σ2go和σ2bo各方，来将直方图平滑化(图26的步骤S164)。另外，控制部9a通过进行以上的处理而生成的直方图例如如图27所示。
然后，控制部9a在通过对所输入的图像Ii进行所述的处理而生成的直方图中，检测产生频度极大的(σ2go和σ2bo)的要素，即峰值点(图26的步骤S165)。具体地说，控制部9a在所生成的直方图中提取由一个要素和该一个要素的8个近邻要素构成的9个要素，之后将所提取的该9个要素中的产生频度最大的要素检测为峰值点。
控制部9a在所生成的直方图中，通过使用作为基于梯度矢量的分析方法的例如寻谷法来确定(σ2go，σ2bo)＝(0，0)以外的各要素是朝向所检测的各峰值点中的哪个峰值点的要素(图26的步骤S166)。然后，控制部9a进行将朝向同一峰值点的具有梯度矢量的要素作为属于同一簇的要素的处理，即针对直方图内的各要素(σ2go，σ2bo)的第2无教师聚簇处理(图26的步骤S167)。另外，控制部9a通过进行第2无教师聚簇处理而生成的各簇例如如图28所示。
然后，控制部9a根据通过进行第1无教师聚簇处理而生成的各簇中的各要素(μgo，μbo)的分布状态、以及通过进行第2无教师聚簇处理而生成的各簇中的各要素(σ2go，σ2bo)的分布状态，进行以下所述的通过进行第1无教师聚簇处理而生成的各簇的分割处理(图26的步骤S168)。
另外，在以下中，例如考虑了这样的情况，即：通过进行第2无教师聚簇处理，在表示图像色度偏差的特征空间上生成图28所示的簇A和簇B，并且通过进行第1无教师聚簇处理，在表示图像色度的特征空间上生成图29所示的簇C。
控制部9a在检测出作为一个区域Ho1的特征量计算出的σ2go1和σ2bo1属于簇A、作为该一个区域Ho1的特征量计算出的μgo1和μbo1属于簇C、作为另一个区域Ho2的特征量计算出的σ2go2和σ2bo2属于簇B、以及作为该另一个区域Ho2的特征量计算出的μgo2和μbo2属于簇C时，判断为簇C是2个类别的要素混合存在的簇。然后，控制部9a根据所述检测结果，进行将原来的簇C分割为例如图30所示的μgo1和μbo1所属的一个簇C1、以及μgo2和μbo2所属的另一个簇C2的处理。
之后，控制部9a使用根据特征量μgo1和μbo1的平均值矢量和教师数据集所生成的识别器，进行作为从原来的簇分割出的一个簇的簇C1的类别分类，并使用根据特征量μgo2和μbo2的平均值矢量和教师数据集所生成的识别器，进行作为从原来的簇分割出的另一个簇的簇C2的类别分类(图26的步骤S169)。
另外，所述的图26的步骤S163至步骤S169的处理可以是在图25的步骤S161的处理中，仅对被分类为例如胃粘膜类别和绒毛类别的特定类别的簇进行的处理。
并且，在所述的处理中，控制部9a可以在省略图25的步骤S161和步骤S162的处理的同时，进行图26的步骤S163至步骤S169的处理。具体地说，控制部9a根据通过进行第2无教师聚簇处理而生成的各簇的类别分类结果，进行通过进行第1无教师聚簇处理而生成的各簇的类别分类。
以上所述的图像处理方法不限于仅应用于由胶囊型内窥镜所拍摄的图像，例如可以应用于由构成为具有可插入生物体内并具有摄像功能的插入部的内窥镜所拍摄的图像。
如以上所述，根据第3实施方式，可将图像按每个摄像对象高精度且高速地分类，其结果可实现用户观察的高效化。
并且，根据第3实施方式，除了基于色调的簇生成和类别分类以外，还通过一并进行基于色调偏差的簇生成和类别分类，可高精度地进行在结构上具有明确特征的拍摄了气泡和绒毛的图像的分类。
并且，在本发明的第2实施方式和第3实施方式中，对控制部9a将一个图像Ii分割为大小8×8的多个矩形区域来进行一系列处理作了说明，然而不限于此，例如可以分割成1×1即每个像素来进行处理，并且也可以分割为其他大小的矩形区域来进行处理。
而且，在本发明的第2实施方式和第3实施方式中，对控制部9a将一个图像Ii分割为大小8×8的多个矩形区域来进行一系列处理作了说明，然而不限于此，例如可以分割为基于与边缘信息等对应的一个图像Ii中的分类结果的区域来进行处理，并且也可以分割为具有其他形状的区域来进行处理。
另外，本发明不限于上述各实施方式，当然可以在不背离本发明主旨的范围内进行各种变更和应用。
本申请把在2005年12月28日于日本申请的日本特願2005-380210号和在2005年12月28日于日本申请的日本特願2005-380212号作为优先权主张的基础来提出申请，将上述公开内容引用在本申请说明书、权利要求书和附图中。

Claims (12)

1.一种图像处理装置，其特征在于，该图像处理装置具有：
图像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的多个图像的图像信号；
图像分割单元，其根据在所述图像信号输入单元中所输入的图像信号，将所述多个图像分别分割为多个区域；
特征量计算单元，其计算由所述图像分割单元所分割的所述多个区域各方中的特征量；
簇分类单元，其根据所述特征量和所述特征量的产生频度，在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；
子集生成单元，其使用所述多个图像来生成基于分别拍摄所述多个图像的定时的多个子集；以及
分类基准计算单元，其根据由所述子集生成单元所生成的一个子集内包含的各个图像的在所述特征空间上的所述特征量的分布状态，计算将所述一个子集内包含的图像分别分类为所述多个类别中的任一方时的分类基准。
2.根据权利要求1所述的图像处理装置，其特征在于，而且，所述分类基准计算单元针对所述多个类别中的在一个子集内未产生所述特征量的类别，不计算所述分类基准。
3.根据权利要求1所述的图像处理装置，其特征在于，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体粘膜相关的类别。
4.根据权利要求2所述的图像处理装置，其特征在于，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体粘膜相关的类别。
5.根据权利要求3所述的图像处理装置，其特征在于，该图像处理装置还具有：
分类单元，其根据所述分类基准进行所述一个子集内包含的一个图像中的各区域的分类；以及
病变检测单元，其根据所述一个图像的分类结果，在所述一个图像具有被分类为与所述生物体粘膜相关的类别的区域的情况下，对该各个区域进行用于检测病变部位的处理。
6.根据权利要求4所述的图像处理装置，其特征在于，该图像处理装置还具有：
分类单元，其根据所述分类基准进行所述一个子集内包含的一个图像中的各区域的分类；以及
病变检测单元，其根据所述一个图像的分类结果，在所述一个图像具有被分类为与所述生物体粘膜相关的类别的区域的情况下，对该各个区域进行用于检测病变部位的处理。
7.根据权利要求5所述的图像处理装置，其特征在于，所述病变检测单元设置在所述医疗设备内。
8.根据权利要求6所述的图像处理装置，其特征在于，所述病变检测单元设置在所述医疗设备内。
9.一种图像处理装置中的图像处理方法，其特征在于，该图像处理方法具有：
图像分割步骤，其根据基于由具有摄像功能的医疗设备所拍摄的多个图像而输入的图像信号，将所述多个图像分别分割为多个区域；
特征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区域各方中的特征量；
簇分类步骤，其根据所述特征量和所述特征量的产生频度，在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；
子集生成步骤，其使用所述多个图像来生成基于分别拍摄所述多个图像的定时的多个子集；以及
分类基准计算步骤，其根据由所述子集生成步骤所生成的一个子集内包含的各个图像的在所述特征空间上的所述特征量的分布状态，计算将所述一个子集内包含的图像分别分类时的分类基准。
10.根据权利要求9所述的图像处理装置中的图像处理方法，其特征在于，而且，所述分类基准计算步骤针对所述多个类别中的在一个子集内未产生所述特征量的类别，不计算所述分类基准。
11.根据权利要求9所述的图像处理装置中的图像处理方法，其特征在于，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体粘膜相关的类别。
12.根据权利要求10所述的图像处理装置中的图像处理方法，其特征在于，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体粘膜相关的类别。
CN2010105119860A 2005-12-28 2006-11-09 图像处理装置和该图像处理装置中的图像处理方法 Expired - Fee Related CN101947114B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005380212A JP4520405B2 (ja) 2005-12-28 2005-12-28 画像処理装置および当該画像処理装置における画像処理方法
JP2005380210A JP4472631B2 (ja) 2005-12-28 2005-12-28 画像処理装置および当該画像処理装置における画像処理方法
JP2005-380210 2005-12-28
JP2005-380212 2005-12-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200680049583.0A Division CN101351149B (zh) 2005-12-28 2006-11-09 图像处理装置和该图像处理装置中的图像处理方法

Publications (2)

Publication Number Publication Date
CN101947114A CN101947114A (zh) 2011-01-19
CN101947114B true CN101947114B (zh) 2011-11-16

Family

ID=38228031

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201010511970XA Expired - Fee Related CN101947113B (zh) 2005-12-28 2006-11-09 图像处理装置和该图像处理装置中的图像处理方法
CN2010105119860A Expired - Fee Related CN101947114B (zh) 2005-12-28 2006-11-09 图像处理装置和该图像处理装置中的图像处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201010511970XA Expired - Fee Related CN101947113B (zh) 2005-12-28 2006-11-09 图像处理装置和该图像处理装置中的图像处理方法

Country Status (4)

Country Link
US (4) US20070165932A1 (zh)
EP (3) EP2412300B1 (zh)
CN (2) CN101947113B (zh)
WO (1) WO2007077672A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005000101A2 (en) * 2003-06-12 2005-01-06 University Of Utah Research Foundation Apparatus, systems and methods for diagnosing carpal tunnel syndrome
JP4767591B2 (ja) * 2005-06-01 2011-09-07 オリンパスメディカルシステムズ株式会社 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム
JP4855868B2 (ja) * 2006-08-24 2012-01-18 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
US8213698B2 (en) * 2006-09-19 2012-07-03 Capso Vision Inc. Systems and methods for capsule camera control
US20080126122A1 (en) * 2006-11-28 2008-05-29 General Electric Company Smart bed system and apparatus
US20080122616A1 (en) * 2006-11-28 2008-05-29 General Electric Company Smart bed method
US20080126132A1 (en) * 2006-11-28 2008-05-29 General Electric Company Smart bed system
US20080120784A1 (en) * 2006-11-28 2008-05-29 General Electric Company Smart bed system and apparatus
US20080147442A1 (en) * 2006-12-18 2008-06-19 General Electric Company Smart bed system and apparatus
JP5147308B2 (ja) * 2007-06-20 2013-02-20 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP4959445B2 (ja) 2007-07-04 2012-06-20 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5312807B2 (ja) * 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5281826B2 (ja) * 2008-06-05 2013-09-04 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5576384B2 (ja) 2010-01-29 2014-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ データ処理装置
FR2956496B1 (fr) * 2010-02-17 2012-03-09 Commissariat Energie Atomique Procede de mesure en ligne de rayonnements ionisants
US8808170B2 (en) * 2010-03-10 2014-08-19 Mark A. Stern Multiple-channel endoscopic biopsy sheath
JP4861540B2 (ja) * 2010-05-10 2012-01-25 オリンパスメディカルシステムズ株式会社 医療装置
US8768024B1 (en) * 2010-06-01 2014-07-01 Given Imaging Ltd. System and method for real time detection of villi texture in an image stream of the gastrointestinal tract
US9122955B2 (en) * 2010-06-28 2015-09-01 Ramot At Tel-Aviv University Ltd. Method and system of classifying medical images
US8922633B1 (en) 2010-09-27 2014-12-30 Given Imaging Ltd. Detection of gastrointestinal sections and transition of an in-vivo device there between
US8965079B1 (en) 2010-09-28 2015-02-24 Given Imaging Ltd. Real time detection of gastrointestinal sections and transitions of an in-vivo device therebetween
JP5165161B2 (ja) * 2011-02-23 2013-03-21 オリンパスメディカルシステムズ株式会社 位置情報推定システム
EP2789288A4 (en) * 2011-12-08 2016-02-24 Olympus Corp IMAGE PROCESSOR, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM
CN102708380B (zh) * 2012-05-08 2014-02-12 东南大学 一种基于机器视觉的室内一般物体识别方法
US9324145B1 (en) 2013-08-08 2016-04-26 Given Imaging Ltd. System and method for detection of transitions in an image stream of the gastrointestinal tract
CN104545925A (zh) * 2013-10-28 2015-04-29 英业达科技有限公司 健康监控器
JP6335007B2 (ja) * 2014-04-18 2018-05-30 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の作動方法、及びプログラム
JP6249867B2 (ja) * 2014-04-18 2017-12-20 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の撮像制御方法、及びプログラム
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
WO2016191710A1 (en) 2015-05-27 2016-12-01 Senseonics, Incorporated Wireless analyte monitoring
CN105608433B (zh) * 2015-12-23 2018-11-16 北京化工大学 一种基于核协同表达的高光谱图像分类方法
US10314514B2 (en) * 2016-05-29 2019-06-11 Ankon Medical Technologies (Shanghai) Co., Ltd. System and method for using a capsule device
CN106909220A (zh) * 2017-02-21 2017-06-30 山东师范大学 一种适用于触控的视线交互方法
WO2019064704A1 (ja) * 2017-09-29 2019-04-04 オリンパス株式会社 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
US11857151B2 (en) 2018-09-12 2024-01-02 Steris Instrument Management Services, Inc. Systems and methods for standalone endoscopic objective image analysis
CN109460723A (zh) * 2018-10-26 2019-03-12 思百达物联网科技(北京)有限公司 对鼠情进行统计的方法、装置以及存储介质
KR20200107555A (ko) * 2019-03-08 2020-09-16 에스케이텔레콤 주식회사 영상 분석 장치, 방법 및 이에 이용되는 영상 분석 모델의 생성 방법
US10799090B1 (en) * 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery
EP4042192A4 (en) * 2019-10-10 2023-04-12 Ouster, Inc. TIMELINE MEASUREMENT PROCESSING FOR LIDAR ACCURACY
CN112305441B (zh) * 2020-10-14 2023-06-16 北方工业大学 一种集成式聚类下的动力电池健康状态评估方法
CN112837275B (zh) * 2021-01-14 2023-10-24 长春大学 胶囊内窥镜图像器官分类方法、装置、设备及存储介质
JP2022149284A (ja) * 2021-03-25 2022-10-06 富士フイルムビジネスイノベーション株式会社 情報処理装置、及びプログラム
KR102625668B1 (ko) * 2021-07-07 2024-01-18 성신여자대학교 연구 산학협력단 캡슐 내시경 장치 및 병변 진단 지원 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0667115A1 (en) * 1994-01-17 1995-08-16 State Of Israel - Ministry Of Defence An "in vivo" video camera system
CN1489446A (zh) * 2000-12-19 2004-04-14 ������ɽ���� 用于具有多个测量装置的同期荧光和反射测量的方法和设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4851984A (en) * 1987-08-03 1989-07-25 University Of Chicago Method and system for localization of inter-rib spaces and automated lung texture analysis in digital chest radiographs
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
IL106691A (en) * 1993-08-13 1998-02-08 Sophis View Tech Ltd System and method for diagnosis of living tissue diseases
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
JP3778229B2 (ja) * 1996-05-13 2006-05-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、および画像処理システム
US6611630B1 (en) * 1996-07-10 2003-08-26 Washington University Method and apparatus for automatic shape characterization
US6331116B1 (en) * 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
CA2271868A1 (en) * 1996-11-21 1998-05-28 Patrick Prentiss Pipeline processor for medical and biological image analysis
US6317617B1 (en) * 1997-07-25 2001-11-13 Arch Development Corporation Method, computer program product, and system for the automated analysis of lesions in magnetic resonance, mammogram and ultrasound images
US6996549B2 (en) * 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
US6757412B1 (en) * 1998-10-21 2004-06-29 Computerzied Thermal Imaging, Inc. System and method for helping to determine the condition of tissue
GR1004180B (el) * 2000-03-28 2003-03-11 ����������� ����� ��������� (����) Μεθοδος και συστημα χαρακτηρισμου και χαρτογραφησης αλλοιωσεων των ιστων
US7024024B1 (en) * 2000-11-14 2006-04-04 Axle International System for contrast echo analysis
KR100374791B1 (ko) * 2000-11-22 2003-03-04 삼성전자주식회사 영상의 영역 구분 방법 및 장치
JP2002190018A (ja) 2000-12-22 2002-07-05 Oki Electric Ind Co Ltd 画像領域分類装置および画像領域分類方法
KR100450793B1 (ko) * 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
DE60234571D1 (de) * 2001-01-23 2010-01-14 Health Discovery Corp Rechnergestützte bildanalyse
JP4112368B2 (ja) * 2001-02-13 2008-07-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 連続したデータセットの分析
ES2365696T3 (es) 2001-03-14 2011-10-10 Given Imaging Ltd. Método y sistema para detectar anormalidades colorimétricas.
JP2002329188A (ja) * 2001-04-27 2002-11-15 Fuji Xerox Co Ltd データ分析装置
US7231071B2 (en) * 2001-09-13 2007-06-12 Fujifilm Corporation Abnormal shadow detecting system
WO2003098522A1 (en) * 2002-05-17 2003-11-27 Pfizer Products Inc. Apparatus and method for statistical image analysis
JP4652694B2 (ja) 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
US7536048B2 (en) * 2004-01-15 2009-05-19 Xerox Corporation Method and apparatus for automatically determining image foreground color
JP4767591B2 (ja) * 2005-06-01 2011-09-07 オリンパスメディカルシステムズ株式会社 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム
JP2010521272A (ja) * 2007-03-16 2010-06-24 エスティーアイ・メディカル・システムズ・エルエルシー 標準化された撮像データを実現するために撮像デバイスに自動品質フィードバックを与える方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0667115A1 (en) * 1994-01-17 1995-08-16 State Of Israel - Ministry Of Defence An "in vivo" video camera system
CN1489446A (zh) * 2000-12-19 2004-04-14 ������ɽ���� 用于具有多个测量装置的同期荧光和反射测量的方法和设备

Also Published As

Publication number Publication date
EP2412300B1 (en) 2014-03-26
US8369626B2 (en) 2013-02-05
EP2412301A2 (en) 2012-02-01
CN101947113B (zh) 2011-12-07
US8363962B2 (en) 2013-01-29
EP1969992B1 (en) 2012-05-02
US20110255758A1 (en) 2011-10-20
US8300955B2 (en) 2012-10-30
EP1969992A1 (en) 2008-09-17
EP2412300A3 (en) 2012-04-25
EP1969992A4 (en) 2011-04-27
CN101947114A (zh) 2011-01-19
EP2412301A3 (en) 2012-05-02
WO2007077672A8 (ja) 2007-10-11
CN101947113A (zh) 2011-01-19
EP2412301B1 (en) 2014-04-23
WO2007077672A1 (ja) 2007-07-12
US20110255759A1 (en) 2011-10-20
US20070165932A1 (en) 2007-07-19
US20110255757A1 (en) 2011-10-20
EP2412300A2 (en) 2012-02-01

Similar Documents

Publication Publication Date Title
CN101947114B (zh) 图像处理装置和该图像处理装置中的图像处理方法
CN101351149B (zh) 图像处理装置和该图像处理装置中的图像处理方法
CN101966071B (zh) 图像处理装置以及图像处理方法
CN101150977B (zh) 图像处理装置
JP4615963B2 (ja) カプセル型内視鏡装置
JP4912787B2 (ja) 医療用画像処理装置及び医療用画像処理装置の作動方法
JP4652694B2 (ja) 画像処理方法
JP4520405B2 (ja) 画像処理装置および当該画像処理装置における画像処理方法
JP4624842B2 (ja) 画像処理方法、画像処理装置及びプログラム
US20090080768A1 (en) Recognition method for images by probing alimentary canals
AU2008200087A1 (en) Image Display Apparatus, Image Display Method and Image Display Program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151119

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Patentee before: Olympus Medical Systems Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111116

Termination date: 20171109

CF01 Termination of patent right due to non-payment of annual fee