CN102469925A - 图像处理装置、图像处理程序以及图像处理方法 - Google Patents

图像处理装置、图像处理程序以及图像处理方法 Download PDF

Info

Publication number
CN102469925A
CN102469925A CN2010800289897A CN201080028989A CN102469925A CN 102469925 A CN102469925 A CN 102469925A CN 2010800289897 A CN2010800289897 A CN 2010800289897A CN 201080028989 A CN201080028989 A CN 201080028989A CN 102469925 A CN102469925 A CN 102469925A
Authority
CN
China
Prior art keywords
region
interest
group
characteristic point
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800289897A
Other languages
English (en)
Other versions
CN102469925B (zh
Inventor
弘田昌士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN102469925A publication Critical patent/CN102469925A/zh
Application granted granted Critical
Publication of CN102469925B publication Critical patent/CN102469925B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明的目的在于能够减轻观察者观察沿着时间序列拍摄出的时间序列图像组的负担。在本发明的某个实施方式的图像处理装置(2)中，关注区域检测部(11)检测时间序列顺序的体内图像组内的关注区域。特征量计算部(12)计算表示所述关注区域的特征的特征量。区域分类部(13)根据所述关注区域的特征量、和包含所述关注区域的时间序列图像的时间序列位置，将所述关注区域分类到任意一个区域组。组特征量计算部(14)计算表示每个所述区域组的特征的组特征量。区域选择部(15)根据所述组特征量，选择所述区域组的代表区域。代表图像输出部(16)输出所述时间序列图像组中的包含所述代表区域的代表图像。

Description

图像处理装置、图像处理程序以及图像处理方法
技术领域
本发明涉及图像处理装置、图像处理程序以及图像处理方法，尤其涉及从沿着时间序列拍摄被检体的管腔内等而得到的时间序列图像组中选择应关注的代表图像组并输出的图像处理装置、图像处理程序以及图像处理方法。
背景技术
一直以来，出现了拍摄被摄体的图像的数字照相机或数字摄像机等各种形式的电子摄像装置。电子摄像装置能够沿着时间序列连续拍摄被摄体图像，沿着时间序列连续拍摄的被摄体的图像组(以下称作时间序列图像组)能够通过显示到液晶显示器等显示装置上依次进行观察。
尤其是，在近年来的医疗领域中，提出了能够沿着时间序列依次拍摄患者等被检体的体内图像的胶囊内窥镜。胶囊内窥镜是在能够由被检体咽下的小型胶囊型壳体内部具有摄像功能和无线通信功能等的医疗设备。胶囊内窥镜在从被检体口中被吞下后，通过蠕动运动等在消化管内部移动，并且以预定的摄像速率沿着时间序列依次拍摄消化管内的图像(以下称作体内图像)，并将所得到的体内图像依次无线发送到被检体外部的接收装置。被检体内部的胶囊内窥镜在将体内图像组发送到接收装置后，最终被排出到被检体外部。另外，由胶囊内窥镜拍摄的体内图像组是时间序列图像组的一例。
此处，由胶囊内窥镜拍摄的体内图像组的图像张数一般为几万张以上的巨大数量。例如，胶囊内窥镜在从由被检体口服摄取到与粪便等一起被排出到体外的体内停留期间(大约8～10个小时)内，以2～4帧/秒的摄像速率按照时间序列顺序连续拍摄体内图像。
现有技术文献
专利文献
【专利文献1】日本特开2005-192880号公报
【专利文献2】日本特开2005-236993号公报
发明概要
发明要解决的课题
本发明的目的在于提供一种能够减轻观察者观察沿着时间序列拍摄的时间序列图像组的负担的图像处理装置、图像处理程序以及图像处理方法。
用于解决课题的手段
为了达到上述目的，本发明的某个方式的图像处理装置具有：关注区域检测部，其检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域；计算处理部，其计算表示所述关注区域的特征的特征量；区域分类部，其根据所述关注区域的特征量、和包含所述关注区域的时间序列图像的时间序列位置将所述关注区域分类到任意一个区域组；组特征量计算部，其计算表示每个所述区域组的特征的组特征量；区域选择部，其根据所述组特征量，从所述区域组中选择代表属于所述区域组的所述关注区域的1个以上的代表区域；以及代表图像输出部，其输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。
另外，所谓时间序列图像的时间序列位置，表示时间序列图像组内的各时间序列图像在时间序列上的位置，即与拍摄各时间序列图像的定时相关的信息。与该定时相关的信息可以是从构成沿着时间序列拍摄出的时间序列图像组的时间序列图像中的起始时间序列图像起经过的时间信息(秒、分钟、小时等)，也可以是进行拍摄的时刻本身(几点几分几秒)的信息。在任意一个信息的情况下，沿着时间序列拍摄出的各时间序列图像都能够根据这些信息在时间序列上进行配置。此外，关注区域是指对于观察者而言观察的必要性高的待关注的区域，如果沿着时间序列拍摄出的时间序列图像组例如是拍摄体内而得到的体内图像组，则可列举粘膜区域或病变区域作为该关注区域的例子。另一方面，对于观察者而言观察的必要性低的区域与非关注区域相当，如果沿着时间序列拍摄出的时间序列图像组例如是拍摄体内而得到的体内图像组，则可列举气泡或大便等区域作为该非关注区域的例子。
此外，本发明的其他方式的图像处理程序使计算机执行以下过程：关注区域检测过程，检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域；计算处理过程，计算表示所述关注区域的特征的特征量；区域分类过程，根据所述关注区域的特征量、和包含所述关注区域的时间序列图像的时间序列位置将所述关注区域分类到任意一个区域组；组特征量计算过程，计算表示每个所述区域组的特征的组特征量；区域选择过程，根据所述组特征量，从所述区域组中选择代表属于所述区域组的所述关注区域的1个以上的代表区域；以及代表图像输出过程，其输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。
此外，本发明的其他方式的图像处理方法包含以下步骤：关注区域检测步骤，检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域；计算处理步骤，计算表示所述关注区域的特征的特征量；区域分类步骤，根据所述关注区域的特征量、和包含所述关注区域的时间序列图像的时间序列位置将所述关注区域分类到任意一个区域组；组特征量计算步骤，计算表示每个所述区域组的特征的组特征量；区域选择步骤，根据所述组特征量，从所述区域组中选择代表属于所述区域组的所述关注区域的1个以上的代表区域；以及代表图像输出步骤，输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。
发明的效果
根据本发明的图像处理装置、图像处理程序以及图像处理方法，能够起到减轻观察者观察沿着时间序列拍摄出的时间序列图像组的负担的效果。
附图说明
图1是示意性示出具有本发明实施方式1的图像处理装置的图像显示系统的一个结构例的框图。
图2是例示本发明实施方式1的图像处理装置的处理过程的流程图。
图3是例示体内图像组所包含的各关注区域的分类处理的处理过程的流程图。
图4是示出体内图像组内所包含的关注区域的特征点的特征空间内的分布状态的一个具体例的示意图。
图5是示出将特征空间内的各特征点分类为特征点群后的状态的示意图。
图6是示出将在时间序列上相邻或相同的特征点所属的多个特征点群合并为同一群的状态的示意图。
图7是例示各关注区域组的代表区域选择处理的处理过程的流程图。
图8是示出表示来自关注区域组的代表区域的选择数与关注区域组的组特征量之间的关系的函数的一个具体例的示意图。
图9是说明从关注区域组选择与组特征量对应的选择数的代表区域的状态的示意图。
图10是示意性示出具有本发明实施方式2的图像处理装置的图像显示系统的一个结构例的框图。
图11是例示实施方式2中的各关注区域组的代表区域选择处理的处理过程的流程图。
图12是用于具体说明实施方式2中的代表区域选择处理的示意图。
具体实施方式
以下，根据附图详细说明本发明的图像处理装置、图像处理程序以及图像处理方法的实施方式。另外，以下，例示被检体内部的胶囊内窥镜按照时间序列顺序拍摄的体内图像组，作为沿着时间序列拍摄的时间序列图像组的一例，对从该体内图像组中输出包含待观察的关注区域的体内图像作为代表图像的图像处理装置、图像处理程序以及图像处理方法进行说明，但是本发明不被本实施方式限定。
(实施方式1)
图1是示意性示出具有本发明实施方式1的图像处理装置的图像显示系统的一个结构例的框图。如图1所示，本实施方式1的图像显示系统100具有：图像输入装置1，其输入被检体的体内图像组；图像处理装置2，其进行用于从由图像输入装置1输入的体内图像组中输出包含关注区域的1帧以上的体内图像的各种图像处理；以及显示装置3，其对由图像处理装置2输出的1帧以上的体内图像进行显示。
图像输入装置1是用于将被检体的体内图像组输入到图像处理装置2的装置。具体而言，图像输入装置1例如是能够拆装可移动型的记录介质的数据输入接口。图像输入装置1可拆装地插装有保存了由胶囊内窥镜等拍摄的被检体的体内图像组的记录介质，并将从该记录介质取入的体内图像组输入到图像处理装置2。
图像处理装置2进行用于从由图像输入装置1输入的体内图像组中提取包含关注区域的体内图像的各种图像处理。具体而言，图像处理装置2从图像输入装置1取得被检体的体内图像组，并对该所取得的体内图像组所包含的各体内图像进行图像处理，从而从该体内图像组中提取1帧以上的包含关注区域的体内图像。图像处理装置2向显示装置3输出1帧以上的包含关注区域的体内图像，作为代表该体内图像组内的各体内图像的代表图像。另外，关于图像处理装置2的详细结构将后述。
此处，在本实施方式1中，被检体的体内图像组所包含的关注区域是待由医生或护士等观察者观察的关注的体内区域(体内部位)，例如是消化管内部的病变区域、粘膜区域、医疗处置后的活体组织区域等。
显示装置3作为显示输出1帧以上的体内图像组中的包含关注区域的体内图像的用户接口发挥功能。具体而言，显示装置3使用CRT显示器或液晶显示器等期望的显示器实现。显示装置3取得图像处理装置2从体内图像组中提取出的1帧以上的代表图像，并显示该所取得的1帧以上的代表图像。
另外，显示装置3显示的代表图像是拍摄被检体内部的病变区域等关注区域后的体内图像，观察者能够通过观察所显示的代表图像，检查被检体的消化管内部。
接着，对本发明实施方式1的图像处理装置2的结构进行详细说明。如图1所示，本实施方式1的图像处理装置2具有：运算部10，其对体内图像组内的各体内图像进行运算处理等；输入部20，其输入图像处理所需的设定信息等各种信息；存储部30，其存储体内图像等各种数据；以及控制部40，其控制图像处理装置2的各构成部分。
运算部10对通过图像输入装置1输入的体内图像组内的各体内图像进行各种运算处理。具体而言，运算部10具有：关注区域检测部11，其检测体内图像组所包含的关注区域；特征量计算部12，其计算关注区域检测部11检测到的关注区域的特征量；以及区域分类部13，其根据特征量计算部12计算出的特征量、和包含关注区域的体内图像的时间序列位置对关注区域进行分类。并且，运算部10具有：组特征量计算部14，其计算由区域分类部13分类的关注区域所属的区域组的特征量(以下称作组特征量)；区域选择部15，其选择代表属于区域组的关注区域的1个以上的代表区域；以及代表图像输出部16，其输出包含区域选择部15选择的代表区域的1个以上的代表图像。
关注区域检测部11检测体内图像组所包含的关注区域。具体而言，关注区域检测部11从图像输入装置1取得总数为N张的体内图像组PG，并按照时间序列顺序对该所取得的体内图像组PG的各体内图像P(j)赋予帧编号j(1≤j≤N)。关注区域检测部11根据各体内图像P(j)的颜色信息等特征量，从各体内图像P(j)检测病变区域等关注区域A(j，t)。关注区域检测部11将关注区域A(j，t)的检测结果和体内图像组PG发送到特征量计算部12。另外，t是识别1帧体内图像P(j)所包含的1个以上的关注区域A(j，t)的索引(标识符)。
特征量计算部12作为计算特征量的计算处理部发挥功能，该特征量表示关注区域检测部11从各体内图像P(j)检测到的关注区域A(j，t)的特征。具体而言，特征量计算部12具有：像素值转换部12a，其将属于各关注区域A(j，t)的像素的像素值转换为期望的颜色空间的值；以及平均值计算部12b，其计算通过像素值转换部12a转换后的各关注区域A(j，t)的像素值的平均值。
像素值转换部12a按照关注区域检测部11从体内图像组PG中检测到的每个关注区域，将属于关注区域A(j，t)的像素的值、例如红绿蓝(RGB)的颜色空间的值转换为L*a*b*空间的值。平均值计算部12b计算像素值转换部12a转换输出后的L*a*b*空间的值的平均值作为关注区域A(j，t)的特征量、例如颜色特征量。这样计算出的关注区域A(j，t)的特征量与体内图像组PG一起被发送到区域分类部13。
区域分类部13根据特征量计算部12计算出的关注区域A(j，t)的特征量、和包含关注区域检测部11检测到的关注区域A(j，t)的体内图像P(j)的时间序列位置，将关注区域A(j，t)分类到任意一个区域组。具体而言，区域分类部13具有：相邻状况判定部13a，其判定各关注区域A(j，t)的时间序列的相邻状况；以及相似度判定部13b，其判定表示关注区域A(j，t)彼此的特征量相似性的相似度。
相邻状况判定部13a判定关注区域检测部11从体内图像组PG中检测到的多个关注区域A(j，t)在时间序列上是否相邻。另外，相邻状况判定部13a判定出的关注区域A(j，t)的时间序列相邻状况表示由关注区域A(j，t)的特征量坐标轴和时间序列的坐标轴形成的特征空间内的关注区域A(j，t)的时间序列分布状态。
相似度判定部13b判定表示特征量计算部12计算出的多个关注区域A(j，t)彼此的特征量(例如颜色特征量)相似性的相似度。另外，相似度判定部13b判定的关注区域A(j，t)彼此的相似度表示上述特征空间内的关注区域A(j，t)的特征量分布状态。
此处，区域分类部13根据上述关注区域A(j，t)的时间序列的相邻状况判定结果，掌握特征空间内的关注区域A(j，t)的时间序列分布状态。此外，区域分类部13根据上述关注区域A(j，t)彼此的相似度判定结果，掌握特征空间内的关注区域A(j，t)的特征量分布状态。区域分类部13根据所掌握的关注区域A(j，t)的特征量分布状态和时间序列的分布状态，将关注区域A(j，t)分类到任意一个区域组。由此，区域分类部13将特征空间内的特征量分布收敛在预定阈值范围内并且在时间序列上为相邻或相同状态的关注区域A(j，t)彼此分类为同一区域组。区域分类部13将关注区域A(j，t)的组分类结果和体内图像组PG发送到组特征量计算部14。
组特征量计算部14计算组特征量，该组特征量表示区域分类部13所分类的关注区域A(j，t)的每个区域组的特征。具体而言，组特征量计算部14从区域分类部13取得体内图像组PG，并按照该所取得的体内图像组PG内的关注区域A(j，t)所属的每个区域组，计算属于各区域组的关注区域A(j，t)的特征空间内的特征量方差。接着，组特征量计算部14根据计算出的每个区域组的特征量的方差计算结果，计算各区域组的组特征量。
此处，关注区域A(j，t)的特征空间内的特征量方差是基于由平均值计算部12b计算出的关注区域A(j，t)的颜色特征量、即属于关注区域A(j，t)的L*a*b*空间值的平均值的方差。组特征量计算部14通过按照每个区域组对上述关注区域A(j，t)的特征量方差进行合计，计算每个区域组的组特征量。组特征量计算部14将组特征量的计算结果和体内图像组PG发送到区域选择部15。
区域选择部15根据组特征量计算部14计算出的组特征量，从区域组中选择代表关注区域A(j，t)的1个以上的代表区域。具体而言，区域选择部15具有：选择数确定部15a，其确定每个区域组的代表区域的选择数；细分类处理部15b，其将区域组所包含的多个关注区域A(j，t)细分类为与选择数相同数量的相似组；重心计算部15c，其按照细分类后的每个相似组计算重心；以及最近区域选择部15d，其按照每个相似组选择最接近重心的关注区域。
选择数确定部15a具有函数部15e。函数部15e预先保持表示代表区域的选择数与组特征量之间的关系的函数，在输入了组特征量的情况下，根据所输入的组特征量和预先保持的函数，按照每个区域组计算概要率。此处，函数部15e计算出的概要率是确定选择属于一个区域组的关注区域A(j，t)的百分之几的值。另外，函数部15e保持的函数可以预先在函数部15e中设定，也可以由控制部40根据从输入部20输入的函数信息在函数部15e中设定。
具体而言，选择数确定部15a通过将函数部15e按照每个区域组计算出的概要率和区域组内的关注区域A(j，t)的总数相乘，并对该相乘结果的小数点以下进行四舍五入，确定每个区域组的代表区域的选择数。
细分类处理部15b按照体内图像组PG中的每个区域组，将区域组内的多个关注区域A(j，t)细分类为特征进一步相似的相似组。具体而言，细分类处理部15b根据该体内图像组PG中的各区域组所包含的多个关注区域A(j，t)的特征相似度，将每个区域组的关注区域A(j，t)细分类为与选择数确定部15a的选择数相同数量的相似组。
此处，作为关注区域A(j，t)的特征相似度，例如可列举上述平均值计算部12b计算出的各关注区域A(j，t)的颜色特征量的相似度。在关注区域A(j，t)的特征相似度为颜色特征量的相似度时，细分类处理部15b细分类后的各相似组内的关注区域A(j，t)彼此变为颜色特征量比比细分类处理前的区域组内的关注区域A(j，t)彼此更相似的关注区域彼此。
重心计算部15c按照每个相似组计算由细分类处理部15b细分类后的相似组所包含的多个关注区域A(j，t)的特征量的重心。此处，相似组内的关注区域A(j，t)的特征量重心是基于同一相似组所包含的多个关注区域A(j，t)的特征量平均值和时间序列位置的特征空间内的坐标点。另外，作为关注区域A(j，t)的特征量平均值，例如可列举平均值计算部12b计算出的颜色特征量的平均值。
最近区域选择部15d从上述相似组所包含的多个关注区域A(j，t)中，选择与重心计算部15c计算出的特征量重心最接近的关注区域。具体而言，最近区域选择部15d按照每个相似组，选择与特征空间内的特征量重心的欧几里得距离最小的特征量的关注区域A(j，t)。即，最近区域选择部15d按照每个相似组，选择与上述特征量重心最接近的特征空间内坐标点所对应的关注区域A(j，t)。
具有上述结构的区域选择部15通过将最近区域选择部15d按照细分类处理部15b细分类的每个相似组选择的关注区域A(j，t)设为代表区域，从体内图像组PG内，按照每个区域组选择与选择数确定部15a确定的选择数相同数量的代表区域。区域选择部15将每个区域组的代表区域选择结果和体内图像组PG发送到代表图像输出部16。另外，区域选择部15通过对选择数为小于1的值的区域组，将该选择数设为“1”，从该区域组中选择至少一个关注区域A(j，t)。
代表图像输出部16输出体内图像组PG中的包含代表区域的1个以上的代表图像。具体而言，代表图像输出部16取得进行了上述代表区域选择处理的体内图像组PG，并从该所取得的代表图像组PG中，提取包含由区域选择部15选择的代表区域的体内图像。代表图像输出部16将1帧以上的包含所提取的代表区域的体内图像作为输出对象(例如显示对象)的代表图像输出到显示装置3。
另外，代表图像输出部16在体内图像组PG中包含多个代表区域的情况下，将包含这多个代表区域中的各个代表区域的多个体内图像组即代表图像组输出到显示装置3。如上所述，由代表图像输出部16输出的1帧以上的代表图像作为观察对象的体内图像显示在显示装置3上。
输入部20使用被例示为例如键盘和鼠标的输入设备等实现。输入部20与医生或护士等观察者(用户)的输入操作对应，向图像处理装置2的控制部40输入各种信息。另外，作为由输入部20输入到控制部40的各种信息，例如可列举对控制部40指示图像处理装置2的动作开始或动作结束等的指示信息；在上述函数部15e中设定的函数信息；以及图像处理装置2进行的图像处理所需的各种参数等。
存储部30使用RAM、EEPROM、闪存或硬盘等可改写地保存信息的各种存储介质来实现。存储部30对控制部40指示存储的各种信息进行存储，并将控制部40指示从所存储的各种信息中读出的信息发送到控制部40。另外，作为存储部30存储的各种信息，例如可列举通过输入部20输入的输入信息、通过图像输入装置1输入的体内图像组PG、和图像处理装置2的各构成部分的处理结果等。
控制部40对作为图像处理装置2的构成部分的运算部10、输入部20和存储部30的各动作进行控制，并且对这些各构成部分之间的信号输入输出进行控制。尤其是，在运算部10的控制中，控制部40对作为该运算部10的构成部分的关注区域检测部11、特征量计算部12、区域分类部13、组特征量计算部14、区域选择部15和代表图像输出部16的各动作进行控制，并且对这些各构成部分之间的信号输入输出进行控制。
具体而言，控制部40使用存储处理程序的存储部和执行该存储部内的处理程序的计算机来实现。控制部40根据由输入部20输入的指示信息控制存储部30的动作，或者控制运算部10的各构成部分的处理和动作定时等。此外，控制部40控制运算部10以对由图像输入装置1输入的体内图像组PG进行处理并将该体内图像组PG中的1帧以上的代表图像输出到显示装置3，并且控制存储部30以存储体内图像组PG。控制部40根据由输入部20输入的指示信息等，适当读出存储部30内的体内图像组PG的各体内图像P(j)，并将所读出的体内图像P(j)发送到运算部10。
接着，对本发明实施方式1的图像处理装置2的动作进行说明。图2是例示本发明实施方式1的图像处理装置的处理过程的流程图。该实施方式1的图像处理装置2执行图2所示的处理过程，并将从图像输入装置1取得的被检体的体内图像组PG所包含的1帧以上的代表图像(以下称作代表体内图像)输出到显示装置3。
即，如图2所示，图像处理装置2首先从图像输入装置1取得被检体的体内图像组PG(步骤S101)。在该步骤S101中，控制部40控制运算部10的关注区域检测部11，以执行由图像输入装置1输入的体内图像组PG的取得处理。关注区域检测部11根据控制部40的控制，从图像输入装置1取得被检体的体内图像组PG，并按照时间序列顺序对该所取得的体内图像组PG(总数N张)的各体内图像P(j)赋予帧编号j(1≤j≤N)。另外，体内图像组PG所包含的各体内图像P(j)是在各像素中具有分别与R(红)G(绿)B(蓝)对应的像素值的彩色图像。
接着，图像处理装置2检测体内图像组PG所包含的关注区域A(j，t)(步骤S102)。在该步骤S102中，控制部40控制关注区域检测部11，以执行通过上述步骤S101的处理过程取得的体内图像组PG内的关注区域A(j，t)的检测处理。关注区域检测部11基于控制部40的控制，根据体内图像组PG内的各体内图像P(j)的颜色信息等检测病变区域等关注区域A(j，t)。
具体而言，关注区域检测部11首先将体内图像组PG内的各体内图像P(j)分别区域分割为预定数量的像素区域并计算各像素区域的颜色等特征量。接着，关注区域检测部11对将颜色等特征量设为坐标轴的特征空间内的各像素区域的数据点进行分群。之后，关注区域检测部11根据特征空间内的各数据点的群的重心位置等信息，识别由体内图像P(j)内的关注区域的各像素的数据点构成的群，并将与所识别的群对应的像素区域设为体内图像P(j)内的关注区域A(j，t)。
此处，所谓分群，是指根据特征量的相似性将特征空间内的数据分布分类为被称作群的集合的处理。另外，关注区域检测部11进行例如k-means法(参照CG-ARTS协会“数字图像处理”p.231)等公知的分群，检测体内图像组PG内所包含的病变区域等关注区域A(j，t)。
另外，在本实施方式1中，关注区域检测部11根据特征空间内的特征量的分布状态检测病变区域等关注区域A(j，t)，但是关注区域检测部11对关注区域A(j，t)的检测方法由于检测对象的关注区域A(j，t)而不同。因此，只要是能够从体内图像组PG中检测到关注区域A(j，t)的方法，则关注区域检测部11也可以使用上述分群以外的方法检测体内图像组PG内的关注区域A(j，t)。
之后，图像处理装置2计算体内图像组PG所包含的各关注区域A(j，t)的特征量(步骤S103)。在该步骤S103中，控制部40控制特征量计算部12，以执行通过上述步骤S102的处理过程检测到的各关注区域A(j，t)的特征量计算处理。特征量计算部12根据控制部40的控制，计算作为体内图像组PG内的各关注区域A(j，t)的特征量一例的颜色特征量。
具体而言，像素值转换部12a按照关注区域检测部11从体内图像组PG中检测到的每个关注区域A(j，t)，将属于关注区域A(j，t)的RGB颜色空间的值转换为L*a*b*空间的值，即亮度指数L和感知色度a、b各值。接着，平均值计算部12b计算像素值转换部12a按照每个关注区域A(j，t)转换输出的亮度指数L和感知色度a、b各值的平均值，即平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)作为各关注区域A(j，t)的颜色特征量。
特征量计算部12如上所述，计算将亮度指数L和感知色度a、b等3个颜色特征量以及时间序列作为坐标轴的4轴的特征空间(以下称作Lab-时间序列特征空间)内的关注区域A(j，t)的颜色特征量。此处，特征量计算部12计算出的关注区域A(j，t)的颜色特征量是Lab-时间序列特征空间的颜色特征量轴的坐标分量。
另外，如上所述，上述平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)中的j是赋予给体内图像组PG内的各体内图像P(j)的帧编号j。另一方面，t是识别体内图像组PG内的1帧图像P(j)所包含的1个以上的关注区域A(j，t)的索引。
接着，图像处理装置2对体内图像组PG内的各关注区域A(j，t)进行分类(步骤S104)。在该步骤S104中，控制部40控制区域分类部13，以执行通过上述步骤S102的处理过程检测到的各关注区域A(j，t)的分类处理。区域分类部13基于控制部40的控制，根据通过上述步骤S103的处理过程计算出的各关注区域A(j，t)的颜色特征量、和包含关注区域A(j，t)的各体内图像P(j)的时间序列位置，将体内图像组PG内的各关注区域A(j，t)分类到任意一个区域组。
具体而言，相邻状况判定部13a判定体内图像组PG所包含的关注区域A(j，t)的时间序列的相邻状况。即，相邻状况判定部13a按照与Lab-时间序列特征空间内的各特征点对应的每个关注区域A(j，t)，判定各特征点在时间序列上是否相邻。另一方面，相似度判定部13b判定在步骤S103中由平均值计算部12b计算出的多个关注区域A(j，t)彼此的颜色特征量的相似度。即，相似度判定部13b判定Lab-时间序列特征空间内的各特征点彼此的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)的相似度。
区域分类部13根据如上所述那样由相邻状况判定部13a所判定的关注区域A(j，t)的时间序列的相邻状况和由相似度判定部13b所判定的关注区域A(j，t)彼此的颜色特征量的相似度，将体内图像组PG内的关注区域A(j，t)分类为1个以上的区域组。由此，区域分类部13将分布在Lab-时间序列特征空间内的特征点分类为1个以上的特征点群。
另外，Lab-时间序列特征空间内的特征点是根据关注区域A(j，t)的颜色特征量和时间序列位置确定的坐标点。另一方面，特征点群是分布在Lab-时间序列特征空间内的特征点的组，包含1个以上的特征点。在步骤S104中，区域分类部13当然将Lab-时间序列特征空间内的包含多个特征点的组视作特征点群，将Lab-时间序列特征空间内的单一特征点也视作一个特征点所属的特征点群。
接着，图像处理装置2计算该体内图像组PG内的各关注区域组的组特征量(步骤S105)。在该步骤S105中，控制部40控制组特征量计算部14，以按照通过上述步骤S104的处理过程分类出的关注区域A(j，t)的每个区域组执行组特征量的计算处理。
具体而言，组特征量计算部14根据控制部40的控制，按照关注区域A(j，t)的每个区域组，计算表示区域组的特征的组特征量。即，组特征量计算部14首先按照体内图像组PG内所包含的每个关注区域A(j，t)，计算关注区域A(j，t)的颜色特征量的方差。接着，组特征量计算部14通过按照每个区域组对属于区域组的各关注区域A(j，t)的颜色特征量进行合计，由此计算体内图像组PG内的各区域组的组特征量。
更具体而言，组特征量计算部14计算Lab-时间序列特征空间内的各特征点的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)的方差，并按照每个特征点群对计算出的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)的方差进行合计。由此，组特征量计算部14计算体内图像组PG内的每个特征点群的组特征量、即各区域组的组特征量。
接着，图像处理装置2选择体内图像组PG内的各关注区域组的代表区域(步骤S106)。在该步骤S105中，控制部40控制区域选择部15，以按照通过上述步骤S104的处理过程分类出的关注区域A(j，t)的每个区域组执行代表区域的选择处理。
具体而言，区域选择部15基于控制部40的控制，根据上述组特征量计算部14计算出的各区域组的组特征量，按照每个区域组从属于区域组的关注区域A(j，t)中选择1个以上的代表区域。
之后，图像处理装置2将体内图像组PG中的包含代表区域的1帧以上的代表体内图像输出到显示装置3(步骤S107)，并结束本处理。在该步骤S107中，控制部40控制代表图像输出部16，以执行包含通过上述步骤S106的处理过程选择出的代表区域的代表体内图像的输出处理。
具体而言，代表图像输出部16根据控制部40的控制，从体内图像组PG中，提取1帧以上的包含区域选择部15在上述步骤S106中选择出的代表区域的代表体内图像，并将提取出的1帧以上的代表体内图像输出到显示装置3。即，代表图像输出部16在体内图像组PG内所包含的代表体内图像仅为1帧的情况下，将该1帧的代表体内图像输出到显示装置3，在体内图像组PG内包含多帧代表体内图像的情况下，将这多帧的代表体内图像输出到显示装置3。另外，代表图像输出部16输出到显示装置3的代表体内图像可以包含单个关注区域A(j，1)，也可以包含多个关注区域A(j，t)(t≥2)。
接着，对上述步骤S104中的各关注区域的分类处理进行详细说明。图3是例示体内图像组所包含的各关注区域的分类处理的处理过程的流程图。图4是示出体内图像组内所包含的关注区域的特征点的特征空间内的分布状态的一个具体例的示意图。图5是示出将特征空间内的各特征点分类为特征点群后的状态的示意图。图6是示出将在时间序列上相邻或相同的特征点所属的多个特征点群合并为同一群的状态的示意图。
另外，图4～6所示的特征空间为Lab-时间序列特征空间。在图4～6中，为了简化本发明的说明，将关注区域A(j，t)具有的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)作为颜色特征量集中到一个轴上表示。
如上所述，图像处理装置2的区域分类部13根据控制部40的控制执行步骤S104中的各关注区域A(j，t)的分类处理。具体而言，如图3所示，区域分类部13首先进行体内图像组PG所包含的各关注区域A(j，t)的特征点的初始设定处理(步骤S201)。
在该步骤S201中，区域分类部13根据上述特征量计算部12计算出的各关注区域A(j，t)的颜色特征量、和包含关注区域A(j，t)的各体内图像P(j)的时间序列位置，在Lab-时间序列特征空间内生成(绘制)与体内图像组PG内的各关注区域A(j，t)的特征对应的各特征点。
具体而言，区域分类部13在体内图像组PG内的体内图像P(j)中包含总数为Tm的关注区域A(j，t)的情况下，根据关注区域A(j，t)的时间序列信息和颜色特征量，在Lab-时间序列特征空间内绘制关注区域A(j，t)的特征点C(m)。另外，特征点C(m)中的m是识别在Lab-时间序列特征空间内绘制的特征点的索引。即，在总数为Tm的关注区域A(j，t)中，索引m为1以上、Tm以下。另一方面，关注区域A(j，t)的时间序列信息是表示体内图像组PG中的体内图像P(j)的时间序列位置的信息，与体内图像P(j)的帧编号j对应。此外，关注区域A(j，t)的颜色特征量是平均值计算部12b计算出的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)。
此处，区域分类部13首先将索引m设定为“1”，根据特征点C(1)的颜色特征量和时间序列信息设定特征点C(1)的坐标，在Lab-时间序列特征空间内生成特征点C(1)。之后，关于剩余的特征点C(2)～C(Tm)，也与特征点C(1)的情况同样地根据颜色特征量和时间序列信息依次设定坐标，在Lab-时间序列特征空间内生成特征点C(2)～C(Tm)。在该时刻，区域分类部13通过将分布在Lab-时间序列特征空间内的各特征点C(1)～C(Tm)分别视作一个特征点群，生成与检测到的关注区域A(j，t)相同数量的特征点群组。
接着，区域分类部13将所生成的特征点群组的总数设定为Tk，并将识别该特征点群组内的各特征点群CG(k)的索引k(1≤k≤Tk)设定为“1”。接着，区域分类部13将构成特征点群CG(k)的关注区域A(j，t)的颜色特征量、即平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)代入特征点群CG(k)的平均亮度指数L(k)和平均感知色度a(k)、b(k)(颜色特征量的代入处理)。
此处，平均亮度指数L(k)和平均感知色度a(k)、b(k)是属于特征点群CG(k)的所有关注区域A(j，t)的颜色特征量的平均值。但是，在该阶段，在各特征点群CG(k)中仅包含1个关注区域A(j，t)、即1个特征点C(m)。因此，将属于各特征点群CG(k)的关注区域A(j，t)的亮度指数L(j，t)和感知色度a(j，t)、b(j，t)代入平均亮度指数L(k)和平均感知色度a(k)、b(k)。
之后，区域分类部13对索引k进行增加处理，并判定索引k是否在总数Tk以下。区域分类部13在判定为索引k在总数Tk以下的情况下，进行上述颜色特征量的代入处理以后的处理过程，在判定为索引k不在总数Tk以下的情况下，结束步骤S201的处理过程。
下面，参照图4更具体说明步骤S201的处理过程。如图4所示，在体内图像组PG内的体内图像P(1)、P(2)、P(3)、P(4)、P(6)、P(7)中分别包含关注区域A(1，1)、A(2，1)、A(3，1)、A(4，1)、A(6，1)、A(7，1)的情况下，区域分类部13在Lab-时间序列特征空间内首先生成具有坐标的特征点C(1)，该坐标基于体内图像P(1)内的关注区域A(1，1)的时间序列信息和颜色特征量。接着，区域分类部13在Lab-时间序列特征空间内，依次生成具有基于体内图像P(2)内关注区域A(2，1)的时间序列信息和颜色特征量的坐标的特征点C(2)、到具有基于体内图像P(7)内关注区域A(7，1)的时间序列信息和颜色特征量的坐标的特征点C(6)。其结果，在图4所示的Lab-时间序列特征空间内，绘制与关注区域的总数Tm(＝6)相同数量的6个特征点C(1)～C(6)。
接着，区域分类部13将这6个特征点C(1)～C(6)分别视作特征点群，将各特征点C(1)～C(6)的各颜色特征量代入各特征点群的颜色特征量、即平均亮度指数L(k)和平均感知色度a(k)、b(k)。
另外，体内图像组PG内的体内图像P(5)不包含关注区域，因此在Lab-时间序列特征空间内，没有绘制与体内图像P(5)对应的特征点。该情况对于剩余的体内图像P(8)～P(N)也同样如此。
另一方面，在执行上述步骤S201后，区域分类部13判定Lab-时间序列特征空间内的特征点群的总数是否为1以下(步骤S202)。在该步骤S202中，区域分类部13对存在于Lab-时间序列特征空间内的特征点群的数量进行合计，并判定该合计的特征点群的总数是否为1以下。
在该步骤S202中的判定处理的结果是特征点群的总数为1以下的情况下(步骤S202，是)，区域分类部13结束本处理并返回图2所示的步骤S104的处理过程。另一方面，在步骤S202的判定处理结果是特征点群的总数不为1以下的情况下(步骤S202，否)，区域分类部13在存在于Lab-时间序列特征空间内的多个特征点群中选择变为最小色差的特征点群的组合(步骤S203)。
在步骤S203中，区域分类部13如上述步骤S201的处理过程那样从在Lab-时间序列特征空间内设定的多个特征点群CG(k)中依次提取不同索引k1、k2(1≤k1＜k2≤Tk)的特征点群CG(k1)、CG(k2)，并根据下式(1)依次计算提取出的两个特征点群CG(k1)、CG(k2)的颜色特征量的差即色差ΔE。
【式1】
ΔE = ( L ( k 1 ) - L ( k 2 ) ) 2 + ( a ( k 1 ) - a ( k 2 ) ) 2 + ( b ( k 1 ) - b ( k 2 ) ) 2 · · · ( 1 )
此处，在该式(1)中，平均亮度指数L(k1)和平均感知色度a(k1)、b(k1)是特征点群CG(k1)的颜色特征量，平均亮度指数L(k2)和平均感知色度a(k2)、b(k2)是特征点群CG(k2)的颜色特征量。
具体而言，区域分类部13首先将索引k1的初始值设定为“1”并且将索引k2的初始值设定为“2”，并根据式(1)，计算特征点群CG(k1)、CG(k2)的色差ΔE。接着，区域分类部13判定索引k2是否小于特征点群的总数Tk，在小于总数Tk的情况下，依次重复上述色差ΔE的计算处理和索引k2的增加处理。
之后，区域分类部13在索引k2为特征点群的总数Tk以上的情况下，判定索引k1是否小于从特征点群的总数Tk减去“1”后的减法运算值(Tk-1)。区域分类部13在索引k1小于减法运算值(Tk-1)的情况下，对索引k1进行增加处理，将索引k2设定为对索引k1加上“1”后的值(k1+1)，并重复上述色差ΔE的计算处理。
另一方面，区域分类部13在索引k1为减法运算值(Tk-1)以上的情况下，对在该步骤S203中计算出的所有色差ΔE进行排序处理。区域分类部13根据该排序处理结果，选择具有这些全部色差ΔE中的最小色差ΔEmin的特征点群CG(k1)、CG(k2)的组合。
另外，色差ΔE与关注区域A(j，t)彼此的颜色特征量的相似度相当，伴随关注区域A(j，t)彼此的颜色特征量的相似度增加而减少，伴随关注区域A(j，t)彼此的颜色特征量的相似度减少而增加。
下面，参照图4更具体说明步骤S202的处理过程。如图4所示，在仅一个特征点属于一个特征点群的初始状态的情况下，区域分类部13首先将特征点群CG(k1)的索引k1设定为特征点C(1)的索引(＝1)，并将特征点群CG(k2)的索引k2设定为特征点C(2)的索引(＝2)。
接着，区域分类部13计算属于特征点群CG(k1)的特征点C(1)和属于特征点群CG(k2)的特征点C(2)的色差ΔE。接着，区域分类部13判定索引k2是否为特征点群的总数Tk以下，在为总数Tk以下的情况下，对索引k2进行增加处理，计算特征点C(1)和属于特征点群CG(k2)的特征点C(3)的色差ΔE。之后，区域分类部13依次重复索引k2的增加处理和色差ΔE的计算处理，直到该索引k2到达总数Tk为止。
另一方面，区域分类部13在索引k2超过了总数Tk的情况下，对索引k1进行增加处理，并且将索引k2置换为k1+1的值。并且，区域分类部13计算属于该增加处理后的特征点群CG(k1)的特征点C(2)和属于特征点群CG(k2)的特征点C(3)的色差ΔE。之后，区域分类部13依次重复索引k1、k2的增加处理和色差ΔE的计算处理，直到索引k1到达从总数Tk减去“1”后的值为止。
之后，区域分类部13针对可从Lab-时间序列特征空间内提取的两个特征点群CG(k1)、CG(k2)的所有组合，执行上述处理，并计算两个特征点群CG(k1)、CG(k2)的所有组合的各色差ΔE。
如上所述，区域分类部13关于图4所示的Lab-时间序列特征空间内的6个特征点群即特征点C(1)～C(6)，依次计算特征点C(1)、C(2)的色差ΔE1，特征点C(1)、C(3)的色差ΔE2，特征点C(1)、C(4)的色差ΔE3，特征点C(1)、C(5)的色差ΔE4，特征点C(1)、C(6)的色差ΔE5。接着，区域分类部13依次计算特征点C(2)、C(3)的色差ΔE6，特征点C(2)、C(4)的色差ΔE7，特征点C(2)、C(5)的色差ΔE8，特征点C(2)、C(6)的色差ΔE9。此外，区域分类部13依次计算特征点C(3)、C(4)的色差ΔE10，特征点C(3)、C(5)的色差ΔE11，特征点C(3)、C(6)的色差ΔE12。并且，区域分类部13依次计算特征点C(4)、C(5)的色差ΔE13，特征点C(4)、C(6)的色差ΔE14，之后计算特征点C(5)、C(6)的色差ΔE15。
如上所述那样完成特征点群CG(k1)、CG(k2)的所有组合的色差ΔE的计算后，区域分类部13对计算出的所有色差ΔE彼此进行比较处理，并对这些所有的色差ΔE进行排序处理。接着，区域分类部13根据该排序处理结果，从这些全部的色差ΔE中求出最小色差ΔEmin。并且，区域分类部13从Lab-时间序列特征空间内的所有特征点群的组合中，选择与该最小色差ΔEmin对应的特征点群CG(k1)、CG(k2)的组合。
具体而言，如图4所示，在特征点C(1)、C(4)的色差ΔE3为最小值的情况下，区域分类部13从计算出的所有色差ΔE1～ΔE15中将色差ΔE3确定为最小色差ΔEmin，并从作为特征点群的特征点C(1)～C(6)的所有组合中，选择与该色差ΔE3对应的特征点群的组合、即特征点C(1)、C(4)。
另一方面，在执行上述步骤S203后，区域分类部13判定所选择的特征点群CG(k1)、CG(k2)的组合的色差ΔE是否为预定阈值以下(步骤S204)。
在步骤S204中，如果是紧接着上述步骤S203之后，则区域分类部13对与Lab-时间序列特征空间内的颜色特征量相关的阈值和仅一个特征点所属的特征点群的组合的最小色差ΔEmin进行比较处理，如果是紧接着后述步骤S209之后，则区域分类部13对在步骤S209的处理过程中选择出的特征点群的组合的最小色差ΔEmin和该阈值进行比较处理。区域分类部13在该最小色差ΔEmin不在阈值以下的情况下(步骤S204，否)，结束本处理并返回图2所示的步骤S104的处理过程。
另外，上述色差ΔEmin的阈值优选根据色差ΔE的单位制、例如确定与人感觉到的色差对应的值的范围的NBS(National Bureau of Standards：美国国家标准局)单位制设定，具体而言，设定为人能够看到并感觉到明显色差程度的值(＝3.0)。该阈值可以是预先保持在区域分类部13中的值，也可以是通过控制部40根据来自输入部20的输入信息可更新地设定的值。
另一方面，区域分类部13在步骤S204中特征点群的组合的色差即最小色差ΔEmin为阈值以下的情况下(步骤S204，是)，从该特征点群的组合中，选择在Lab-时间序列特征空间内属于相互不同的特征点群并且在时间序列上最近的特征点的组合(步骤S205)。
在步骤S205中，区域分类部13首先从通过步骤S204的处理过程判定为阈值以下的最小色差ΔEmin的特征点群的组合中，设定属于一方的特征点群的特征点C(t1)和属于另一方的特征点群的特征点C(t2)。
此处，t1是识别属于一方的特征点群的特征点的索引，并且也是识别与该一方的特征点群对应的区域组内的关注区域的索引。同样，t2是识别属于另一方的特征点群的特征点的索引，并且也是识别与该另一方的特征点群对应的区域组内的关注区域的索引。
区域分类部13设定属于一方的特征点群的特征点的索引t1的数值范围(1≤t1≤Q1)、和属于另一方的特征点群的特征点的索引t2的数值范围(1≤t2≤Q2)。另外，Q1是索引t1的最大值，表示与该一方的特征点群对应的关注区域的总数。另一方面，Q2是索引t2的最大值，表示与该另一方的特征点群对应的关注区域的总数。
此处，区域分类部13当然将Lab-时间序列特征空间内的包含多个特征点的组视作特征点群，将Lab-时间序列特征空间内的单一特征点也视作一个特征点所属的特征点群。
另外，与上述特征点对应的关注区域是关注区域检测部11在图2所示的步骤S102中检测到的病变区域等关注区域A(j，t)，在图4中，关注区域A(1，1)、A(2，1)、A(3，1)、A(4，1)、A(6，1)、A(7，1)符合。
接着，区域分类部13计算通过索引t1识别的关注区域与通过索引t2识别的关注区域在时间序列方向上的距离D。具体而言，区域分类部13将索引t1、t2均设定为“1”，并计算与索引t1＝1的关注区域对应的一方特征点群内的特征点C(t1)和与索引t2＝1的关注区域对应的另一方特征点群内的特征点C(t2)在时间序列方向上的欧几里得距离作为距离D。
接着，区域分类部13判定索引t1是否小于总数Q1，在小于总数Q1的情况下，对索引t1进行增加处理，并计算通过增加处理后的索引t1识别的关注区域与通过索引t2识别的关注区域在时间序列方向上的距离D。之后，区域分类部13依次重复索引t1的增加处理和距离D的计算处理，直到索引t1到达总数Q1为止。
另一方面，区域分类部13在索引t1为总数Q1以上的情况下，判定属于另一方的特征点群的特征点的索引t2是否小于总数Q2。区域分类部13在索引t2小于总数Q2的情况下，将索引t1设定为初始值(＝1)，并且对该索引t2进行增加处理，计算通过增加处理后的索引t2识别的关注区域与通过索引t1识别的关注区域在时间序列方向上的距离D。之后，区域分类部13依次重复索引t2的增加处理和距离D的计算处理，直到该索引t2到达总数Q2为止。
通过如上述那样重复进行索引t1、t2的增加处理和距离D的计算处理，区域分类部13完成属于一方的特征点群的特征点C(t1)和属于另一方的特征点群的特征点C(t2)在时间序列方向上的距离D的计算、即两特征点群中的各关注区域在时间序列方向上的距离D的计算。之后，区域分类部13对计算出的所有距离D进行排序处理，并根据该排序处理结果，求出所有距离D中的最小值即距离Dmin。
此处，与距离Dmin对应的特征点的组合是在Lab-时间序列特征空间内在时间序列上最近的特征点的组合。即，区域分类部13选择与距离Dmin对应的特征点的组合，作为在Lab-时间序列特征空间内属于相互不同的特征点群并且在时间序列上最近的特征点的组合。区域分类部13通过这种特征点的组合选择处理，选择属于相互不同的特征点群并且在时间序列上最近的关注区域的组合。
另一方面，在执行上述步骤S205后，区域分类部13判定通过步骤S205的处理过程选择出的特征点的组合内的各特征点在时间序列上是否相邻或相同(步骤S206)。
在步骤S206中，相邻状况判定部13a根据通过步骤S205的处理过程选择出的特征点的组合在时间序列上的距离D，判定与该选择出的组合内的各特征点对应的各关注区域的时间序列的相邻状况。即，相邻状况判定部13a根据时间序列的距离D，判定该选择出的组合内的各特征点是否在时间序列上处于相邻状态或相同状态。
相邻状况判定部13a在步骤S206中判定为组合内的特征点在时间序列上处于相邻状态或相同状态的情况下(步骤S206，是)，区域分类部13将在时间序列上处于相邻状态或相同状态的各特征点所属的特征点群的组合合并为同一群(步骤S207)。
具体而言，在步骤S207中，区域分类部13首先将作为在时间序列上处于相邻状态或相同状态的组合的两个特征点分别所属的两个特征点群CG(k1)、CG(k2)的索引k1、k2中的较小一方设为最小索引ka、将较大一方设为最大索引kb。
接着，区域分类部13将最小索引ka重新设定为识别合并处理后的特征点群的索引，从而生成合并了在时间序列上处于相邻状态或相同状态的两个特征点分别所属的两个特征点群内的所有特征点后的新的特征点群CG(ka)。
之后，区域分类部13根据属于特征点群CG(ka)的各特征点的颜色特征量，计算作为特征点群CG(ka)的颜色特征量的平均亮度指数L(ka)和平均感知色度a(ka)、b(ka)。详细地说，区域分类部13计算特征点群CG(ka)内的各特征点的平均亮度指数的平均值作为平均亮度指数L(ka)，计算各特征点的平均感知色度的平均值作为平均亮度指数a(ka)、b(ka)。
在该时刻，通过最大索引kb识别的特征点群没有被合并到该新的特征点群CG(ka)从而不存在于Lab-时间序列特征空间内。在该状态下，区域分类部13对存在于Lab-时间序列特征空间内的所有特征点群中的、通过最大索引kb以上的索引识别的剩余特征点群的各索引k进行增加处理。
具体而言，区域分类部13首先对假定的索引ki分配最大的索引kb。接着，区域分类部13判定该分配处理后的索引ki(＝kb)是否小于特征点群的总数Tk，如果索引ki小于总数Tk，则对该索引ki进行增加处理。接着，区域分类部13对通过增加处理后的索引ki(＝kb+1)表示的特征点群CG(k)的索引进行减少处理(变更为k-1)。之后，区域分类部13重复这种索引ki的增加处理和索引k的减少处理，直到索引ki到达总数Tk以上为止。另一方面，区域分类部13在索引ki不小于总数Tk的情况下，结束上述对索引ki的增加处理和对索引k的减少处理。
此处，Lab-时间序列特征空间内的当前时刻的特征点群的总数Tk由于上述特征点群的合并处理减少一个。因此，区域分类部13在索引ki不小于总数Tk的情况下，从特征点群的合并处理前的总数Tk减去“1”，并将该减法运算处理后的总数Tk更新为Lab-时间序列特征空间内的当前时刻的特征点群的总数。
在步骤S207的处理过程结束后，区域分类部13返回上述步骤S202，并重复该步骤S202以后的处理过程。另一方面，区域分类部13在通过上述步骤S206中的相邻状况判定部13a的处理判定为特征点的组合的时间序列状况不是相邻状态或相同状态中的任意一种的情况下(步骤S206，否)，判定是否针对Lab-时间序列特征空间内的所有特征点群的组合完成了时间序列状况的判定处理(步骤S208)。
在步骤S208中，区域分类部13根据步骤S206中的时间序列状况的判定处理完毕的特征点群的索引等，判定是否完成了对所有特征点群的组合的时间序列状况的判定处理。区域分类部13在判定为完成了对所有特征点群的组合的时间序列状况的判定处理的情况下(步骤S208，是)，结束本处理并返回图2所示的步骤S104的处理过程。
另一方面，区域分类部13在步骤S208中判定为没有完成对所有特征点群的组合的时间序列状况的判定处理的情况下(步骤S208，否)，选择在上述步骤S205中选择出的当前特征点群的组合的色差ΔE其次小的特征点群的组合(步骤S209)。之后，区域分类部13返回上述步骤S204，并重复该步骤S204以后的处理过程。
在步骤S209中，区域分类部13从通过上述步骤S203的处理过程计算出的所有色差ΔE中，选择当前特征点群组合的色差ΔE(当前的最小色差ΔEmin)的其次小的值的色差ΔE作为最小色差ΔEmin。接着，区域分类部13从Lab-时间序列特征空间内的所有特征点群中，选择具有该所选择的最小色差ΔEmin的特征点群的组合。
此处，区域分类部13通过适当重复执行上述步骤S201～S209的处理过程，将Lab-时间序列特征空间内的所有特征点分类为基于时间序列和颜色特征量各信息的特征点群。由此，区域分类部13将关注区域检测部11从体内图像组PG中检测到的所有关注区域A(j，t)分类到与特征点群对应的任意一个区域组。即，区域分类部13基于特征量计算部12计算出的关注区域A(j，t)的颜色特征量、和包含关注区域A(j，t)的体内图像P(j)的时间序列位置，将关注区域A(j，t)分类到任意一个区域组。
另一方面，在区域分类部13适当重复执行上述步骤S201～S209的处理过程后，如上所述，组特征量计算部14在图2所示的步骤S105中，按照关注区域A(j，t)的每个区域组，计算组特征量。
具体而言，组特征量计算部14按照Lab-时间序列特征空间内的每个特征点群，计算特征点群的重心L(k)、a(k)、b(k)。接着，组特征量计算部14使用计算出的每个特征点群的重心L(k)、a(k)、b(k)，按照每个特征点群计算属于同一特征点群的关注区域A(j，t)的颜色特征量即平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)的方差。组特征量计算部14按照每个特征点群，根据下式(2)计算同一特征点群中的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)的方差的合计值Sum(k)。组特征量计算部14这样计算出的合计值Sum(k)是关注区域A(j，t)的每个区域组的组特征量。
【式2】
Sum ( k ) = 1 Num ( k ) Σ j ( k ) min j ( k ) max Σ t = 1 Num ( t ) ( ( L ( j , t ) - L ( k ) ) 2 + ( a ( j , t ) - a ( k ) ) 2 + ( b ( j , t ) - b ( k ) ) 2 ) · · · ( 2 )
另外，在式(2)中，Num(k)是属于特征点群CG(k)的特征点即关注区域A(j，t)的总数。j(k)max是属于特征点群CG(k)的关注区域A(j，t)的索引j的最大值，j(k)min是属于特征点群CG(k)的关注区域A(j，t)的索引j的最小值。Num(t)是从体内图像组PG内的体内图像P(j)检测到的关注区域A(j，t)中的、属于特征点群CG(k)的关注区域的数量。
另一方面，重心L(k)、a(k)、b(k)是将同一特征点群中的时间序列的平均值和颜色特征量的平均值设为坐标分量的Lab-时间序列特征空间内的坐标点。其中，重心L(k)与关注区域A(j，t)的颜色特征量中的平均亮度指数L(j，t)对应，重心a(k)与关注区域A(j，t)的颜色特征量中的平均感知色度a(j，t)对应，重心b(k)与关注区域A(j，t)的颜色特征量中的平均感知色度b(j，t)对应。
此处，参照图5、6，对区域分类部13执行的步骤S202～S209的处理过程进行具体说明。如图5所示，在Lab-时间序列特征空间内存在总数Tm＝6的特征点C(1)～C(6)的情况下，区域分类部13将这六个特征点C(1)～C(6)分别视作特征点群(CG(1))～(CG(6))并依次进行上述步骤S202、S203的各处理过程，依次计算可从六个特征点群(CG(1))～(CG(6))选择的两个特征点群的所有组合的各色差ΔE1～ΔE15。
接着，区域分类部13对计算出的各色差ΔE1～ΔE15进行比较处理，并根据该比较处理的结果，将作为所有色差ΔE1～ΔE15中的最小值的色差ΔE3确定为最小色差ΔEmin。在图5中，区域分类部13从特征点群的所有组合中，选择与该色差ΔE3对应的特征点群(CG(1))，(CG(4))的组合。
接着，区域分类部13依次进行上述步骤S204、S205，选择与预定阈值以下的色差ΔE3对应的特征点群(CG(1))，(CG(4))的组合。接着，区域分类部13进行上述步骤S206的处理过程，判定该选择出的组合内的特征点C(1)和特征点C(4)在时间序列上是否相邻或相同。
此处，如图5所示，特征点C(1)和特征点C(4)在时间序列上不相邻且不相同。因此，区域分类部13执行上述步骤S208的处理过程，由于对特征点群的时间序列状况的判定处理尚未完成，因此执行上述步骤S209。在图5中，区域分类部13选择当前的特征点群(CG(1))，(CG(4))组合的色差ΔE3的其次小的色差的特征点群组合、例如特征点群(CG(1))，(CG(2))。
接着，区域分类部13再次进行上述步骤S204、S205，选择属于相互不同的特征点群并且在时间序列上最近的特征点C(1)、C(2)。接着，区域分类部13再次进行上述步骤S206，判定该选择出的特征点C(1)和特征点C(2)在时间序列上是否相邻或相同。
此处，如图5所示，特征点C(1)和特征点C(2)在时间序列上相邻。因此，区域分类部13进行上述步骤S207，将在时间序列上相邻的特征点C(1)、C(2)分别所属的特征点群(CG(1))，(CG(2))的组合合并为同一群。
具体而言，区域分类部13首先生成将特征点群(CG(1))，(CG(2))中的最小索引ka(＝1)作为索引的新的特征点群CG(1)。如图5所示，特征点C(1)、C(2)属于该特征点群CG(1)。
接着，区域分类部13对上述特征点群的合并处理后残留的剩余特征点群(CG(3))～(CG(6))的各索引进行减少处理，并且进行特征点群的总数Tk的减法运算处理。其结果，原来的特征点群(CG(3))～(CG(6))被更新为特征点群(CG(2))～(CG(5))，特征点群的总数Tk＝6被更新为总数Tk＝5。
之后，区域分类部13适当重复执行上述步骤S202～S209的处理过程，如图5所示，将原来存在6个的特征点分类为3个特征点群CG(1)～CG(3)。具体而言，如图5所示，原来的特征点群(C(1))，(C(2))属于特征点群CG(1)，原来的特征点群(C(3))，(C(4))属于特征点群CG(2)，原来的特征点群(C(5))，(C(6))属于特征点群CG(3)。
并且，区域分类部13适当重复进行上述步骤S202～S209，如图5所示，选择变为阈值以下的色差的特征点群CG(1)、CG(2)的组合，并从该选择的特征点群CG(1)、CG(2)的组合中，选择属于相互不同的特征点群并且在时间序列上成为最近特征点的特征点C(2)、C(3)的组合。
此处，如图5所示，特征点C(2)、C(3)的组合在时间序列上相邻，因此区域分类部13进行上述步骤S207的处理过程，将特征点群CG(1)和特征点群CG(2)合并为同一群。另一方面，区域分类部13在从特征点群CG(2)、CG(3)的组合中选择了属于相互不同的特征点群并且在时间序列上成为最近特征点的特征点C(4)、C(5)的组合的情况下，由于特征点C(4)、C(5)的组合在时间序列上不相邻且不相同，因此不对特征点群CG(2)和特征点群CG(3)进行合并。
之后，区域分类部13在针对Lab-时间序列特征空间内的所有特征点群完成了判定处理的情况下，结束利用上述步骤S201～S209的处理过程的各关注区域的分类处理。其结果，如图6所示，区域分类部13将原来的特征点群(CG(1))～(CG(4))合并为同一特征点群CG(1)，将原来的特征点群(CG(5))，(CG(6))合并为同一特征点群CG(2)。
此处，区域分类部13根据图6所示的特征点群的合并处理结果，在体内图像组PG内的所有关注区域A(1，1)、A(2，1)、A(3，1)、A(4，1)、A(6，1)、A(7，1)中，将关注区域A(1，1)、A(2，1)、A(3，1)、A(4，1)分类为与特征点群CG(1)对应的区域组，将关注区域A(6，1)、A(7，1)分类为与特征点群CG(2)对应的区域组。
另外，属于同一特征点群的多个关注区域、即被分类为同一区域组的多个关注区域是颜色特征量等特征相似并且在时间序列上相近的关注区域彼此。另一方面，特征点群有时由单个特征点构成，与属于特征点群的单个特征点对应的关注区域与体内图像组PG内所包含的其他关注区域相比，是颜色特征量等特征不相似并且在时间序列上隔开的关注区域。
接着，对上述步骤S106中的各关注区域组的代表区域的选择处理进行详细说明。图7是例示各关注区域组的代表区域选择处理的处理过程的流程图。图8是示出表示来自关注区域组的代表区域的选择数与关注区域组的组特征量之间的关系的函数的一个具体例的示意图。图9是说明从关注区域组选择与组特征量对应的选择数的代表区域的状态的示意图。如上所述，图像处理装置2的区域选择部15根据控制部40的控制执行步骤S106中的各关注区域组的代表区域的选择处理。
即，如图7所示，区域选择部15首先执行存在于Lab-时间序列特征空间内的各特征点群的选择数确定处理(步骤S301)。在该步骤S301中，选择数确定部15a按照体内图像组PG内的关注区域A(j，t)的每个区域组，确定与组特征量计算部14计算出的组特征量对应的代表区域的选择数。
具体而言，函数部15e预先保持例如图8所示那样的表示组特征量与概要率之间的关系的函数。此处，如上所述，该函数中的概要率(图8所示的纵轴)是确定选择属于一个区域组的关注区域A(j，t)的百分之几的值，与从同一特征点群选择的特征点选择数、即来自同一区域组的代表区域的选择数对应。函数部15e按照关注区域A(j，t)的每个区域组，计算与组特征量对应的概要率。
接着，选择数确定部15a根据函数部15e按照每个区域组计算出的概要率，确定代表每个区域组的关注区域A(j，t)的代表区域的选择数。即，选择数确定部15a根据按照每个特征点群计算出的概要率，确定每个特征点群的代表特征点的选择数。
在执行步骤S301后，区域选择部15执行基于组特征量的特征点群的细分类处理(步骤S302)。在该步骤S302中，细分类处理部15b根据由区域分类部13所分类的每个区域组的各关注区域A(j，t)的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)，将每个区域组的关注区域A(j，t)细分类为与由选择数确定部15a确定的选择数相同数量的相似组。
具体而言，细分类处理部15b通过按照存在于Lab-时间序列特征空间内的每个特征点群，使用属于特征点群的特征点C(m)的关注区域A(j，t)的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)进行k-means法等公知的分群，将特征点C(m)细分类为与上述选择数相同数量的特征点群。
此处，细分类处理部15b细分类后的特征点群是与上述相似组对应的组。即，颜色特征量进一步相似的关注区域A(j，t)彼此(例如同一关注区域彼此)的各特征点属于细分类处理后的特征点群。另外，与相似组对应的特征点群内的特征点与其他特征点群内的特征点相比，平均亮度指数L(k)和平均感知色度a(k)、b(k)更相似。
另一方面，在执行步骤S302后，区域选择部15执行Lab-时间序列特征空间内的各特征点群的重心计算处理(步骤S303)。在该步骤S303中，重心计算部15c按照细分类处理部15b细分类后的每个相似组，计算属于相似组的多个关注区域A(j，t)的特征量的重心。
具体而言，重心计算部15c按照细分类处理部15b细分类后的每个特征点群，计算属于细分类后的同一特征点群的所有特征点的颜色特征量轴坐标分量的平均值和时间序列轴坐标分量的平均值。另外，Lab-时间序列特征空间内的特征点的颜色特征量轴坐标分量的平均值是关注区域A(j，t)的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)的各平均值。
接着，重心计算部15c按照细分类处理后的每个特征点群，计算将计算出的时间序列轴坐标分量的平均值作为时间序列轴向的坐标分量、且将计算出的颜色特征量轴坐标分量的平均值作为颜色特征量轴向的坐标分量的重心。此处，细分类处理部后的每个特征点群的重心具有细分类后的同一特征点群的平均亮度指数和平均感知色度，作为颜色特征量轴向的坐标分量。
另外，在步骤S303中，重心计算部15c还对于Lab-时间序列特征空间内的所有特征点群中的、细分类处理部15b没有细分类的剩余特征点群，与细分类处理部后的特征点群的情况同样地计算特征点群的重心。例如，可列举仅相似性高的两个特征点所属的特征点群等，作为这种没有被细分类的剩余的特征点群。
在执行步骤S303后，区域选择部15基于最接近特征点群重心的特征点执行关注区域的选择处理(步骤S304)。之后，区域选择部15结束本处理并返回图2所示的步骤S106的处理过程。
在步骤S304中，最近区域选择部15d按照上述的每个相似组，从同一相似组所包含的多个关注区域A(j，t)中，选择和其他关注区域相比，与重心计算部15c计算出的特征量重心最接近的关注区域。
具体而言，最近区域选择部15d首先按照细分类处理部15b细分类后的每个特征点群，计算属于细分后的同一特征点群的多个特征点与重心的各个相隔距离。此处，最近区域选择部15d计算的相隔距离是Lab-时间序列特征空间内的同一特征点群内的特征点与重心计算部15c计算的重心之间的欧几里得距离。
接着，最近区域选择部15d按照细分类处理后的每个特征点群，对各特征点与重心之间的各个相隔距离进行比较处理，选择与重心最接近的特征点。其结果，最近区域选择部15d按照Lab-时间序列特征空间内的每个特征点群，选择与选择数确定部15a所确定的选择数相同数量的特征点。
之后，最近区域选择部15d按照每个相似组选择与上述那样选择的特征点对应的关注区域A(j，t)，其结果，从体内图像组PG中的各相似组中选择与每个相似组的选择数相同数量的关注区域A(j，t)。
另外，在步骤S304中，最近区域选择部15d还对没有被分类为相似组的剩余的区域组，与上述相似组的情况同样地，从同一区域组所包含的多个关注区域A(j，t)中，选择和其他关注区域相比，与重心计算部15c计算出的特征量重心最接近的关注区域。
具体而言，最近区域选择部15d首先按照细分类处理部15b没有细分类的剩余的每个特征点群，计算属于同一特征点群的多个特征点与重心的各个相隔距离。接着，最近区域选择部15d按照剩余的每个特征点群，对各特征点与重心之间的各个间隔距离进行比较处理，选择与重心最接近的特征点。其结果，最近区域选择部15d按照剩余的每个特征点群，选择与上述选择数相同数量的特征点。
之后，最近区域选择部15d按照每个区域组选择与上述那样选择的特征点对应的关注区域A(j，t)，其结果，从体内图像组PG中的各区域组中选择与每个区域组的选择数相同数量的关注区域A(j，t)。
如上所述，区域选择部15将最近区域选择部15d选择的关注区域A(j，t)设为各区域组或各相似组的代表区域，并将该代表区域的选择处理结果发送到代表图像输出部16。
此处，参照图9，对区域选择部15执行的步骤S301～S304的处理过程进行具体说明。如图9所示，在Lab-时间序列特征空间内，在存在包含特征点C(1)～C(4)的特征点群CG(1)和包含特征点C(5)、C(6)的特征点群CG(2)的情况下，区域选择部15进行步骤S301的处理过程，分别针对这两个特征点群CG(1)、CG(2)确定选择数V。
具体而言，选择数确定部15a根据函数部15e计算出的概要率(参照图8)，确定与特征点群CG(1)的组特征量对应的特征点群CG(1)的选择数V(＝2)、和与特征点群CG(2)的组特征量对应的特征点群CG(2)的选择数V(＝1)。
接着，区域选择部15进行步骤S302的处理过程，对特征点群CG(1)、CG(2)进行细分类。具体而言，细分类处理部15b由于在步骤S301中选择数确定部15a所确定的特征点群CG(1)的选择数V为“2”，因此根据属于特征点群CG(1)的特征点C(1)～C(4)的各个颜色特征量，如图9所示，将特征点C(1)～C(4)细分类为与选择数V(＝2)相同数量的两个特征点群CG(11)、CG(12)。其结果，特征点群CG(1)内的所有特征点C(1)～C(4)中的、颜色特征量的相似性比其他特征点C(3)、C(4)高的两个特征点C(1)、C(2)被细分类为同一特征点群CG(11)，颜色特征量的相似性比其他特征点C(1)、C(2)高的两个特征点C(3)、C(4)被细分类为同一特征点群CG(12)。
另一方面，细分类处理部15b由于在步骤S301中选择数确定部15a所确定的特征点群CG(2)的选择数V为“1”，因此将特征点群CG(2)细分类为一个特征点群。即，如图9所示，细分类处理部15b不再对属于特征点群CG(2)的特征点C(5)、C(6)进行细分类，而维持该组状态。
接着，区域选择部15进行步骤S303的处理过程，计算Lab-时间序列特征空间内的各特征点群的重心。具体而言，重心计算部15c计算图9所示的特征点群CG(11)、CG(12)、CG(2)的各重心D1、D2、D3。
详细地说，重心计算部15c计算属于特征点群CG(11)的两个特征点C(1)、C(2)的时间序列轴坐标分量的平均值和颜色特征量轴坐标分量的平均值。同样，重心计算部15c计算属于特征点群CG(12)的两个特征点C(3)、C(4)的时间序列轴坐标分量的平均值和颜色特征量轴坐标分量的平均值。并且，重心计算部15c计算属于特征点群CG(2)的两个特征点C(5)、C(6)的时间序列轴坐标分量的平均值和颜色特征量轴坐标分量的平均值。另外，重心计算部15c计算出的时间序列轴坐标分量的各平均值是重心D1～D3的时间序列轴向的坐标分量，颜色特征量轴坐标分量的平均值是重心D1～D3的颜色特征量轴向的坐标分量。
之后，区域选择部15进行步骤S304的处理过程，根据与Lab-时间序列特征空间内的各特征点群的重心最接近的特征点，选择代表性关注区域。具体而言，最近区域选择部15d按照与图9所示的特征点群CG(11)、CG(12)、CG(2)对应的关注区域的每个相似组或区域组，选择和其他关注区域相比与重心计算部15c计算出的特征量重心最接近的关注区域。
即，最近区域选择部15d首先计算属于特征点群CG(1)的一方特征点群CG(11)中的特征点C(1)与重心D1的相隔距离L1以及特征点C(2)与重心D1的相隔距离L2。接着，最近区域选择部15d对计算出的各相隔距离L1、L2(L1＜L2)进行比较处理，选择最接近重心D1的特征点、即相隔距离更小的特征点C(1)。接着，最近区域选择部15d计算属于特征点群CG(1)的另一方特征点群CG(12)中的特征点C(3)与重心D2的相隔距离L3以及特征点C(4)与重心D2的相隔距离L4。接着，最近区域选择部15d对计算出的各相隔距离L3、L4(L3＞L4)进行比较处理，选择最接近重心D2的特征点、即相隔距离更小的特征点C(4)。其结果，最近区域选择部15d从特征点群CG(1)中，选择与特征点群CG(1)中的选择数V(＝2)相同数量的两个特征点C(1)、C(4)。
接着，最近区域选择部15d从与特征点群CG(11)对应的关注区域的相似组中，选择与特征点C(1)对应的关注区域A(1，1)，从与特征点群CG(12)对应的关注区域的相似组中，选择与特征点C(4)对应的关注区域A(4，1)。即，最近区域选择部15d从体内图像组PG中，选择与特征点群CG(1)中的选择数V(＝2)相同数量的两个关注区域A(1，1)、A(4，1)。
接着，最近区域选择部15d计算剩余的特征点群CG(2)中的特征点C(5)与重心D3的相隔距离L5以及特征点C(6)与重心D3的相隔距离L6。接着，最近区域选择部15d对该计算出的各相隔距离L5、L6(L5＜L6)进行比较处理，选择最接近重心D3的特征点、即相隔距离更小的特征点C(5)。其结果，最近区域选择部15d从特征点群CG(2)中，选择与特征点群CG(2)中的选择数V(＝1)相同数量的一个特征点C(5)。接着，最近区域选择部15d从与特征点群CG(2)对应的关注区域的区域组中，选择与特征点C(5)对应的关注区域A(6，1)。即，最近区域选择部15d从体内图像组PG中，选择与特征点群CG(1)中的选择数V(＝1)相同数量的一个关注区域A(6，1)。
另外，如图9所示，体内图像组PG内的关注区域A(1，1)、A(2，1)属于与特征点群CG(11)对应的关注区域的相似组，体内图像组PG内的关注区域A(3，1)、A(4，1)属于与特征点群CG(12)对应的关注区域的相似组。此外，该体内图像组PG内的关注区域A(6，1)、A(7，1)属于与特征点群CG(2)对应的关注区域的区域组。
之后，区域选择部15将最近区域选择部15d选择的关注区域A(1，1)、A(4，1)、A(6，1)选择为代表体内图像组PG内的各区域组或各相似组的代表区域，并将代表区域的选择处理结果发送到代表图像输出部16。
另外，代表图像输出部16根据从区域选择部15取得的代表区域的选择处理结果，从体内图像组PG中，将包含作为代表区域的关注区域A(1，1)的体内图像P(1)、包含关注区域A(4，1)的体内图像P(4)、和包含关注区域A(6，1)的体内图像P(6)作为显示对象的代表体内图像组输出到显示装置3。
以上，如所说明那样，在本发明的实施方式1中，构成为根据关注区域的特征量和包含关注区域的体内图像的时间序列位置，将关注区域分类到任意一个区域组，从属于该分类后的区域组的关注区域中选择作为代表的代表区域，并输出包含该代表区域的代表图像。
因此，通过考虑到关注区域的特征量和包含关注区域的体内图像的时间序列位置的分类，能够将例如特征量彼此相似、并且在时间上接近的关注区域彼此(例如，在预定时间内检测到的同一病变区域彼此)汇总到一个区域组。并且，通过输出代表图像，能够排除多次重复输出包含相互相似的关注区域的代表图像这样的浪费，所述代表图像包含从该区域组内的、例如相互相似的关注区域中选择的代表区域。其结果，能够减轻观察者的观察负担。
并且，在本发明的实施方式1中，至少从观察的必要性高的关注区域中选择作为输出对象的代表图像的代表区域，因此能够排除包含观察必要性低的非关注区域的图像成为代表图像的可能性，其结果，能够从输出对象中排除包含非关注区域的图像。其结果，能够排除对包含观察必要性低的非关注区域的图像进行观察的浪费，从而能够减轻观察者的观察负担。
(实施方式2)
接着，说明本发明的实施方式2。在上述实施方式1中，根据关注区域的每个区域组的组特征量确定选择数，将关注区域的区域组细分类为与该所确定的选择数相同数量的组，并按照该细分类后的关注区域的每个组选择代表性关注区域，从而选择与该选择数相同数量的代表区域，但是在本实施方式2中，根据上述选择数计算在时间序列方向上对特征点群进行等间隔分割的时间序列坐标，并选择与最接近所得到的时间序列坐标的特征点对应的关注区域，由此选择与该选择数相同数量的代表区域。
图10是示意性示出具有本发明实施方式2的图像处理装置的图像显示系统的一个结构例的框图。如图10所示，本实施方式2的图像显示系统200中替代上述实施方式1的图像显示系统100的图像处理装置2而具有图像处理装置202。图像处理装置202中替代实施方式1的图像处理装置2的运算部10而具有运算部210。运算部210中替代实施方式1中的运算部10的区域选择部15而具有区域选择部215。其他结构与实施方式1相同，对相同构成部分标注相同标号。
如上所述，图像处理装置202中替代实施方式1的图像处理装置2的运算部10而具有运算部210。此外，运算部210中替代实施方式1中的运算部10的区域选择部15而具有区域选择部215。另外，图像处理装置202除了运算部210的功能以外，与上述实施方式1的图像处理装置2具有相同的功能。此外，运算部210除了区域选择部215的功能以外，与上述实施方式1中的运算部10具有相同的功能。
如图10所示，区域选择部215具有与上述实施方式1中的区域选择部15相同的选择数确定部15a。另一方面，区域选择部215不具有上述实施方式1中的细分类处理部15b、重心计算部15c和最近区域选择部15d。即，区域选择部215与实施方式1中的区域选择部15具有相同的选择数确定处理功能，只是与选择数确定部15a按照关注区域的每个区域组确定的选择数对应的各关注区域组的代表区域选择处理功能不同。这种区域选择部215通过与实施方式1中的区域选择部15不同的处理过程，分别从各区域组中选择与选择数确定部15a的选择数相同数量的代表区域。
具体而言，区域选择部215与选择数确定部15a的选择数对应，计算在时间序列方向上对体内图像组PG内的多个关注区域A(j，t)的特征量分布进行等间隔分割的时间序列坐标，并选择与该选择数相同数量的最接近该时间序列坐标的关注区域，作为代表这多个关注区域A(j，t)的代表区域。
接着，对本发明实施方式2的图像处理装置202的动作进行说明。另外，如上所述，图像处理装置202除了运算部210内的区域选择部215的动作以外，还与实施方式1的图像处理装置2同样动作。即，图像处理装置202进行与图2所示的步骤S101～S107大致相同的处理过程，将1个以上的代表体内图像输出到显示装置3。具体而言，图像处理装置202仅步骤S106的处理过程与实施方式1的图像处理装置2不同。下面，对本实施方式2的图像处理装置202执行的步骤S106的处理过程进行详细说明。
图11是例示实施方式2中的各关注区域组的代表区域选择处理的处理过程的流程图。图12是用于具体说明实施方式2中的代表区域选择处理的示意图。
另外，图12所示的特征空间为Lab-时间序列特征空间。在图12中，为了简化本发明的说明，将关注区域A(j，t)具有的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)作为颜色特征量集中到一个轴上表示。
图像处理装置202的区域选择部215根据控制部40的控制依次执行图11所示的步骤S401～S403的处理过程，从而实现图2所示的步骤S106中的各关注区域组的代表区域选择处理。
具体而言，如图11所示，区域选择部215首先与实施方式1的情况同样地，执行存在于Lab-时间序列特征空间内的各特征点群的选择数确定处理(步骤S401)。在该步骤S401中，选择数确定部15a与图7所示的步骤S301同样地，按照体内图像组PG内的关注区域A(j，t)的每个区域组，确定与组特征量计算部14计算出的组特征量对应的代表区域的选择数V。
在执行步骤S401后，区域选择部215根据选择数确定部15a所确定的选择数V执行在时间序列方向上对特征点群进行等间隔分割的时间序列坐标的计算处理(步骤S402)。
在步骤S402中，区域选择部215首先将Lab-时间序列特征空间内的特征点群CG(k)的索引k设定为初始值(＝1)，并求出属于特征点群CG(1)的所有特征点在时间序列方向上的坐标分量(即时间序列坐标)的最小值Tmin和最大值Tmax。
接着，区域选择部215将时间序列坐标的最大值Tmax与最小值Tmin的差(Tmax-Tmin)除以对选择数确定部15a确定的特征点群CG(1)的选择数V加上“1”后的值(V+1)。此处，区域选择部215将通过该除法运算处理得到的值设为时间序列方向的刻度W。
之后，区域选择部215将分割特征点群CG(1)的时间序列坐标T(1，i)的索引i设定为初始值(＝1)，依次对索引i进行增加处理，直到索引i变为与特征点群CG(1)的选择数V相同的值为止，并且根据下式(3)，依次计算特征点群CG(1)中的时间序列坐标T(1，i)(k＝1，1≤i≤V)。
T(k，i)＝Tmin+W×i(1≤k≤Tk，1≤i≤V)···(3)
在计算出特征点群CG(1)中的时间序列坐标T(1，i)后，区域选择部215依次对索引k进行增加处理，直到在特征点群CG(k)的索引k变为特征点群的总数Tk为止，并且根据式(3)，重复执行上述运算处理。其结果，区域选择部215按照存在于Lab-时间序列特征空间内的每个特征点群CG(k)，计算与选择数确定部15a所确定的选择数V相同数量的时间序列坐标T(k，i)。
此处，每个特征点群CG(k)的时间序列坐标T(k，i)在时间序列方向上对属于特征点群CG(k)的特征点分布进行等间隔分割。即，每个特征点群CG(k)的时间序列坐标T(k，i)在时间序列方向上对与特征点群CG(k)对应的多个关注区域的特征量分布进行等间隔分割。
在执行步骤S402后，区域选择部215按照Lab-时间序列特征空间内的每个特征点群CG(k)，基于最接近时间序列坐标T(k，i)的特征点执行关注区域的选择处理(步骤S403)。之后，区域选择部215结束本处理并返回图2所示的步骤S106。
在步骤S403中，区域选择部215首先按照Lab-时间序列特征空间内的每个特征点群CG(k)，计算属于特征点群CG(k)的各特征点与时间序列坐标T(k，i)的各相隔距离。接着，区域选择部215按照每个特征点群CG(k)，用预定顺序对计算出的各相隔距离依次(例如按照时间序列顺序地依次)进行比较处理，选择与特征点群CG(k)的选择数V相同数量的变为最小相隔距离的特征点、即最接近时间序列坐标T(k，i)的特征点。接着，区域选择部215从体内图像组PG中选择与所选择的特征点对应的关注区域。其结果，区域选择部215按照体内图像组PG中的关注区域的每个区域组，选择与选择数V相同数量的关注区域A(j，t)作为各区域组的代表区域。区域选择部215将该代表区域的选择处理结果发送到代表图像输出部16。
此处，参照图12，对区域选择部215执行的步骤S401～S403的处理过程进行具体说明。如图12所示，在Lab-时间序列特征空间内，在存在包含特征点C(1)～C(4)的特征点群CG(1)和包含特征点C(5)、C(6)的特征点群CG(2)的情况下，区域选择部215进行步骤S401的处理过程，分别针对这两个特征点群CG(1)、CG(2)确定选择数V。
具体而言，选择数确定部15a首先与上述实施方式1的情况同样地，根据函数部15e计算出的概要率，确定与特征点群CG(1)的组特征量对应的特征点群CG(1)的选择数V(＝2)、和与特征点群CG(2)的组特征量对应的特征点群CG(2)的选择数V(＝1)。
接着，区域选择部215进行步骤S402的处理过程，计算Lab-时间序列特征空间内的特征点群CG(1)和特征点群CG(2)的各时间序列坐标。具体而言，区域选择部215首先求出属于特征点群CG(1)的特征点C(1)～C(4)的各时间序列坐标中的最小值Tmin和最大值Tmax。此处，最小值Tmin是在特征点群CG(1)中索引最小的特征点C(1)的时间序列轴的坐标分量，最大值Tmax是在特征点群CG(1)中索引最大的特征点C(4)的时间序列轴的坐标分量。
接着，区域选择部215将时间序列坐标的最大值Tmax与最小值Tmin的差(Tmax-Tmin)除以对特征点群CG(1)中的选择数V(＝2)加上“1”后的值(＝3)，由此计算特征点群CG(1)在时间序列方向的刻度W。区域选择数215使用特征点群CG(1)的选择数V(＝2)、时间序列坐标的最小值Tmin和刻度W等参数，根据上述式(3)，计算与特征点群CG(1)的选择数V(＝2)相同数量的两个时间序列坐标T(1，1)、T(1，2)。
此处，如图12所示，时间序列坐标T(1，1)、T(1，2)在时间序列轴的方向上对特征点群CG(1)的特征点C(1)～C(4)的分布进行等间隔分割。即，时间序列坐标T(1，1)、T(1，2)在时间序列方向上对与这4个特征点C(1)～C(4)对应的体内图像组PG内的4个关注区域A(1，1)～A(4，1)的特征量分布进行等间隔分割。
接着，区域选择部215求出属于剩余的特征点群CG(2)的两个特征点C(5)、C(6)的各时间序列坐标中的最小值Tmin和最大值Tmax。此处，最小值Tmin是在特征点群CG(2)中索引最小的特征点C(5)的时间序列轴的坐标分量，最大值Tmax是在特征点群CG(2)中索引最大的特征点C(6)的时间序列轴的坐标分量。
接着，区域选择部215将时间序列坐标的最大值Tmax与最小值Tmin的差(Tmax-Tmin)除以对特征点群CG(2)的选择数V(＝1)加上“1”后的值(＝2)，由此计算特征点群CG(2)在时间序列方向的刻度W。区域选择数215使用特征点群CG(2)的选择数V(＝1)、时间序列坐标的最小值Tmin和刻度W等参数，根据式(3)，计算与特征点群CG(2)的选择数V(＝1)相同数量的一个时间序列坐标T(2，1)。
此处，如图12所示，时间序列坐标T(2，1)在时间序列轴的方向上对特征点群CG(2)中的两个特征点C(5)、C(6)的分布进行等间隔分割。即，时间序列坐标T(2，1)在时间序列方向上对与这两个特征点C(5)、C(6)对应的体内图像组PG内的两个关注区域A(6，1)、A(7，1)的特征量分布进行等间隔分割。
之后，区域选择部215进行步骤S403的处理过程，根据分别最接近特征点群CG(1)中的两个时间序列坐标T(1，1)、T(1，2)的各特征点选择关注区域，并且根据特征点群CG(2)中的最接近一个时间序列坐标T(2，1)的特征点选择关注区域。
具体而言，区域选择部215首先计算属于索引较小的特征点群CG(1)的4个特征点C(1)～C(4)与两个时间序列坐标T(1，1)、T(1，2)中的一方时间序列坐标T(1，1)的各相隔距离。接着，区域选择部215以预定顺序(例如时间序列顺序)对计算出的各相隔距离依次进行比较处理，从特征点群CG(1)中选择与时间序列坐标T(1，1)的相隔距离最小的特征点、即最接近时间序列坐标T(1，1)的特征点C(2)。
接着，区域选择部215计算属于特征点群CG(1)的4个特征点C(1)～C(4)与两个时间序列坐标T(1，1)、T(1，2)中的另一方时间序列坐标T(1，2)的各相隔距离。接着，区域选择部215以预定顺序(例如时间序列顺序)对计算出的各相隔距离依次进行比较处理，从特征点群CG(1)中选择与时间序列坐标T(1，2)的相隔距离最小的特征点、即最接近时间序列坐标T(1，2)的特征点C(3)。
如上所述，区域选择部215从特征点群CG(1)中，选择与特征点群CG(1)中的选择数V(＝2)相同数量的两个特征点C(2)、C(3)。接着，区域选择部215从体内图像组PG中选择分别与所选择的两个特征点C(2)、C(3)对应的两个关注区域A(2，1)、A(3，1)。
接着，区域选择部215计算属于处理完成的特征点群CG(1)的索引其次小的特征点群CG(2)的两个特征点C(5)、C(6)和一个时间序列坐标T(2，1)的各相隔距离。接着，区域选择部215以预定顺序(例如时间序列顺序)对计算出的各相隔距离依次进行比较处理，从特征点群CG(2)中选择与时间序列坐标T(2，1)的相隔距离最小的特征点、即最接近时间序列坐标T(2，1)的特征点C(5)。
如上所述，区域选择部215从特征点群CG(2)中，选择与特征点群CG(2)的选择数V(＝1)相同数量的一个特征点C(5)。接着，区域选择部215从体内图像组PG中选择与所选择的一个特征点C(5)对应的一个关注区域A(6，1)。
此处，区域选择部215通过如上所述那样针对Lab-时间序列特征空间内的所有特征点群CG(1)、CG(2)执行关注区域的选择处理，按照体内图像组PG中的每个区域组，选择与选择数V相同数量的关注区域A(j，t)。
具体而言，区域选择部215选择与选择数V＝2相同数量的关注区域A(2，1)、A(3，1)以及与选择数V(＝1)相同数量的关注区域A(6，1)这合计三个关注区域，作为关注区域的各区域组的代表区域。区域选择部215将该代表区域的选择处理结果发送到代表图像输出部16。
另一方面，代表图像输出部16根据从区域选择部215取得的代表区域的选择处理结果，从体内图像组PG中，将包含作为代表区域的关注区域A(2，1)的体内图像P(2)、包含关注区域A(3，1)的体内图像P(3)、和包含关注区域A(6，1)的体内图像P(6)作为显示对象的代表体内图像组输出到显示装置3。
另外，区域选择部215在同一特征点群CG(k)内，存在多个与时间序列坐标T(k，i)的相隔距离最小的特征点的情况下，依照预定方法选择这多个特征点中的任意一个即可。例如，区域选择部215可以从与时间序列坐标T(k，i)的相隔距离最小的多个特征点中，选择时间序列顺序最靠前(即索引最小)的特征点，也可以按照时间序列顺序选择最新(即索引最大)的特征点。在任意一种情况下，区域选择部215都按照每个时间序列坐标T(k，i)选择一个特征点即可。
如以上所说明那样，在本发明的实施方式2中，计算与根据体内图像组所包含的关注区域的区域组的组特征量确定的选择数为相同数量、且在时间序列方向上对与Lab-时间序列特征空间内的特征点群对应的区域组内的关注区域的特征量分布进行等间隔分割的时间序列坐标，按照与该选择数相同数量的每个时间序列坐标选择体内图像组内的关注区域，作为代表该体内图像组内的各关注区域的代表区域，其他与实施方式1同样构成。
因此，享受与上述实施方式1的情况相同的作用效果，并且不对Lab-时间序列特征空间内的特征点群再次进行细分类处理，而选择与上述选择数相同数量的关注区域作为代表区域，因此与实施方式1的情况相比，能够在短时间内从体内图像组中选择关注区域，其结果，能够实现进一步促进输出包含待观察的关注区域的体内图像所需的处理时间的短时间化的图像处理装置、图像处理程序以及图像处理方法。
另外，在上述实施方式1、2中，例示了在单个体内图像中包含单个关注区域作为被摄体的情况，但是不限于此，也可以在单个体内图像中包含多个关注区域作为被摄体。例如，在上述体内图像组PG内的体内图像P(j)中包含多个关注区域A(j，t)(t≥2)作为被摄体的情况下，这多个关注区域A(j，t)通过2个以上的索引t识别。具体而言，在该体内图像P(j)所包含的关注区域数为两个的情况下，这些关注区域如关注区域A(j，1)、A(j，2)那样通过与关注区域数相同数量的索引t识别。另外，同一体内图像所包含的多个关注区域的时间序列坐标相互为相同的值。
此外，在上述实施方式1、2中，像素值转换部12a将处理对象的体内图像中的RGB颜色空间的值转换为L*a*b*空间的值，但是不限于此，像素值转换部12a也可以将处理对象的体内图像中的RGB颜色空间的值转换为L*a*b*空间以外的颜色空间的值，例如Yuv颜色空间的值，HSI颜色空间的值。
并且，在上述实施方式1、2中，例示了颜色特征量作为病变区域等关注区域的特征量的一例，但是不限于此，上述关注区域的特征量可以是关注区域的圆形度等形状特征量，周长等构造特征量，还可以是体内图像中的关注区域的位置信息等位置特征量，或者组合这些特征量中的至少两个后的特征量。
此外，在上述实施方式1、2中，将作为关注区域(或特征点)的颜色特征量的平均亮度指数和平均感知色度的各方差的合计值Sum(k)设为关注区域的区域组的组特征量，但是不限于此，上述组特征量计算部14也可以计算关注区域的颜色特征量的各方差的平均值作为组特征量，还可以计算关注区域的颜色特征量的各标准偏差的合计值或平均值作为组特征量。或者，组特征量计算部14还可以计算对基于上述关注区域的颜色特征量的方差或标准偏差等值加入(例如加上)了关注区域的时间序列方向的方差后的值作为组特征量。
并且，在上述实施方式1、2中，根据病变区域等关注区域所属的区域组的组特征量确定代表性关注区域(即代表区域)的选择数，但是不限于此，也可以根据Lab-时间序列特征空间内的特征点或属于每个特征点群的关注区域的特征量(例如颜色特征量)的波动确定代表区域的选择数。另外，在被检体内部的胶囊内窥镜在没有运动的状态下按照时间序列顺序依次拍摄的体内图像组中，所拍摄的关注区域的颜色、形状等特征量在图像之间变化较少。另一方面，在被检体内部的胶囊内窥镜运动的状态下按照时间序列顺序依次拍摄的体内图像组中，所拍摄的关注区域的颜色、形状等特征量在图像之间稍微存在变化。即，由运动的胶囊内窥镜拍摄的体内图像组在病变区域等关注区域的观察方式上存在变化，具有更多的待观察的关注信息。因此，在对运动的胶囊内窥镜拍摄的体内图像组进行处理的情况下，优选根据Lab-时间序列特征空间内的特征点或属于每个特征点群的关注区域的特征量的波动改变代表区域的选择数。
此外，在上述实施方式2中，根据上述式(3)计算时间序列坐标，但是不限于此，上述时间序列坐标也可以是按照时间序列顺序拍摄的体内图像组内的各体内图像的帧编号(图像编号)。另外，在相同帧编号的体内图像内包含特征相似的多个关注区域作为被摄体的情况下，被选择为代表区域的关注区域也可以是这多个关注区域中的任意一个。
并且，在上述实施方式1、2中，关注区域的特征点分布在由关注区域的颜色特征量(例如L*a*b*空间的平均亮度指数和平均感知色度等)的坐标轴和时间序列的坐标轴形成的特征空间内，但是不限于此，本发明中的关注区域的特征点也可以分布在由关注区域的颜色特征量、关注区域的圆形度等形状特征量，关注区域的周长等构造特征量，关注区域的位置信息等位置特征量以及时间序列中的任意两个坐标轴形成的特征空间内。例如，关注区域的特征点可以分布在由颜色特征量和形状特征量的各坐标轴形成的特征空间内，还可以分布在由形状特征量和时间序列的各坐标轴形成的特征空间内。
此外，在上述实施方式1、2中，例示了被检体的体内图像组作为处理对象的时间序列图像组的一例，但是不限于此，本发明中的处理对象的时间序列图像组只要是沿着时间序列依次拍摄的图像组，则可以不是按照时间序列顺序对被检体的消化管内部等体内进行拍摄而得到的体内图像组，该被摄体也可以是消化管内部等的被检体内部以外的期望部分。即，时间序列图像组所包含的关注区域不限于被检体的体内区域，也可以是观察者要观察的期望区域。此外，上述图像输入装置1不限于将通过胶囊内窥镜等拍摄的体内图像组输入图像处理装置的装置，可以是对拍摄期望被摄体而得到的时间序列图像组进行存储并将该时间序列图像组输入到图像处理装置的装置，还可以是自身拍摄时间序列图像组，并将所得到的时间序列图像组输入到图像显示装置的数字照相机等电子摄像装置。
并且，在上述实施方式1、2中，将时间序列图像组中的包含关注区域的代表图像作为显示对象的时间序列图像输出到了显示装置3，但是不限于此，本发明的图像处理装置、图像处理程序以及图像处理方法可以将时间序列图像组中的包含关注区域的代表图像作为存储对象的时间序列图像输出到存储装置，也可以将时间序列图像组中的包含关注区域的代表图像作为打印对象的时间序列图像输出到打印机。即，从本发明的图像处理装置接收包含关注区域的代表图像的装置不限于上述显示装置3，可以是硬盘等存储装置，也可以是打印机。
此外，在上述实施方式1、2中，对基于执行处理程序的控制部动作的利用软件的图像处理装置的处理过程进行了说明，但是不限于此，本发明的图像处理装置也可以执行利用硬件的处理过程。
此外，在上述实施方式1、2中，例示了粘膜区域或病变区域等体内区域作为观察的必要性高的关注区域，但是不限于此，根据被检体内部的观察内容，气泡或大便等体内区域可以是关注区域，并且粘膜区域或病变区域等体内区域(实施方式1、2中的关注区域)也可以是非关注区域。
另外，对于本领域技术人员而言，能够容易地导出上述各实施方式的进一步的效果和变形例。因此，本发明的更广泛的方式不限于如上那样表示并且记述的特定的详细和代表性实施方式。因此，能够在不脱离通过所附权利要求及其等同物定义的概括性发明概念的精神或范围的情况下进行各种变更。
产业上的可利用性
如上所述，本发明的图像处理装置、图像处理程序以及图像处理方法在沿着时间序列拍摄的时间序列图像组的观察中是有用的，尤其是，适用于能够省去在包含非关注区域的时间序列图像的观察或作为同一关注区域的重复的多个时间序列图像的观察中耗费的无效时间，减轻观察者观察时间序列图像组的负担的图像处理装置、图像处理程序以及图像处理方法。
标号说明
1：图像输入装置；2、202：图像处理装置；3：显示装置；10、210：运算部；11：关注区域检测部；12：特征量计算部；12a：像素值转换部；12b：平均值计算部；13：区域分类部；13a：相邻状况判定部；13b：相似度判定部；14：组特征量计算部；15、215：区域选择部；15a：选择数确定部；15b：细分类处理部；15c：重心计算部；15d：最近区域选择部；15e：函数部；16：代表图像输出部；20：输入部；30：存储部；40：控制部；100、200：图像显示系统；A(1，t)～A(7，t)：关注区域；C(1)～C(6)：特征点；CG(1)～CG(3)、CG(11)、CG(12)：特征点群；D1～D3：重心；P(1)～P(N)：体内图像；PG：体内图像组。

Claims (16)

1.一种图像处理装置，其特征在于，该图像处理装置具有：
关注区域检测部，其检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域；
计算处理部，其计算表示所述关注区域的特征的特征量；
区域分类部，其根据所述关注区域的特征量和包含所述关注区域的时间序列图像的时间序列位置，将所述关注区域分类到任意一个区域组；
组特征量计算部，其计算表示每个所述区域组的特征的组特征量；
区域选择部，其根据所述组特征量，从所述区域组中选择1个以上的代表区域，该1个以上的代表区域代表属于所述区域组的所述关注区域；以及
代表图像输出部，其输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述区域分类部根据表示检测到的所述关注区域彼此的特征量相似性的相似度和包含检测到的所述关注区域的各个时间序列图像的时间序列位置之间的关系，将检测到的所述关注区域分类到任意一个区域组。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述区域分类部具有：
相邻状况判定部，其判定所述关注区域检测部检测到的多个所述关注区域在时间序列上是否相邻；以及
相似度判定部，其判定所述计算处理部计算出的多个所述关注区域的特征量的相似度，
所述区域分类部根据所述相邻状况判定部所判定的多个所述关注区域的相邻状况和所述相似度判定部所判定的多个所述关注区域的特征量的相似度，将多个所述关注区域分类到任意一个区域组。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述相邻状况判定部判定从多个所述区域组分别选择出的不同区域组的各关注区域在时间序列上是否处于相邻状态或相同状态，
所述区域分类部在所述不同区域组的各关注区域在时间序列上处于相邻状态或相同状态的情况下，将多个所述区域组合并为同一区域组。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述关注区域的特征量是颜色特征量。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述计算处理部具有：
像素值转换部，其将属于所述关注区域的像素的值转换为L*a*b*空间的值；以及
平均值计算部，其计算所述像素值转换部转换输出的L*a*b*空间的值的平均值作为所述关注区域的颜色特征量。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述组特征量计算部计算由所述关注区域的特征量的坐标轴和时间序列的坐标轴形成的特征空间内的所述关注区域的特征量方差，并根据该计算出的所述方差计算所述区域组的组特征量。
8.根据权利要求1所述的图像处理装置，其特征在于，
所述区域选择部具有根据所述组特征量确定所述代表区域的选择数的选择数确定部，所述区域选择部从所述区域组中选择与所述选择数相同数量的所述代表区域。
9.根据权利要求8所述的图像处理装置，其特征在于，
所述选择数确定部具有函数部，该函数部设定表示所述组特征量与所述选择数之间的关系的函数，所述选择数确定部根据所述函数部设定的所述函数确定所述选择数。
10.根据权利要求8所述的图像处理装置，其特征在于，
所述区域选择部具有细分类处理部，该细分类处理部根据所述区域组所包含的多个所述关注区域的特征量，将多个所述关注区域细分类为与所述选择数相同数量的相似组，所述区域选择部通过按照每个相似组选择一个关注区域，选择与所述选择数相同数量的所述代表区域。
11.根据权利要求10所述的图像处理装置，其特征在于，
所述区域选择部具有：
重心计算部，其按照每个所述相似组计算所述相似组所包含的多个所述关注区域的特征量的重心；以及
最近区域选择部，其从所述相似组所包含的多个所述关注区域中，选择与所述重心最近的关注区域，
所述区域选择部按照每个所述相似组选择所述最近的关注区域作为所述代表区域。
12.根据权利要求8所述的图像处理装置，其特征在于，
所述区域选择部与所述选择数对应地计算在时间序列方向上对多个所述关注区域的特征量分布进行等间隔分割的时间序列坐标，并从多个所述关注区域中，选择与所述选择数相同数量的最接近所述时间序列坐标的关注区域，作为所述代表区域。
13.根据权利要求1所述的图像处理装置，其特征在于，
所述时间序列图像组是沿着时间序列拍摄被检体的消化管内部而得到的的体内图像组。
14.根据权利要求13所述的图像处理装置，其特征在于，
所述关注区域是被检体内部的病变区域或粘膜区域。
15.一种图像处理程序，其特征在于，该图像处理程序使计算机执行以下过程：
关注区域检测过程，检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域；
计算处理过程，计算表示所述关注区域的特征的特征量；
区域分类过程，根据所述关注区域的特征量和包含所述关注区域的时间序列图像的时间序列位置，将所述关注区域分类到任意一个区域组；
组特征量计算过程，计算表示每个所述区域组的特征的组特征量；
区域选择过程，根据所述组特征量，从所述区域组中选择1个以上的代表区域，该1个以上的代表区域代表属于所述区域组的所述关注区域；以及
代表图像输出过程，输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。
16.一种图像处理方法，其特征在于，该图像处理方法包含：
关注区域检测步骤，检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域；
计算处理步骤，计算表示所述关注区域的特征的特征量；
区域分类步骤，根据所述关注区域的特征量和包含所述关注区域的时间序列图像的时间序列位置，将所述关注区域分类到任意一个区域组；
组特征量计算步骤，计算表示每个所述区域组的特征的组特征量；
区域选择步骤，根据所述组特征量，从所述区域组中选择1个以上的代表区域，该1个以上的代表区域代表属于所述区域组的所述关注区域；以及
代表图像输出步骤，输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。
CN201080028989.7A 2009-07-23 2010-07-15 图像处理装置和图像处理方法 Expired - Fee Related CN102469925B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009172435A JP5220705B2 (ja) 2009-07-23 2009-07-23 画像処理装置、画像処理プログラムおよび画像処理方法
JP2009-172435 2009-07-23
PCT/JP2010/061977 WO2011010598A1 (ja) 2009-07-23 2010-07-15 画像処理装置、画像処理プログラムおよび画像処理方法

Publications (2)

Publication Number Publication Date
CN102469925A true CN102469925A (zh) 2012-05-23
CN102469925B CN102469925B (zh) 2014-07-30

Family

ID=43499071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080028989.7A Expired - Fee Related CN102469925B (zh) 2009-07-23 2010-07-15 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US9186051B2 (zh)
EP (1) EP2457494A4 (zh)
JP (1) JP5220705B2 (zh)
CN (1) CN102469925B (zh)
WO (1) WO2011010598A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541289A (zh) * 2013-07-24 2015-04-22 华为技术有限公司 一种兴趣点判断方法和兴趣点判断装置
CN106068091A (zh) * 2014-03-20 2016-11-02 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
CN106102554A (zh) * 2014-03-14 2016-11-09 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
CN106132266A (zh) * 2014-03-17 2016-11-16 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
CN106255993A (zh) * 2014-06-06 2016-12-21 三菱电机株式会社 图像分析方法、图像分析装置、图像分析系统以及图像分析便携式装置
CN109872327A (zh) * 2019-03-13 2019-06-11 南京航空航天大学 基于改进后密度峰和k均值聚类的簇绒地毯图像分割方法
CN111241385A (zh) * 2018-11-29 2020-06-05 北京京东尚科信息技术有限公司 信息处理方法、装置以及计算机系统和介质
CN112419309A (zh) * 2020-12-11 2021-02-26 上海联影医疗科技股份有限公司 医学图像相位确定方法、装置、计算机设备和存储介质
CN112955929A (zh) * 2018-11-07 2021-06-11 株式会社东芝 图像处理装置、图像处理方法以及程序

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5784404B2 (ja) * 2011-07-29 2015-09-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US20130066452A1 (en) * 2011-09-08 2013-03-14 Yoshiyuki Kobayashi Information processing device, estimator generating method and program
JP5164127B1 (ja) * 2012-09-03 2013-03-13 国立大学法人山口大学 画像処理装置、画像処理方法、画像処理プログラム
JP6191278B2 (ja) * 2013-06-26 2017-09-06 カシオ計算機株式会社 情報処理装置、コンテンツ課金システム及びプログラム
CN103870829A (zh) * 2013-09-16 2014-06-18 中国人民解放军国防科学技术大学 基于sar图像的车辆目标特征提取方法
JP6414966B2 (ja) * 2014-10-27 2018-10-31 Kddi株式会社 健康データ分析補助装置
CN105574504B (zh) * 2015-12-16 2019-01-18 华南理工大学 一种适用于运动自行车再识别的相似性度量计算方法
JP6234648B1 (ja) * 2016-01-15 2017-11-22 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
US9917999B2 (en) 2016-03-09 2018-03-13 Wipro Limited System and method for capturing multi-media of an area of interest using multi-media capturing devices
JP6741759B2 (ja) 2016-05-19 2020-08-19 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
EP3682791B1 (en) * 2017-09-15 2023-12-20 FUJIFILM Corporation Medical image processing device
JP7015385B2 (ja) * 2018-05-15 2022-02-02 富士フイルム株式会社 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム
WO2019220848A1 (ja) 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
JP6988001B2 (ja) * 2018-08-30 2022-01-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
WO2020059098A1 (ja) * 2018-09-20 2020-03-26 オリンパス株式会社 画像処理装置
JP7137629B2 (ja) * 2018-09-26 2022-09-14 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
WO2020188825A1 (ja) * 2019-03-20 2020-09-24 Hoya株式会社 内視鏡システム
CN111612751B (zh) * 2020-05-13 2022-11-15 河北工业大学 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法
KR102405434B1 (ko) * 2020-12-31 2022-06-07 주식회사 카이미 딥러닝 모델을 이용한 내시경 영상으로부터의 불필요한 이미지 제거 방법, 장치 및 프로그램
CN113673360A (zh) * 2021-07-28 2021-11-19 浙江大华技术股份有限公司 人体分布检测方法、航拍设备、电子装置和存储介质
JP2023019234A (ja) * 2021-07-29 2023-02-09 京セラドキュメントソリューションズ株式会社 画像処理装置、画像形成装置、および画像処理方法
WO2023089717A1 (ja) 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
CN114332025B (zh) * 2021-12-29 2022-07-26 长沙慧维智能医疗科技有限公司 消化内镜口咽通过时间自动检测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005131031A (ja) * 2003-10-29 2005-05-26 Olympus Corp 画像表示装置、画像表示方法、及び画像表示プログラム
US7088850B2 (en) * 2004-04-15 2006-08-08 Edda Technology, Inc. Spatial-temporal lesion detection, segmentation, and diagnostic information extraction system and method
JP2006280792A (ja) * 2005-04-04 2006-10-19 Olympus Corp 画像表示装置
JP2007006129A (ja) * 2005-06-23 2007-01-11 Toshiba Corp 代表画像抽出装置及びその方法
US20070025606A1 (en) * 2005-07-27 2007-02-01 Bioimagene, Inc. Method and system for storing, indexing and searching medical images using anatomical structures of interest
US20070133852A1 (en) * 2005-11-23 2007-06-14 Jeffrey Collins Method and system of computer-aided quantitative and qualitative analysis of medical images
CN101170940A (zh) * 2005-05-20 2008-04-30 奥林巴斯医疗株式会社 图像显示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801645B1 (en) * 1999-06-23 2004-10-05 Icad, Inc. Computer aided detection of masses and clustered microcalcifications with single and multiple input image context classification strategies
JP2001256244A (ja) * 2000-03-14 2001-09-21 Fuji Xerox Co Ltd 画像データ分類装置および画像データ分類方法
US6654728B1 (en) * 2000-07-25 2003-11-25 Deus Technologies, Llc Fuzzy logic based classification (FLBC) method for automated identification of nodules in radiological images
US7272251B2 (en) * 2002-09-30 2007-09-18 The Board Of Trustees Of The Leland Stanford Junior University Method for detecting and classifying a structure of interest in medical images
US7496228B2 (en) * 2003-06-13 2009-02-24 Landwehr Val R Method and system for detecting and classifying objects in images, such as insects and other arthropods
JP4652694B2 (ja) 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
US8442280B2 (en) * 2004-01-21 2013-05-14 Edda Technology, Inc. Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
KR100590537B1 (ko) 2004-02-18 2006-06-15 삼성전자주식회사 복수 영상의 요약 방법 및 장치
US8423125B2 (en) * 2004-11-09 2013-04-16 Spectrum Dynamics Llc Radioimaging
WO2006081547A1 (en) * 2005-01-27 2006-08-03 Cambridge Research And Instrumentation, Inc. Classifying image features
CN101203170B (zh) * 2005-06-02 2015-11-25 赛利恩影像股份有限公司 计算机辅助检测系统
US7720267B2 (en) * 2005-07-15 2010-05-18 Siemens Medical Solutions Usa, Inc. Method and apparatus for classifying tissue using image data
US7949181B2 (en) * 2007-06-28 2011-05-24 General Electric Company Segmentation of tissue images using color and texture

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005131031A (ja) * 2003-10-29 2005-05-26 Olympus Corp 画像表示装置、画像表示方法、及び画像表示プログラム
US7088850B2 (en) * 2004-04-15 2006-08-08 Edda Technology, Inc. Spatial-temporal lesion detection, segmentation, and diagnostic information extraction system and method
JP2006280792A (ja) * 2005-04-04 2006-10-19 Olympus Corp 画像表示装置
CN101170940A (zh) * 2005-05-20 2008-04-30 奥林巴斯医疗株式会社 图像显示装置
JP2007006129A (ja) * 2005-06-23 2007-01-11 Toshiba Corp 代表画像抽出装置及びその方法
US20070025606A1 (en) * 2005-07-27 2007-02-01 Bioimagene, Inc. Method and system for storing, indexing and searching medical images using anatomical structures of interest
US20070133852A1 (en) * 2005-11-23 2007-06-14 Jeffrey Collins Method and system of computer-aided quantitative and qualitative analysis of medical images

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541289B (zh) * 2013-07-24 2017-11-17 华为技术有限公司 一种兴趣点判断方法和兴趣点判断装置
CN104541289A (zh) * 2013-07-24 2015-04-22 华为技术有限公司 一种兴趣点判断方法和兴趣点判断装置
US10223785B2 (en) 2014-03-14 2019-03-05 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium extracting one or more representative images
CN106102554A (zh) * 2014-03-14 2016-11-09 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
CN106102554B (zh) * 2014-03-14 2019-02-05 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN106132266A (zh) * 2014-03-17 2016-11-16 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
US9959618B2 (en) 2014-03-17 2018-05-01 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium
US10198811B2 (en) 2014-03-20 2019-02-05 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium
CN106068091A (zh) * 2014-03-20 2016-11-02 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
CN106255993A (zh) * 2014-06-06 2016-12-21 三菱电机株式会社 图像分析方法、图像分析装置、图像分析系统以及图像分析便携式装置
CN106255993B (zh) * 2014-06-06 2019-07-26 三菱电机株式会社 图像分析方法、图像分析装置、图像分析系统以及图像分析便携式装置
CN112955929A (zh) * 2018-11-07 2021-06-11 株式会社东芝 图像处理装置、图像处理方法以及程序
CN111241385A (zh) * 2018-11-29 2020-06-05 北京京东尚科信息技术有限公司 信息处理方法、装置以及计算机系统和介质
CN109872327A (zh) * 2019-03-13 2019-06-11 南京航空航天大学 基于改进后密度峰和k均值聚类的簇绒地毯图像分割方法
CN112419309A (zh) * 2020-12-11 2021-02-26 上海联影医疗科技股份有限公司 医学图像相位确定方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
EP2457494A1 (en) 2012-05-30
US9186051B2 (en) 2015-11-17
JP2011024727A (ja) 2011-02-10
WO2011010598A1 (ja) 2011-01-27
JP5220705B2 (ja) 2013-06-26
EP2457494A4 (en) 2017-05-24
CN102469925B (zh) 2014-07-30
US20120114203A1 (en) 2012-05-10

Similar Documents

Publication Publication Date Title
CN102469925B (zh) 图像处理装置和图像处理方法
CN101909510B (zh) 图像处理装置以及图像处理程序
CN100558289C (zh) 内窥镜诊断支持装置
CN101803899A (zh) 图像处理装置以及图像处理方法
JP5156427B2 (ja) カプセル内視鏡システム
CN101947113B (zh) 图像处理装置和该图像处理装置中的图像处理方法
CN101061483B (zh) 用于计算机辅助诊断的原位数据收集架构
CN101005795B (zh) 图像显示装置、图像显示方法
CN102247118B (zh) 医疗用图像处理装置
US20080212881A1 (en) Image Display Apparatus
CN109117890B (zh) 一种图像分类方法、装置和存储介质
CN103458765B (zh) 图像处理装置
CN101909511A (zh) 场景变化检测装置以及场景变化检测程序
JPWO2016110993A1 (ja) 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法
CN101351149A (zh) 图像处理装置和该图像处理装置中的图像处理方法
CN107767874A (zh) 一种婴儿啼哭声识别提示方法及系统
Ghosh et al. Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy
CN113946217B (zh) 一种肠镜操作技能智能辅助评估系统
KR20210090464A (ko) 장기 구분 시스템 및 방법
Verma et al. Breast cancer survival rate prediction in mammograms using machine learning
JP2011115393A (ja) 肌特徴判別システム、肌特徴判別方法及び肌特徴判別プログラム
CN113744798A (zh) 组织样本的分类方法、装置、设备和存储介质
KR20210068189A (ko) 의료 영상을 이용한 병변 여부 판단 방법
CN114550860B (zh) 一种基于流程数据与智能网络模型的就医满意度评估方法
CN102567988B (zh) 图像处理装置以及图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140730

Termination date: 20180715

CF01 Termination of patent right due to non-payment of annual fee