CN104662582A - 图像处理装置、程序和图像处理方法 - Google Patents

图像处理装置、程序和图像处理方法 Download PDF

Info

Publication number
CN104662582A
CN104662582A CN201380050261.8A CN201380050261A CN104662582A CN 104662582 A CN104662582 A CN 104662582A CN 201380050261 A CN201380050261 A CN 201380050261A CN 104662582 A CN104662582 A CN 104662582A
Authority
CN
China
Prior art keywords
region
image
object images
judgement object
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380050261.8A
Other languages
English (en)
Other versions
CN104662582B (zh
Inventor
矢口阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104662582A publication Critical patent/CN104662582A/zh
Application granted granted Critical
Publication of CN104662582B publication Critical patent/CN104662582B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

图像处理装置包括：图像列取得部(200)，其取得具有多个构成图像的图像列；以及处理部(100)，其进行删除图像列的多个构成图像中的一部分而生成精简图像列的图像精简处理，处理部(100)从多个构成图像中选择基准图像和判定对象图像，检测判定对象图像的不要区域，根据基准图像与判定对象图像之间的变形信息和不要区域，求出在删除了判定对象图像的情况下丧失的区域即丧失区域，根据所求出的丧失区域判定可否删除判定对象图像。

Description

图像处理装置、程序和图像处理方法
技术领域
本发明涉及图像处理装置、程序和图像处理方法等。
背景技术
在根据给定的时间间隔以时间序列的方式持续对静态图像进行摄像的情况下、通过多个图像网罗具有空间宽度的被摄体的情况下、或者对动态图像进行摄像后取得构成该动态图像的各图像作为静态图像的情况下等，取得时间或空间上连续的非常大量的图像(以下也记载为图像列)。在这种情况下，图像列中靠近(即时间或空间上靠近)的图像彼此是相似图像的可能性较高，在掌握所摄像的内容时，不需要检查大量的全部图像。本来，图像张数为数万张以上的情况也不稀奇，用户手动检查全部图像本身的负担很大。
因此，需要通过从图像列中删除一部分图像而精简为张数比原来的图像列的张数少的图像列(以下将该处理记载为图像精简处理)。例如在专利文献1中公开了如下的图像精简处理手法：通过提取图像列中的场景变化的交界的图像或代表图像列的图像，保留容易掌握图像列的内容的图像。
现有技术文献
专利文献
专利文献1：日本特开2009-5020号公报
专利文献2：日本特开2011-24763号公报
专利文献3：日本特开2007-313119号公报
专利文献4：日本特开2010-115413号公报
专利文献5：日本特开2012-16454号公报
专利文献6：日本特开2011-234931号公报
发明内容
发明要解决的课题
例如在医学领域中应用图像精简技术的情况下，从避免疾患的漏看的观点来看，需要抑制由于删除图像而产生无法观察的区域。特别是病变区域或异常区域这样的重要区域不能包含在无法观察的区域中。
但是，如专利文献1的手法那样，当仅保留场景变化的交界的图像、或以是否容易直观观察精简后的图像列的观点进行图像精简时，可能由于删除图像而产生无法观察的区域，并不理想。并且，由于无法观察的区域的产生程度依赖于图像的内容，所以，在现有的图像精简处理的手法中，很难控制疾患的漏看等的程度。
根据本发明的若干个方式，能够提供如下的图像处理装置、程序和图像处理方法等：通过使用变形信息来进行抑制由于删除图像而产生无法观察的区域的图像精简处理，此时，通过使用不要区域来提高该图像精简处理的效率。
用于解决课题的手段
本发明的一个方式涉及一种图像处理装置，该图像处理装置包括：图像列取得部，其取得具有多个构成图像的图像列；以及处理部，其进行删除所述图像列取得部取得的所述图像列的所述多个构成图像中的一部分而生成精简图像列的图像精简处理，所述处理部从所述多个构成图像中选择基准图像和判定对象图像，检测所述判定对象图像的不要区域，根据所述基准图像与所述判定对象图像之间的变形信息和所述不要区域，求出在删除了所述判定对象图像的情况下丧失的区域即丧失区域，根据所求出的所述丧失区域判定可否删除所述判定对象图像。
在本发明的一个方式中，根据基准图像与判定对象图像之间的变形信息和不要区域求出丧失区域，根据所求出的丧失区域判定可否删除判定对象图像。通过考虑不要区域，作为丧失区域，能够求出在基准图像中未被覆盖且希望被覆盖的(并非不要的)区域等，所以，能够适当地判定可否删除等。
并且，在本发明的一个方式中，也可以是，所述处理部根据所述基准图像与所述判定对象图像之间的所述变形信息，求出所述基准图像覆盖所述判定对象图像的区域即覆盖区域，求出所述判定对象图像中的不是所述覆盖区域且也不是所述不要区域的区域作为所述丧失区域。
由此，能够计算判定对象图像中的既不是覆盖区域也不是不要区域的区域作为丧失区域并将其用于判定可否删除。
并且，在本发明的一个方式中，也可以是，所述处理部根据所述丧失区域计算与所述基准图像比较后得到的所述判定对象图像的丧失率，根据计算出的所述丧失率判定可否删除所述判定对象图像。
由此，能够根据丧失率来判定可否删除等。
并且，在本发明的一个方式中，也可以是，所述处理部计算所述丧失区域在所述判定对象图像中占据的比例作为所述丧失率。
由此，能够求出丧失区域在判定对象图像中占据的比例作为丧失率。
并且，在本发明的一个方式中，也可以是，所述处理部使用所述丧失区域判定在所述判定对象图像中有无漏看关注区域的可能性，根据有无漏看所述关注区域的可能性来判定可否删除所述判定对象图像。
由此，在与丧失区域的关系中，能够根据是否存在应该关注的区域即关注区域的漏看可能性这样的观点来判定可否删除等。
并且，在本发明的一个方式中，也可以是，所述处理部通过判定所述丧失区域中是否包含有与所述关注区域对应的尺寸的区域，判定有无在所述判定对象图像中漏看所述关注区域的可能性。
由此，能够根据丧失区域中是否包含有与关注区域对应的尺寸的区域来判定有无漏看可能性。
并且，在本发明的一个方式中，也可以是，所述处理部针对所述丧失区域进行使用与所述关注区域对应的构造要素的收缩处理，在所述收缩处理的结果为存在残留区域的情况下，视为存在漏看所述关注区域的可能性，判定为不能删除所述判定对象图像，在所述收缩处理的结果为不存在所述残留区域的情况下，视为不存在漏看所述关注区域的可能性，判定为能够删除所述判定对象图像。
由此，能够针对丧失区域进行使用构造要素的收缩处理，根据该收缩处理的结果为是否存在残留区域来判定可否删除等。
并且，在本发明的一个方式中，也可以是，所述图像列是对活体内进行摄像而得到的活体内图像列，所述处理部检测所述判定对象图像的泡区域或残渣区域作为所述不要区域。
由此，能够检测活体内图像中的泡区域或残渣区域作为不要区域。
并且，在本发明的一个方式中，也可以是，所述处理部检测所述判定对象图像的暗部区域或光晕区域作为所述不要区域。
由此，能够检测暗部区域或光晕区域作为不要区域。
本发明的另一个方式涉及一种程序，该程序使计算机作为上述各部发挥功能。
本发明的另一个方式涉及一种图像处理方法，取得具有多个构成图像的图像列，从所述多个构成图像中选择基准图像和判定对象图像，检测所述判定对象图像的不要区域，根据所述基准图像与所述判定对象图像之间的变形信息和所述不要区域，求出在删除了所述判定对象图像的情况下丧失的区域即丧失区域，根据所求出的所述丧失区域判定可否删除所述判定对象图像，根据所述可否删除的判定结果，进行删除所述图像列的所述多个图像中的一部分而取得精简图像列的图像精简处理。
附图说明
图1(A)～图1(C)是说明考虑不要区域的情况下和不考虑不要区域的情况下的差异的图。
图2是图像处理装置的结构例。
图3是可否删除判定部的结构例。
图4是说明第1实施方式的处理的图。
图5是说明本实施方式的图像精简处理的流程图。
图6是用于说明可否删除判定处理的流程图。
图7(A)～图7(C)是说明基准图像和判定对象图像的选择手法的图。
图8是说明根据多个基准图像求出覆盖区域的处理的图。
图9(A)、图9(B)是说明使用第1基准图像和第2基准图像的可否删除判定处理的。
图10是可否删除判定部的另一个结构例。
图11是说明第2实施方式的处理的图。
图12(A)～图12(F)是说明针对丧失区域的基于构造要素的收缩处理的图。
图13(A)、图13(B)是说明针对判定对象图像中的不要区域以外的区域的基于构造要素的收缩处理的图。
图14(A)、图14(B)是基准图像和要覆盖区域的包含判定的例子。
图15(A)、图15(B)是说明使用构造要素的另一个处理的图。
图16是图像处理装置的基本结构例。
图17是说明根据覆盖区域求出覆盖率的手法的图。
具体实施方式
下面，对本实施方式进行说明。另外，以下说明的本实施方式并不是不当地限定权利要求范围所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的必须结构要件。
1.本实施方式的手法
首先，对本实施方式的手法进行说明。在取得由时间或空间上连续的大量图像构成的图像列的情况下，在用户使用该图像列进行某些处理(例如如果是内窥镜图像列，则进行诊断等医疗行为)时，优选进行图像精简处理。这是因为，图像列中包含的图像的张数非常多，用户观看全部图像后进行判断需要很大劳力。并且，在图像列所包含的图像中存在彼此相似的图像的可能性很高，即使检查全部这种相似的图像，可取得的信息量也有限，与劳力不相称。
作为具体例，考虑使用胶囊内窥镜进行摄像而得到的图像列。胶囊内窥镜是内置有小型照相机的胶囊形状的内窥镜，以给定的时间间隔(例如1秒2次等)对图像进行摄像。胶囊内窥镜从内服到排出需要几个小时(根据情况而需要十几个小时)，所以，在1个用户的1次检查中取得几万张摄像图像。并且，胶囊内窥镜在活体内移动时，由于受到该活体的运动的影响等而停留在相同场所或向相反方向返回。因此，在大量图像中存在对与其他图像相同的被摄体进行摄像、在病变发现等中有用性不高的多个图像。
在现有的图像精简处理中，提取了场景变化的交界的图像、代表图像列的图像。但是，在这种手法中，在删除图像时，没有特别考虑作为该删除对象的图像中摄像的被摄体和保留图像中摄像的被摄体的关系。因此，可能导致精简前的图像列所包含的图像上摄像的被摄体在精简后的图像列所包含的任意图像上均未被摄像。并且，以何种程度产生由于图像精简处理而未包含在图像列的任意图像中的被摄体的程度依赖于作为处理对象的图像列，所以，在现有手法中很难控制该程度。
特别是在医疗领域中的图像精简处理中并不理想。在医疗领域中，从其目的来看，必须极力抑制应该关注的区域(例如病变部)的漏看。因此，优选对活体内的尽可能宽的范围进行摄像，在图像精简处理中，应该抑制由于删除给定的图像而产生无法观察的被摄体范围。
因此，本申请人提出了如下手法：选择基准图像(保留图像、根据实施方式而成为保留候选的图像)和判定对象图像(判定是否删除的对象图像)，进行基于基准图像与判定对象图像之间的变形信息的图像精简处理。
作为使用变形信息的图像精简处理的一例，如图17所示，考虑通过对基准图像进行变形而在判定对象图像上计算覆盖区域。该情况下，基准图像中摄像的被摄体和判定对象图像的覆盖区域上摄像的被摄体对应。即，判定对象图像中的覆盖区域外的范围(以下表记为非覆盖区域)成为在删除了该判定对象图像的情况下、即使保留基准图像也无法覆盖的区域。
由此，作为一例，计算覆盖区域在判定对象图像中占据的比例等作为覆盖率，根据计算出的覆盖率判定是否删除判定对象图像，从而对无法观察的被摄体范围的产生程度进行控制。例如，如果在覆盖率为阈值以上时删除判定对象图像、在覆盖率小于阈值时不删除判定对象图像，则能够根据阈值的设定而对无法覆盖的区域的产生程度进行控制。
作为使用变形信息的图像精简处理的另一例，也可以根据针对非覆盖区域的基于构造要素(对应于关注区域)的收缩处理的结果，判定可否删除判定对象图像。收缩处理是图12(A)～图12(F)所示的处理(其中，图12(A)～图12(F)中的对象不是非覆盖区域)。详细情况在后面叙述，但是，该情况下，即使删除了判定对象图像，也能够保证在基准图像上拍摄到该判定对象图像上拍摄的构造要素的尺寸以上的区域中的至少一部分。因此，在判定对象图像中对关注区域整体进行了摄像的情况下，与该关注区域在判定对象图像上的位置无关，能够通过基准图像来观察其至少一部分，所以，能够抑制关注区域的漏看可能性。
但是，在判定对象图像上存在不要区域的情况下，在基于上述覆盖区域的图像精简处理中，效率可能较差(不需要保留的图像也保留在精简处理后的图像列中)。这里，不要区域表示在考虑使用所取得的图像的处理的情况下拍摄到该处理中不需要的被摄体的区域、或者如暗部或光晕那样本身未能充分拍摄到被摄体的区域。什么样的被摄体不要是根据使用该图像进行的处理而不同的，但是，例如，如果是利用内窥镜装置进行摄像而得到的活体内图像的例子，则认为泡和残渣是不要被摄体。这是因为，在使用活体内图像进行的诊断等中，假设活体表面的粘膜和血管构造等为观察对象，泡和残渣很重要的可能性较低。由此，在这种情况下，在图像上对拍摄到泡的泡区域或拍摄到残渣的残渣区域成为不要区域。但是，根据观察形式，泡等也可能成为观察对象，该情况下，泡区域等也不是不要区域。
使用图1(A)～图1(C)对考虑不要区域的优点进行说明。另外，图1(A)～图1(C)设定了极端形状以进行说明。使用变形信息对基准图像进行变形并将其射影到判定对象图像上的结果，得到图1(A)所示的覆盖区域。该情况下，覆盖率为50％，在基准图像中拍摄到在判定对象图像中拍摄到的被摄体的50％。这表示在删除了判定对象图像的情况下，即使保留基准图像，判定对象图像的50％也可能无法观察。例如，如果设为可否删除判定中使用的覆盖率的阈值为70％的情况(无法观察的被摄体的比例容许到30％的情况)，则在图1(A)的情况下，判定为不能删除判定对象图像。
但是，如图1(B)所示，在判定对象图像上存在不要区域的情况下，由于在该不要区域中原本未拍摄到具有价值的被摄体，所以，针对不要区域，即使由于删除判定对象图像而无法观察也不会产生问题。换言之，即使在不要区域未被基准图像覆盖(未包含在覆盖区域中)的情况下，也不成为无法删除该判定对象图像的理由。
如图1(C)那样，在判定对象图像中考虑覆盖区域和不要区域。该情况下，针对覆盖区域，由于在基准图像中拍摄到对应的被摄体，所以，即使删除判定对象图像，也能够在基准图像中观察该覆盖区域中摄像的被摄体。并且，如上所述，不要区域是即使由于删除判定对象图像而无法观察也不会产生影响的区域。即，关于在删除了判定对象图像的情况下无法观察、且由于无法观察而产生障碍的区域，考虑图1(C)的丧失区域即可。
即，在图1(A)～图1(C)的判定对象图像中，如图1(A)那样仅考虑覆盖区域因此认为应该判定为不能删除，但是，如果如图1(C)那样还考虑不要区域，则在即使删除而由此丧失的被摄体区域也止于判定对象图像的25％，因此可以判定为能够删除。由此，这里，将丧失区域在判定对象图像中占据的比例定义为丧失率，根据该丧失率进行可否删除判定。这样，如图1(A)～图1(C)所示，针对在使用覆盖率的判定中视为不能删除的判定对象图像，也能够适当判定为能够删除。因此，由于通过图像精简处理而判定为能够删除的可能性提高，所以，能够提高图像张数的削减效果，用户能够容易地进行诊断等。
在使用构造要素的收缩处理中也是同样。在使用构造要素的处理中，判定有无在删除了判定对象图像的情况下丧失的区域(如果仅考虑覆盖区域，则为上述非覆盖区域)中完全内包有给定尺寸、形状的关注区域(例如病变部)的可能性。这是因为，在内包的情况下，判定对象图像中拍摄到其整体的关注区域可能由于删除判定对象图像而完全丧失(基准图像中也未保留其一部分)。
但是，由于不要区域是上述这种泡区域等，所以，在该不要区域中不会包含病变部等关注区域。由此，作为收缩处理的对象，不需要考虑非覆盖区域整体。具体而言，仅考虑非覆盖区域中的可能拍摄到关注区域的区域即可，该区域是从非覆盖区域中除去不要区域后的区域，无非就是图1(C)所示的丧失区域。即，在使用构造要素的情况下，与代替覆盖率而求出丧失率的例子同样地求出丧失区域，将所求出的丧失区域作为对象进行处理即可。
由于丧失区域是与非覆盖区域相同或该非覆盖区域以下的面积的区域，所以，关注区域内包于丧失区域中的可能性低于关注区域内包于非覆盖区域中的可能性。由于涉及判定为能够删除判定对象图像的可能性的提高，所以，该情况下，能够提高图像张数的削减效果。
作为这里的图像处理装置的1个实施方式，如图16所示，考虑包括处理部100和图像列取得部200。图像列取得部200取得具有多个构成图像的图像列。处理部100进行删除图像列取得部200取得的图像列的多个构成图像中的一部分而生成精简图像列的图像精简处理。然后，处理部100从多个构成图像中选择基准图像和判定对象图像，检测判定对象图像的不要区域，根据基准图像与判定对象图像之间的变形信息和不要区域，求出与基准图像相比得到的判定对象图像的丧失区域，根据所求出的丧失区域判定可否删除判定对象图像。
下面，在第1实施方式中，对根据丧失率进行判定对象图像的可否删除判定处理的手法进行说明。并且，在第2实施方式中，对根据使用构造要素的收缩处理进行判定对象图像的可否删除判定处理的手法进行说明。
2.第1实施方式
对根据丧失率进行判定对象图像的可否删除判定处理的手法进行说明。具体而言，对图像处理装置的系统结构例进行说明，使用流程图对处理流程进行说明。
2.1系统结构例
图2示出本实施方式中的图像处理装置的系统结构例。图像处理装置包括处理部100、图像列取得部200、存储部300。
处理部100通过对图像列取得部200取得的图像列删除该图像列中包含的多个图像的一部分，进行图像精简处理。该处理部100的功能可以由各种处理器(CPU等)、ASIC(门阵列等)等硬件、程序等实现。
图像列取得部200取得作为图像精简处理对象的图像列。认为要取得的图像列是按照时间序列排列的RGB3通道图像。或者，也可以是通过排列成横向一列的摄像设备拍摄的空间上排列的图像列那样在空间上连续的图像列。另外，构成图像列的图像不限于RGB3通道图像，也可以使用Gray1通道图像等其他颜色空间。
存储部300除了存储图像列取得部200取得的图像列以外，还作为处理部100等的工作区域，其功能可以由RAM等存储器、HDD(硬盘驱动)等实现。
并且，如图2所示，处理部100也可以包括变形信息取得部1001、不要区域检测部1002、基准图像选择部1003、判定对象图像选择部1004、可否删除判定部1005。另外，处理部100不限于图2的结构，能够进行省略它们的一部分结构要素或追加其他结构要素等各种变形实施。并且，上述各部是为了在将由处理部100执行的图像精简处理分割为多个子进程时对各子进程进行说明而设定的，处理部100不是必须具有上述各部作为结构要件。
变形信息取得部1001取得2个图像间的变形信息。这里，变形信息表示一个图像中摄像的范围在另一个图像中被摄像为什么样的形状(范围)，例如可以是专利文献2所公开的变形参数等。在判定对象图像的可否删除判定中，变形信息取得部1001取得基准图像选择部1003选择出的基准图像与判定对象图像选择部1004选择出的判定对象图像之间的变形信息，根据所取得的变形信息进行可否删除判定处理。
但是，变形信息取得部1001不限于直接求出基准图像与判定对象图像之间的变形信息。例如，也可以在作为处理对象的图像列中求出相邻图像间的变形信息，组合相邻图像间的变形信息来计算不相邻的图像间的变形信息。该情况下，通过组合基准图像、判定对象图像及其间图像的相邻图像间的变形信息(狭义地讲为全部图像)来求出基准图像与判定对象图像之间的变形信息。
由此，能够减轻变形信息的计算处理的负荷。这是因为，虽然能够通过专利文献2等所示的手法计算变形信息，但是，与一般情况下从头计算变形信息的处理相比，对多个变形信息进行复合的处理负荷非常轻。例如，如果变形信息为矩阵等，则根据2个图像信息求出该矩阵的处理的负荷较大，但是，对已经求出的多个矩阵进行合成(例如仅取得矩阵的积)非常容易。
例如，在由图像列取得部200取得的图像列包含N张图像的情况下，认为从中选择2张图像的组合为N×(N-1)/2，所以，当直接求出基准图像与判定对象图像之间的变形信息时，可能要进行N2的数量级的次数的负荷较重的处理(从头计算变形信息的处理)。与此相对，如果使用相邻图像间的变形信息，则负荷较重的处理为N-1次即可。
不要区域检测部1002检测所取得的图像列中包含的各图像的不要区域。认为不要区域为泡区域、残渣区域、暗部区域、光晕区域。另外，暗部区域是图像被涂黑的区域，例如是由根据RGB的各像素值计算出的亮度值的值小于给定阈值的像素构成的区域。并且，光晕区域是图像泛白的区域，例如是由根据RGB的各像素值计算出的亮度值的值大于给定阈值的像素构成的区域。
考虑各种泡区域、残渣区域、暗部区域、光晕区域的各区域的检测手法，但是，例如分别使用专利文献3～6所公开的手法即可。另外，作为不要区域，可以使用泡区域等中的任意一方，也可以组合多个。在组合多个的情况下，将各区域的和区域作为不要区域即可。这里，图像上的区域A与区域B的和区域是构成图像的像素中的包含在区域A和区域B中的至少一个区域中的像素的集合的区域。
基准图像选择部1003从部分图像列的多个图像中选择基准图像。判定对象图像选择部1004选择部分图像列的多个图像中的与基准图像不同的图像作为判定对象图像。
可否删除判定部1005根据基准图像与判定对象图像之间的变形信息和不要区域，进行判定对象图像的可否删除判定处理。在本实施方式中，根据表示在删除了判定对象图像的情况下丧失的区域的比例的丧失率，进行判定对象图像的可否删除判定处理。
如图3所示，可否删除判定部1005可以包括覆盖区域计算部1009、丧失区域计算部1010、丧失率计算部1011、阈值判定部1012。但是，可否删除判定部1005不限于图3的结构，能够进行省略它们的一部分结构要素或追加其他结构要素等各种变形实施。
覆盖区域计算部1009利用2个图像间的变形信息(变形参数)，将基准图像射影到判定对象图像来求出覆盖区域。
丧失区域计算部1010根据覆盖区域和不要区域求出丧失区域。在图1(A)～图1(C)中示出覆盖区域和不要区域不重合的例子，但是，即使重合，也能够同样求出丧失区域。具体而言，如图4所示，将判定对象图像中的未包含在覆盖区域中、且未包含在不要区域中的区域设为丧失区域即可。
丧失率计算部1011根据丧失区域计算丧失率。具体而言，求出丧失区域的面积相对于判定对象图像的面积的比例作为丧失率即可。作为区域的面积，也可以直接使用该区域中包含的像素的数量。
阈值判定部1012进行计算出的丧失率和给定阈值的比较处理。由于丧失率是表示在删除了判定对象图像的情况下丧失的被摄体的面积的比例的指标值，所以，在丧失率较大的情况下判定为不能删除判定对象图像，在丧失率较小的情况下判定为能够删除判定对象图像。具体而言，设定给定的阈值Th，如果丧失率小于Th则判定为能够删除判定对象图像，如果丧失率为Th以上(包含该值)则判定为不能删除判定对象图像即可。
2.2处理流程
接着，使用图5的流程图对本实施方式的图像精简处理流程进行说明。该处理开始后，首先，进行变形估计处理(S101)。具体而言，相当于如上所述求出相邻的2个图像间的变形信息的处理。
然后，从取得的图像列的各图像中检测不要区域(S102)。在考虑多个区域作为不要区域的情况下，也可以如上所述求出各区域的和区域。
然后，从图像列中选择基准图像(S103)。在首次进行S103的处理的情况下，只要选择图像列的开头的图像作为基准图像即可。并且，在第2次以后的S103的处理(从S105返回S103的情况)中，选择S105的可否删除判定处理中判定为不能删除的判定对象图像作为新的基准图像。这里选择出的基准图像保留在精简图像列中。另外，在由于错误等而无法从部分图像列中选择基准图像的情况下，结束图像精简处理。
在选择了基准图像的情况下，从图像列中包含的图像中选择判定对象图像(S104)。这里，设为在图像列中从基准图像的后方的图像中选择判定对象图像。具体而言，在S103的基准图像的选择或更新处理后首次进行S104的处理的情况下，选择基准图像的下一个图像作为判定对象图像。并且，在已经选择了以基准图像为起点的第k个图像作为判定对象图像的情况下，错开一个选择位置，选择以基准图像为起点的第k+1个图像作为新的判定对象图像。在不存在S104中要选择的图像的情况下，由于到图像列的最后的图像为止已经进行了可否删除判定处理，所以结束图像精简处理。
在选择出基准图像和判定对象图像后，根据S101中求出的(或通过组合S101中求出的变形信息而取得的)基准图像与判定对象图像之间的变形信息以及S102中检测到的不要区域，进行判定对象图像的可否删除判定处理(S105)。
使用图6的流程图对S105的可否删除判定处理流程进行说明。该处理开始后，首先，通过使用变形信息(变形参数)对基准图像进行变形，求出覆盖区域(S201)。然后，求出判定对象图像中的既不是覆盖区域也不是不要区域的区域作为丧失区域(S202)，计算丧失区域在判定对象图像中占据的比例作为丧失率(S203)。进行计算出的丧失率和给定阈值的比较处理(S204)，判定可否删除判定对象图像。
在S105中判定为能够删除的情况下，返回S104，进行判定对象图像的更新处理。并且，在S105中判定为不能删除的情况下，由于在此时的基准图像中无法覆盖判定对象图像，所以，此时的判定对象图像需要保留在精简图像列中。由此，返回S103，选择S105中判定为不能删除的判定对象图像作为新的基准图像。
图7(A)～图7(C)图示了针对以上图像列的图像精简处理。如图7(A)所示，针对具有N张图像的图像列，首先，选择第1个图像作为基准图像，选择第2个图像作为判定对象图像。然后，在基准图像与判定对象图像之间计算丧失率，判定可否删除判定对象图像。
在判定为能够删除判定对象图像的情况下，重新选择判定对象图像。具体而言，成为使判定对象图像的位置错后的处理，如图7(B)所示，选择第3个图像作为判定对象图像。然后，在基准图像与新的判定对象图像之间判定可否删除判定对象图像，对作为判定对象图像而选择的图像进行更新，直到发现判定为不能删除的判定对象图像为止。
如图7(C)所示，在判定为能够删除第2个～第k-1个图像、且判定为不能删除第k个图像的情况下，由于将删除第2个～第k-1个图像而丧失的被摄体抑制为某种程度(与阈值对应的程度)，所以，进行删除处理而不使其包含在精简图像列中。与此相对，关于第k个图像，当删除该图像时，即使保留基准图像也会丧失较多被摄体，所以，该第k个图像需要保留在精简图像列中。因此，这里，设定第k个图像作为新的基准图像。
然后，在选择出新的基准图像后，选择该基准图像的后方的一个图像作为判定对象图像，再次反复进行图7(A)～图7(C)的处理即可。此后也同样，如果能够删除判定对象图像，则将判定对象图像更新为后方的一个图像，如果不能删除判定对象图像，则选择该图像作为新的基准图像。然后，在针对图像列的全部图像判定可否删除后，结束处理。
2.3变形例
另外，在基准图像和判定对象图像的选择手法中考虑各种变形例。例如，也可以选择多个基准图像。该情况下，即使删除该判定对象图像，由多个基准图像中的任意一方覆盖的判定对象图像的区域也不会丧失。由此，如图8所示，将与对各基准图像进行变形而求出的区域的和集合相当的区域作为覆盖区域来进行处理即可。覆盖区域计算后的丧失区域的计算、丧失率的计算、阈值判定的各处理与上述例子相同。
作为选择多个基准图像的手法，如图9(A)、图9(B)所示，考虑选择判定对象图像的前方一张、后方一张的合计2张基准图像的手法。该情况下，依次选择2张基准图像之间的图像作为判定对象图像。然后，进行如下的可否删除判定处理：如果能够删除2张基准图像之间的全部图像，则将这2张基准图像保留在精简图像列中，通过删除之间的图像，保证删除图像而丧失的被摄体的程度为一定以下。
但是，如果从减少精简图像的张数的观点来进行可否删除判定处理，则通过第1基准图像(前方)和第2基准图像(后方)来搜索满足能够删除之间的全部图像的条件、且其中第1基准图像和第2基准图像分开最远的位置即可。该情况下，在第1基准图像确定的情况下，如图9(A)、图9(B)所示，搜索在设第k个图像为第2基准图像的情况下能够删除之间的全部图像、但是在设第k+1个图像作为第2基准图像的情况下无法删除之间的至少一张图像的k。在发现了满足条件的k的情况下，选择第k个图像作为新的第1基准图像，从其后方选择第2基准图像。然后，依次选择之间的图像作为判定对象图像进行可否删除判定处理，如上所述，反复进行搜索能够删除之间的全部图像、且与新的第1基准图像相距最远的第2基准图像的处理即可。在该手法中，搜索中的第2基准图像是保留在精简图像列中的图像的候选，实际保留在精简图像列中的图像为第1基准图像。
除此之外，能够通过各种手法实现基准图像和判定对象图像的选择。
在以上的本实施方式中，如图2所示，图像处理装置包括：图像列取得部200，其取得具有多个构成图像的图像列；以及处理部100，其进行删除图像列取得部200取得的图像列的多个构成图像中的一部分而生成精简图像列的图像精简处理。而且，处理部100从多个构成图像中选择基准图像和判定对象图像，检测判定对象图像的不要区域。进而，处理部100根据基准图像与判定对象图像之间的变形信息和不要区域，求出在删除了判定对象图像的情况下丧失的区域即丧失区域，根据所求出的丧失区域判定可否删除判定对象图像。
这里，不要区域是指在使用图像列中包含的图像的处理(如果是利用内窥镜装置进行摄像而得到的活体内图像，则为医生的诊断等)中不要的图像上的区域。例如，在取得对活体内进行摄像而得到的活体内图像列作为图像列的情况下，处理部100也可以检测判定对象图像的泡区域或残渣区域作为不要区域。这里，泡区域表示图像中对泡进行摄像的区域。认为在活体内由于例如细菌等的活动而产生的气体会产生泡。泡区域的检测例如使用专利文献3的手法等即可。并且，残渣区域表示图像中对残渣进行摄像的区域。认为残渣是未消化完的食物等。残渣区域的检测例如使用专利文献4的手法等即可。
或者，处理部100也可以检测判定对象图像的暗部区域或光晕区域作为不要区域。暗部区域表示该区域中图像以无法充分观察被摄体的程度被涂黑的区域。相反，光晕区域表示该区域中图像以无法充分观察被摄体的程度泛白的区域。在这种区域中，即使将诊断等处理中有用的被摄体作为对象进行摄像，在图像上也无法观察该有用的被摄体，因此在诊断等处理中完全没有。由此，在本实施方式中，也可以将暗部区域和光晕区域作为不要区域。
由此，在考虑了不要区域的基础上，能够进行使用图像间的变形信息的图像精简处理。通过使用变形信息，能够适当控制在删除了图像的情况下无法观察的被摄体的产生程度，特别是在将内窥镜装置的活体内图像作为对象的情况下，能够抑制病变部的漏看。在不使用不要区域的情况下，如图1(A)、图1(B)所示，可能将实质上没有保留意义的图像判定为不能删除，但是，通过使用不要区域，如图1(C)所示，能够适当删除这种图像。即，与不使用不要区域的情况相比，能够削减图像精简处理后的精简图像列中包含的图像张数，能够减轻用户的负担等。
并且，处理部100也可以根据基准图像与判定对象图像之间的变形信息，求出基准图像覆盖判定对象图像的区域即覆盖区域。然后，求出判定对象图像中的不是覆盖区域且不是不要区域的区域作为丧失区域。
由此，如图1或图4所示，能够根据覆盖区域和不要区域求出丧失区域，判定可否删除判定对象图像。这里，由于覆盖区域中摄像的被摄体和基准图像中摄像的被摄体对应(在变形信息等不产生误差的理想状况下一致)，所以，覆盖区域是即使删除判定对象图像、通过保留基准图像也能够被覆盖的区域。另一方面，如上所述，由于不要区域原本未拍摄到有用的被摄体，所以不需要被覆盖。即，将由于删除判定对象图像而无法观察、且可能有用的区域称为丧失区域。
并且，处理部100也可以根据丧失区域计算与基准图像进行比较的判定对象图像的丧失率，根据计算出的丧失率判定可否删除判定对象图像。此时，处理部100也可以计算丧失区域在判定对象图像中占据的丧失区域的比例作为丧失率。
由此，能够根据丧失率来判定可否删除判定对象图像。例如，可以求出丧失区域在判定对象图像中占据的比例(更具体而言为丧失区域的面积相对于判定对象图像的面积的比例)作为丧失率，如果求出丧失区域，则此后能够通过容易的运算来判定可否删除。但是，丧失率只要是表示在删除了判定对象图像的情况下丧失(即使保留基准图像也无法观察)的被摄体的程度的信息即可，不限于比例、比率等。
另外，可以通过程序实现本实施方式的图像处理装置等的处理的一部分或大部分。该情况下，通过由CPU等处理器执行程序，实现本实施方式的图像处理装置等。具体而言，读出信息存储装置中存储的程序，并由CPU等处理器执行所读出的程序。这里，信息存储装置(计算机可读取的装置)存储程序和数据等，其功能能够通过光盘(DVD、CD等)、HDD(硬盘驱动)、或存储器(卡型存储器、ROM等)等实现。而且，CPU等处理器根据信息存储装置中存储的程序(数据)进行本实施方式的各种处理。即，在信息存储装置中存储有用于使计算机(具有操作部、处理部、存储部、输出部的装置)作为本实施方式的各部发挥功能的程序(用于使计算机执行各部的处理的程序)。
3.第2实施方式
接着，对使用丧失区域和构造要素的可否删除判定处理的手法进行说明。在本实施方式的图像处理装置的结构例中，虽然可否删除判定部1005中的处理内容不同，但是与图2相同，所以省略详细说明。并且，在处理流程中，S105中的处理内容不同，但是与图5的流程图相同，所以省略详细说明。
3.1使用构造要素的可否删除判定
首先，作为可否删除判定处理，对进行使用与关注区域对应的构造要素的处理的例子进行说明。如图10所示，可否删除判定部1005可以包括构造要素生成部1017、覆盖区域计算部1009、丧失区域计算部1010、关注区域漏看可能性判定部1018。但是，可否删除判定部1005不限于图10的结构，能够进行省略它们的一部分结构要素或追加其他结构要素等各种变形实施。
构造要素生成部1017根据关注区域生成关注区域漏看可能性判定部1018的处理中使用的构造要素。这里，设定与不希望漏看的关注区域相同形状、相同尺寸的区域，但是不限于此。
覆盖区域计算部1009计算覆盖区域，丧失区域计算部1010根据覆盖区域和不要区域计算丧失区域。
关注区域漏看可能性判定部1018进行与成为在删除了判定对象图像的情况下、在基准图像中未拍摄在判定对象图像上拍摄到的关注区域的状况(即，成为漏看关注区域的状况)的可能性有关的判定处理。
对具体处理流程进行说明。构造要素生成部1017根据关注区域生成构造要素。这里，考虑关注区域的典型大小等，设定不希望漏看的尺寸、形状的区域作为构造要素。例如，如果已知关注区域为病变部、图像上比直径30个像素的圆形大的病变的严重度较高而不应该漏看，则构造要素设定直径30像素的圆形。
在选择出基准图像和判定对象图像后，变形信息取得部1001取得基准图像与判定对象图像之间的变形信息。覆盖区域计算部1009利用所取得的变形信息，将基准图像射影到判定对象图像上，求出覆盖区域。在计算出覆盖区域后，丧失区域计算部1010求出判定对象图像中的既不是覆盖区域也不是不要区域的区域作为丧失区域。
关注区域漏看可能性判定部1018判定关注区域的漏看可能性。具体而言，针对丧失区域进行使用构造要素的收缩处理，如图11所示，判定是否存在残留区域。
使用图12(A)～图12(F)对收缩处理的具体例进行说明。如图12(A)所示，丧失区域必定是闭合的区域，能够设定其边界。例如，在图12(A)中，设定作为外侧边界的BO1和作为内侧边界的BO2。
此时，基于构造要素的收缩处理是在丧失区域的边界上设定了该构造要素的基准点的情况下去除丧失区域和构造要素的重复区域的处理。例如，在设定圆形状的区域作为构造要素并将其基准点设为圆的中心的情况下，描绘在丧失区域的边界上具有中心的圆，进行将该圆和丧失区域重合的部分从丧失区域中除外的处理。具体而言，如图12(A)所示，描绘以丧失区域的外侧边界BO1上的点为中心的圆，将该圆和丧失区域的重复区域(这里为斜线所示的半圆形状的区域)除外。
如果考虑离散地进行处理，则由于外侧边界BO1由多个点构成，所以，针对该多个点的各点进行上述处理即可。作为一例，如图12(A)所示，以边界上的一点为起点描绘在给定方向上依次将边界BO1上的点作为中心的圆，将该圆和丧失区域的重复区域从丧失区域中除外即可。
在丧失区域的边界的一部分与判定对象图像的边界一致的情况下等，还考虑丧失区域的边界为一个的情况，此时，对这一个边界进行上述处理即可。并且，如图12(A)的BO1、BO2所示，在认为丧失区域的边界为多个边界的情况下，分别对其进行上述处理。具体而言，如图12(B)所示，在内侧边界BO2中，也描绘在BO2上具有中心的圆，进行将该圆和丧失区域的重复区域除外的处理，对构成BO2的各点反复进行该处理即可。
通过进行这种收缩处理，丧失区域的面积减小。例如，在着眼于图12(A)的丧失区域的左部的情况下，通过图12(A)所示的BO1的收缩处理和图12(B)所示的BO2的收缩处理，完全删除丧失区域，不会存在残留区域。另一方面，在着眼于丧失区域的右下部分的情况下，如图12(C)所示，产生在BO1的收缩处理和BO2的收缩处理中均不是除外对象而残存的残留区域RE。由此，针对这里的丧失区域整体进行基于构造要素的收缩处理的结果如图12(D)所示，产生残留区域RE。
这里，考虑将半径r的圆作为构造要素的情况下的收缩处理所具有的意义。可以认为作为闭合区域的丧失区域是位于边界(可以如BO1和BO2那样是不同的边界，也可以是一个边界)内侧的区域。通过对该边界进行上述收缩处理，丧失区域所包含的点中的、从上述边界上的点起位于距离r以内(包含该值)的点成为删除对象。即，在考虑不作为删除对象的残留区域中包含的点的情况下，从该点到边界上的任意点的距离大于r。由此，在描绘以残留区域上的任意点为中心的半径r的圆的情况下，该圆的圆周不与任何边界交叉。换言之，用半径R(＝r)的圆表现的关注区域表示通过将残留区域中的点作为其中心而完全收敛于丧失区域中的状况。另外，在使用圆以外的形状(四边形等)作为构造要素的情况下，基本想法相同。
即，如图12(E)的右下所示，存在残留区域的情况是指与构造要素对应的区域包含在丧失区域中的情况，在这种位置存在有病变部等关注区域的情况下，当删除判定对象图像时，即使保留基准图像，也可能无法观察关注区域。相反，如图12(E)的左上所示，不存在残留区域的情况是指关注区域中的至少一部分包含在覆盖区域中的情况，即使删除判定对象图像，关注区域中的至少一部分也能够保留在基准图像中。并且，如图12(F)所示，还可能存在关注区域中的至少一部分包含在不要区域中的部位，但是，在不要区域中本身未对关注区域进行摄像。由此，可以不考虑在判定对象图像上的图12(F)的虚线所示的位置存在关注区域的可能性，该情况下，也可以认为即使删除判定对象图像也不会漏看关注区域。
如上所述，在关注区域漏看可能性判定部1018中，对丧失区域进行基于构造要素的收缩处理，根据是否存在残留区域来判定可否删除判定对象图像。
但是，基于构造要素的收缩处理的对象不限于丧失区域。例如，如图13(A)所示，也可以将判定对象图像中的除了不要区域以外的区域作为对象来进行基于构造要素的收缩处理。该情况下，通过设定为关注区域未完全收敛于通过收缩处理切削的区域内(典型情况下设定关注区域的2倍的尺寸的要素作为构造要素)，如图13(B)所示，残存区域成为要求被基准图像覆盖的要覆盖区域。即，该情况下，根据要覆盖区域整体是否被基准图像覆盖来进行可否删除判定即可，具体而言，如图14(A)、图14(B)所示，通过变形信息对基准图像和要覆盖区域中的一方进行变形，进行使用变形后的区域的包含判定即可。在要覆盖区域包含在基准图像中的情况下，能够删除判定对象图像，如果存在不包含的部分，则不能删除判定对象图像。
并且，使用构造要素的可否删除判定处理不限于使用收缩处理，只要是判定丧失区域中是否包含构造要素的处理即可。例如，如图15(A)或图15(B)所示，也可以是如下的简易手法：根据从覆盖区域与不要区域的和区域的边界上的点(p1～p6等)到判定对象图像的边界的距离(k1～k6等)、或从判定对象图像的边界上的点到上述和区域的边界的距离，求出与丧失区域的最大直径相当的值，进行所求出的值和构造要素(该情况下为与关注区域相同的尺寸)的最小直径的比较处理。另外，图15(A)示出判定对象图像为四边形的例子，图15(B)示出判定对象图像为圆形状的例子。
3.2可否删除判定的变形例
如上所述，作为可否删除判定处理，考虑使用丧失率或使用构造要素。但是，可否删除判定处理不限于单独使用它们的处理，也可以组合多个。
例如，作为可否删除判定处理，也可以进行使用丧失率的处理和使用构造要素的处理双方。该情况下，如果从通过抑制产生无法观察的区域、并且抑制关注区域的漏看可能性来提高精简图像列的有用性的观点来考虑，则在基于丧失率的判定中能够删除、且在基于构造要素的判定中能够删除的情况下，判定为能够删除判定对象图像，在除此以外的情况下判定为不能删除即可。
在以上的本实施方式中，处理部100使用丧失区域判定在判定对象图像中有无漏看关注区域的可能性，根据有无漏看关注区域的可能性来判定可否删除判定对象图像。
这里，关注区域是对用户来说观察的优先顺次与其他区域相比相对较高的区域，例如，在用户是医生且希望进行治疗的情况下，关注区域是指拍摄到粘膜部或病变部的区域。
并且，作为其他例子，如果医生希望观察的对象是泡或粪便，则关注区域成为拍摄到该泡部分或粪便部分的区域。该情况下，由于泡或残渣在观察上可以说是有用的被摄体，所以，上述泡区域和残渣区域当然不能视为不要区域。即，用户应该关注的对象由于其观察目的而不同，但是，无论在哪种情况下，在其观察时，对用户来说观察的优先顺次与其他区域相比相对较高的区域成为关注区域。
由此，能够从是否存在漏看关注区域的可能性的观点来判定可否删除判定对象图像。在如果不删除判定对象图像则不会漏看关注区域、但是当删除判定对象图像时即使保留基准图像也会漏看关注区域的情况下，判定为不能删除判定对象图像。考虑各种关注区域的漏看可能性的判定手法，但是，例如在判定对象图像中将关注区域摄像为较大、但是在基准图像中只能将关注区域摄像为较小(或者可能完全未被拍摄)等的情况下，判定为存在漏看可能性即可。
并且，处理部100也可以通过判定丧失区域中是否包含有与关注区域对应的尺寸的区域，来判定在判定对象图像中有无漏看关注区域的可能性。
由此，能够根据丧失区域和与关注区域对应的尺寸的区域的包含关系来判定关注区域的漏看可能性，判定可否删除判定对象图像。这里，如上所述，丧失区域是在删除了判定对象图像的情况下在基准图像中无法观察的区域，并且，由于不是不要区域，所以是可能包含关注区域的区域。即，与关注区域对应的尺寸的区域包含在丧失区域中的情况对应于可能在判定对象图像上拍摄到给定尺寸的关注区域、并且在基准图像上完全未拍摄到该关注区域的状况。该情况下，由于存在漏看关注区域的可能性，所以不能删除判定对象图像。相反，如果与关注区域对应的尺寸的区域未包含在丧失区域中，则能够保证判定对象图像上拍摄到的关注区域中的至少一部分在基准图像中被拍摄到，所以能够删除判定对象图像。
并且，处理部100也可以针对丧失区域进行使用与关注区域对应的构造要素的收缩处理。而且，在收缩处理的结果为存在残留区域的情况下，视为存在漏看关注区域的可能性，判定为不能删除判定对象图像。并且，在收缩处理的结果为不存在残留区域的情况下，视为不存在漏看关注区域的可能性，判定为能够删除判定对象图像。
这里，构造要素是表示收缩处理中的处理单位的要素，表示图12(A)等中的圆形状的要素。并且，如图12(A)～图12(F)所示，收缩处理是从作为对象的区域中去掉与构造要素对应的区域的处理。
由此，能够高精度地判定构造要素(这里为与关注区域相同的尺寸)是否完全收敛于丧失区域内。如使用图12(A)～图12(F)上述的那样，有无残留区域对应于构造要素是否完全收敛于丧失区域内。由于这里的判定比较严密，所以，与图13(A)～图15(B)等手法等相比，能够提高可否删除判定的精度。但是，在重视减轻处理负荷等的情况下，使用图13(A)～图15(B)等手法也无妨。
并且，如在变形例中上述的那样，本实施方式的处理部100也可以组合基于丧失率的判定和针对丧失区域的使用构造要素的判定双方。
以上对应用本发明的2个实施方式1～2及其变形例进行了说明，但是，本发明不限于各实施方式1～2及其变形例本身，在实施阶段，能够在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述各实施方式1～2和变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式1～2和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合不同实施方式和变形例中说明的结构要素。并且，在说明书或附图中，至少一次与更广义或同义的不同用语一起记载的用语在说明书或附图的任意部位中，能够置换为与其不同的用语。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。
标号说明
100：处理部；200：图像列取得部；300：存储部；1001：变形信息取得部；1002：不要区域检测部；1003：基准图像选择部；1004：判定对象图像选择部；1005：可否删除判定部；1009：覆盖区域计算部；1010：丧失区域计算部；1011：丧失率计算部；1012：阈值判定部；1017：构造要素生成部；1018：关注区域漏看可能性判定部；BO1：外侧边界；BO2：内侧边界；RE：残留区域。

Claims (11)

1.一种图像处理装置，其特征在于，该图像处理装置包括：
图像列取得部，其取得具有多个构成图像的图像列；以及
处理部，其进行删除所述图像列取得部取得的所述图像列的所述多个构成图像中的一部分而生成精简图像列的图像精简处理，
所述处理部进行如下处理：
从所述多个构成图像中选择基准图像和判定对象图像，
检测所述判定对象图像的不要区域，
根据所述基准图像与所述判定对象图像之间的变形信息和所述不要区域，求出在删除了所述判定对象图像的情况下丧失的区域即丧失区域，
根据所求出的所述丧失区域判定可否删除所述判定对象图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述处理部进行如下处理：
根据所述基准图像与所述判定对象图像之间的所述变形信息，求出所述基准图像覆盖所述判定对象图像的区域即覆盖区域，
求出所述判定对象图像中的不是所述覆盖区域且不是所述不要区域的区域作为所述丧失区域。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述处理部根据所述丧失区域计算丧失率，根据计算出的所述丧失率判定可否删除所述判定对象图像，其中，所述丧失率表示在删除了所述判定对象图像的情况下丧失的区域的比例。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述处理部计算所述丧失区域在所述判定对象图像中占据的比例作为所述丧失率。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述处理部使用所述丧失区域判定在所述判定对象图像中有无漏看关注区域的可能性，根据有无漏看所述关注区域的可能性来判定可否删除所述判定对象图像。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述处理部通过判定所述丧失区域中是否包含有与所述关注区域对应的尺寸的区域，判定在所述判定对象图像中有无漏看所述关注区域的可能性。
7.根据权利要求5所述的图像处理装置，其特征在于，
所述处理部进行如下处理：
针对所述丧失区域进行使用与所述关注区域对应的构造要素的收缩处理，
在所述收缩处理的结果为存在残留区域的情况下，视为存在漏看所述关注区域的可能性，判定为不能删除所述判定对象图像，
在所述收缩处理的结果为不存在所述残留区域的情况下，视为不存在漏看所述关注区域的可能性，判定为能够删除所述判定对象图像。
8.根据权利要求1～7中的任意一项所述的图像处理装置，其特征在于，
所述图像列是对活体内进行摄像而得到的活体内图像列，
所述处理部检测所述判定对象图像的泡区域或残渣区域作为所述不要区域。
9.根据权利要求1～7中的任意一项所述的图像处理装置，其特征在于，
所述处理部检测所述判定对象图像的暗部区域或光晕区域作为所述不要区域。
10.一种程序，其特征在于，该程序使计算机作为以下部分发挥功能：
图像列取得部，其取得具有多个构成图像的图像列；以及
处理部，其进行删除所述图像列取得部取得的所述图像列的所述多个构成图像中的一部分而生成精简图像列的图像精简处理，
所述处理部进行如下处理：
从所述多个构成图像中选择基准图像和判定对象图像，
检测所述判定对象图像的不要区域，
根据所述基准图像与所述判定对象图像之间的变形信息和所述不要区域，求出在删除了所述判定对象图像的情况下丧失的区域即丧失区域，
根据所求出的所述丧失区域判定可否删除所述判定对象图像。
11.一种图像处理方法，其特征在于，该图像处理方法具有如下步骤：
取得具有多个构成图像的图像列；
从所述多个构成图像中选择基准图像和判定对象图像；
检测所述判定对象图像的不要区域；
根据所述基准图像与所述判定对象图像之间的变形信息和所述不要区域，求出在删除了所述判定对象图像的情况下丧失的区域即丧失区域；
根据所求出的所述丧失区域判定可否删除所述判定对象图像；以及
根据所述可否删除的判定结果，进行删除所述图像列的所述多个图像中的一部分而取得精简图像列的图像精简处理。
CN201380050261.8A 2012-09-27 2013-09-18 图像处理装置和图像处理方法 Expired - Fee Related CN104662582B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-214531 2012-09-27
JP2012214531A JP5948200B2 (ja) 2012-09-27 2012-09-27 画像処理装置、プログラム及び画像処理方法
PCT/JP2013/075079 WO2014050637A1 (ja) 2012-09-27 2013-09-18 画像処理装置、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN104662582A true CN104662582A (zh) 2015-05-27
CN104662582B CN104662582B (zh) 2018-06-05

Family

ID=50388043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380050261.8A Expired - Fee Related CN104662582B (zh) 2012-09-27 2013-09-18 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US9652835B2 (zh)
EP (1) EP2902961B1 (zh)
JP (1) JP5948200B2 (zh)
CN (1) CN104662582B (zh)
WO (1) WO2014050637A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860475A (zh) * 2019-04-28 2020-10-30 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6242072B2 (ja) 2012-09-27 2017-12-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
JP6006112B2 (ja) * 2012-12-28 2016-10-12 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
US9734168B1 (en) * 2013-12-08 2017-08-15 Jennifer Shin Method and system for organizing digital files
JP6824868B2 (ja) * 2017-12-22 2021-02-03 サイバネットシステム株式会社 画像解析装置及び画像解析方法
CN112232232B (zh) * 2020-10-20 2022-09-27 城云科技（中国）有限公司 一种目标检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070009157A1 (en) * 2005-05-31 2007-01-11 Fuji Photo Film Co., Ltd. Image processing apparatus, moving image encoding apparatus, information processing method and information processing program
CN102194092A (zh) * 2010-03-03 2011-09-21 富士施乐株式会社 图像处理装置、图像处理系统和图像处理方法
CN104244801A (zh) * 2012-04-18 2014-12-24 奥林巴斯株式会社 图像处理装置、程序和图像处理方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473369A (en) 1993-02-25 1995-12-05 Sony Corporation Object tracking apparatus
US5767922A (en) 1996-04-05 1998-06-16 Cornell Research Foundation, Inc. Apparatus and process for detecting scene breaks in a sequence of video frames
US6724915B1 (en) 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
US6389168B2 (en) 1998-10-13 2002-05-14 Hewlett Packard Co Object-based parsing and indexing of compressed video streams
US7280753B2 (en) 2003-09-03 2007-10-09 Canon Kabushiki Kaisha Display apparatus, image processing apparatus, and image processing system
JP3993554B2 (ja) * 2003-10-27 2007-10-17 オリンパス株式会社 画像処理装置、該方法、及び該プログラム
EP1681009A4 (en) 2003-10-27 2010-08-11 Olympus Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND IMAGE PROGRAM
JP4602825B2 (ja) * 2005-04-18 2010-12-22 オリンパスメディカルシステムズ株式会社 画像表示装置
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
JP4418400B2 (ja) * 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
US7376246B2 (en) 2005-06-27 2008-05-20 Mitsubishi Electric Research Laboratories, Inc. Subspace projection based non-rigid object tracking with particle filters
US20070060798A1 (en) * 2005-09-15 2007-03-15 Hagai Krupnik System and method for presentation of data streams
JP2007195586A (ja) 2006-01-23 2007-08-09 Olympus Medical Systems Corp カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム
JP5086563B2 (ja) 2006-05-26 2012-11-28 オリンパス株式会社 画像処理装置及び画像処理プログラム
JP5147308B2 (ja) 2007-06-20 2013-02-20 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP2009050321A (ja) 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
JP5374078B2 (ja) * 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
EP2177149A1 (en) 2008-10-14 2010-04-21 Olympus Medical Systems Corporation Image display device, image display method, and image display program
JP5379442B2 (ja) * 2008-10-14 2013-12-25 オリンパスメディカルシステムズ株式会社 画像表示装置
JP5117353B2 (ja) 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5305850B2 (ja) 2008-11-14 2013-10-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5374135B2 (ja) 2008-12-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP2010158308A (ja) * 2009-01-06 2010-07-22 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5457688B2 (ja) 2009-02-04 2014-04-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US8848979B2 (en) 2009-03-31 2014-09-30 Nec Corporation Tracked object determination device, tracked object determination method and tracked object determination program
JP2011024763A (ja) 2009-07-24 2011-02-10 Hitachi Ltd 画像処理方法および画像処理装置
JP2011175599A (ja) * 2010-02-25 2011-09-08 Canon Inc 画像処理装置、その処理方法及びプログラム
JP5800468B2 (ja) 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5597049B2 (ja) 2010-07-07 2014-10-01 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN102096917B (zh) 2010-12-22 2012-08-15 南方医科大学 胶囊内窥镜冗余图像数据的自动剔除方法
WO2012169344A1 (ja) * 2011-06-10 2012-12-13 株式会社日立メディコ 画像診断支援装置、及び方法
CN104159501B (zh) 2012-03-07 2016-10-05 奥林巴斯株式会社 图像处理装置和图像处理方法
CN106859578B (zh) 2012-03-08 2018-11-20 奥林巴斯株式会社 图像处理装置和图像处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070009157A1 (en) * 2005-05-31 2007-01-11 Fuji Photo Film Co., Ltd. Image processing apparatus, moving image encoding apparatus, information processing method and information processing program
CN102194092A (zh) * 2010-03-03 2011-09-21 富士施乐株式会社 图像处理装置、图像处理系统和图像处理方法
CN104244801A (zh) * 2012-04-18 2014-12-24 奥林巴斯株式会社 图像处理装置、程序和图像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BA TU TRUONG等: "Video abstraction: A systematic review and classification", 《ACM TRANSACTIONS ON MULTIMEOIA COMPUTING COMMUNICATIONS ANO APPLICATIONS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860475A (zh) * 2019-04-28 2020-10-30 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN111860475B (zh) * 2019-04-28 2023-12-19 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20150199800A1 (en) 2015-07-16
JP5948200B2 (ja) 2016-07-06
EP2902961A4 (en) 2016-09-21
WO2014050637A1 (ja) 2014-04-03
EP2902961B1 (en) 2017-11-01
EP2902961A1 (en) 2015-08-05
CN104662582B (zh) 2018-06-05
US9652835B2 (en) 2017-05-16
JP2014071470A (ja) 2014-04-21

Similar Documents

Publication Publication Date Title
CN104684454A (zh) 图像处理装置、程序和图像处理方法
CN104662582A (zh) 图像处理装置、程序和图像处理方法
CN104244801B (zh) 图像处理装置和图像处理方法
CN105979847B (zh) 内窥镜图像诊断辅助系统
US8600134B2 (en) Method and system for processing images acquired in real time through a medical device
CN102973231B (zh) 图像处理装置以及图像处理方法
US20110317043A1 (en) Image processing device and information storage medium
JP2016519968A (ja) 生体内マルチカメラカプセルからの画像再構築
CN104203065A (zh) 图像处理装置、程序和图像处理方法
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
JP2011203811A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ
JP5529886B2 (ja) 五つの最近隣接を用いた欠陥画素置換
JP2013183912A (ja) 画像要約装置及びプログラム
JP4497619B2 (ja) Ｘ線画像診断装置
JP5973771B2 (ja) 画像処理装置、プログラム及び画像処理方法
CN114049934B (zh) 辅助诊断方法、装置、系统、设备和介质
CN104885118A (zh) 图像处理装置、图像处理方法和程序
JP5226618B2 (ja) 画像抽出装置、画像抽出方法および画像抽出プログラム
JP2009194786A (ja) 対象物検出装置及び撮像装置
US20200013143A1 (en) Method of Image Processing and Display for Images Captured by a Capsule Camera
WO2020261955A1 (ja) 診断支援プログラム、診断支援システム及び診断支援方法
US10964021B2 (en) Information processing apparatus, information processing method, and information processing system
JP2013222382A (ja) 画像処理装置、プログラム及び画像処理方法
JPWO2021176852A5 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180605

Termination date: 20200918