CN104885118B - 图像处理装置、图像处理方法 - Google Patents

图像处理装置、图像处理方法 Download PDF

Info

Publication number
CN104885118B
CN104885118B CN201380068133.6A CN201380068133A CN104885118B CN 104885118 B CN104885118 B CN 104885118B CN 201380068133 A CN201380068133 A CN 201380068133A CN 104885118 B CN104885118 B CN 104885118B
Authority
CN
China
Prior art keywords
image
images
simplify
processing
estimate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380068133.6A
Other languages
English (en)
Other versions
CN104885118A (zh
Inventor
矢口阳
矢口阳一
朝户吕仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104885118A publication Critical patent/CN104885118A/zh
Application granted granted Critical
Publication of CN104885118B publication Critical patent/CN104885118B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

图像处理装置包括取得具有第1～第N图像的输入图像列的图像列取得部(200)、以及删除第1～第N图像的一部分而进行图像精简处理的处理部(100)，处理部(100)选择第s(s为满足0≦s≦N+1的整数)图像作为假定精简图像，选择第t(t为满足0≦t≦s‑1的整数)图像作为假定紧前精简图像，选择第u(u为满足t<u<s的整数)图像作为判定对象图像，根据假定精简图像与判定对象图像之间以及假定紧前精简图像与判定对象图像之间的变形信息，求出精简区间评价值G(t,s)而进行图像精简处理。

Description

图像处理装置、图像处理方法
技术领域
本发明涉及图像处理装置、图像处理方法等。
背景技术
在根据给定的时间间隔按时序持续对静态图像进行摄像的情况下、通过多个图像网罗具有空间宽度的被摄体的情况下、或者对动态图像进行摄像后取得构成该动态图像的各图像作为静态图像的情况下等，将会取得时间或空间上连续的非常大量的图像(以下也记载为图像列)。在这种情况下，图像列中靠近(即时间或空间上靠近)的图像彼此是相似图像的可能性较高，在掌握所摄像的内容时，不需要检查大量的全部图像。本来，图像张数为数万张以上的情况也不稀奇，用户手动检查全部图像本身的负担很大。
因此，需要通过从图像列中删除一部分图像而精简为张数比原来的图像列的张数少的图像列(以下将该处理记载为图像精简处理)。例如在专利文献1中公开了如下的图像精简处理方法：通过提取图像列中的场景变化的交界的图像或代表图像列的图像，保留容易掌握图像列的内容的图像。
现有技术文献
专利文献
专利文献1：日本特开2009-5020号公报
专利文献2：日本特开2007-257287号公报
发明内容
发明要解决的课题
例如在医学领域中应用图像精简技术的情况下，从避免疾患的漏看的观点来看，需要抑制由于删除图像而无法观察的区域的产生。特别是病变区域或异常区域这样的重要区域不能包含在无法观察的区域中。
但是，如专利文献1的方法那样，当仅保留场景变化的交界的图像、或基于是否容易直观观察精简后的图像列的观点而进行图像精简时，可能由于删除图像而产生无法观察的区域，并不理想。并且，由于无法观察的区域的产生程度依赖于图像的内容，所以，在现有的图像精简处理的方法中，很难控制疾患的漏看等的程度。
根据本发明的若干个方式，能够提供如下的图像处理装置、图像处理方法和程序等：根据图像间的变形信息，进行抑制产生由于删除图像而无法观察的区域、且大区域最佳化的图像精简处理。
用于解决课题的手段
本发明的一个方式涉及一种图像处理装置，其中，该图像处理装置包括：图像列取得部，其取得具有第1～第N(N为2以上(包含该值)的整数)图像作为构成图像的输入图像列；以及处理部，其进行删除所述图像列取得部取得的所述输入图像列的所述第1～第N图像的一部分而生成精简图像列的图像精简处理，所述处理部选择所述输入图像列的第s(s为满足0≦s≦N+1的整数)图像作为假定精简图像，选择所述输入图像列的第t(t为满足0≦t≦s-1的整数)图像作为假定紧前精简图像，选择所述输入图像列的第u(u为满足t<u<s的整数)图像作为判定对象图像，根据所述假定精简图像与所述判定对象图像之间的变形信息以及所述假定紧前精简图像与所述判定对象图像之间的所述变形信息求出所述判定对象图像的删除评价值，根据第t+1～第s-1图像的所述删除评价值求出删除了所述第t+1～第s-1图像的情况下的评价值即精简区间评价值G(t,s)，根据所述精简区间评价值进行所述图像精简处理。
在本发明的一个方式中，求出删除了第t+1～第s-1图像的情况下的评价值即精简区间评价值G(t,s)，根据所求出的精简区间评价值进行图像精简处理。由此，在存在多个精简图像列的候选的情况下，通过针对各候选使用与从输入图像列中删除的图像对应的精简区间评价值，能够计算该候选的评价值，通过对它们进行比较，能够决定最佳的精简图像列(即，进行大区域最佳化的图像精简处理)等。
并且，在本发明的一个方式中，也可以是，所述处理部根据所述精简区间评价值求出所述第1～第N图像的各图像的累计评价值E(1)～E(N)，根据所述累计评价值进行所述图像精简处理。
由此，能够进行基于各图像的累计评价值的图像精简处理。
并且，在本发明的一个方式中，也可以是，所述处理部将作为假想图像的第0图像的所述累计评价值设为E(0)＝0，使用第w(w为满足0≦w≦v-1的整数)图像的所述累计评价值E(w)以及删除了第w+1～第v-1图像的情况下的所述精简区间评价值G(w,v)，作为E(v)＝max(E(w)+G(w,v))求出第v(v为满足1≦v≦N+1的整数)图像的所述累计评价值。
由此，能够使用与该图像相比在图像列中更靠前方的图像的累计评价值求出某个图像的累计评价值等。
并且，在本发明的一个方式中，也可以是，所述处理部选择满足下式(1)的第x图像，作为所述第v图像的最佳紧前精简图像。
由此，不仅能够求出处理对象的图像的累计评价值，还能够求出该图像的最佳紧前精简图像等。
并且，在本发明的一个方式中，也可以是，所述处理部求出作为所述假想图像的第N+1图像的所述累计评价值E(N+1)，将所述第N+1图像设为精简图像列决定处理中的最初的处理对象图像，在所述处理对象图像的所述最佳紧前精简图像不是所述第0图像的情况下，进行将所述最佳紧前精简图像包含在所述精简图像列中的处理，并且，进行将所述最佳紧前精简图像作为新的所述处理对象图像的更新处理，继续进行所述精简图像列决定处理，在所述处理对象图像的所述最佳紧前精简图像是所述第0图像的情况下，结束所述精简图像列决定处理。
由此，通过从终点朝向始点追寻最佳紧前精简图像，能够决定精简图像列等。
并且，在本发明的一个方式中，也可以是，所述处理部根据所述第s图像与所述第u图像之间的所述变形信息以及所述第t图像与所述第u图像之间的所述变形信息，计算所述第s图像和所述第t图像覆盖所述第u图像的比例即所述第u图像的覆盖率，根据所述覆盖率计算所述删除评价值，求出对与所述第t+1～第s-1图像有关的所述删除评价值进行合计而得到的值，作为删除了所述第t+1～第s-1图像的情况下的所述精简区间评价值G(t,s)。
由此，能够根据覆盖率求出精简区间评价值等。
并且，在本发明的一个方式中，也可以是，所述处理部根据所述第s图像与所述第u图像之间的所述变形信息以及所述第t图像与所述第u图像之间的所述变形信息判定可否删除所述第u图像，在所述第t+1～第s-1图像中的至少一张所述构成图像被判定为不可删除的情况下，设定第1值作为删除了所述第t+1～第s-1图像的情况下的所述精简区间评价值G(t,s)。
由此，在无法通过第t图像和第s图像充分覆盖其间的图像的情况下，作为精简区间评价值，能够设定没有意义的值(狭义地讲为不可能选择第t图像作为第s图像的最佳紧前精简图像的程度的值)等。
并且，在本发明的一个方式中，也可以是，所述处理部在所述第t+1～第s-1图像全部被判定为可以删除的情况下，根据所述第t+1～第s-1图像的图像张数求出删除了所述第t+1～第s-1图像的情况下的所述精简区间评价值G(t,s)。
由此，能够根据可以删除的图像的张数求出精简区间评价值等。
并且，在本发明的一个方式中，也可以是，所述处理部在t＝s-1～t＝0的范围内以每次-1的方式更新t，并选择所述第t图像作为所述假定紧前精简图像，根据所述第t图像与所述第u图像之间的所述变形信息以及所述第s图像与所述第u图像之间的所述变形信息进行中止判定处理，针对通过所述中止判定处理判定为中止的t，设定第1值作为删除了第x(x为满足0≦x≦t的整数)图像与所述第s图像之间的所述构成图像时的所述精简区间评价值G(x,s)，结束将所述第s图像作为所述假定精简图像的处理。
由此，通过中止假定紧前精简图像的更新处理，能够削减计算量等。
并且，在本发明的一个方式中，也可以是，所述处理部设定负的无限大或根据所述累计评价值决定的给定阈值以下的值，作为所述第1值。
由此，能够具体设定上述第1值等。
并且，在本发明的一个方式中，也可以是，所述处理部选择第0～第s-1图像中的第s-α～第s-1图像(α为正整数)的图像作为所述假定紧前精简图像。
由此，通过限定作为假定紧前精简图像而选择的图像的张数，能够削减计算量等。
并且，在本发明的一个方式中，也可以是，所述处理部从所述输入图像列中检测场景转换，在从所述输入图像列中检测到第i(i为整数)场景转换和所述第i场景转换之后的第i+1场景转换的情况下，设定所述输入图像列的多个所述构成图像中的所述第i场景转换的后方且所述第i+1场景转换的前方的所述构成图像作为部分图像列，对所设定的所述部分图像列进行所述图像精简处理。
由此，通过将根据场景转换而设定的部分图像列作为对象，能够削减计算量等。
并且，本发明的另一个方式涉及一种图像处理方法，其中，取得具有第1～第N(N为2以上(包含该值)的整数)图像作为构成图像的输入图像列，选择所述输入图像列的第s(s为满足0≦s≦N+1的整数)图像作为假定精简图像，选择所述输入图像列的第t(t为满足0≦t≦s-1的整数)图像作为假定紧前精简图像，选择所述输入图像列的第u(u为满足t<u<s的整数)图像作为判定对象图像，根据所述假定精简图像与所述判定对象图像之间的变形信息以及所述假定紧前精简图像与所述判定对象图像之间的所述变形信息求出所述判定对象图像的删除评价值，根据第t+1～第s-1图像的所述删除评价值求出删除了所述第t+1～第s-1图像的情况下的评价值即精简区间评价值G(t,s)，根据所述精简区间评价值进行删除所述输入图像列的所述第1～第N图像的一部分而生成精简图像列的图像精简处理。
并且，本发明的另一个方式涉及一种使计算机作为上述各部发挥功能的程序。
附图说明
图1是第1实施方式的图像处理装置的结构例。
图2是使用覆盖率的处理的说明图。
图3是使用覆盖率的处理的说明图。
图4是说明第1实施方式的图像精简处理的流程图。
图5(A)、图5(B)是图像精简处理的具体例。
图6(A)、图6(B)是图像精简处理的具体例。
图7(A)、图7(B)是图像精简处理的具体例。
图8(A)、图8(B)是图像精简处理的具体例。
图9(A)～图9(C)是说明基准图像和判定对象图像的选择方法的图。
图10(A)、图10(B)是说明使用多个基准图像的情况下的选择方法的图。
图11(A)、图11(B)是说明场景转换和部分图像列的关系的图。
图12是动态规划法的说明图。
图13是第2实施方式的图像处理装置的结构例。
图14是说明针对非覆盖区域的基于构造要素的收缩处理的图。
图15(A)～图15(E)是说明针对非覆盖区域的基于构造要素的收缩处理的详细情况的图。
图16是说明第2实施方式的图像精简处理的流程图。
图17(A)、图17(B)是说明针对判定对象图像的基于构造要素的收缩处理的图。
图18是覆盖区域和要覆盖区域的包含判定的例子。
图19(A)、图19(B)是说明使用构造要素的其他处理的图。
图20是说明使用覆盖率和构造要素双方的判定处理的例子。
图21是图像处理装置的基本结构例。
具体实施方式
下面，对本实施方式进行说明。另外，以下说明的本实施方式并不是不当地限定权利要求书所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的必须结构要件。
1.本实施方式的方法
首先，对本实施方式的方法进行说明。在取得由时间或空间上连续的大量图像构成的图像列的情况下，在用户使用该图像列进行某些处理(例如如果是内窥镜图像列，则进行诊断等医疗行为)时，优选进行图像精简处理。这是因为，图像列中包含的图像的张数非常多，用户观看全部图像后进行判断需要很大劳力。并且，在图像列所包含的图像中存在彼此相似的图像的可能性很高，即使检查全部这种相似的图像，可取得的信息量也有限，与劳力不相称。
作为具体例，考虑使用胶囊内窥镜进行摄像而得到的图像列。胶囊内窥镜是内置有小型照相机的胶囊形状的内窥镜，以给定的时间间隔(例如1秒2次等)对图像进行摄像。胶囊内窥镜从内服到排出需要几个小时(根据情况而需要十几个小时)，所以，在1个用户的1次检查中取得几万张摄像图像。并且，胶囊内窥镜在活体内移动时，由于受到该活体的运动的影响等而停留在相同场所或向相反方向返回。因此，在大量图像中大量存在对与其他图像相同的被摄体进行摄像、在病变发现等中有用性不高的图像。
在现有的图像精简处理中，提取了场景变化的交界的图像、代表图像列的图像。但是，在这种方法中，在删除图像时，没有特别考虑作为该删除对象的图像中被摄像的被摄体和保留图像中被摄像的被摄体的关系。因此，可能导致精简前的图像列所包含的图像上被摄像的被摄体在精简后的图像列所包含的任意图像上均未被摄像。并且，以何种程度产生由于图像精简处理而未包含在图像列的任意图像中的被摄体这一程度依赖于作为处理对象的图像列，所以，在现有方法中很难控制该程度。
这种情况特别是在医疗领域中的图像精简处理中并不理想。在医疗领域中，从其目的来看，必须极力抑制应该关注的区域(例如病变部)的漏看。因此，优选对活体内的尽可能宽的范围进行摄像，在图像精简处理中，应该抑制由于删除给定的图像而产生无法观察的被摄体范围。
因此，本申请人提出了如下方法：选择基准图像(保留的图像、根据实施方式而成为保留候选的图像)和判定对象图像(判定是否删除的对象图像)，进行基于基准图像与判定对象图像之间的变形信息的图像精简处理。
作为使用变形信息的图像精简处理的一例，如图12所示，考虑通过对基准图像进行变形而在判定对象图像上计算覆盖区域。该情况下，基准图像中被摄像的被摄体和判定对象图像的覆盖区域上被摄像的被摄体对应。即，判定对象图像中的覆盖区域外的范围(以下表记为非覆盖区域)成为在删除了该判定对象图像的情况下、即使保留基准图像也无法覆盖的区域。
由此，作为一例，计算覆盖区域在判定对象图像中占据的比例等作为覆盖率，根据计算出的覆盖率判定是否删除判定对象图像，从而对无法观察的被摄体范围的产生程度进行控制。例如，如果在覆盖率为阈值以上时删除判定对象图像、在覆盖率小于阈值时不删除判定对象图像，则能够根据阈值的设定而对无法覆盖的区域的产生程度进行控制。
作为使用变形信息的图像精简处理的另一例，也可以根据针对非覆盖区域的基于构造要素(对应于关注区域)的收缩处理的结果，判定可否删除判定对象图像。收缩处理是图15(A)～图15(E)所示的处理。详细情况在后面叙述，但是，该情况下，即使删除了判定对象图像，也能够保证在基准图像上拍摄到该判定对象图像上拍摄的构造要素的尺寸以上的区域中的至少一部分。因此，在判定对象图像中对关注区域整体进行了摄像的情况下，与该关注区域在判定对象图像上的位置无关，能够通过基准图像来观察其至少一部分，所以，能够抑制关注区域的漏看可能性。
通过进行使用变形信息的图像精简处理，能够使无法覆盖的区域成为一定以下，或者能够抑制关注区域的漏看可能性，但是，需要额外考虑作为其结果而得到的精简图像列的最佳化。这里，在考虑了使用精简图像列之后的处理(医生的诊断等)的情况下，精简图像列中包含的精简图像的张数越少越好，如果是使用覆盖率的处理，则可以说覆盖率的相乘值等越大、无法覆盖的区域越少，所以成为优选的精简图像列。即，如果存在多个精简图像列的候选，则应该将精简图像的张数更少、覆盖率的相乘值等更大的精简图像列作为最终输出，但是，仅通过使用变形信息的处理无法实现该情况，需要使用某种最佳化方法。
作为使用变形信息的图像精简处理中的未考虑最佳化的处理，例如，如图9(A)所示，考虑如下方法：将由N张图像构成的输入图像列的第1个图像作为基准图像，将第2个以后的图像依次作为判定对象图像，判定可否删除判定对象图像。该情况下，如果可以删除第2个图像，则如图9(B)所示，进行将第3个图像作为新的判定对象图像的判定对象图像的更新处理，搜索判定为不可删除的图像。然后，如图9(C)所示，如果可以删除第2～k-1个图像、不可删除第k个图像，则即使删除第2～k-1个图像也能够通过第1个图像充分覆盖。然后，将第1个图像中未完全覆盖的第k个图像作为保留在精简图像列中的图像而设定为新的基准图像。
在图9(A)～图9(C)的方法中，在将某个图像作为精简图像的情况下，通过使下一个精简图像位于尽可能分开的位置，精简图像的张数减少。但是，在该方法中，在与第1个图像的对比中只不过决定了第k个图像，没有考虑包含第k+1～N个图像的输入图像列整体。假设在与第k+1～N个图像的被摄体进行对比的情况下，与第k个图像的被摄体相比，如果第k-1个图像的被摄体更为相似，则通过强制将第k-1个图像作为精简图像，能够提高此后的图像的覆盖程度，还能够减少作为其结果而得到的精简图像列的图像张数。
并且，如图10(A)、图10(B)所示，设定第1、第2基准图像作为基准图像，通过根据其双方的覆盖程度(覆盖率)进行图像精简处理，能够期待图像张数的削减效果的提高等。但是，该情况下，仅将输入图像列的一部分作为对象来设定基准图像，在观察图像列整体时无法保证选择最佳的基准图像，这点与图9(A)～图9(C)的情况相同。
因此，本申请人提出了如下方法：根据删除了给定区间的图像的情况下的评价值即精简区间评价值G，求出大区域最佳化的精简图像列。具体而言，在将具有第1～第N(N为2以上(包含该值)的整数)图像作为构成图像的图像列作为输入的情况下，根据覆盖率等求出设定第s(s为满足0≦s≦N+1的整数)图像和第t(t为满足0≦t≦s-1的整数)图像作为上述基准图像、设定第t+1～第s-1各图像作为判定对象图像的情况下的删除评价值。然后，根据第t+1～第s-1图像的删除评价值，求出删除了第t+1～第s-1图像的情况下的评价值即精简区间评价值G(t,s)，根据精简区间评价值进行图像精简处理。
换言之，精简区间评价值G(t,s)是假定将第t图像和第s图像作为精简图像而保留在精简图像列中的情况下的评价值。由此，例如，针对第0～第N+1图像(如后所述，第0图像和第N+1图像为假想图像)，通过求出N+2C2＝(N+2)(N+1)/2个G，能够进行考虑了输入图像列整体的图像精简处理。但是，考虑计算量等，也可以针对一部分G跳过计算处理，详细情况在后面叙述。
并且，在根据计算出的G决定最佳的精简图像列时，当针对全部精简图像列循环进行评价时，需要针对第1～第N图像分别考虑是否删除，所以，针对2N个候选进行使用G的评价，计算量庞大。由此，下面，使用动态规划法决定最佳的精简图像列。
即，如图21所示，本实施方式的图像处理装置包括：图像列取得部200，其取得具有第1～第N(N为2以上(包含该值)的整数)图像作为构成图像的图像列；以及处理部100，其进行删除图像列取得部200取得的图像列的第1～第N图像的一部分而生成精简图像列的图像精简处理。而且，处理部100选择输入图像列的第s(s为满足0≦s≦N+1的整数)图像作为假定精简图像，选择输入图像列的第t(t为满足0≦t≦s-1的整数)图像作为假定紧前精简图像，选择输入图像列的第u(u为满足t<u<s的整数)图像作为判定对象图像，根据假定精简图像与判定对象图像之间的变形信息以及假定紧前精简图像与判定对象图像之间的变形信息求出判定对象图像的删除评价值，根据第t+1～第s-1图像的删除评价值求出删除了第t+1～第s-1图像的情况下的评价值即精简区间评价值G(t,s)，根据精简区间评价值进行图像精简处理。
下面，作为第1实施方式中使用变形信息的处理，说明进行基于覆盖率的处理的方法。在第1实施方式中，根据该区间中包含的图像张数(即选择了该区间的情况下可以删除的张数)和覆盖率计算精简区间评价值G。作为第2实施方式中使用变形信息的处理，说明进行使用构造要素的收缩处理的方法。在第2实施方式中，根据该区间中包含的图像张数(即选择了该区间的情况下可以删除的张数)计算精简区间评价值G。并且，作为变形例，可以对第1实施方式和第2实施方式的方法进行组合，对该变形例进行说明。
2.第1实施方式
在本实施方式中，对使用覆盖率的方法进行说明。具体而言，首先，对动态规划法进行简单说明，叙述针对图像精简处理的应用方法。接着，对图像处理装置的系统结构例进行说明，使用流程图对处理流程进行说明。然后，使用图5(A)～图8(B)对本实施方式的处理的具体例进行说明，叙述考虑了计算量削减的变形例。
2.1动态规划法的简单说明
动态规划法用于最佳路径的搜索和匹配等各种方法。例如，在图12中，在求出从点A到点B的最佳路径的情况下能够利用该动态规划法。在图12的例子中，从点A到点B向右方向、上方向或右上方向的任意方向移动，没有考虑返回。而且，在各节点间，如p1～p12等那样设定在该路线上移动的情况下的评价值(这里越大越好)。该情况下，从点A到点B的最佳路径例如可以定义为，在追寻该路径的情况下通过的各支线的评价值的总和最大。
这里，针对从点A到点B的全部路线计算评价值的总和，如果将给出该最大值的路线作为最佳路径，则能够解决图12的问题。在图12中，AB间较近，从各节点到下一个节点的路径被限定为最多3种，所以，全部路线数较少，能够计算全部路线。但是，在大规模问题(例如如果是本实施方式作为对象的图像精简，则节点数相当于图像张数，所以为数万级)中，针对全部路径乘以评价值是不现实的。
动态规划法能够以现实的计算量来解决这种问题。具体而言，不是直接求出B的评价值，而是从接近A的节点起决定各节点的评价值(具体而言为评价值的候选中的最大值)和该节点的前一个节点。然后，在决定下一个节点的评价值时，利用此前求出的各节点的评价值。
图12示出具体例。首先，到达点N1的路线仅考虑A-N1即可，所以，成为N1的评价值E(N1)＝p1。同样，成为点N2的评价值E(N2)＝p2。接着，在求出点N3的评价值的情况下，不需要考虑从A到N3的全部路线，求出从N3的前一个节点起的路径。具体而言，作为N3的前一个，考虑A、N1、N2这3个节点即可，求出E(A)＝0、E(N1)＝p1、E(N2)＝p2。即，关于N3的评价值，求出E(A)+p5、E(N1)+p3、E(N2)+p4中的最大值即可。
在将点N3作为对象的阶段中，计算上的优点较少，但是，评价值计算的对象节点与起点(这里为A)越远，则动态规划法的优点越大。例如，在求出A-N5的全部路线的情况下，需要针对5个路线计算评价值的候选并进行比较，但是，如果能够进行E(N1)、E(N3)、E(N4)的计算，则E(N5)进行求出E(N1)+p9、E(N4)+p7、E(N3)+p8这3个中的最大值的处理即可。
如果从A朝向B进行该处理，则在最后将点B作为对象时，能够通过求出E(N8)+p12、E(N9)+p10、E(N10)+p11这3个中的最大值来决定E(B)，与针对AB间的全部路线直接求出评价值的情况相比，能够大幅削减计算量。
该情况下，最佳路径以相反顺序从B起追寻前一个点即可。例如在求出E(B)时，决定最佳点(E(B)为最大的点)作为N8～N10中的B的前一个点。如果假设该点为N8，则决定N8-B这样的路径作为最佳路径的一部分。然后，关于N8，应该是从N5～N7这3个点中决定E(N8)为最大的最佳点作为其前一个点。如果假设该点为N5，则决定N5-N8-B这样的路径作为最佳路径的一部分。反复进行该处理，前一个最佳点到达A后，从B起追寻前一个最佳点而到达A的路线就是以相反顺序追寻最佳路径。
在本实施方式的图像精简处理中应用动态规划法的情况下，将输入图像列的各图像理解为路径的节点，从该输入图像列的起始图像到最后图像，考虑仅经由精简图像列中保留的图像的路径。然后，将图像精简处理理解为搜索其中的最佳路径的问题即可。
例如，关于由第1～第5图像构成的输入图像列，在保留全部图像的情况下，可以考虑1-2-3-4-5这样的路径，在仅保留第2、第4图像的情况下，可以考虑2-4这样的路径。即，该情况下，关于是否保留各图像，如果落入搜索25＝32个路径中的最佳路径的问题，则能够通过动态规划法求出最佳的精简图像列。另外，当设路径的起点为第1图像、终点为第5图像时，第1、第5图像必定保留在精简图像列中，不适于求出最佳解。由此，在本实施方式中，关于包含N张图像的输入图像列，设定假想的第0图像和第N+1图像，将第0图像作为起点(图12中的点A)、第N+1图像作为终点(图12中的点B)。
此时，在求出各点的评价值(以下为累计评价值E)时，需要节点间的评价值(上述的p1等)，但是，在本实施方式中，将使用图像间的变形信息求出的精简区间评价值G作为该值。即，关于节点2与节点4之间的分支的评价值，使用假定为保留第2、第4图像并删除第3图像的情况下的精简区间评价值G(2,4)即可。
2.2系统结构例
图1示出本实施方式中的图像处理装置的系统结构例。图像处理装置包括处理部100、图像列取得部200、存储部300。
处理部100通过对图像列取得部200取得的图像列删除该图像列中包含的多个图像的一部分，进行图像精简处理。该处理部100的功能可以由各种处理器(CPU等)、ASIC(门阵列等)等硬件、程序等实现。
图像列取得部200取得作为图像精简处理对象的图像列。认为要取得的图像列是按照时间序列排列的RGB3通道图像。或者，也可以是通过排列成横向一列的摄像设备拍摄的空间上排列的图像列那样在空间上连续的图像列。另外，构成图像列的图像不限于RGB3通道图像，也可以使用Gray1通道图像等其他颜色空间。
存储部300除了存储图像列取得部200取得的图像列以外，还作为处理部100等的工作区域，其功能可以由RAM等存储器、HDD(硬盘驱动)等实现。
并且，如图1所示，处理部100包括变形估计部1001、假定精简图像选择部1002、假定紧前精简图像选择部1003、判定对象图像选择部1004、覆盖率计算部1005、精简区间评价值计算部1006、假定累计评价值计算部1007、最佳紧前精简图像决定部1008、累计评价值更新部1009、精简图像列决定部1010。另外，处理部100不限于图1的结构，能够进行省略它们的一部分结构要素或追加其他结构要素等各种变形实施。并且，上述各部是为了在将由处理部100执行的图像精简处理分割为多个子例程时对各子例程进行说明而设定的，处理部100不是必须具有上述各部作为结构要件。
变形估计部1001进行2个图像间的变形估计处理并取得变形信息。这里，变形信息表示一个图像中被摄像的范围在另一个图像中被摄像为什么样的形状(范围)，例如可以是专利文献2所公开的变形参数等。在本实施方式中，变形估计部1001取得假定精简图像选择部1002选择出的假定精简图像与判定对象图像选择部1004选择出的判定对象图像之间的变形信息、以及假定紧前精简图像选择部1003与判定对象图像之间的变形信息，根据取得的变形信息进行覆盖率的计算处理。
但是，变形估计部1001不限于直接求出基准图像(这里为假定精简图像和假定紧前精简图像)与判定对象图像之间的变形信息。例如，也可以在作为处理对象的图像列中求出相邻图像间的变形信息，组合相邻图像间的变形信息来计算不相邻的图像间的变形信息。该情况下，通过组合基准图像、判定对象图像及其间图像的相邻图像间的变形信息(狭义地讲为全部图像)来求出基准图像与判定对象图像之间的变形信息。
由此，能够减轻变形信息的计算处理的负荷。这是因为，虽然能够通过专利文献2等所示的方法计算变形信息，但是，与一般情况下从头计算变形信息的处理相比，对多个变形信息进行复合的处理的负荷非常轻。例如，如果变形信息为矩阵等，则根据2个图像信息求出该矩阵的处理的负荷较大，但是，对已经求出的多个矩阵进行合成(由于仅取得例如矩阵的积即可)非常容易。
例如，在由图像列取得部200取得的图像列包含N张图像的情况下，认为从中选择2张图像的组合为N×(N-1)/2，所以，当直接求出基准图像与判定对象图像之间的变形信息时，可能要进行N2的数量级的次数的负荷较重的处理(从头计算变形信息的处理)。与此相对，如果使用相邻图像间的变形信息，则负荷较重的处理为N-1次即可。
假定精简图像选择部1002从图像列的起始图像的前一个假想配置的图像(第0图像)到图像列的最后图像的后一个假想配置的图像(第N+1图像)按照时间序列选择图像，将选择出的图像作为假定精简图像。这里，假定精简图像是作为上述累计评价值E的计算对象的图像。
假定紧前精简图像选择部1003选择假定紧前精简图像。这里，假定紧前精简图像是作为假定精简图像的前一个精简图像的候选的图像。如果求出假定紧前精简图像的累计评价值E，则根据该累计评价值以及假定紧前精简图像与假定精简图像之间的精简区间评价值，能够求出假定精简图像的累计评价值的候选。
这里，在第k图像为假定精简图像的情况下，作为其前一个精简图像，考虑保留第k-1图像的情况、删除第k-1图像但是保留第k-2图像的情况、删除第k-1、k-2图像但是保留第k-3图像的情况、…、删除全部第1～第k-1图像的情况。即，如果考虑全部情况，则作为假定紧前精简图像，依次选择从假定精简图像的前一个图像到第0图像的全部图像即可。
另外，在本实施方式中，作为对象的输入图像列中包含的图像假设为，图像列中的位置越近，则相似的可能性越高。即，在假定精简图像和假定紧前精简图像较近时，与较远的情况相比，其间的图像的覆盖率较高(判定为能够全部删除)的可能性较高。而且，如后所述，在假定精简图像与假定紧前精简图像之间的图像中的至少一张图像不可删除、且此时的覆盖率极低的情况下，也考虑不使假定紧前精简图像进一步远离假定精简图像而中止处理的情况。由此，假定紧前精简图像选择部1003考虑处理的效率，选择假定精简图像的前一张图像作为最初的假定紧前精简图像，依次将假定紧前精简图像分别更新为前一张图像。
判定对象图像选择部1004依次选择假定精简图像与假定紧前精简图像之间的图像作为判定对象图像。这里，将假定精简图像的前一张图像作为最初的判定对象图像，在到达假定紧前精简图像的后一张图像之前，依次将判定对象图像分别更新为前一张图像。
覆盖率计算部1005根据假定精简图像与判定对象图像之间的第1变形信息以及假定紧前精简图像与判定对象图像之间的第2变形信息，计算判定对象图像的覆盖率。图2、图3示出覆盖率的计算处理的例子。在图3中，求出使用第1变形信息对假定精简图像进行变形而投影到判定对象图像上的区域即第1覆盖区域。与此同时，求出使用第2变形信息对假定紧前精简图像进行变形而投影到判定对象图像上的区域即第2覆盖区域。进而，将第1覆盖区域和第2覆盖区域的和区域(第1覆盖区域和第2覆盖区域中的至少一方中包含的区域)作为最终的覆盖区域。然后，将覆盖区域在判定对象图像中占据的比例(狭义地讲为覆盖区域的面积相对于判定对象图像的面积的比例)作为覆盖率即可。
另外，如果在全部判定对象图像中覆盖率为阈值k1以上(包含该值)，则转移到使用覆盖率的精简区间评价值的计算处理。另一方面，在至少一张判定对象图像中覆盖率小于k1的情况下，保留此时的假定精简图像和假定紧前精简图像，不适于删除其间的全部图像。由此，关于精简区间评价值，不计算具体值而设定足够小的值(例如-∞)，以使得不会选择这种精简图像列(不使该路径成为最佳)。并且，在覆盖率小于k2且k1>k2的情况下，在此时的假定精简图像和假定紧前精简图像中，其间图像的覆盖程度极低。该情况下，即使将假定紧前精简图像更新为进一步远离假定精简图像的位置，认为能够适当覆盖其间图像的可能性也较低。该情况下，不仅中止判定对象图像的更新处理，还中止假定紧前精简图像的更新处理，转移到假定精简图像的更新处理。该处理的分支使用图4的流程图详细叙述。
精简区间评价值计算部1006根据覆盖率以及假定紧前精简图像与假定精简图像之间的图像张数，计算精简区间评价值。如上所述，这是基于如下观点：可以删除的图像张数越多、并且覆盖率越高，则越适合作为精简图像列。具体而言，根据全部判定对象图像的覆盖率的总和求出第1评价值，求出假定紧前精简图像与假定精简图像之间的图像张数作为第2评价值。然后，对第1评价值和第2评价值进行加权相加，求出精简区间评价值即可。例如，在覆盖率用0～1的值表现的情况下，作为精简区间评价值G，可以使用通过G＝(第1评价值)+(第2评价值)×(图像列的总张数)求出的值。该情况下，由于图像列的总张数这样的权重的作用较大，所以，能够更加重视图像的删除张数来决定最佳的精简图像列。但是，精简区间评价值的计算方法不限于此。
假定累计评价值计算部1007计算假定精简图像的假定累计评价值(作为累计评价值的候选的值)。具体而言，关于各假定紧前精简图像，将该假定紧前精简图像的累计评价值以及假定精简图像与假定紧前精简图像之间求出的精简区间评价值之和作为假定累计评价值即可。另外，由于设第0图像的累计评价值为0，所以，在假定紧前精简图像为第0图像的情况下，假定累计评价值为精简区间评价值的值本身。
最佳紧前精简图像决定部1008从由假定累计评价值计算部1007求出的一个以上(包含该值)的假定累计评价值中，决定给出最佳评价值(狭义地讲为最大评价值)的假定紧前精简图像作为最佳紧前精简图像。
累计评价值更新部1009决定假定累计评价值中的最佳评价值(狭义地讲为最大评价值)作为该假定精简图像中的累计评价值。
精简图像列决定部1010在求出第N+1图像的累计评价值E(N+1)后，通过追寻最佳紧前精简图像，设定精简图像列。具体而言，在将第N+1图像作为最初的处理对象图像的情况下，在处理对象图像的最佳紧前精简图像不是第0图像的情况下，将该最佳紧前精简图像保留在精简图像列中，并且将该最佳紧前精简图像作为新的处理对象图像。另一方面，在最佳紧前精简图像是第0图像的情况下，结束精简图像列决定处理。由此，从第N+1图像到第0图像追寻最佳紧前精简图像，能够进行将作为该路径上的节点的图像作为精简图像列的处理。
2.3处理的详细情况
使用图4的流程图对本实施方式的图像精简处理的流程进行说明。该处理开始后，首先，进行变形估计处理(S101)。该处理例如是取得输入图像列中相邻的图像间的变形信息的处理。
接着，进行选择假定精简图像的处理(S102)。在首次进行S102的处理的情况下，选择作为假想图像的第0图像作为假定精简图像。在此后再次进行S102的处理的情况下，进行将假定精简图像更新为输入图像列中的后一个图像的处理。
在选择了假定精简图像后，进行假定紧前精简图像的选择处理(S103)。这里，首先选择假定精简图像的前一个图像作为假定紧前精简图像。然后，在不进行S102的假定精简图像的更新处理而再次进行S103的处理的情况下(从S105或S107返回S103的情况下)，进行将假定紧前精简图像更新为前一个图像的处理。
在选择了假定精简图像和假定紧前精简图像后，依次选择其间的图像作为判定对象图像(S104)。在选择了判定对象图像后，使用假定精简图像与判定对象图像之间的第1变形信息以及假定紧前精简图像与判定对象图像之间的第2变形信息计算覆盖率(S105)。利用S101的变形估计处理的结果求出第1、第2变形信息即可。
根据覆盖率，如果可以删除判定对象图像(例如覆盖率为阈值k1以上(包含该值))，则返回S104，对判定对象图像进行更新。只要可以删除判定对象图像，则反复进行S104和S105的处理，针对假定精简图像与假定紧前精简图像之间的全部图像进行处理。
在可以删除假定精简图像与假定紧前精简图像之间的全部图像的情况下，转移到S106，计算精简区间评价值，根据该精简区间评价值和假定紧前精简图像的累计评价值计算假定精简图像的假定累计评价值(S107)。在S107的处理后，返回S102，进行假定紧前精简图像的更新处理。
另一方面，在假定精简图像与假定紧前精简图像之间的至少一张图像不可删除、且未进行中止判定(例如k2≦覆盖率<k1)的情况下，在此时的假定精简图像和假定紧前精简图像的组合中，无法充分覆盖其间的图像。由此，将精简区间评价值设定为-∞等足够小的值，不采用此时的假定精简图像和假定紧前精简图像的组合作为精简图像。但是，由于覆盖率的值不会差到进行中止处理这样的判定的程度，所以，返回S103，进行假定紧前精简图像的更新处理。这是因为，通常存在假定精简图像与假定紧前精简图像之间越宽、则不可删除的可能性越高的倾向，但是，根据被摄体等，还考虑假定精简图像与假定紧前精简图像之间越宽、其间的图像的覆盖程度反而越好的可能性。
并且，在判定对象图像的覆盖率极低(例如覆盖率小于k2)的情况下，认为在此时的假定精简图像和假定紧前精简图像的组合中，无法充分覆盖其间图像，并且，即使进行扩宽假定精简图像和假定紧前精简图像的更新处理，覆盖率的改善可能性也非常低。由此，该情况下，中止S103～S107的循环处理，转移到S108。此时，考虑S108以后的处理，也可以进行如下处理：针对假定紧前精简图像的搜索区间中包含的图像、即S103中未选择为假定紧前精简图像的图像，对精简区间评价值设定足够小的值。例如，假设选择第k-1图像～第0图像作为假定紧前精简图像，但是，在第k-z图像处判定为中止的情况下，由于没有设定选择了第k-z-1图像～第0图像作为假定紧前精简图像的情况下的精简区间评价值，所以，设定-∞作为这些值即可。
并且，反复进行S103的假定紧前精简图像的更新处理，在搜索了全部搜索区间的情况下，也转移到S108。例如，这对应于选择假定精简图像的前一个图像～第0图像的全部图像作为假定紧前精简图像而进行了处理的状态。并且，如果是为了削减计算量而将选择为假定紧前精简图像的图像限定为α张的情况，则对应于选择从假定精简图像的前一个图像起的α张图像作为假定紧前精简图像而进行了处理的状态。
在转移到S108的阶段中，针对S102中选择出的假定精简图像，计算将1个或多个假定紧前精简图像的各图像作为紧前的精简图像的情况下的累计评价值即假定累计评价值。由此，决定给出该假定累计评价值中的最佳评价值(狭义地讲为最大评价值)的假定紧前精简图像作为最佳紧前精简图像(S108)，将此时的评价值作为该假定精简图像的累计评价值(S109)。
通过适当反复循环进行S103～S109的处理，能够求出S102中选择出的假定精简图像的累计评价值。由此，在S109之后，返回S102，对假定精简图像进行更新，反复进行S103～S109的处理，针对第0～第N+1全部图像求出累计评价值即可。
在计算出第N+1图像的累计评价值后，不存在S102中选择的图像，所以，转移到S110的精简图像列决定处理。具体而言，从第N+1图像开始，针对处理对象图像的最佳紧前精简图像，依次选择追寻到第0图像为止的路径即可。在本实施方式的处理中，由该路径上的图像构成的图像列(其中，将作为假想图像的第0图像和第N+1图像除外)成为精简图像列。
2.4处理的具体例
使用图5(A)～图8(B)对本实施方式的具体处理的例子进行说明。这里，以输入了由第1～第6图像构成的图像列的情况为例。附图下部的0～7的数字表示输入图像列的结构图像，其下方的数字表示该图像的累计评价值。并且，附图上部的格子的各交点上标注的值表示位于该交点的右下方和左下方的2个图像间的精简区间评价值。并且，较粗的直线表示从假定精简图像经由最佳紧前精简图像到达第0图像的路线。
首先，如图5(A)所示，设第0图像的累计评价值E(0)为0。
然后，如图5(B)所示，将第1图像作为假定精简图像，将此前的图像作为假定紧前精简图像。这里，将第0图像作为假定紧前精简图像，求出第0图像与第1图像之间的精简区间评价值G(0,1)。该情况下，由于其间不存在图像，所以不选择判定对象图像。由于不会选择第0图像以外的图像作为假定紧前精简图像，所以，E(1)＝E(0)+G(0,1)＝0，最佳紧前精简图像为第0图像。
接着，如图6(A)所示，将假定精简图像更新为第2图像。然后，将第1图像作为假定紧前精简图像，求出G(1,2)。进而，将第0图像作为假定紧前精简图像，求出G(0,2)。在求出G(0,2)的情况下，选择第1图像作为判定对象图像。
然后，作为假定累计评价值，求出E(0)+G(0,2)和E(1)+G(1,2)，将其中的最佳值作为E(2)，并且，将给出该值的假定紧前精简图像作为最佳紧前精简图像。该情况下，E(2)＝1093，最佳紧前精简图像为第0图像。
以后同样，在将第3图像作为假定精简图像的情况下，依次选择第2～第0图像作为假定紧前精简图像。然后，在假定精简图像与假定紧前精简图像之间存在1个或多个图像的情况下，通过依次选择这些图像作为判定对象图像并求出覆盖率，计算精简区间评价值G。由于求出与选择为假定紧前精简图像的图像张数对应的数量的假定累计评价值(如果为图6(B)的情况，则为3个)，所以，将其中的最佳值作为累计评价值E(3)，将给出该值的第0图像作为最佳紧前精简图像。
图7(A)～图8(A)也是同样的。另外，在图7(A)中，在将假定紧前精简图像作为第0图像的情况下，不可删除第1～第3图像中的任意一方(将任意一方作为判定对象图像的情况下的覆盖率小于给定阈值)，所以，G(0,4)＝-∞。并且，由于最佳紧前精简图像不是第0图像，所以，在将最佳紧前精简图像作为对象的情况下，能够进一步考虑最佳紧前精简图像。
反复进行该处理，求出输入图像列的最后的图像的后方设定的假定图像的累计评价值(在图8(B)中为E(7))。然后，由于第7图像的最佳紧前精简图像为第5图像、第5图像的最佳紧前精简图像为第2图像、第2图像的最佳紧前精简图像为第0图像，所以，由此，如图8(B)所示，求出从第0图像到第7图像的最佳路径作为0-2-5-7。鉴于第0、第7图像为假想图像，所以，能够决定由第1～第6图像构成的输入图像列的最佳的精简图像列是由第2图像和第5图像构成的图像列。
2.5变形例
使用图4的流程图等说明的上述处理将作为图像精简处理的对象的图像列整体设为输入图像列。但是，公知动态规划法的处理时间与处理区间长度(例如由路径长度决定的值，如果是本实施方式，则由输入图像列中包含的图像张数决定)的平方成比例地增加。即，如本实施方式那样，在作为图像精简处理对象的图像列中包含的图像张数非常多的情况下，认为即使使用动态规划法，可能也很难在现实的处理时间内求出最佳解。
因此，为了缩短处理时间，可以将图像列分割为多个部分图像列，将各部分图像列作为输入图像列来进行上述处理。这样，由于能够缩短上述处理区间长度，所以，整体能够缩短处理时间。
具体而言，例如，从图像列中检测场景转换，根据检测到的场景转换将图像列分割为多个部分图像列即可。这里的场景转换能够通过各种方法求出，但是，例如在利用专利文献2所记载的方法进行变形估计时，在能够准确记录的区域的面积(表示该区域的遮蔽图像的像素数)为给定阈值以下的情况下，判定为变形估计失败，考虑将变形估计失败的相邻图像间作为场景转换。
这样，能够减少作为本实施方式的处理(特别是使用动态规划法的处理)的对象的输入图像列中包含的图像张数，能够缩短处理时间。进而，通过在变形估计失败的图像间设置部分图像列的边界，在处理中不需要使用该图像间的变形信息。即，由于能够将不准确到判定为变形估计失败的程度的变形信息从处理中除外，所以，能够提高使用变形信息的处理的精度(例如覆盖率的计算精度)。
例如，如图11(A)、图11(B)所示，在图像列中检测到A1～A3这3个场景转换的情况下，将该场景转换作为边界来设定B1～B4这4个部分图像列即可。
另外，在根据场景转换而设定了多个部分图像列的情况下，不限于针对该多个部分图像列一个一个依次进行处理的情况。在处理部100的结构适于并列处理(例如使用具有多个核的CPU作为处理部100)的情况下、通过多个计算机构成本实施方式的图像处理装置并利用各计算机进行分散处理的情况下等，也可以针对多个部分图像列并列进行上述图像精简处理。这样，能够缩短图像精简处理所需要的时间等。
在以上的本实施方式中，如图1(或图21)所示，图像处理装置包括：图像列取得部200，其取得具有第1～第N(N为2以上(包含该值)的整数)图像作为构成图像的输入图像列；以及处理部100，其进行删除图像列取得部200取得的输入图像列的第1～第N图像的一部分而生成精简图像列的图像精简处理。而且，处理部100选择输入图像列的第s(s为满足0≦s≦N+1的整数)图像作为假定精简图像，选择输入图像列的第t(t为满足0≦t≦s-1的整数)图像作为假定紧前精简图像，选择输入图像列的第u(u为满足t<u<s的整数)图像作为判定对象图像。进而，处理部100根据假定精简图像与判定对象图像之间的变形信息以及假定紧前精简图像与判定对象图像之间的变形信息求出判定对象图像的删除评价值，根据第t+1～第s-1图像的删除评价值求出删除了第t+1～第s-1图像的情况下的评价值即精简区间评价值G(t,s)，根据精简区间评价值进行图像精简处理。
由此，能够进行基于精简区间评价值的图像精简处理。精简区间评价值G(t,s)是将第t图像和第s图像保留在精简图像列中、删除全部第t+1～第s-1图像的情况下的评价值。即，假设在精简图像列中保留第a图像、第b图像、第c图像这3个图像的情况下，能够根据G(a,b)和G(b,c)求出该精简图像列的评价值(如果假设第0、第N+1图像作为假定图像，则一并使用G(0,a)、G(c,N+1))。由此，如果求出全部第1～第N图像中的任意2张图像间的精简区间评价值，则能够求出根据输入图像列生成的任意的精简图像列的评价值，能够从多个精简图像列的候选中搜索最佳的精简图像列。另外，可以针对从第1～第N图像(或包含假想图像在内的第0～第N+1图像)中选择2张图像的全部组合求出精简区间评价值G，但是，从计算量削减的观点出发，也可以针对一部分G跳过计算处理。此时，由于根据图像间的变形信息求出精简区间评价值，所以，能够控制由于删除图像而无法观察的区域的产生程度等。
并且，处理部100也可以根据精简区间评价值求出第1～第N图像的各图像的累计评价值E(1)～E(N)，根据累计评价值进行图像精简处理。
由此，能够进行基于累计评价值的图像精简处理。本实施方式的累计评价值E(k)表示假定了保留第0图像和第k图像的情况下的评价值中的最佳评价值(另外，未考虑第k+1～第N+1图像)。在保留第0图像和第k图像的情况下，针对第1～第k-1图像分别存在保留或删除这两种可能性，所以，2k-1种情况下的最佳评价值(或判定为最佳的评价值)成为E(k)。即，通过求出E(k)，能够针对保留第k图像的前提下的是否可以删除第1～第k-1图像，决定最佳组合。即，如果作为假想图像的第N+1图像求出E(N+1)，则能够针对是否可以删除第1～第N图像决定最佳组合，这无非是求出大区域最佳的精简图像列的处理。但是，为了削减计算量，假设在本实施方式中使用动态规划法。该情况下，不是直接求出E(N+1)，而是从接近起点(第0图像)起依次求出累计评价值E，在求出给定图像的累计评价值E(k)的情况下，使用此前的处理结果(E(1)～E(k-1))。由此，在本实施方式的图像精简处理中，通过求出第1～第N图像的各图像的累计评价值E(1)～E(N)，进行图像精简处理。
并且，处理部100也可以将作为假想图像的第0图像的累计评价值设为E(0)＝0，使用第w(w为满足0≦w≦v-1的整数)图像的累计评价值E(w)以及删除了第w+1～第v-1图像的情况下的精简区间评价值G(w,v)，求出第v(v为满足1≦v≦N+1的整数)图像的累计评价值，作为E(v)＝max(E(w)+G(w,v))。
由此，能够使用动态规划法求出累计评价值E。该情况下，每当求出E(v)时，不考虑是否删除第0～第v图像的全部的情况，仅计算v次的E+G并求出其最佳值(狭义地讲为最大值)即可。即，在求出E(N+1)时，虽然需要求出E(1)～E(N)，但是，与直接求出E(N+1)的情况相比，能够大幅削减计算量。
并且，处理部100也可以选择满足下式(1)的第x图像作为第v图像的最佳紧前精简图像。
并且，处理部100也可以求出作为假想图像的第N+1图像的累计评价值E(N+1)，将第N+1图像设为精简图像列决定处理中的最初的处理对象图像。然后，处理部100在处理对象图像的最佳紧前精简图像不是第0图像的情况下，进行将最佳紧前精简图像包含在精简图像列中的处理，并且，进行将最佳紧前精简图像作为新的处理对象图像的更新处理，继续进行精简图像列决定处理。另一方面，在处理对象图像的最佳紧前精简图像是第0图像的情况下，结束精简图像列决定处理。
由此，在求出E(v)时，能够选择第v图像的最佳紧前精简图像，并且使用最佳紧前精简图像进行精简图像列决定处理。在动态规划法中，从活用此前的处理结果的观点出发，决定处理对象节点的紧前节点即可，在处理对象节点的处理时点不需要考虑从起点到该紧前节点的路径。但是，只要针对各节点决定了紧前节点，则通过从终点起依次追溯紧前节点，能够决定最佳路径。在本实施方式中，将该处理应用于图像列，具体而言，将假定紧前精简图像中的假定精简图像的假定累计评价值最大的图像作为最佳紧前精简图像即可。精简图像列决定处理成为在从第N+1图像到第0图像的范围内追寻最佳紧前精简图像的处理。
并且，处理部100也可以根据第s图像与第u图像之间的变形信息以及第t图像与第u图像之间的变形信息，计算第s图像和第t图像覆盖第u图像的比例即第u图像的覆盖率。然后，处理部100根据覆盖率计算删除评价值，求出对与第t+1～第s-1图像有关的删除评价值进行合计而得到的值作为删除了第t+1～第s-1图像的情况下的精简区间评价值G(t,s)。
由此，能够根据覆盖率求出精简区间评价值。例如，如图2、图3所示，可以使用覆盖区域求出覆盖率，也可以通过其他方法求出覆盖率。该情况下，由于在精简区间评价值的计算中使用覆盖率，所以，能够期待根据该精简区间评价值决定的精简图像列成为覆盖率较高(即抑制产生无法观察的区域)的图像列。
并且，处理部100也可以根据第s图像与第u图像之间的变形信息以及第t图像与第u图像之间的变形信息判定可否删除第u图像。然后，处理部100在第t+1～第s-1图像中的至少一张构成图像被判定为不可删除的情况下，设定第1值作为删除了第t+1～第s-1图像的情况下的精简区间评价值G(t,s)。
此时，处理部100也可以设定负的无限大或根据累计评价值决定的给定阈值以下的值，作为第1值。
由此，在第t+1～第s-1图像中的至少一张结构图像被判定为不可删除的情况下、即用第t图像和第s图像无法充分覆盖其间图像的情况下，能够设定给定值作为精简图像列的评价值，而不使用可以删除的图像张数和覆盖率等观点。具体而言，作为精简图像列的评价值，设定不可能选择第t图像作为第s图像的最佳紧前精简图像的值。这里，由于累计评价值越大越好，所以，如果使用-∞作为上述第1值，则通过该第1值即精简区间评价值计算出的假定累计评价值成为必定小于通过第1值以外的值即精简区间评价值(相当于可以删除全部第t+1～第s-1图像的情况)计算出的假定累计评价值的值。
但是，如果满足(不可删除的情况下的假定累计评价值中的最大值)<(可以删除的情况下的假定累计评价值的最小值)，则第1值也可以不是-∞。该情况下，鉴于假定累计评价值由假定紧前精简图像的累计评价值和精简区间评价值决定，根据累计评价值来决定第1值。例如，也可以与考虑作为累计评价值的值相比，将绝对值大到级别大幅不同的程度的负值作为第1值。或者，也可以将比(作为假定精简图像的累计评价值处理的最小值)-(假定紧前精简图像的累计评价值)更小的值作为第1值，该情况下，也满足不可能选择第t图像作为第s图像的最佳紧前精简图像这样的要件。
并且，处理部100也可以在判定为可以删除全部第t+1～第s-1图像的情况下，根据第t+1～第s-1图像的图像张数求出删除了第t+1～第s-1图像的情况下的精简区间评价值G(t,s)。
由此，能够根据可以删除的图像张数求出精简区间评价值。可以删除的图像张数越多，则精简图像列中包含的图像张数可以越少，所以，能够提高图像精简处理的效果。另外，如上所述，也可以通过覆盖率的值和给定阈值(k1)的比较处理来进行这里的是否可以删除的判定。但是不限于此，也可以如第2实施方式中后述的那样根据使用构造要素的收缩处理的结果进行判定，还可以如图20所示组合2个方法进行判定。
并且，处理部100也可以在t＝s-1～t＝0的范围内以每次-1的方式更新t，并选择第t图像作为假定紧前精简图像，根据第t图像与第u图像之间的变形信息以及第s图像与第u图像之间的变形信息进行中止判定处理。然后，针对通过中止判定处理判定为中止的t，设定第1值作为删除了第x(x为满足0≦x≦t的整数)图像与第s图像之间的构成图像时的精简区间评价值G(x,s)，结束将第s图像作为假定精简图像的处理。
由此，能够进行中止判定。如上所述，本实施方式的图像列中包含的图像假设为，图像列中的位置越近，则被摄体越相似。即，在基于第t图像和第s图像的第t+1～第s-1图像的覆盖程度非常低的情况下，即使对假定紧前精简图像进行更新，认为基于第t-1图像和第s图像的第t～第s-1图像的覆盖程度也较低。该情况下，即使跳过将第0～第t-1图像作为假定紧前精简图像的处理，产生问题的可能性也较低，通过该跳过处理，能够削减计算量。此时，作为将第0～第t-1图像作为假定紧前精简图像的情况下的精简区间评价值，设定上述第1值即可。
并且，处理部100也可以选择第0～第s-1图像中的第s-α～第s-1图像(α为正整数)的图像作为假定紧前精简图像。
由此，由于能够缩小假定紧前精简图像的设定范围(搜索最佳紧前精简图像的范围)，所以能够削减计算量。在本实施方式的输入图像列中，存在当假定精简图像和假定紧前精简图像过远时、能够覆盖其间图像的可能性降低的倾向。即，即使将假定紧前精简图像设定在相距假定精简图像极远的位置，选择该假定紧前精简图像作为最佳紧前精简图像的可能性也非常低，很难说针对该假定紧前精简图像的处理是有用的。由此，这里，也可以限定假定紧前精简图像的设定范围。
并且，处理部100也可以从输入图像列中检测场景转换，在从输入图像列中检测到第i(i为整数)场景转换和第i场景转换之后的第i+1场景转换的情况下，设定输入图像列的多个构成图像中的第i场景转换的后方且第i+1场景转换的前方的构成图像作为部分图像列，对所设定的部分图像列进行图像精简处理。
由此，能够将输入图像列分割为多个部分图像列，按照每个部分图像列进行处理。由于动态规划法的处理时间与处理区间长度的平方成比例，所以，通过按照每个部分图像列进行处理，能够缩短处理时间。并且，通过对多个部分图像列进行并列处理，也可以进一步实现处理时间的缩短。
另外，可以通过程序实现本实施方式的图像处理装置等的处理的一部分或大部分。该情况下，通过由CPU等处理器执行程序，实现本实施方式的图像处理装置等。具体而言，读出非暂时的信息存储装置中存储的程序，并由CPU等处理器执行所读出的程序。这里，信息存储装置(计算机可读取的装置)存储程序和数据等，其功能能够通过光盘(DVD、CD等)、HDD(硬盘驱动)、或存储器(卡型存储器、ROM等)等实现。而且，CPU等处理器根据信息存储装置中存储的程序(数据)进行本实施方式的各种处理。即，在信息存储装置中存储有用于使计算机(具有操作部、处理部、存储部、输出部的装置)作为本实施方式的各部发挥功能的程序(用于使计算机执行各部的处理的程序)。
并且，本实施方式的图像处理装置等也可以包括处理器和存储器。这里的处理器例如可以是CPU(Central Processing Unit：中央处理单元)。但是，处理器不限于CPU，可以使用GPU(Graphics Processing Unit：图形处理单元)或DSP(Digital Signal Processor：数字信号处理器)等各种处理器。并且，处理器也可以是基于ASIC的硬件电路。并且，存储器存储计算机可读取的命令，通过由处理器执行该命令，实现本实施方式的图像处理装置等的各部。这里的存储器可以是SRAM、DRAM等半导体存储器，也可以是寄存器或硬盘等。并且，这里的命令可以是构成程序的命令组的命令，也可以是针对处理器的硬件电路指示动作的命令。
3.第2实施方式
接着，对根据使用构造要素的收缩处理来判定关注区域的漏看可能性的方法进行说明。
3.1系统结构例。
图13示出第2实施方式的图像处理装置的结构例。如图13所示，在与第1实施方式的图像处理装置(图1)进行比较的情况下，构成为删除覆盖率计算部1005并追加关注区域漏看判定部1011。关于除此以外的各部，除了精简区间评价值计算部1006中的精简区间评价值G的计算方法以外，与第1实施方式相同，所以省略详细说明。
在假定精简图像、假定紧前精简图像、判定对象图像的选择后，关注区域漏看判定部1011在删除了该判定对象图像的情况下，进行与成为判定对象图像上被摄像的关注区域未在假定精简图像和假定紧前精简图像中的某个图像中被摄像的状况(即，成为漏看关注区域的状况)的可能性有关的判定处理。
3.2关注区域漏看可能性判定和精简区间评价值计算处理
对具体的处理流程进行说明。关注区域漏看判定部1011根据关注区域(如果为胶囊内窥镜，则为不希望漏看的病变部等)生成构造要素。这里，考虑关注区域的典型大小等，设定不希望漏看的尺寸、形状的区域作为构造要素。例如，如果已知关注区域为病变部、图像上比直径30像素的圆大的病变的深刻度较高而不应该漏看，则构造要素设定直径30像素的圆。
在选择了假定精简图像、假定紧前精简图像和判定对象图像后，使用变形估计部1001中的变形估计处理的结果，取得假定精简图像与判定对象图像之间的第1变形信息以及假定紧前精简图像与判定对象图像之间的第2变形信息。然后，与第1实施方式同样，利用所取得的变形信息，将假定精简图像和假定紧前精简图像投影到判定对象图像上，求出覆盖区域。
在计算出覆盖区域后，关注区域漏看判定部1011判定关注区域的漏看可能性。具体而言，针对判定对象图像中的覆盖区域以外的区域即非覆盖区域，如图14所示，进行使用构造要素的收缩处理，判定是否存在残留区域。
使用图15(A)～图15(E)对收缩处理的具体例进行说明。如图15(A)所示，非覆盖区域必定是闭合区域，能够设定其边界。例如，在图15(A)中，设定作为外侧边界的BO1和作为内侧边界的BO2。
此时，基于构造要素的收缩处理成为如下处理：在将该构造要素的基准点设定在非覆盖区域的边界上的情况下，删除非覆盖区域和构造要素的重复区域。例如，在设定圆形状的区域作为构造要素并将其基准点设为圆的中心的情况下，进行描绘在非覆盖区域的边界上具有中心的圆、将该圆和非覆盖区域重合的部分从非覆盖区域中除外的处理。具体而言，如图15(A)所示，描绘以非覆盖区域的外侧边界BO1上的点为中心的圆，将与非覆盖区域重复的重复区域(这里为斜线所示的半圆形状的区域)除外。
如果考虑离散地进行处理，则由于外侧边界BO1由多个点构成，所以，针对该多个点的各点进行上述处理即可。作为一例，如图15(A)所示，以边界上的一点为起点描绘在给定方向上依次将边界BO1上的点作为中心的圆，将该圆和非覆盖区域的重复区域从非覆盖区域中除外即可。
在非覆盖区域的边界的一部分与判定对象图像的边界一致的情况下等，还考虑非覆盖区域的边界为一个的情况，此时，对这一个边界进行上述处理即可。并且，如图15(A)所示，在考虑BO1和BO2这两个边界作为非覆盖区域的边界的情况下，分别对其进行上述处理。具体而言，如图15(B)所示，在内侧边界BO2中，也描绘在BO2上具有中心的圆，进行将该圆和非覆盖区域的重复区域除外的处理，对构成BO2的各点反复进行该处理即可。
通过进行这种收缩处理，非覆盖区域的面积减小。例如，在着眼于图15(A)的非覆盖区域的左部的情况下，通过图15(A)所示的BO1的收缩处理和图15(B)所示的BO2的收缩处理，完全删除非覆盖区域，不会存在残留区域。另一方面，在着眼于非覆盖区域的右下部分的情况下，如图15(C)所示，产生在BO1的收缩处理和BO2的收缩处理中均不是除外对象而残存的残留区域RE。由此，针对这里的非覆盖区域整体进行基于构造要素的收缩处理的结果如图15(D)所示，产生残留区域RE。
这里，考虑将半径r的圆作为构造要素的情况下的收缩处理所具有的意义。可以认为作为闭合区域的非覆盖区域是位于边界(可以如BO1和BO2那样是不同的边界，也可以是一个边界)内侧的区域。通过对该边界进行上述收缩处理，非覆盖区域所包含的点中的、从上述边界上的点起位于距离r以内(包含该值)的点成为删除对象。即，在考虑不作为删除对象的残留区域中包含的点的情况下，从该点到边界上的任意点的距离大于r。由此，在描绘以残留区域上的任意点为中心的半径r的圆的情况下，该圆的圆周不与任何边界交叉。换言之，用半径r的圆表现的关注区域表示通过将残留区域中的点作为其中心而完全收敛于非覆盖区域中的状况。另外，在使用圆以外的形状(四边形等)作为构造要素的情况下，基本想法相同。
即，如图15(E)的右下所示，存在残留区域的情况是指与构造要素对应的区域包含在非覆盖区域中的情况，在这种位置存在病变部等关注区域的情况下，当删除判定对象图像时，即使保留基准图像，也可能无法观察关注区域。相反，如图15(E)的左上所示，不存在残留区域的情况是指关注区域中的至少一部分包含在覆盖区域中的情况，即使删除判定对象图像，关注区域中的至少一部分也能够保留在基准图像中。如上所述，在关注区域漏看判定部1011中，对非覆盖区域进行基于构造要素的收缩处理，根据是否存在残留区域来判定可否删除判定对象图像。
本实施方式的精简区间评价值计算部1006根据上述可否删除判定的结果来计算精简区间评价值。具体而言，在判定为可以删除假定精简图像与假定紧前精简图像之间的全部图像的情况下，将可以删除的图像的张数(精简区间中包含的图像张数)作为精简区间评价值。另一方面，在假定精简图像与假定紧前精简图像之间的至少一张图像被判定为不可删除的情况下，设定-∞等足够小的值作为精简区间评价值。
精简区间评价值的计算后的处理与第1实施方式相同。
3.3处理的详细情况
使用图16的流程图对第2实施方式的图像精简处理的流程进行说明。该处理的S201～S204与图4的S101～S104相同。然后，在S204中选择了判定对象图像后，如使用图15(A)～图15(E)说明的那样判定关注区域的漏看可能性。在可以删除(不存在残留区域)的情况下返回S204。然后，在不可删除(存在残留区域)的情况下，设定足够小的值作为精简区间评价值，返回S203，进行假定紧前精简图像的更新处理。
在不存在S204中要选择的图像(具体而言，可以删除全部判定对象图像)的情况下，计算假定精简图像与假定紧前精简图像之间的图像的张数作为精简区间评价值(S206)。此后的S207～S210的处理与图4的S107～S210的处理相同，所以省略详细说明。
3.4变形例
另外，基于构造要素的收缩处理的对象不限于非覆盖区域。例如，如图17(A)所示，也可以将判定对象图像作为对象来进行基于构造要素的收缩处理。该情况下，通过设定为关注区域未完全收敛于通过收缩处理削减的区域内(典型情况下设定关注区域的2倍的尺寸的要素作为构造要素)，如图17(B)所示，残存区域成为要求被基准图像覆盖的要覆盖区域。即，该情况下，根据要覆盖区域整体是否被假定精简图像和假定紧前精简图像中的至少一方覆盖来进行可否删除判定即可，具体而言，如图18所示，通过变形信息对假定精简图像和假定紧前精简图像进行变形并求出覆盖区域，进行使用覆盖区域和要覆盖区域的包含判定即可。在要覆盖区域包含在覆盖图像中的情况下，可以删除判定对象图像，如果存在不包含的部分，则不可删除判定对象图像。
并且，使用构造要素的可否删除判定处理不限于使用收缩处理，只要是判定非覆盖区域中是否包含构造要素的处理即可。例如，如图19(A)或图19(B)所示，也可以是如下的简易方法：根据从覆盖区域的边界上的点(p1～p6等)到判定对象图像的边界的距离(k1～k6等)、或从判定对象图像的边界上的点到覆盖区域的边界的距离，求出与非覆盖区域的最大直径相当的值，进行所求出的值和构造要素(该情况下为与关注区域相同的尺寸)的最小直径的比较处理。另外，图19(A)示出判定对象图像为四边形的例子，图19(B)示出判定对象图像为圆形状的例子。
并且，也可以组合第1实施方式中说明的覆盖率计算处理和第2实施方式中说明的关注区域漏看可能性判定处理。例如，在与图4的S105或图16的S205相当的部分，在进行覆盖率计算处理和关注区域漏看可能性判定处理双方之后，进行图20所示的分支处理即可。
具体而言，在覆盖率和关注区域双方的判定中判定为可以删除的情况下，返回S104，对判定对象图像进行更新，在可以删除全部图像的情况下，转移到S106，使用覆盖率和删除图像张数计算精简区间评价值G。另一方面，在覆盖率和关注区域中的至少一个判定中判定为不可删除的情况下，设定足够小的值作为精简区间评价值。并且，在基于覆盖率的判定中进行中止的情况下，也可以与第1实施方式同样中止处理。
由此，能够提高可否删除判定对象图像的判定精度，能够求出更加适当的精简图像列。
以上对应用本发明的2个实施方式1～2及其变形例进行了说明，但是，本发明不限于各实施方式1～2及其变形例本身，在实施阶段，能够在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述各实施方式1～2和变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式1～2和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合不同实施方式和变形例中说明的结构要素。并且，在说明书或附图中，至少一次与更广义或同义的不同用语一起记载的用语在说明书或附图的任意部位中，能够置换为与其不同的用语。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。
标号说明
E：累计评价值；G：精简区间评价值；100：处理部；200：图像列取得部；300：存储部；1001：变形估计部；1002：假定精简图像选择部；1003：假定紧前精简图像选择部；1004：判定对象图像选择部；1005：覆盖率计算部；1006：精简区间评价值计算部；1007：假定累计评价值计算部；1008：最佳紧前精简图像决定部；1009：累计评价值更新部；1010：精简图像列决定部；1011：关注区域漏看判定部。

Claims (14)

1.一种图像处理装置，其特征在于，该图像处理装置包括：
图像列取得部，其取得具有第1～第N图像作为构成图像的输入图像列，N为2以上的整数；以及
处理部，其进行删除所述图像列取得部取得的所述输入图像列的所述第1～第N图像的一部分而生成精简图像列的图像精简处理，
所述处理部选择所述输入图像列的第s图像作为假定精简图像，s为满足0≤s≤N+1的整数，
选择所述输入图像列的第t图像作为假定紧前精简图像，t为满足0≤t≤s-1的整数，
选择所述输入图像列的第u图像作为判定对象图像，u为满足t<u<s的整数，
根据所述假定精简图像与所述判定对象图像之间的变形信息以及所述假定紧前精简图像与所述判定对象图像之间的所述变形信息，求出所述判定对象图像的删除评价值，
根据第t+1～第s-1图像的所述删除评价值，求出删除了所述第t+1～第s-1图像的情况下的剩余区间的评价值即精简区间评价值G(t,s)，
根据所述精简区间评价值进行所述图像精简处理，
所述假定精简图像与所述判定对象图像之间的变形信息是表示在所述假定精简图像中被摄像的范围在所述判定对象图像中作为什么样的范围被摄像，
所述假定紧前精简图像与所述判定对象图像之间的所述变形信息是表示在所述假定紧前精简图像中被摄像的范围在所述判定对象图像中作为什么样的范围被摄像，
所述删除评价值用于评价所述判定对象图像能否被删除，
第0图像和第N+1图像为假想图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述处理部根据所述精简区间评价值求出所述第1～第N图像的各图像的累计评价值E(1)～E(N)，根据所述累计评价值进行所述图像精简处理。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述处理部将作为所述假想图像的第0图像的所述累计评价值设为E(0)＝0，
使用第w图像的所述累计评价值E(w)以及删除了第w+1～第v-1图像的情况下的所述精简区间评价值G(w,v)，作为E(v)＝max(E(w)+G(w,v))而求出第v图像的所述累计评价值E(v)，
其中，w为满足0≤w≤v-1的整数，v为满足1≤v≤N+1的整数。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述处理部选择满足
的第x图像作为所述第v图像的最佳紧前精简图像。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述处理部求出作为所述假想图像的第N+1图像的所述累计评价值E(N+1)，
将所述第N+1图像设为精简图像列决定处理中的最初的处理对象图像，
在所述处理对象图像的所述最佳紧前精简图像不是所述第0图像的情况下，进行将所述最佳紧前精简图像包含到所述精简图像列中的处理，并且，进行将所述最佳紧前精简图像作为新的所述处理对象图像的更新处理，继续进行所述精简图像列决定处理，
在所述处理对象图像的所述最佳紧前精简图像是所述第0图像的情况下，结束所述精简图像列决定处理。
6.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，
所述处理部根据所述第s图像与所述第u图像之间的所述变形信息以及所述第t图像与所述第u图像之间的所述变形信息，计算所述第s图像和所述第t图像覆盖所述第u图像的比例即所述第u图像的覆盖率，
根据所述覆盖率计算所述删除评价值，
求出对与所述第t+1～第s-1图像有关的所述删除评价值进行合计而得到的值，作为删除了所述第t+1～第s-1图像的情况下的所述精简区间评价值G(t,s)。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述处理部根据所述第s图像与所述第u图像之间的所述变形信息以及所述第t图像与所述第u图像之间的所述变形信息判定可否删除所述第u图像，
在所述第t+1～第s-1图像中的至少一张所述构成图像被判定为不可删除的情况下，设定第1值作为删除了所述第t+1～第s-1图像的情况下的所述精简区间评价值G(t,s)。
8.根据权利要求2～5中的任意一项所述的图像处理装置，其特征在于，
所述处理部根据所述第s图像与所述第u图像之间的所述变形信息以及所述第t图像与所述第u图像之间的所述变形信息判定可否删除所述第u图像，
在所述第t+1～第s-1图像中的至少一张所述构成图像被判定为不可删除的情况下，设定第1值作为删除了所述第t+1～第s-1图像的情况下的所述精简区间评价值G(t,s)。
9.根据权利要求7所述的图像处理装置，其特征在于，
所述处理部在所述第t+1～第s-1图像全部被判定为可以删除的情况下，根据所述第t+1～第s-1图像的图像张数，求出删除了所述第t+1～第s-1图像的情况下的所述精简区间评价值G(t,s)。
10.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，
所述处理部在t＝s-1～t＝0的范围内以每次-1的方式更新t，并选择所述第t图像作为所述假定紧前精简图像，
根据所述第t图像与所述第u图像之间的所述变形信息以及所述第s图像与所述第u图像之间的所述变形信息进行中止判定处理，
针对通过所述中止判定处理判定为中止的t，设定第1值作为删除了第x图像与所述第s图像之间的所述构成图像时的所述精简区间评价值G(x,s)，x为满足0≤x≤t的整数，
结束将所述第s图像作为所述假定精简图像的处理。
11.根据权利要求8所述的图像处理装置，其特征在于，
所述处理部设定负的无限大或根据所述累计评价值决定的给定阈值以下的值，作为所述第1值。
12.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，
所述处理部选择第0～第s-1图像中的第s-α～第s-1图像的图像作为所述假定紧前精简图像，其中，α为正整数。
13.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，
所述处理部从所述输入图像列中检测场景转换，
在从所述输入图像列中检测到第i场景转换和所述第i场景转换之后的第i+1场景转换的情况下，
设定所述输入图像列的多个所述构成图像中的所述第i场景转换的后方且所述第i+1场景转换的前方的所述构成图像作为部分图像列，
对所设定的所述部分图像列进行所述图像精简处理，
其中，i为整数。
14.一种图像处理方法，其特征在于，
取得具有第1～第N图像作为构成图像的输入图像列，N为2以上的整数，
选择所述输入图像列的第s图像作为假定精简图像，s为满足0≤s≤N+1的整数，
选择所述输入图像列的第t图像作为假定紧前精简图像，t为满足0≤t≤s-1的整数，
选择所述输入图像列的第u图像作为判定对象图像，u为满足t<u<s的整数，
根据所述假定精简图像与所述判定对象图像之间的变形信息以及所述假定紧前精简图像与所述判定对象图像之间的所述变形信息，求出所述判定对象图像的删除评价值，
根据第t+1～第s-1图像的所述删除评价值，求出删除了所述第t+1～第s-1图像的情况下的剩余区间的评价值即精简区间评价值G(t,s)，
根据所述精简区间评价值，进行删除所述输入图像列的所述第1～第N图像的一部分而生成精简图像列的图像精简处理，
所述假定精简图像与所述判定对象图像之间的变形信息是表示在所述假定精简图像中被摄像的范围在所述判定对象图像中作为什么样的范围被摄像，
所述假定紧前精简图像与所述判定对象图像之间的所述变形信息是表示在所述假定紧前精简图像中被摄像的范围在所述判定对象图像中的作为什么样的范围被摄像，
所述删除评价值用于评价所述判定对象图像能否被删除，
第0图像和第N+1图像为假想图像。
CN201380068133.6A 2012-12-28 2013-12-20 图像处理装置、图像处理方法 Expired - Fee Related CN104885118B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012287572A JP6006112B2 (ja) 2012-12-28 2012-12-28 画像処理装置、画像処理方法及びプログラム
JP2012-287572 2012-12-28
PCT/JP2013/084188 WO2014103903A1 (ja) 2012-12-28 2013-12-20 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN104885118A CN104885118A (zh) 2015-09-02
CN104885118B true CN104885118B (zh) 2018-09-07

Family

ID=51020988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380068133.6A Expired - Fee Related CN104885118B (zh) 2012-12-28 2013-12-20 图像处理装置、图像处理方法

Country Status (5)

Country Link
US (1) US9349159B2 (zh)
EP (1) EP2940652A4 (zh)
JP (1) JP6006112B2 (zh)
CN (1) CN104885118B (zh)
WO (1) WO2014103903A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868417A (zh) * 2016-05-27 2016-08-17 维沃移动通信有限公司 一种图像处理方法及移动终端
US11586961B2 (en) * 2018-08-16 2023-02-21 Raytheon Company System and method for identifying a preferred sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194092A (zh) * 2010-03-03 2011-09-21 富士施乐株式会社 图像处理装置、图像处理系统和图像处理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11220689A (ja) * 1998-01-31 1999-08-10 Media Link System:Kk 映像ソフト処理装置及び同処理プログラム記録記憶媒体
JP4654773B2 (ja) * 2005-05-31 2011-03-23 富士フイルム株式会社 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム
US20070060798A1 (en) * 2005-09-15 2007-03-15 Hagai Krupnik System and method for presentation of data streams
JP2007195586A (ja) * 2006-01-23 2007-08-09 Olympus Medical Systems Corp カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム
JP2007257287A (ja) * 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
JP5147308B2 (ja) 2007-06-20 2013-02-20 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP2009050321A (ja) 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
EP2177149A1 (en) 2008-10-14 2010-04-21 Olympus Medical Systems Corporation Image display device, image display method, and image display program
JP5379442B2 (ja) * 2008-10-14 2013-12-25 オリンパスメディカルシステムズ株式会社 画像表示装置
JP2010158308A (ja) * 2009-01-06 2010-07-22 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5213123B2 (ja) * 2009-01-15 2013-06-19 株式会社日立製作所 映像出力方法及び映像出力装置
JP5457688B2 (ja) * 2009-02-04 2014-04-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5710940B2 (ja) * 2010-11-09 2015-04-30 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN104159501B (zh) * 2012-03-07 2016-10-05 奥林巴斯株式会社 图像处理装置和图像处理方法
WO2013157354A1 (ja) * 2012-04-18 2013-10-24 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP5948200B2 (ja) * 2012-09-27 2016-07-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP6242072B2 (ja) * 2012-09-27 2017-12-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
US9451165B2 (en) * 2013-02-14 2016-09-20 Hitachi Kokusai Electric Inc. Image processing apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194092A (zh) * 2010-03-03 2011-09-21 富士施乐株式会社 图像处理装置、图像处理系统和图像处理方法

Also Published As

Publication number Publication date
JP2014128390A (ja) 2014-07-10
EP2940652A4 (en) 2016-10-12
CN104885118A (zh) 2015-09-02
US20150228056A1 (en) 2015-08-13
JP6006112B2 (ja) 2016-10-12
EP2940652A1 (en) 2015-11-04
US9349159B2 (en) 2016-05-24
WO2014103903A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN106859578B (zh) 图像处理装置和图像处理方法
US9740939B2 (en) Image processing device, information storage device, and image processing method
CN101404924B (zh) 医疗用图像处理装置
US11721086B2 (en) Image processing system and image processing method
US9999399B2 (en) Method and system for pigtail catheter motion prediction
US20140376817A1 (en) Image processing device, information storage device, and image processing method
JP2009027558A (ja) 画像抽出装置および画像抽出プログラム
JP2007289704A (ja) 大動脈瘤の半自動分析のためのシステム及び方法
CN104662582B (zh) 图像处理装置和图像处理方法
CN104885118B (zh) 图像处理装置、图像处理方法
Chykeyuk et al. Feature extraction and wall motion classification of 2D stress echocardiography with relevance vector machines
JP2004230086A (ja) 画像処理装置、画像データ処理方法、及びプログラム
KR102294738B1 (ko) 장기 구분 시스템 및 방법
CN113034425A (zh) 数据处理方法、设备及存储介质
JPWO2021014584A1 (ja) プログラム、情報処理方法及び情報処理装置
KR102046240B1 (ko) 병변 스크리닝 장치 및 방법
CN114240809A (zh) 图像处理方法、装置、计算机设备及存储介质
Katzir et al. Estimating withdrawal time in colonoscopies
CN112489062A (zh) 基于边界及邻域引导的医学图像分割方法及系统
CN116823853A (zh) 基于改进UNet网络的冠状动脉钙化斑块图像分割系统
CN116778486A (zh) 一种血管造影图像的点云分割方法、装置、设备及介质
CN111242915B (zh) 基于蒙特卡洛树搜索的血管3d/2d配准方法及装置
CN114022538A (zh) 一种内窥镜的路径规划方法、装置、终端及存储介质
JP5980567B2 (ja) 画像処理装置、プログラム及び画像処理装置の作動方法

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180907

Termination date: 20201220