CN103177437A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN103177437A
CN103177437A CN2012102627494A CN201210262749A CN103177437A CN 103177437 A CN103177437 A CN 103177437A CN 2012102627494 A CN2012102627494 A CN 2012102627494A CN 201210262749 A CN201210262749 A CN 201210262749A CN 103177437 A CN103177437 A CN 103177437A
Authority
CN
China
Prior art keywords
image
brief
zone
connecting area
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102627494A
Other languages
English (en)
Other versions
CN103177437B (zh
Inventor
神田大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103177437A publication Critical patent/CN103177437A/zh
Application granted granted Critical
Publication of CN103177437B publication Critical patent/CN103177437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)

Abstract

本发明提供图像处理装置及图像处理方法，该图像处理装置具有：对应区域连结部，其通过在按照时间序列顺序拍摄的一系列的图像之间将拍入了同一对象的区域连结起来，来设定至少1个连结区域；连结区域特征量计算部，其计算所述连结区域的特征量；扼要指标值计算部，其根据所述特征量，计算与在所述一系列的图像中被拍入的对象在所述一系列的图像内的各图像中汇集的程度对应的扼要指标值；以及扼要图像检测部，其根据所述扼要指标值来检测扼要图像。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及从按照时间序列顺序拍摄的一系列的图像中检测对该一系列的图像进行了摘要的扼要图像的图像处理装置及图像处理方法。
背景技术
在使用了导入到被检体内而对管腔内进行拍摄的胶囊内窥镜的检查中，例如以2～4帧/秒的拍摄帧率历经8小时左右来进行拍摄。因此，通过1次的检查，能够得到按照时间序列顺序拍摄的大量(数万张以上)的图像。在这些图像中，由于胶囊内窥镜在1个地方停留片刻等而持续进行拍摄，因此有时会包含相同的拍摄对象被拍入到多张图像中的冗余场景。因此，为了高效地诊断一系列的图像，检测表示这些图像的扼要(精华)的扼要图像就显得非常重要。
作为与扼要图像的检测有关的技术，例如在国际公开第2008/041401号中公开有如下所述的内容：在从连续的图像序列中提取图像的图像处理装置中，计算沿着时间序列连续的图像间的变化量，将按照变化量从大到小的顺序的预定张数的图像作为包含应检测的场景的图像从上述图像序列中提取出。
但是，由于这样的扼要图像是在医疗诊断中使用，因此不能漏掉信息，要求能够全面把握包含在一系列的图像中的信息的高涵盖性。关于该点，在以往的扼要图像的检测技术中，未考虑到扼要图像的涵盖性。
发明内容
本发明是鉴于上述问题而完成，其目的在于，提供图像处理装置及图像处理方法，其能够从按照时间序列顺序拍摄的一系列的图像中检测涵盖性高的扼要图像。
本发明的一方式的图像处理装置，具有：对应区域连结部，其通过在按照时间序列顺序拍摄的一系列的图像之间将拍入了同一对象的区域连结起来，来设定至少1个连结区域；连结区域特征量计算部，其计算所述连结区域的特征量；扼要指标值计算部，其根据所述特征量，计算与在所述一系列的图像中被拍入的对象在所述一系列的图像内的各图像中汇集的程度对应的扼要指标值；以及扼要图像检测部，其根据所述扼要指标值来检测扼要图像。
本发明的其他方式的图像处理方法，其中，该图像处理方法包括如下所述的步骤：在按照时间序列顺序拍摄的一系列的图像之间将拍入了同一对象的区域连结起来，从而设定至少1个连结区域的对应区域连结步骤；计算所述连结区域的特征量的连结区域特征量计算步骤；根据所述特征量，计算与在所述一系列的图像中被拍入的对象在所述一系列的图像内的各图像中汇集的程度对应的扼要指标值的扼要指标值计算步骤；以及根据所述扼要指标值来检测扼要图像的扼要图像检测步骤。
如果对照附图阅读以下本发明的详细说明，则能够进一步理解上述的内容、本发明的其他目的、特征、优点以及技术性且产业性意义。
附图说明
图1是示出本发明的实施方式1的图像处理装置的结构的框图。
图2是示出图1所示的图像处理装置执行的处理的流程图。
图3是示出图2所示的将拍入同一对象的像素连结起来的处理的流程图。
图4是示出连续的像素间的像素对应信息的一例的表。
图5是示出连结区域标记信息的一例的表。
图6是示出在按时间序列连续的图像中，作为标记处理的结果被连结的像素的区域的模型图。
图7是示出对于图6所示的各连结区域计算了特征量的结果的模型图。
图8是示出扼要指标值与时间序列图像的汇集的关系的模型图。
图9是说明能够通过重复处理检测涵盖性高的扼要图像的理由的图。
图10是示出变型例1的重复控制部的结构的框图。
图11是示出变型例1的图像处理装置执行的处理的流程图。
图12是示出实施方式2的运算部的结构的框图。
图13是示出实施方式2中的计算各连结区域的特征量的处理的流程图。
图14是示出实施方式3的运算部的结构的框图。
图15是示出实施方式3的图像处理装置执行的处理的流程图。
图16是示出对图15所示的各图像内的区域计算基于视觉辨认性的优先级的处理的流程图。
图17是示出对比较对象区域的面积进行比较的例子的模型图。
图18是示出变型例2的扼要指标值计算部的结构的框图。
具体实施方式
以下，参照附图对本发明的实施方式的图像处理装置及图像处理方法进行说明。另外，本发明不限定于这些实施方式。另外，在各附图的记载中，对相同部分附上相同的标号来示出。
在以下的实施方式中，作为一例，说明针对通过胶囊内窥镜等医用观察装置按照时间序列顺序对被检体的管腔内进行拍摄而获取的一系列的管腔内图像的处理。另外，在以下的实施方式中，实施图像处理的图像例如是在各像素位置上具有对于R(红)、G(绿)、B(蓝)的各色成分的像素级(像素值)的彩色图像。另外，本发明不限定于管腔内图像，还可以广泛应用于从通过其他的一般的图像获取装置获取的一系列的图像中检测扼要图像的情况。
另外在以下的本发明的实施方式中，所谓“连续”是指利用标记等将多个区域或多个像素设定为至少一个组。另外“连结区域”是指在按照时间序列顺序拍摄的一系列的图像间由拍入同一对象的区域构成的组。
实施方式1
图1是示出本发明的实施方式1的图像处理装置的结构的框图。图1所示的图像处理装置1具有：控制部10，其控制图像处理装置1全体的动作；图像获取部20，其获取与由胶囊内窥镜等医用观察装置按照时间序列顺序拍摄的一系列的图像(以下，也称为时间序列图像)对应的图像数据；输入部30，其接受从外部输入的输入信号；显示部40，其进行各种显示；记录部50，其存储由图像获取部20获取的图像数据和各种程序；以及运算部100，其对图像数据执行预定的图像处理。
控制部10是通过CPU等硬件来实现的，通过读入存储在记录部50中的各种程序，根据从图像获取部20输入的图像数据和从输入部30输入的操作信号等，进行针对构成图像处理装置1的各部分的指示和数据的传送等，总括地控制图像处理装置1全体的动作。
图像获取部20根据包含医用观察装置的系统的方式来适当构成。例如，医用观察装置为胶囊内窥镜，当在与医用观察装置之间的图像数据的交接中使用便携式记录介质时，该记录介质以可拆卸的方式安装在图像获取部20中，图像获取部20由读取所保存的管腔内图像的图像数据的读出装置来构成。另外，在设置预先保存有由医用观察装置拍摄的管腔内图像的图像数据的服务器时，图像获取部20由与服务器连接的通信装置等构成，通过与服务器进行数据通信来获取管腔内图像的图像数据。或者，也可以由从内窥镜等医用观察装置通过电缆输入图像信号的接口装置等来构成图像获取部20。
输入部30例如由键盘和鼠标、触控面板、各种开关等输入设备来实现，将所接受的输入信号输出到控制部10。
显示部40通过LCD、EL显示器等显示装置来实现，在控制部10的控制下，显示包含管腔内图像在内的各种画面。
记录部50通过可更新记录的闪存等称为ROM或RAM的各种IC存储器、内置或通过数据通信端子连接的硬盘、或者CD-ROM等信息记录介质及其读取装置等来实现。记录部50除了存储由图像获取部20获取的管腔内图像的图像数据以外，还存储用于使图像处理装置1动作并且使图像处理装置1执行各种功能的程序、和在该程序的执行中使用的数据等。具体地讲，记录部50存储用于执行从时间序列图像中检测扼要图像的处理的图像处理程序51。
运算部100通过CPU等硬件来实现，通过读入图像处理程序51来对与时间序列图像对应的图像数据实施图像处理，进行用于从时间序列图像中检测扼要图像的各种运算处理。
接着，对运算部100的详细结构进行说明。
如图1所示，运算部100具有：对应区域连结部110，其通过在一系列的时间序列图像间将拍入同一对象的区域连结起来，设定至少1个连结区域；连结区域特征量计算部120，其计算各连结区域的特征量；扼要指标值计算部130，其根据上述特征量计算扼要指标值；扼要图像检测部140，其根据扼要指标值检测扼要图像；以及重复控制部150，其控制扼要指标值计算部130及扼要图像检测部140中的处理的重复。另外，当在上述时间序列图像中拍入有多个对象时，能够设定多个连结区域。
对应区域连结部110具有区域对应部111，该区域对应部111在时间序列上连续的图像间进行包含在各图像内的区域的对应，根据该对应的结果，在各图像内及图像之间将拍入有同一对象的区域连结起来。更详细地说，区域对应部111包含计算在时间序列上连续的图像间的光流的光流计算部111a，根据光流进行图像间的区域的对应。
连结区域特征量计算部120具有连结区域体积计算部121，该连结区域体积计算部121计算包含在各连结区域内的像素数的总和，即连结区域体积，将该连结区域体积作为特征量。
扼要指标值计算部130计算的扼要指标值与在时间序列图像中拍入的对象在时间序列图像内的各图像中汇集的程度对应。扼要指标值计算部130具有特征量和计算部131，该特征量和计算部131针对每个图像计算包含在各图像内的各连结区域的特征量的总和，将该特征量的总和作为扼要指标值。
重复控制部150具有扼要图像张数计算部151，该扼要图像张数计算部151计算检测出的扼要图像的张数，重复控制部150根据扼要图像的张数，控制扼要指标值计算部130及扼要图像检测部140中的处理的重复。
接着，对图像处理装置1执行的处理进行说明。图2是示出图像处理装置1执行的处理的流程图。
首先，在步骤S101中，图像获取部20获取按时间序列对被检体的管腔内进行拍摄得到的一系列的管腔内图像(以下，简单称为图像)并存储在记录部50中。运算部100依次从记录部50读入要实施图像处理的图像。
在接下来的步骤S102中，对应区域连结部110跨越多个图像将拍入了同一对象的像素连结起来。
图3是示出将拍入了同一对象的像素连结起来的处理(步骤S102)的详情的流程图。
首先，在步骤S111中，光流计算部111a计算在时间序列上连续的图像间的光流。此处，光流是指在不同的时间拍摄的2张图像间进行相同对象的对应，将其移动量作为向量数据来表现。在实施方式1中，对于管腔内图像的像素值内的G成分，也可以使用公知的光流计算法(更详细地说，块匹配法或梯度法)来计算光流(参考：CG-ARTS协会，数字图像处理，第243～245页))。或者，也可以使用Lucas-Kanade跟踪(参考：B.D.Lucas and T.Kanade,“An Iterative Image Registration Technique withan Application to Stereo Vision,”Proceedings of the7th International Joint Conference onArtificial Intelligence,pages674-679,1981)等公知技术来计算光流。
此处，使用G成分是因为，由于G成分接近血液的吸光带，因此能很好地表现病变、粘膜、内容物的边界等管腔内图像的构造信息。当然，也可以代替G成分，而使用像素值的其他颜色成分(R成分或B成分)，或通过公知的转换由像素值2次地计算出的值，具体地讲是亮度、色差(YCbCr转换)、色相、饱和度、明度(HSI转换)、色比等。
在接下来的步骤S112中，区域对应部111根据光流进行连续的图像间的像素的对应。详细地讲，进行如下所述的处理。即，区域对应部111根据光流，相对于时间序列中的前面图像内的像素坐标(xt0,yt0)(此处，xt0及yt0为自然数)，求出时间序列中的后面图像内的对应的坐标(xt1,yt1)(此处，xt1及yt1为实数)，并且相对于时间序列中的后面图像内的像素坐标(xt1’,yt1’)(此处，xt1’,yt1’为自然数)，求出时间序列中的前面图像内的对应的坐标(xt0’,yt0’)(此处，xt0’,yt0’为实数)。并且，确定在时间序列的前后的图像内彼此对应的像素，制作连续的图像间的像素对应信息。
此时，在与一方的图像内的多个像素对应的另一方的图像内的坐标(实数)集中在1个像素坐标(自然数)附近的情况下，区域对应部111将坐标相对于该像素坐标更近的一方的图像内的预定数量的像素与该像素坐标对应起来。并且，关于除此以外的像素，认为其是虽然被拍入到一方图像中，但是没有被拍入到另一方图像中的对象部分的像素，不取对应关系。
另外，被对应起来的坐标彼此不一定1对1是因为有时根据胶囊内窥镜与拍摄对象(例如粘膜表面等)的距离和角度而使得图像扩大或缩小。
另外，检测时间序列的顺方向(与前面图像的像素对应的后面图像的坐标)及逆方向(与后面图像的像素对应的前面图像的坐标)双方的对应关系是为了进一步提高对应坐标的可靠性。另外，在实施方式1中，也可以仅检测时间序列的顺方向或逆方向一方的对应关系。
图4是示出连续的图像间的像素对应信息的一例的表。该像素对应信息示出在时间序列中的前面图像In及后面图像In+1(n=0，1，2，…)中分别包含的像素彼此的对应关系。另外，P(x,y)示出各图像内的坐标(x,y)的像素。在该像素对应信息中，在相邻的列中，记载于相邻行中的像素彼此(例如，图像I0的像素P(0,1)与图像I1的P(0,1)及P(0,2))表示相互对应的像素。另外，在相邻的列中相邻行的一方为空白时，表示不存在对应的像素。
在接下来的步骤S113中，对应区域连结部110进行标记以使对应的像素彼此成为相同的标记。更详细地说，首先，对应区域连结部110根据像素对应信息，对对应的所有像素设定对某像素设定的标记值。接着，对未设定标记值的像素设定新的标记值，进行与上述相同的处理。通过依次重复进行这样的处理，对所有的像素进行标记。而且，对应区域连结部110将设定了相同标记值的像素的集合作为拍入了相同对象的像素的连结区域。
图5是示出基于图4所示的像素对应信息的标记结果(连结区域标记信息)的一例的表。在图5中，在与各像素P(x,y)连续的冒号之后示出的数值表示对该像素P(x,y)设定的标记值。
另外，图6是示出在时间序列上连续的4张图像I0～I3中，作为标记处理的结果而连结的像素的区域的模型图。在图6中，模拟地利用1维的像素列来表示分别包含在各图像I0～I3中的像素P00～P07、P10～P17、P20～P27、P30～P37。在这些像素内，通过线段连结的像素彼此(例如，像素P01与像素P10)为构成1个连结区域的像素。
另外，在步骤S111～S113中，虽然说明了以1个像素为单位执行处理(像素的对应处理及连结处理)的情况，但是也可以以集合了多个像素的小区域为单位来执行同样的处理。此时，根据边缘强度等预先将各图像分割为小区域。作为图像的分割方法，能够利用将边缘强度的山脊作为边界的方法(例如参照国际公开第2006/080239号)、分水岭(watershed)算法(参考：Luc Vincent and Pierre Soille,“Watersheds in DigitalSpaces：An Efficient Algorithm Based on Immersion Simulations”,IEEE Transactions onPattern Analysis and Machine Intelligence,Vol.13,No.6,pp.583-598,June1991)等。
之后，处理回到主程序。
在步骤S103中，连结区域特征量计算部120计算各连结区域的特征量。更详细地说，连结区域体积计算部121计算包含在各连结区域内的像素数的总和作为连结区域体积。连结区域特征量计算部120将该连结区域体积作为各连结区域的特征量来使用。
图7是示出对图6所示的各连结区域计算了特征量的结果的模型图。图7所示的圆形记号内的数值表示各连结区域(包含通过配置有圆形记号的线段连结的像素的连结区域)的特征量(在本实施方式1中为连结区域体积)。例如，包含图像I0的像素P07、图像I1的像素P14、以及图像I2的像素P20及P21的连结区域的体积(像素数)成为“4”。
在接下来的步骤S104中，扼要指标值计算部130根据连结区域的特征量来计算各图像的扼要指标值。更详细地说，特征量和计算部131对每个图像计算包含在各图像内的连结区域的特征量的总和。该连结区域的特征量的总和作为扼要指标值来使用。
具体地讲，图像In的扼要指标值E(In)通过下式(1)来给出。
E(In)=ΣF(Li)…(1)
在式(1)中，右边表示包含在图像In中的设定了标记值i的连结区域Li的特征量F(Li)(在实施方式1中为连结区域体积)的总和。
因此，在图5所示的图像I0～I3的情况下，扼要指标值E(In)通过下式来给出。
E(I0)=F(L1)+F(L2)+F(L3)+F(L5)+…
E(I1)=F(L1)+F(L2)+F(L4)+F(L5)+…
E(I2)=F(L1)+F(L2)+F(L4)+…
E(I3)=F(L2)+F(L4)+F(L6)+…
这在图7所示的模型图中，相当于获取包含在各图像I0～I3中的连结区域的特征量(圆形记号内的数值)的总和。即，如下所示。
E(I0)=1+2+2+3+3+4=15
E(I1)=2+2+3+3+4+3+3=24
E(I2)=4+3+3+4+2+3=19
E(I3)=4+3+2+3+1+1=14
在步骤S105中，扼要图像检测部140检测扼要指标值最大的1张图像作为扼要图像。这是因为，可以认为通过上述计算法得到的扼要指标值越大的图像是在时间序列图像中拍到的对象更多地汇集的图像。例如，从图7所示的图像I0～I3内，检测扼要指标值E(In)在4个图像内为最大(24)的图像I1作为扼要图像。
图8是示出扼要指标值与时间序列图像的汇集关系的模型图。在图8中，对包含在图像I1内的像素、及与这些像素对应的其他图像I0、I2、I3内的像素进行阴影显示。在该模型图中，当关注各像素的对应关系时，可知图像I1内的像素与图像I0及I2的大半部分像素对应。即，图像I1包含在图像I0及I2中拍入的对象的大半部分，可以说最多地汇集了在这些时间序列的图像I0～I3中拍入的对象。
因此，从图8所示的模型图也可以确认扼要指标值最大的图像(图像I1)为最适合的扼要图像这一点。
在步骤S106中，重复控制部150的扼要图像张数计算部151计算检测完成的扼要图像张数(检测张数)。
在接下来的步骤S107中，重复控制部150判定扼要图像张数是否达到预定值。作为该预定值，用户能够预先设定期望的张数。
在没有达到预定值时(步骤S107：否)，重复控制部150将包含在已检测过的扼要图像内的与连结区域对应的对象视为已经检测出的对象，将包含在该扼要图像内的连结区域的特征量设定为零(步骤S108)。之后，处理回到步骤S104。此时，重复执行扼要指标值计算部130及扼要图像检测部140中的对于未检测对象的处理(步骤S104，S105～)。
此处，参照图9说明通过这样的重复处理，能够检测出对于在时间序列图像中拍入的对象而言涵盖性高的扼要图像的理由。在图9中，包含在被检测为扼要图像的图像I1内的连结区域的特征量被设定为零。另外，对于与图像I1内的像素对应的所有的像素、即拍入了汇集在扼要图像中的对象的像素进行阴影显示。由此，可知期望作为下次应该检测的扼要图像的是较多地拍入了还未涵盖的对象的图像I3。
通过重复后的步骤S104的处理，作为各图像In(n=0，2，3)的扼要指标值E(In)，计算E(I0)=1、E(I2)=2+3=5、E(I3)=2+3+1+1=7。由此，判定为下次应该检测的扼要图像为扼要指标值E(In)的值最大(7)的图像I3(重复后的步骤S105)。这与图9的模型图所示的概念也一致。通过进一步重复进行这样的处理，从而能够检测出对于在时间序列图像中拍入的对象而言涵盖性高的扼要图像。
另一方面，在步骤S107中，在扼要图像张数达到预定值时(步骤S107：是)，处理转移到步骤S109。此时，运算部100将扼要图像的检测结果输出到显示部40，并且记录在记录部50中。之后，图像处理装置1中的处理结束。
如以上说明，根据实施方式1，由于求出在时间序列图像中将拍入了同一对象的区域连结而成的连结区域，根据包含在各图像内的连结区域的体积的总和，依次检测汇集了在时间序列图像中拍入的对象的扼要图像，因此能够检测对于诊断对象而言涵盖性高的扼要图像。
另外，在上述实施方式1中，虽然通过重复控制部150重复执行扼要指标值计算部130及扼要图像检测部140中的处理，但是通过扼要指标值计算部130及扼要图像检测部140中的至少1次处理，也能够检测涵盖性高的扼要图像。
变型例1
接着，参照图10对实施方式1的变型例1进行说明。
变型例1的图像处理装置代替图1所示的重复控制部150，具有重复控制部160，该重复控制部160具有涵盖率计算部161。涵盖率计算部161计算在通过已经检测出的扼要图像涵盖的时间序列图像中拍入的对象的涵盖率。重复控制部160根据该涵盖率，控制扼要指标值计算部130及扼要图像检测部140中的处理的重复。
图11是示出变型例1的图像处理装置执行的处理的流程图。其中，步骤S101～S105、S108、S109中的处理与实施方式1相同。
在接着步骤S105的步骤S126中，涵盖率计算部161使用下式(2)来计算已检测出的扼要图像的涵盖率CR。
Figure BDA00001937928200101
例如，在图8中，在检测出图像I1作为扼要图像时，图像I1的涵盖率CR(I1)为如下所示。
CR(I1)=24/32=0.75
另外，在图9中，在接着图像I1而检测图像I3作为扼要图像时，图像I1及I3的涵盖率CR(I1，I3)为如下所示。
CR(I1，I3)=(24+7)/32=0.96875
在步骤S127中，重复控制部160判定这样计算出的涵盖率CR是否为预定值以上。作为该涵盖率，用户能够预先设定期望的值。
在涵盖率小于预定值时(步骤S127：否)，重复控制部160将包含在已检测出的扼要图像内的连结区域的特征量设定为零(步骤S108)，之后，处理回到步骤S104。此时，重复执行扼要指标值计算部130及扼要图像检测部140中的处理(步骤S104，S105～)。
另一方面，在涵盖率成为预定值以上时(步骤S127：是)，处理转移到步骤S109。
如以上说明，根据变型例1，由于检测扼要图像并且计算已检测出的扼要图像的涵盖率，执行与涵盖率相应的处理的重复控制，因此能够检测出成为预定涵盖率以上的涵盖率的扼要图像。
实施方式2
接着，对本发明的实施方式2进行说明。
图12是示出实施方式2的图像处理装置具备的运算部的结构的框图。另外，关于实施方式2的图像处理装置的运算部以外的结构及动作，与图1所示的结构及动作相同。
图12所示的运算部200代替图1所示的连结区域特征量计算部120，而具有连结区域特征量计算部210，该连结区域特征量计算部210具有连结区域重要度计算部211。关于其他的各部分的结构及动作，与实施方式1相同。
连结区域重要度计算部211包含区域判定部211a，该区域判定部211a进行将一系列的时间序列图像的各图像内的区域例如应分类为与诊断中的重要度相应的类别的判定，根据该判定结果，计算各连结区域的重要度。连结区域特征量计算部210将所计算的重要度作为连结区域的特征量来使用。
更详细地说，区域判定部211a判定各图像内的区域为应检测的区域(检测对象区域)、应检查区域(检查对象区域)、及不需要检查的区域(非检查对象区域)中的哪一个。具体地讲，病变部相当于应检测的区域，粘膜区域相当于应检查的区域，非粘膜区域相当于不需要检查的区域。
接着，对实施方式2的图像处理装置执行的处理进行说明。本实施方式2的图像处理装置执行的处理在整体上与图2所示的处理相同，计算各连结区域的特征量的处理(步骤S103)与实施方式1不同。
图13是示出连结区域特征量计算部210执行的计算各连结区域的特征量的处理的流程图。
在通过对应区域连结部110将拍入了同一对象的像素连结起来之后(图2的步骤S102)，区域判定部211a根据各像素的颜色信息，判定各像素为病变、粘膜、非粘膜中的哪一个类别(步骤S201)。另外，作为根据色信息判定管腔内图像的像素的类别(病变、粘膜、非粘膜等)的方法，可以使用公知的各种方法。作为一例，可以例举如下所述的方法：根据管腔内图像内的各像素的特定波长成分(例如R成分)的值对管腔内图像进行层次分类，从而对该图像进行区域分割，计算各区域内的各像素的像素特征量(例如，像素的R、G、B成分的值，根据这些成分2次地计算的亮度、色差、色相、饱和度、明度、色比等值)而对像素特征量的分布进行聚类，通过将各聚类与预定的聚类判別基准进行比较，从而判别病变部聚类，将属于该病变部聚类的像素确定为病变像素(参照日本特开2010-113616号公报)。
在接下来的步骤S202中，连结区域重要度计算部211按照每种类别对各像素加权。该权重以病变像素的权重最高，按照粘膜像素、非粘膜像素的顺序权重降低的方式来设定。这是因为，在扼要图像中应涵盖的像素的重要度从高到低的顺序为病变像素、粘膜像素、非粘膜像素。作为具体例，对病变像素设定了权重2，对粘膜像素设定了权重1，对非粘膜像素设定了权重0。
而且，在步骤S203中，连结区域重要度计算部211计算包含在各连结区域中的像素的权重的总和作为连结区域重要度。该连结区域重要度作为计算各图像的扼要指标值(步骤S104)时的特征量来使用。
之后，处理回到主程序。
如以上说明，根据实施方式2，由于考虑基于各图像内的像素所属的区域(检测对象区域、检查对象区域、非检查对象区域)的判別结果的重要度，因此能够检测出对于在时间序列图像中拍入的重要诊断对象而言涵盖性高的扼要图像。
另外，在实施方式2中，虽然通过1个像素单位的处理来进行了像素的判別，但是也可以以汇聚了多个像素的小区域为单位来进行同样的处理。
实施方式3
接着，对本发明的实施方式3进行说明。
图14是示出实施方式3的图像处理装置具备的运算部的结构的框图。另外，关于实施方式3的图像处理装置的运算部以外的结构及动作，与图1所示的结构及动作相同。
图14所示的运算部300相对于图1所示的运算部100，还具有区域优先级计算部310，另外，代替图1所示的扼要指标值计算部130而具有扼要指标值计算部320。关于其他的各部分的结构及动作，与实施方式1相同。
区域优先级计算部310对于一系列的时间序列图像的各图像内的区域，计算基于视觉辨认性的扼要图像检测的优先级。更详细地说，区域优先级计算部310具有对应区域比较部311，该对应区域比较部311在彼此不同的图像间，比较属于同一连结区域的区域，根据对应区域比较部311的比较结果来计算上述优先级。
扼要指标值计算部320根据通过区域优先级计算部310计算的优先级、和通过连结区域特征量计算部120计算的区域特征量来计算扼要指标值。
图15是示出实施方式3的图像处理装置执行的处理的流程图。其中，关于步骤S101～S103及S105～S109中的处理，与实施方式1相同。
在接着步骤S103的步骤S301中，区域优先级计算部310对各图像内的区域计算基于视觉辨认性的优先级。
图16是示出计算基于视觉辨认性的优先级(步骤S301)的处理的详情的流程图。
首先，在步骤S311中，对应区域比较部311在彼此不同的图像间，比较包含在同一连结区域中的区域(以下，称为比较对象区域)的面积。图17是示出对比较对象区域的面积进行比较的例子的模型图。在图17中，关注包含在彼此不同的图像I0～I2中的1个连结区域，对包含在该连结区域中的比较对象区域(像素)进行阴影显示。
如图17所示，各图像I0～I2中的比较对象区域的面积(像素数)S(In)分别为S(I0)=1、S(I1)=1、S(I2)=2。当对这些面积S(In)进行归一化以使比较对象区域的最大面积成为1时，被归一化后的值(以下，称为面积指标值)S’(In)成为S’(I0)=0.5、S’(I1)=0.5、S’(I2)=1。可以说该面积指标值越接近1，则同一对象被拍得越大，视觉辨认性越良好。对应区域比较部311通过将所有的连结区域作为对象来进行如上所述的面积指标值的计算，从而在各图像内，获取包含在同一连结区域中的每个区域的面积指标值。
在接下来的步骤S312中，对应区域比较部311在彼此不同的图像间比较各图像内的比较对象区域的位置。此处，可以说比较对象区域越接近图像的中心，则视觉辨认性越好。因此，对应区域比较部311根据比较对象区域的重心坐标(xg,yg)和图像的中心坐标(xc,yc)，使用下式(3)，计算比较对象区域越接近图像的中心，值越接近1的位置指标值。
Figure BDA00001937928200131
对应区域比较部311通过将所有的连结区域作为对象来进行如上所述的位置指标值的计算，从而在各图像内，获取包含在同一连结区域内的每个区域的位置指标值。
在步骤S313中，对应区域比较部311在彼此不同的图像间比较各图像内的比较对象区域的噪音量。此处，在比较对象区域中，可以说噪音量越少，视觉辨认性越好。另外，在使视觉辨认性降低的噪音中包含有预定频率以上的高频成分噪音。因此，对应区域比较部311对比较对象区域内的各像素实施公知的高通滤波(参考：CG-ARTS协会，数字图像处理，第133～136页)处理，计算高通滤波处理后的输出值(像素值)在比较对象区域内的平均值作为噪音量。
而且，对应区域比较部311使用下式(4)，计算比较对象区域的噪音量越少，值越接近1的噪音量指标值。
Figure BDA00001937928200141
在式(4)中，N表示噪音量指标值的计算对象即比较对象区域的噪音量，max(N)表示包含在同一连结区域中的比较对象区域的最大噪音量，min(N)表示包含在同一连结区域中的比较对象区域的最小噪音量。
对应区域比较部311通过将所有的连结区域作为对象来进行如上所述的噪音量指标值的计算，从而在各图像内，获取包含在同一连结区域中的每个区域的噪音量指标值。
在步骤S314中，对应区域比较部311在彼此不同的图像间比较各图像内的比较对象区域的分辨率。此处，在比较对象区域中，可以说分辨率越高，视觉辨认性越好。另外，一般对于分辨率来说，可以说除了与噪音相当的高频成分以外，越是包含更高的频率成分，即中等程度的频率成分越多，分辨率越高。因此，对应区域比较部311对比较对象区域内的各像素实施公知的带通滤波(参考：CG-ARTS协会，数字图像处理，第136页)处理，计算带通滤波处理后的输出值(像素值)在比较对象区域内的平均值作为分辨率评价量。另外，关于通过带通滤波而提取出的中等程度的频率成分，也可以预先设定用户期望的值。
而且，对应区域比较部311使用下式(5)，计算比较对象区域的分辨率评价量越多，值越接近1的分辨率指标值。
Figure BDA00001937928200142
在式(5)中，R表示分辨率指标值的计算对象即比较对象区域的分辨率评价量，max(R)表示包含在同一连结区域中的比较对象区域的最大分辨率评价量，min(R)表示包含在同一连结区域中的比较对象区域的最小分辨率评价量。
对应区域比较部311通过将所有的连结区域作为对象来进行如上所述的分辨率指标值的计算，从而在各图像内，获取包含在同一连结区域中的每个区域的分辨率指标值。
在步骤S315中，对应区域比较部311比较各图像内的比较对象区域的亮度。此处，比较对象区域可以说越是不过于亮或过于暗，则视觉辨认性越好。因此，对应区域比较部311计算比较对象区域的平均亮度值。
而且，使用下式(6)，计算比较对象区域的亮度越接近预定范围，值越接近1的亮度指标值。另外，关于亮度的范围，预先设定用户期望的范围。
Figure BDA00001937928200151
在式(6)中，V表示亮度指标值的计算对象即比较对象区域的平均亮度值，min_th表示考虑了视觉辨认性的情况下的下限亮度值，max_th表示考虑了视觉辨认性的情况下的上限亮度值，maxV表示能够取得的亮度值的上限值。
对应区域比较部311通过将所有的连结区域作为对象来进行如上所述的亮度指标值的计算，从而在各图像内，对包含在同一连结区域中的每个区域获取亮度指标值。
在步骤S316中，区域优先级计算部310根据面积、位置、噪音量、分辨率及亮度的比较结果，计算各比较对象区域的优先级。该优先级是通过下式(7)来给出。
优先级=wA×面积指标值+wP×位置指标值+wN×噪音量指标值+wR×分辨率指标值+wV×亮度指标值        …(7)
在式(7)中，wA、wP、wN、wR及wV分别表示对于面积、位置、噪音量、分辨率及亮度的各指标值的权重，满足下式(8)。
wA+wP+wN+wR+wV=1…(8)
之后，处理回到主程序。
在步骤S302中，扼要指标值计算部320根据优先级及连结区域的特征量计算各图像的扼要指标值。具体地讲，对每个图像计算包含在特征量不是零的连结区域内的像素的优先级的平均值。由此，在图像内存在的优先级高的区域越多，则扼要指标值越高。
之后，处理转移到步骤S105。
如以上说明，根据实施方式3，由于计算考虑了基于图像内的区域的视觉辨认性的优先级的扼要指标值，根据该扼要指标值来检测扼要图像，因此能够检测出对于在时间序列图像中拍入的诊断对象而言视觉辨认性良好且考虑了涵盖性的扼要图像。
变型例2
接着，参照图18对实施方式3的变型例2进行说明。
变型例2的图像处理装置代替图14所示的扼要指标值计算部320而具有扼要指标值计算部330，该扼要指标值计算部330具有加权优先级平均计算部331。
加权优先级平均计算部331在图15所示的步骤S301中对各图像内的比较对象区域计算了基于视觉辨认性的优先级之后，通过对于针对包含在各图像内的像素所计算出的优先级，乘以包含该像素的连结区域的特征量，来计算加权优先级。而且，加权优先级平均计算部331对每个图像计算包含在各图像内的像素的加权优先级的平均值。该加权优先级的平均值作为扼要指标值来使用。
根据如上所述的变型例2，由于进行对基于图像内的区域的视觉辨认性的优先级乘以连结区域的特征量的加权，因此能够检测出对于在时间序列图像中拍入的诊断对象的视觉辨认性良好、且涵盖性进一步提高的扼要图像。
另外，在实施方式3及其变型例2中，虽然通过以1个像素为单位的处理来进行了像素的判別，但是也可以以汇集了多个像素的小区域为单位来进行同样的处理。
以上说明的实施方式1～3及它们的变型例的图像处理装置能够通过由个人计算机或工作站等计算机系统执行记录在记录介质中的图像处理程序来实现。另外，也可以将这种计算机系统通过局域网、广域网(LAN/WAN)或因特网等公共线路而与其他的计算机系统或服务器等设备连接来使用。此时，实施方式1～3的图像处理装置通过这些网络获取管腔内图像的图像数据，或者将图像处理结果输出到通过这些网络连接的各种输出设备(浏览器或打印机等)，或者将图像处理结果存储在通过这些网络连接的存储装置(记录介质及其读取装置等)中。
如以上说明，根据实施方式1～3，由于根据在以时间序列顺序拍摄的一系列的图像间将拍入了同一对象的区域彼此对应起来设定的连结区域的特征量，计算表示在时间序列图像中拍入的对象的汇集程度的指标值，根据该指标值来检测扼要图像，因此能够检测出对于在一系列的图像中拍入的对象而言涵盖性高的扼要图像。
另外，本发明不限定于实施方式1～3及它们的变型例，能够通过适当组合在各实施方式和变型例中公开的多个结构要素来形成各种发明。例如，也可以从各实施方式和变型例所示的所有结构要素中去除几个结构要素来形成，也可以适当组合不同的实施方式和变型例所示的结构要素来形成。

Claims (23)

1.一种图像处理装置，其具有：
对应区域连结部，其通过在按照时间序列顺序拍摄的一系列的图像之间将拍入了同一对象的区域连结起来，来设定至少1个连结区域；
连结区域特征量计算部，其计算所述连结区域的特征量；
扼要指标值计算部，其根据所述特征量，计算与在所述一系列的图像中被拍入的对象在所述一系列的图像内的各图像中汇集的程度对应的扼要指标值；以及
扼要图像检测部，其根据所述扼要指标值来检测扼要图像。
2.根据权利要求1所述的图像处理装置，其中，
所述对应区域连结部具有区域对应部，该区域对应部在所述一系列的图像之内，在按照时间序列连续的多个图像之间进行包含在各图像内的所述区域的对应，
所述对应区域连结部根据所述区域对应部的对应结果，将拍入了所述同一对象的区域连结起来。
3.根据权利要求2所述的图像处理装置，其中，
所述区域对应部具有光流计算部，该光流计算部计算按照时间序列连续的多个图像之间的光流，
所述区域对应部根据所述光流进行包含在所述各图像内的所述区域的对应。
4.根据权利要求1所述的图像处理装置，其中，
所述连结区域特征量计算部具有连结区域体积计算部，该连结区域体积计算部计算包含在各连结区域内的像素数的总和即连结区域体积。
5.根据权利要求1所述的图像处理装置，其中，
所述连结区域特征量计算部具有连结区域重要度计算部，该连结区域重要度计算部计算各连结区域的重要度。
6.根据权利要求5所述的图像处理装置，其中，
所述连结区域重要度计算部具有区域判定部，该区域判定部判定所述各图像内的区域为应检测的区域、应检查的区域及不需要检查的区域中的哪一个，
所述连结区域重要度计算部根据所述区域判定部的判定结果来计算所述重要度。
7.根据权利要求6所述的图像处理装置，其中，
所述连结区域重要度计算部将所述应检测的区域的重要度设定为比所述应检查的区域的重要度高、且将所述应检查的区域的重要度设定为比所述不需要检查的区域的重要度高来计算所述重要度。
8.根据权利要求1所述的图像处理装置，其中，
所述扼要指标值计算部具有特征量和计算部，该特征量和计算部对每个图像计算包含在所述各图像内的连结区域的特征量的总和。
9.根据权利要求1所述的图像处理装置，其中，
所述扼要图像检测部检测所述一系列的图像之内所述扼要指标值最大的图像作为所述扼要图像。
10.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置还具有重复控制部，该重复控制部将包含在所述扼要图像内的连结区域视作已经检测出的对象，控制所述扼要指标值计算部及所述扼要图像检测部中的对于未检测的对象的处理的重复。
11.根据权利要求10所述的图像处理装置，其中，
所述重复控制部将在所检测出的扼要图像内存在的连结区域的特征量设定为零，来控制所述处理的重复。
12.根据权利要求10所述的图像处理装置，其中，
所述重复控制部具有扼要图像张数计算部，该扼要图像张数计算部计算所检测出的扼要图像的张数，
所述重复控制部根据所述扼要图像的张数来控制所述处理的重复。
13.根据权利要求10所述的图像处理装置，其中，
所述重复控制部具有涵盖率计算部，该涵盖率计算部计算由已经检测出的扼要图像所涵盖的被拍入到所述一系列的图像中的对象的涵盖率，
所述重复控制部根据所述涵盖率来控制所述处理的重复。
14.根据权利要求13所述的图像处理装置，其中，
所述涵盖率计算部根据在所述已经检测出的扼要图像内存在的连结区域的特征量的总和、和所有的连结区域的特征量的总和，计算所述涵盖率。
15.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置还具有区域优先级计算部，该区域优先级计算部对于所述各图像内的所述区域，计算基于视觉辨认性的扼要图像检测的优先级，
所述扼要指标值计算部根据所述优先级及所述连结区域的特征量计算所述扼要指标值。
16.根据权利要求15所述的图像处理装置，其中，
所述区域优先级计算部具有对应区域比较部，该对应区域比较部在彼此不同的图像之间比较属于同一连结区域的区域，
所述区域优先级计算部根据所述对应区域比较部的比较结果来计算所述优先级。
17.根据权利要求16所述的图像处理装置，其中，
所述对应区域比较部比较所述区域的面积。
18.根据权利要求16所述的图像处理装置，其中，
所述对应区域比较部比较所述彼此不同的图像各自中的所述区域的位置。
19.根据权利要求16所述的图像处理装置，其中，
所述对应区域比较部比较所述区域的噪音量。
20.根据权利要求16所述的图像处理装置，其中，
所述对应区域比较部比较所述区域的分辨率。
21.根据权利要求16所述的图像处理装置，其中，
所述对应区域比较部比较所述区域的亮度。
22.根据权利要求15所述的图像处理装置，其中，
所述扼要指标值计算部具有加权优先级平均计算部，该加权优先级平均计算部通过对于针对所述各图像内的所述区域所计算的所述优先级，进行与包含该区域的连结区域的特征量对应的加权，从而计算所述区域的加权优先级，对每个图像计算所述加权优先级的平均值。
23.一种图像处理方法，其中，该图像处理方法包括如下所述的步骤：
在按照时间序列顺序拍摄的一系列的图像之间将拍入了同一对象的区域连结起来，从而设定至少1个连结区域的对应区域连结步骤；
计算所述连结区域的特征量的连结区域特征量计算步骤；
根据所述特征量，计算与在所述一系列的图像中被拍入的对象在所述一系列的图像内的各图像中汇集的程度对应的扼要指标值的扼要指标值计算步骤；以及
根据所述扼要指标值来检测扼要图像的扼要图像检测步骤。
CN201210262749.4A 2011-07-29 2012-07-26 图像处理装置及图像处理方法 Active CN103177437B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011167268A JP5784404B2 (ja) 2011-07-29 2011-07-29 画像処理装置、画像処理方法、及び画像処理プログラム
JP2011-167268 2011-07-29

Publications (2)

Publication Number Publication Date
CN103177437A true CN103177437A (zh) 2013-06-26
CN103177437B CN103177437B (zh) 2018-01-02

Family

ID=46875608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210262749.4A Active CN103177437B (zh) 2011-07-29 2012-07-26 图像处理装置及图像处理方法

Country Status (4)

Country Link
US (1) US9773185B2 (zh)
EP (1) EP2557539B1 (zh)
JP (1) JP5784404B2 (zh)
CN (1) CN103177437B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105392904A (zh) * 2013-07-29 2016-03-09 杰富意钢铁株式会社 异常检测方法以及高炉操作方法
CN113100832A (zh) * 2020-01-09 2021-07-13 株式会社日立制作所 超声波诊断装置和程序存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011135573A1 (en) * 2010-04-28 2011-11-03 Given Imaging Ltd. System and method for displaying portions of in-vivo images
EP3040016A4 (en) * 2013-08-30 2017-04-19 Olympus Corporation Image management device
US9342881B1 (en) * 2013-12-31 2016-05-17 Given Imaging Ltd. System and method for automatic detection of in vivo polyps in video sequences
JP5937286B1 (ja) * 2014-09-29 2016-06-22 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
FR3027727B1 (fr) * 2014-10-22 2016-12-09 Socomec Sa Chambre de coupure d'arc electrique
CN106714652B (zh) * 2015-04-27 2018-10-09 奥林巴斯株式会社 图像分析装置、图像分析系统、图像分析装置的动作方法
EP3593291B8 (en) * 2017-05-19 2024-08-14 DeepMind Technologies Limited Making object-level predictions of the future state of a physical system
WO2019078237A1 (ja) 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
EP3881751A4 (en) * 2018-11-14 2021-12-15 FUJIFILM Corporation MEDICAL IMAGE PROCESSING SYSTEM
TWI703348B (zh) * 2018-12-06 2020-09-01 宏達國際電子股份有限公司 影像處理系統及影像處理方法
US10799090B1 (en) 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090010551A1 (en) * 2007-07-04 2009-01-08 Olympus Corporation Image procesing apparatus and image processing method
US20090141960A1 (en) * 2006-06-07 2009-06-04 Olympus Corporation Image processing apparatus and computer program product
EP2070466A1 (en) * 2006-10-02 2009-06-17 Olympus Corporation Image processing device, image processing method and image processing program
US20090202124A1 (en) * 2006-10-11 2009-08-13 Olympus Corporation Image processing apparatus, image processing method, and computer program product
CN101800846A (zh) * 2009-02-04 2010-08-11 奥林巴斯株式会社 图像处理装置以及图像处理方法
US20100322475A1 (en) * 2007-07-05 2010-12-23 Hiroo Ikeda Object area detecting device, object area detecting system, object area detecting method and program
WO2011010598A1 (ja) * 2009-07-23 2011-01-27 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261741A (ja) * 1999-03-04 2000-09-22 Nippon Hoso Kyokai <Nhk> 静止画抽出装置および静止画抽出のためのプログラム記憶媒体
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US8073233B2 (en) 2005-01-31 2011-12-06 Olympus Corporation Image processor, microscope system, and area specifying program
JP4418400B2 (ja) * 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
JP5005032B2 (ja) * 2007-06-21 2012-08-22 オリンパス株式会社 画像表示装置および画像表示プログラム
JP5203648B2 (ja) * 2007-07-20 2013-06-05 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP5191240B2 (ja) * 2008-01-09 2013-05-08 オリンパス株式会社 シーン変化検出装置およびシーン変化検出プログラム
JP5374135B2 (ja) * 2008-12-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
RU2494566C2 (ru) * 2009-04-30 2013-09-27 Сони Корпорейшн Устройство и способ управления отображением
JP5214533B2 (ja) * 2009-05-21 2013-06-19 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
US8611621B2 (en) * 2010-09-08 2013-12-17 Given Imaging Ltd. System and method for automatic detection of in vivo contraction video sequences

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090141960A1 (en) * 2006-06-07 2009-06-04 Olympus Corporation Image processing apparatus and computer program product
EP2070466A1 (en) * 2006-10-02 2009-06-17 Olympus Corporation Image processing device, image processing method and image processing program
US20090252390A1 (en) * 2006-10-02 2009-10-08 Olympus Corporation Image processing apparatus and image processing method
US20090202124A1 (en) * 2006-10-11 2009-08-13 Olympus Corporation Image processing apparatus, image processing method, and computer program product
US20090010551A1 (en) * 2007-07-04 2009-01-08 Olympus Corporation Image procesing apparatus and image processing method
US20100322475A1 (en) * 2007-07-05 2010-12-23 Hiroo Ikeda Object area detecting device, object area detecting system, object area detecting method and program
CN101800846A (zh) * 2009-02-04 2010-08-11 奥林巴斯株式会社 图像处理装置以及图像处理方法
WO2011010598A1 (ja) * 2009-07-23 2011-01-27 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MICHAL MACKIEWICZ等: "Wireless Capsule Endoscopy Color Video Segmentation", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
VU HAI等: "Adaptive Control of Video Display for Diagnostic Images", 《18THINTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105392904A (zh) * 2013-07-29 2016-03-09 杰富意钢铁株式会社 异常检测方法以及高炉操作方法
US9799110B2 (en) 2013-07-29 2017-10-24 Jfe Steel Corporation Abnormality detection method and blast furnace operation method
CN113100832A (zh) * 2020-01-09 2021-07-13 株式会社日立制作所 超声波诊断装置和程序存储介质
CN113100832B (zh) * 2020-01-09 2024-04-26 富士胶片医疗健康株式会社 超声波诊断装置和程序存储介质

Also Published As

Publication number Publication date
US20130028470A1 (en) 2013-01-31
CN103177437B (zh) 2018-01-02
EP2557539B1 (en) 2019-03-13
EP2557539A2 (en) 2013-02-13
JP5784404B2 (ja) 2015-09-24
US9773185B2 (en) 2017-09-26
JP2013030105A (ja) 2013-02-07
EP2557539A3 (en) 2016-09-07

Similar Documents

Publication Publication Date Title
CN103177437A (zh) 图像处理装置及图像处理方法
CN109886986A (zh) 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN109523535B (zh) 一种病变图像的预处理方法
CN103198467B (zh) 图像处理装置以及图像处理方法
CN103458765B (zh) 图像处理装置
CN110349141A (zh) 一种乳腺病灶定位方法和系统
CN109784230A (zh) 一种人脸视频图像质量寻优方法、系统及设备
CN110729045A (zh) 一种基于上下文感知残差网络的舌图像分割方法
Bourbakis Detecting abnormal patterns in WCE images
Asad et al. Ant colony-based system for retinal blood vessels segmentation
Li et al. Image reflection removal via contextual feature fusion pyramid and task-driven regularization
CN117036905A (zh) 一种基于hsv色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法
CN112419246B (zh) 量化食管粘膜IPCLs血管形态分布的深度检测网络
CN114022392A (zh) 用于单幅图像去雾的串行注意增强UNet++去雾网络
Zhu et al. Hue guidance network for single image reflection removal
Zhai et al. Multi-focus image fusion via interactive transformer and asymmetric soft sharing
CN115620079A (zh) 样本标签的获取方法和镜头失效检测模型的训练方法
Li et al. Dense nonrigid ground truth for optical flow in real-world scenes
Bujoreanu et al. Robust graph representation of images with underlying structural networks. application to the classification of vascular networks of mice’s colon
Flores et al. Identifying precursory cancer lesions using temporal texture analysis
Cao et al. RAANet: Residual aggregation attention network for classification of small intestinal endoscopic images
AU2022230997B2 (en) Method of image enhancement for distraction deduction in endoscopic procedures
CN117045178B (zh) 一种用于荧光腔镜成像的图像品质智能监测方法及系统
Thiyagupriyadharsan et al. A hybrid approach for detecting the brain tumor in hyperspectral images using moth flame optimized K-means clustering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant