CN101800846B - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN101800846B
CN101800846B CN201010112940.1A CN201010112940A CN101800846B CN 101800846 B CN101800846 B CN 101800846B CN 201010112940 A CN201010112940 A CN 201010112940A CN 101800846 B CN101800846 B CN 101800846B
Authority
CN
China
Prior art keywords
image
series
time
variable quantity
once
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010112940.1A
Other languages
English (en)
Other versions
CN101800846A (zh
Inventor
河野隆志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN101800846A publication Critical patent/CN101800846A/zh
Application granted granted Critical
Publication of CN101800846B publication Critical patent/CN101800846B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Television Signal Processing For Recording (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像处理装置以及图像处理方法。图像处理装置(10)具有：图像间变化量计算部(151)，其对由按照时间序列取得的多个图像构成的时间序列图像的每个图像，计算与时间序列顺序邻近的邻近图像之间的变化量来作为图像间变化量；一次摘要图像组提取部(152)，其根据图像间变化量，从时间序列图像中提取一次摘要图像组；区间变化量计算部(154)，其计算由构成一次摘要图像组的各图像所划分的时间序列图像的各时间序列区间中的区间变化量；以及摘要图像组提取部(155)，其根据图像间变化量和区间变化量，从时间序列图像中提取摘要图像组。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及从通过按照时间序列取得的多个图像构成的时间序列图像中提取摘要(digest)图像组的图像处理装置以及图像处理方法。
背景技术
公知有如下的技术：从运动图像、或者连续拍摄的静止图像列这样的时间序列图像中，提取例如场景变化的位置等有用的图像作为摘要图像组。如果提示所提取的摘要图像组，则用户能够在短时间内掌握时间序列图像的整体内容而不用阅览时间序列图像中所包含的所有图像，能够简单地得到期望的场景或图像。
作为摘要图像组的提取方法，一般熟知有以下的方法：计算相邻的图像间的变化量，根据所计算的变化量提取变化较大的图像。例如，在日本特开2006-41794号公报中，通过将相邻的图像间(帧间)的变化量与预定的阈值进行比较，提取在帧间产生了阈值以上的变化的变化点。
例如在处理长时间的时间序列图像的情况等时，有图像间的变化较小的状态长期持续的情况。在这种图像间的变化平缓的时间序列区间中，相邻的图像间的变化比较小，却能产生在其开头和后方图像不相同的情况。但是，如日本特开2006-41794号公报那样，在根据相邻的图像间的变化量提取摘要图像组的方法中，不能考虑前述那样的时间序列区间中的变化来提取摘要图像组。
发明内容
本发明一个方式涉及的图像处理装置从由按照时间序列取得的多个图像构成的时间序列图像中提取摘要图像组，其特征在于，上述图像处理装置具有：图像间变化量计算部，其对构成所述时间序列图像的每个图像，计算与时间序列顺序邻近的邻近图像间的变化量来作为图像间变化量；一次摘要图像组提取部，其根据所述图像间变化量，从所述时间序列图像中提取一次摘要图像组；区间变化量计算部，其计算由构成所述一次摘要图像组的各图像所划分的所述时间序列图像的各时间序列区间中的区间变化量；以及摘要图像组提取部，其根据所述图像间变化量和所述区间变化量，从所述时间序列图像中提取摘要图像组。
本发明的另一个方式涉及的图像处理方法，其从由按照时间序列取得的多个图像构成的时间序列图像中提取摘要图像组，其特征在于，上述图像处理方法包括：图像间变化量计算步骤，对构成所述时间序列图像的每个图像，计算其与时间序列顺序邻近的邻近图像之间的变化量作为图像间变化量；一次摘要图像组提取步骤，根据所述图像间变化量，从所述时间序列图像中提取一次摘要图像组；区间变化量计算步骤，计算由构成所述一次摘要图像组的各图像所划分的所述时间序列图像的各时间序列区间中的区间变化量；以及摘要图像组提取步骤，根据所述图像间变化量和所述区间变化量，从所述时间序列图像中提取摘要图像组。
一并参照附图来阅读如下的本发明的详细说明，可进一步对如上所述内容以及本发明的其他目的、特征、优点和技术上及产业上的意义加深理解。
附图说明
图1是表示包含图像处理装置的图像处理系统的整体构成的概略示意图。
图2是说明实施方式1的图像处理装置的功能构成的框图。
图3是表示实施方式1的图像处理装置进行的处理步骤的整体流程图。
图4是表示构成时间序列图像的各图像的图像间变化量的一个例子的图。
图5是表示一次摘要图像组提取处理的详细处理步骤的流程图。
图6是表示相对于图4所示的各图像的图像间变化量的排序处理结果的图。
图7是说明区间变化量的计算原理的说明图。
图8是说明区间变化量的计算原理的说明图。
图9是说明区间变化量的计算原理的说明图。
图10是表示区间变化量计算处理的详细处理步骤的流程图。
图11是表示通过依照图6所示的排序处理结果所提取的一次摘要图像组划分的各时间序列区间的区间变化量的一个例子的图。
图12是表示摘要图像组提取处理的详细处理步骤的流程图。
图13是结合图4或图6所示的各图像的图像间变化量和图11所示的各时间序列区间的区间变化量进行的排序处理结果的图。
图14是说明实施方式2的图像处理装置的功能构成的框图。
图15是表示实施方式2的图像处理装置进行的处理步骤的整体流程图。
图16是表示使用了实施方式的计算机系统的构成的系统构成图。
图17是表示图16的计算机系统中的主体部的构成的框图。
具体实施方式
下面，参照附图，以处理时间序列图像的图像处理装置为例说明用于实施本发明的最佳方式，处理时间序列图像是由胶囊内窥镜一边在消化管体内管腔内移动一边连续拍摄到的。并且，本发明不限于该实施方式。另外，在各附图的描述中，对相同部分标以同一符号进行表示。
首先，对实施方式1进行说明。图1是表示包含实施方式1的图像处理装置的图像处理系统的整体构成的概略示意图。如图1所示，图像处理系统由胶囊内窥镜3、接收装置5和图像处理装置10等构成。胶囊内窥镜3对被检体1内部的图像进行拍摄。接收装置5接收从胶囊内窥镜3无线发送的图像。图像处理装置10根据通过接收装置5接收的图像，对通过胶囊内窥镜3拍摄到的图像进行处理并显示。对于接收装置5与图像处理装置10之间的图像数据传递，可使用例如移动式记录介质(可移动记录介质)7。
胶囊内窥镜3具有摄像功能和无线功能等，从被检体1的口部饮入从而导入被检体1内部，一边在体内管腔内移动一边依次拍摄图像。然后，将拍摄到的图像无线发送到体外。在通过胶囊内窥镜3拍摄的图像中，显现有粘膜，或在体腔内浮游的内容物、泡等，并且有时显现病变等重要场所。此处，通过胶囊内窥镜3拍摄的图像的张数用摄像速率(大约2～4帧/秒)×胶囊内窥镜的体内停留时间(大约8小时＝8×60×60秒)来概略示出，为几万张以上。并且，通过胶囊内窥镜3拍摄的管腔内图像是在图像内的各像素上具有与R(红)、G(绿)、B(蓝)各波长分量对应的像素值的彩色图像。
接收装置5具有接收用天线A1～An，该接收用天线A1～An分散配置在与被检体1内的胶囊内窥镜3的通过路径对应的体表上的位置上。而且，接收装置5经由各接收用天线A1～An接收从胶囊内窥镜3无线发送来的图像数据。该接收装置5构成为能自由拆装可移动记录介质7，将接收到的图像数据依次保存在可移动记录介质7内。这样，由胶囊内窥镜3拍摄的被检体1内部的图像就会通过接收装置5按照时间序列顺序存储在可移动记录介质7内，从而保存为时间序列图像。
图像处理装置10用于由医生等观察、诊断通过胶囊内窥镜3拍摄的图像，通过工作站或个人计算机等通用计算机来实现。该图像处理装置10构成为能自由拆装可移动记录介质7，对保存在可移动记录介质7内的时间序列图像进行处理，在例如LCD或EL显示器等显示器上适当进行显示。
图2是说明实施方式1的图像处理装置10的功能构成的框图。在本实施方式1中，图像处理装置10具有外部接口部11、操作部12、显示部13、记录部14、运算部15以及控制图像处理装置10整体的动作的控制部16。
外部接口部11用于取得由胶囊内窥镜3拍摄且通过接收装置5接收的图像数据，拆装自如地安装例如可移动记录介质7，由读取保存在该可移动记录介质7中的时间序列图像的图像数据的读出装置构成。经由该外部接口部11从可移动记录介质7读取的图像数据被记录到记录部14中，由运算部15处理，并在控制部60的控制下显示在显示部13上。此外，通过胶囊内窥镜3拍摄的图像数据的取得不限于使用可移动记录介质7的构成。例如，还可以构成为代替可移动记录介质7而另外设置服务器，将通过胶囊内窥镜3拍摄的时间序列图像的图像数据预先保存在该服务器内。这种情况下，通过用于与服务器连接的通信装置等来构成外部接口部11。此外，也可以经由该外部接口部11与服务器进行数据通信，从而取得图像数据。或者，还可以构成为：在记录部14内预先保存通过胶囊内窥镜3拍摄的时间序列图像的图像数据，从记录部14进行读取来取得图像数据。
操作部12例如通过键盘、鼠标、触摸面板和各种开关等实现，并将操作信号输出到控制部16。显示部13通过LCD、EL显示器等显示装置来实现，在控制部16的控制下，显示包含由胶囊内窥镜3拍摄的图像的显示画面在内的各种画面。
记录部14通过能更新记录的闪速存储器等ROM或RAM这样的各种IC存储器、内置的或通过数据通信端子来连接的硬盘、CD-ROM等信息记录介质及其读取装置等来实现。该记录部14记录有程序以及在该程序执行中所使用的数据等，该程序用于使图像处理装置10进行动作、实现该图像处理装置10具备的各种功能。例如，在记录部14中，将经由外部接口部11取入的时间序列图像的图像数据，与用于识别其时间序列顺序的图像编号对应起来进行记录。另外，在记录部14中，记录有用于从时间序列图像中提取摘要图像组的图像处理程序141。
运算部15对通过胶囊内窥镜3拍摄的时间序列图像进行处理，进行用于提取摘要图像组的各种运算处理。该运算部15具有图像间变化量计算部151、一次摘要图像组提取部152、区间变化量计算部154和摘要图像组提取部155。图像间变化量计算部151计算构成时间序列图像的图像间的变化量(以下，称作“图像间变化量”)。一次摘要图像组提取部152根据图像间变化量所表示的变化的大小，从构成时间序列图像的图像中提取设为一次摘要图像组的图像。该一次摘要图像组提取部152具有作为第二排序处理部的排序处理部153，其按照图像间变化量的大小的顺序来排序图像间变化量。区间变化量计算部154对通过构成一次摘要图像组的图像划分的时间序列图像在各时间序列区间上的变化量(以下，称作“区间变化量”)进行计算。摘要图像组提取部155根据图像间变化量和所述区间变化量所表示的变化的大小，从时间序列图像中提取作为摘要图像组的图像。该摘要图像组提取部155具有作为第一排序处理部的排序处理部156，其按照图像间变化量和区间变化量的大小的顺序来排序图像间变化量和区间变化量。
控制部16通过CPU等硬件来实现。该控制部16根据经由外部接口部11取得的图像数据或从操作部12输入的操作信号、记录在记录部14中的程序和数据等，对构成图像处理装置10的各部分进行指示和数据转送等，统一控制图像处理装置10整体的动作。
图3是表示实施方式1的图像处理装置10进行的处理步骤的整体流程图。此处所说明的处理是通过运算部15执行存储在记录部14中的图像处理程序141来实现的。
如图3所示，首先，运算部15取得处理对象范围内的时间序列图像(步骤a1)。通过此处的处理，运算部15经由外部接口部11从可移动记录介质7进行读取，读取并取得记录在记录部14中的处理对象范围内的时间序列图像。此时，可以将从时间序列图像的开头到最末尾的整个范围设为处理对象范围，也可以将一部分范围设为处理对象范围。该处理对象范围能够依照例如用户操作适当进行设定。
接着，图像间变化量计算部151计算构成时间序列图像的图像间的变化量(图像间变化量)(步骤a3)。此处，图像间变化量是表示与时间序列顺序邻近的邻近图像之间的变化量的值，使用例如图像间的相关值(相似度)。具体而言，图像间变化量计算部151将在步骤a1中取得的构成时间序列图像的各图像依次设为关注图像，将时间序列顺序为例如紧前面的图像作为邻近图像来计算与该邻近图像之间的相关值，将该相关值作为关注图像的图像间变化量。
作为相关值的计算方法，例如作为对线性的亮度的变化(图像的亮度值和对比度的线性变化)没有影响的方法，能够使用已经公知的归一化互相关(参考：CG-ARTS协会，デイジタル画像処理，204P，正規化相互相関(数字图像处理，第204页，归一化互相关)(NCC))。具体而言，依照下式(1)来计算图像数据I、T的归一化互相关(NCC)。其中，在下式(1)中， I ‾ = 1 MN Σ y = 0 N - 1 Σ x = 0 M - 1 I ( x , y ) , T ‾ = 1 MN Σ y = 0 N - 1 Σ x = 0 M - 1 T ( x , y ) .
R NCC = Σ y = 0 N - 1 Σ x = 0 M - 1 ( ( I ( x , y ) - I ‾ ) ( T ( x , y - T ‾ ) ) Σ y = 0 N - 1 Σ x = 0 M - 1 ( I ( x , y ) - I ‾ ) 2 Σ y = 0 N - 1 Σ x = 0 M - 1 ( T ( x , y ) - T ‾ ) 2 - - - ( 1 )
归一化互相关的相关值取-1.00～1.00间的值，该值越接近-1.00表示变化越大，越接近1.00表示变化越小。此外，关于时间序列顺序为最初的图像，没有时间序列顺序在前的图像，因此将图像间变化量设为预先设定的固定值(例如，-1.00)。图4是表示由20张图像构成的时间序列图像的各图像的图像间变化量的一个例子的图，与分配给各图像的图像编号一起示出。如图4所示，按照每个图像计算出的图像间变化量的数据，与其图像编号对应地记录在记录部14中。
另外，此处示出了计算使用了归一化互相关的相关值作为表示图像间的变化的值的方法，但是不限于此。例如，在亮度的变化造成的影响较少的图像的情况下，也可以使用图像间一致时的值为0，且图像间越是不同越能够得到较大值的差异度。作为该差异度，例如能够列举SSD(对应的像素分量之差的平方和)或SAD(对应的像素分量之差的绝对值和)等(参考：CG-ARTS协会，デイジタル画像処理，203P，類似度(数字图像处理，第203页，相似度))。
接着，如图3所示，一次摘要图像组提取部152执行一次摘要图像组提取处理，根据图像间变化量，从时间序列图像中提取一次摘要图像组(步骤a5)。图5是表示一次摘要图像组提取处理的详细处理步骤的流程图。
在一次摘要图像组提取处理中，首先，一次摘要图像组提取部152的排序处理部153按变化的大小对在图3的步骤a3中计算的各图像的图像间变化量进行排序处理(步骤b1)。图6是表示相对于图4所示的各图像的图像间变化量的排序处理结果的图。如上所述，在实施方式1中，计算各图像的图像间变化量来作为归一化互相关的相关值，该值取-1.00～1.00间的值，越接近-1.00变化越大。在此处的排序处理中，如图6所示，按照负值从大到小的顺序进行排序。
接着，如图5所示，一次摘要图像组提取部152依照图像间变化量的排序处理结果，按照变化从大到小的顺序提取预定张数M的图像作为一次摘要图像组(步骤b3)。例如，在将预定张数M设为5张时，在图6的例子中，提取图像编号为{1，5，17，2，19}的5张图像作为一次摘要图像组。此时，针对所提取的各图像标上一次摘要编号。具体而言，针对各图像，按照其图像编号从小到大的顺序分配连续编号来设为一次摘要编号。此外，提取为一次摘要图像组的图像的张数M可以预先设定为固定值，也可以根据时间序列图像的张数进行设定。或者，还可以依照例如用户的操作输入等外部输入而可变地设定。如果提取出了一次摘要图像组，则返回图3的步骤a5，之后转移到步骤a7。
即，在步骤a7中，区间变化量计算部154执行区间变化量计算处理，按照由构成一次摘要图像组的图像所划分的时间序列图像的每个时间序列区间来计算区间变化量。
在该区间变化量计算处理中，区间变化量计算部154将构成一次摘要图像组的各图像依次设为关注一次摘要图像。并且，区间变化量计算部154计算一次摘要编号为关注一次摘要图像的前一个的图像(一次摘要前图像)、和图像编号为关注一次摘要图像的前一个(时间序列顺序为前一个)的图像(区间后方图像)间的变化，作为由一次摘要前图像和关注一次摘要图像所划分的时间序列区间中的区间变化量。
此处，参照图7～图9，对区间变化量的计算原理进行说明。在图7～图9中，分别将横轴设为图4或图6所示的20张时间序列图像的时间序列顺序(图像编号)，将纵轴设为图像特征量(例如平均亮度)，将构成时间序列图像的图像间的变化绘成曲线图来示出。此外，在各图7～图9中，将依照图6所示的排序处理结果提取为一次摘要图像组的图像编号为{1，5，17，2，19}的各图像与其一次摘要编号{1，2，3，4，5}一起示出。此处，在图7～图9中，将各图像的图像特征量设为平均亮度，将其变化绘成曲线图，而该倾角越大则图像间变化量越大(在实施方式1中所计算出的值接近-1.0)。
如上所述，一次摘要图像组由以下的图像构成，即：根据在与时间序列顺序在紧前面的图像之间所计算出的变化的大小(图像间变化量)，从变化较大的图像开始依次提取的预定张数(此处为5张)的图像。即，如图7所示，构成一次摘要图像组的图像编号为{1，5，17，2，19}的各图像是与紧前面的图像之间的变化较大的图像。此处，例如，着眼于用构成一次摘要图像组的图像编号为5和图像编号为17的各图像所划分的时间序列区间。在该时间序列区间中，在从开头的图像编号为5的图像到图像编号为16的图像之间，图像间逐渐变化。并且，图像编号为16的图像和最末尾的图像编号为17的图像之间的变化较大，根据这之间的图像间变化量的大小，提取图像编号为17的图像来作为一次摘要图像组。
但是，在这种图像间的变化较平缓的时间序列区间中，当变化较小的状态长期持续时，有时时间序列区间整体上变化较大。即，在所着眼的从图像编号为5到图像编号为16的时间序列区间中，时间序列顺序邻近(此处为相邻)的图像间的变化量比较小，但是图像编号为5的图像和图像编号为16的图像之间的变化非常大，时间序列区间整体上的图像的变化较大。在实施方式1中，为了加入这种变化来得到摘要图像组，计算由构成一次摘要图像组的各图像所划分的每个时间序列区间的变化来作为区间变化量。
例如，如图8所示，在将一次摘要编号为4或/图像编号为17的图像设为关注一次摘要图像的情况下，取得一次摘要编号为关注一次摘要图像的前一个的一次摘要编号为3或/图像编号为5的图像作为一次摘要前图像。此外，取得图像编号为关注一次摘要图像的前一个的图像编号为16的图像来作为区间后方图像。并且，计算所取得的一次摘要前图像和区间后方图像之间的变化来作为该时间序列区间(关注一次摘要图像和一次摘要前图像之间的时间序列区间)的区间变化量。
即，如图9所示，关于一次摘要编号为3或/图像编号为5的图像，计算一次摘要前图像(一次摘要编号为2或/图像编号为2)和区间后方图像(图像编号为4)之间的变化D1来作为区间变化量。对于一次摘要编号为4或/图像编号为17的图像，计算一次摘要前图像(一次摘要编号为3或/图像编号为5)和区间后方图像(图像编号为16)之间的变化D2来作为区间变化量。对于一次摘要编号为5或/图像编号为19的图像，计算一次摘要前图像(一次摘要编号为4或/图像编号为17)和区间后方图像(图像编号为18)之间的变化D3来作为区间变化量。此外，在所取得的区间后方图像的时间序列顺序(图像编号)比一次摘要前图像的时间序列顺序(图像编号)靠后的情况下，计算区间变化量。即，对于图9所示的一次摘要编号为2或/图像编号为2的图像，一次摘要编号为前一个的图像(一次摘要编号为1或/图像编号为1)和时间序列顺序(图像编号)为前一个的图像(图像编号为1)相同，因此不进行区间变化量的计算。
图10是表示区间变化量计算处理的详细处理步骤的流程图。在实际的区间变化量计算处理中，区间变化量计算部154首先初始化表示关注一次摘要图像的符号i(步骤c1)。此处，关注一次摘要图像从一次摘要编号为第2个的图像开始依次进行选择，将初始值设为2来初始化i。这是因为在一次摘要编号为第1个的图像中不存在一次摘要前图像。接着，区间变化量计算部154从一次摘要图像组中提取一次摘要编号为i的图像来作为关注一次摘要图像(步骤c3)。
接着，区间变化量计算部154从一次摘要图像组中取得一次摘要编号为关注一次摘要图像的前一个、即一次摘要编号为i-1的一次摘要前图像(步骤c5)。此外，区间变化量计算部154取得图像编号为关注一次摘要图像的前一个的区间后方图像(步骤c7)。
接着，区间变化量计算部154判定区间后方图像的时间序列顺序(图像编号)是否比一次摘要前图像的时间序列顺序(图像编号)靠后，在靠后的情况下(步骤c9：是)，进行步骤c11的处理。即，在步骤c11中，区间变化量计算部154计算一次摘要前图像和区间后方图像间的变化量来作为区间变化量。
此处，区间变化量是表示由构成一次摘要图像组的各图像所划分的时间序列区间的变化的值，具体而言，相当于一次摘要前图像和区间后方图像之间的变化量。该区间变化量与图像间变化量同样地，能够使用例如归一化互相关的图像间的相关值(相似度)，但是也可以使用差异度等其他值。
接着，区间变化量计算部154判定一次摘要编号i是否在预定张数M以下，从而判定此次处理的关注一次摘要图像是否为构成一次摘要图像组的最后的图像。在为预定张数M以下、即此次处理的关注一次摘要图像并非最后的图像的情况下(步骤c13：是)，增加符号i来进行更新(步骤c15)，对于下一个关注一次摘要图像，进行步骤c3～c13的处理。另一方面，在处理了构成一次摘要图像组的最后的图像的情况下(步骤c13：否)，返回图3的步骤a7，之后转移到步骤a9。
图11是表示通过依照图6所示的排序处理结果提取为一次摘要图像组的图像编号为{1，5，17，2，19}的各图像所划分的各时间序列区间的区间变化量的一个例子的图，将对应的一次摘要图像编号和区间后方图像的图像编号一起示出。所计算出的区间变化量的数据至少与其区间后方图像的图像编号对应起来记录在记录部14中，在以后的处理中，将按照每个时间序列区间计算出的区间变化量作为与其区间后方图像相关的变化量进行处理。
此外，此处，作为区间后方图像，取得时间序列顺序为关注一次摘要图像的前一个的图像，但是不限于前一个。具体而言，还可以取得时间序列顺序为关注一次摘要图像的前n个的图像作为区间后方图像。并且，此时可以将n的值预先设定为固定值，还可以依照例如用户的操作输入等外部输入来可变地设定。
然后，如图3所示，在步骤a9中，摘要图像组提取部155执行摘要图像组提取处理，根据图像间变化量和区间变化量，从时间序列图像中提取摘要图像组。图12是表示摘要图像组提取处理的详细处理步骤的流程图。
在摘要图像组提取处理中，首先，摘要图像组提取部155的排序处理部156结合在图3的步骤a3中所计算的各图像的图像间变化量和在步骤a7中的每个时间序列区间的各区间后方图像的区间变化量，按变化的大小进行排序处理(步骤d1)。图13是表示结合图4或图6所示的各图像的图像间变化量和图11所示的各时间序列区间的区间变化量进行的排序处理结果的图。
此外，此处示出了结合各图像的图像间变化量和每个时间序列区间的各区间后方图像的区间变化量进行排序的例子。与此相对，在后级的步骤d3中作为摘要图像组而提取的图像的张数N为一次摘要图像组的张数M以下的情况下，也可以结合一次摘要图像组的各图像的图像间变化量(在参照图6说明的例子中，是图像编号为{1，5，17，2，19}的各图像的图像间变化量)、和图11所示的每个时间序列区间的图像编号为{4，16，18}的各区间后方图像的区间变化量，排序处理这些图像。这是因为：对于没有作为一次摘要图像组被提取的变化较小的图像，进行没有必要排序处理。由此，能够削减作为排序处理对象的数据数量，能够缩短处理时间。
此外，如图12所示，摘要图像组提取部155依照图像间变化量和区间变化量的排序处理结果，按照变化从大到小的顺序提取预定张数N的图像作为摘要图像组(步骤d3)。例如，将预定张数N设为5张。此时，如参照图6所说明的那样，提取了图像编号为{1，5，17，2，19}的各图像作为一次摘要图像组，与此对应，提取了图像编号为{1，5，17，2，16}的各图像作为摘要图像组。这是因为：将图像编号为16的图像作为区间后方图像而计算出的区间变化量(图像编号为5和16的各图像间的变化)，比针对图像编号为19的图像所计算出的图像间变化量(图像编号为18和19的各图像间的变化)大。
此外，此处使每个时间序列区间的区间变化量与区间后方图像对应起来，因此排序处理的结果是，作为与区间后方图像相关的变化量，其图像间变化量和区间变化量重复地存在。例如，在图13中，如果着眼于图像编号“16”，则包含基于区间变化量的记录R1、和基于图像间变化量的记录R3。因此，在以预定张数N提取的摘要图像组中包含这些重复的图像编号的变化量的情况下，采用值较大的变化量。即，例如，在依照图13所示的排序处理结果设N＝10来提取摘要图像组的情况下，图像编号“4”、“16”重复。因此，分别针对各个图像编号采用变化量较大的值，针对图像编号“4”采用记录R5的图像间变化量，针对图像编号“16”采用记录R1的区间变化量。并且，从排序处理结果中去除图像编号为“4”的区间变化量(记录R7)和图像编号为“16”的图像间变化量(记录R3)，之后提取10个作为摘要图像组。
此外，可以将作为摘要图像组来提取的图像的张数N预先设定为固定值，也可以根据时间序列图像的张数进行设定。或者，还可以依照用户的操作输入等外部输入来可变地设定。如果提取出了摘要图像组，则返回图3的步骤a9，之后转移到步骤a11。
即，在步骤a11中，运算部15输出摘要图像组。例如，运算部15将作为摘要图像组提取的各图像依次输出到显示部13上进行显示。接着，结束图像处理装置10中的运算部15的处理。
如以上所说明的那样，根据实施方式1，能够对构成时间序列图像的每个图像计算其与相邻的图像间的变化量(图像间变化量)，并根据所计算的图像间变化量提取一次摘要图像组。此外，能够对通过构成一次摘要图像组的各图像所划分的时间序列图像的每个时间序列区间计算区间变化量，加入该区间变化量来提取最终的摘要图像组。由此，考虑到了图像间的变化平缓的时间序列区间中的变化，从而能够适当地提取摘要图像组。例如，在本实施方式1的例子中，能够从胶囊内窥镜3所拍摄的庞大张数的时间序列图像中适当提取摘要图像组，从而实现了医生等观察者的观察效率的提高。
具体而言，将构成一次摘要图像组的各图像依次设为关注一次摘要图像。此外，作为区间变化量，能够计算相对于一次摘要图像组中的关注一次摘要图像而言时间序列顺序为前一个的一次摘要前图像、和相对于时间序列图像中的关注一次摘要图像而言时间序列顺序为前一个的区间后方图像之间的变化量。由此，能够将区间变化量较大的区间后方图像提取为摘要图像组。由此，能够将图像间的变化较小的状态长期持续的结果是图像在其时间序列区间的开头和后方不同而整体上变化较大的时间序列区间的区间后方图像提取为摘要图像组。
此外，对于通过根据图像间变化量提取出的一次摘要图像组所划分的时间序列图像的各时间序列区间的区间变化量，只要计算相对于关注一次摘要图像的一次摘要前图像和区间后方图像之间的变化量即可。因此，能够简单进行计算而不需要复杂的处理，能够减轻处理负荷。
接着，对实施方式2进行说明。图14是说明实施方式2的图像处理装置10b的功能构成的框图。此外，针对与在实施方式1中说明的构成相同的构成标以同一符号。如图14所示，图像处理装置10b具有外部接口部11、操作部12、显示部13、记录部14b、运算部15b以及控制图像处理装置10b整体的动作的控制部16。
在记录部14b中，记录有用于从时间序列图像中提取摘要图像组的图像处理程序141b。
此外，运算部15b包含图像间变化量计算部151、一次摘要图像组提取部152b、区间变化量计算部154和摘要图像组提取部155b。在实施方式2中，一次摘要图像组提取部152b对图像间变化量进行阈值处理来提取一次摘要图像组。此外，摘要图像组提取部155b结合图像间变化量和区间变化量来进行阈值处理，来提取摘要图像组。
即，实施方式2的图像处理装置10b在以下方面与实施方式1的图像处理装置10不同：在一次摘要图像组提取部152b和摘要图像组提取部155b中，没有分别具有排序处理部。
图15是表示实施方式2的图像处理装置10b进行的处理步骤的整体流程图。此处说明的处理通过运算部15b执行存储在记录部14b中的图像处理程序141b来实现。此外，在图15中，对与实施方式1相同的处理步骤，标以同一符号。
在实施方式2中，如图15所示，在步骤a3中由图像间变化量计算部151计算出各图像的图像间变化量后，一次摘要图像组提取部152b对各图像的图像间变化量进行阈值处理，提取图像间变化量超过预先设定的预定阈值的图像来作为一次摘要图像组(步骤e5)。此外，在此处的处理中所使用的阈值可以预先设定为固定值，也可以依照例如用户的操作输入等外部输入来可变地设定。
接着，区间变化量计算部154与实施方式1同样地执行区间变化量计算处理(参照图10)，对通过构成一次摘要图像组的图像所划分的时间序列图像的每个时间序列区间计算区间变化量(步骤a7)。
接着，摘要图像组提取部155b分别对各图像的图像间变化量和每个时间序列区间的各区间后方图像的区间变化量进行阈值处理，提取图像间变化量或区间变化量超过预先设定的阈值的图像来作为摘要图像组(步骤e9)。此外，在此处的处理中所使用的阈值可以是与在步骤e5中使用的阈值相同的值，也可以是不同的值。此外，该阈值可以预先设定为固定值，也可以依照例如用户的操作输入等外部输入来可变地设定。
之后，运算部15b输出摘要图像组(步骤a11)，结束图像处理装置10b的运算部15b中的处理。
根据以上所说明的实施方式2，能够通过对图像间变化量进行阈值处理来提取一次摘要图像组，并且通过对图像间变化量和区间变化量进行阈值处理来提取最终的摘要图像组，能够起到与实施方式1相同的效果。此外，在实施方式2中所说明的阈值处理与在实施方式1中所说明的排序处理相比，处理负荷比较低，因此还具有能够降低处理负荷的效果。
此外，在上述各实施方式中，对从通过胶囊内窥镜3拍摄的时间序列图像中提取摘要图像组的情况进行了说明，但是成为处理对象的图像不限于用胶囊内窥镜3拍摄的图像。即，同样能够适用于从运动图像、或者连续拍摄的静止图像列这样的连续的时间序列图像中提取摘要图像组的情况。
此外，上述实施方式1的图像处理装置10和实施方式2的图像处理装置10b能够通过由个人计算机或工作站等计算机系统执行预先准备的程序来实现。下面，针对以下的计算机系统进行说明：该计算机系统具有与在各实施方式1、2中所说明的图像处理装置10、10b同样的功能，执行图像处理程序141、141b。
图16是表示使用了实施方式的计算机系统200的构成的系统构成图，图17是表示该计算机系统200中的主体部210的构成的框图。如图16所示，计算机系统200具有主体部210、和用于根据来自主体部210的指示在显示画面221上显示图像等信息的显示器220。此外，计算机系统200具有用于向该计算机系统200输入各种信息的键盘230、和用于指定显示器220的显示画面221上的任意位置的鼠标240。
此外，如图17所示，该计算机系统200中的主体部210具有：CPU211、RAM 212、ROM 213、硬盘驱动器(HDD)214、收纳CD-ROM 260的CD-ROM驱动器215、可拆装地连接USB存储器270的USB接口216、显示器220、连接键盘230和鼠标240的I/O接口217、以及用于与局域网或广域网(LAN/WAN)N1连接的LAN接口218。
此外，在该计算机系统200中，连接有用于与因特网等公众线路N3连接的调制解调器250，并且经由LAN接口218以及局域网或广域网N1，连接有其他的计算机系统的个人计算机(PC)281、服务器282和打印机283等。
此外，该计算机系统200通过读取存储在预定的存储介质中的图像处理程序(例如实施方式1的图像处理程序141或实施方式2的图像处理程序141b)并执行来实现图像处理装置。此处，所谓预定的存储介质，除了CD-ROM 260和USB存储器270以外，还包含存储可由计算机系统200读取的图像处理程序的所有存储介质，例如以下的在发送程序时短期保持程序的“通信介质”介质等：包含MO光盘或DVD光盘、软盘(FD)、光磁盘和IC卡等的“可移动用的物理介质”；设置在计算机系统200内外的HDD 214或RAM 212、ROM 213等“固定用的物理介质”；以及如经由调制解调器250连接的公众线路N3、或连接其他的计算机系统(PC)281或服务器282的局域网或广域网N1等。
即，图像处理程序为可通过计算机读取地存储在“可移动用的物理介质”、“固定用的物理介质”、“通信介质”等记录介质中的程序，计算机系统200通过从这种存储介质中读取图像处理程序并执行来实现图像处理装置。此外，图像处理程序不限于通过计算机系统200来执行，在其他的计算机系统(PC)281或服务器282执行图像处理程序的情况下、或它们协作地执行图像处理程序的情况下，也同样能够使用本发明。
根据本发明，能够对构成时间序列图像的每个图像计算其与邻近图像间的变化量，根据图像间变化量从时间序列图像中提取一次摘要图像组。此外，能够对由构成一次摘要图像组的各图像所划分的时间序列图像的每个时间序列区间计算该时间序列区间中的区间变化量，由此能够根据图像间变化量和区间变化量从时间序列图像中提取摘要图像组。因此，能够考虑到由图像间变化量表示的图像间的图像变化和由区间变化量表示的时间序列区间整体上的图像变化来提取摘要图像组，能够从时间序列图像中适当提取摘要图像组。

Claims (7)

1.一种图像处理装置，其从由按照时间序列取得的多个图像构成的时间序列图像中提取摘要图像组，其特征在于，该图像处理装置具有：
图像间变化量计算部，其对构成所述时间序列图像的每个图像，计算所述图像与在时间序列上与所述图像邻近的邻近图像之间的变化量来作为图像间变化量；
一次摘要图像组提取部，其根据所述图像间变化量，从所述时间序列图像中提取一次摘要图像组；
区间变化量计算部，其计算由构成所述一次摘要图像组的各图像所划分的所述时间序列图像的各时间序列区间中的区间变化量；以及
摘要图像组提取部，其根据所述图像间变化量和所述区间变化量，从所述时间序列图像中提取摘要图像组；
其中，所述区间变化量计算部依次选择构成所述一次摘要图像组的图像来作为关注一次摘要图像，通过对所述一次摘要图像组中的时间序列顺序为所述关注一次摘要图像的前一个的一次摘要前图像、和所述时间序列图像中的时间序列顺序为所述关注一次摘要图像的预定数量之前的区间后方图像之间的变化量进行计算，由此对每个所述区间后方图像计算所述区间变化量。
2.根据权利要求1所述的图像处理装置，其特征在于，所述摘要图像组提取部具有结合所述图像间变化量和所述区间变化量并按照变化的大小顺序来进行排序的第一排序处理部，依照所述第一排序处理部的排序处理结果，按照从大到小的顺序，从所述时间序列图像中提取预定张数的图像来作为所述摘要图像组。
3.根据权利要求1所述的图像处理装置，其特征在于，所述摘要图像组提取部将所述图像间变化量或所述区间变化量为预定的阈值以上的图像作为所述摘要图像组。
4.根据权利要求1所述的图像处理装置，其特征在于，所述区间后方图像为时间序列顺序比所述一次摘要前图像靠后的图像。
5.根据权利要求1所述的图像处理装置，其特征在于，所述一次摘要图像组提取部具有按照变化的大小顺序来对所述图像间变化量进行排序的第二排序处理部，依照所述第二排序处理部的排序处理结果，按照从大到小的顺序，从所述时间序列图像中提取预定张数的图像来作为所述一次摘要图像组。
6.根据权利要求1所述的图像处理装置，其特征在于，所述一次摘要图像组提取部将所述图像间变化量为预定的阈值以上的图像作为所述一次摘要图像组。
7.一种图像处理方法，其从由按照时间序列取得的多个图像构成的时间序列图像中提取摘要图像组，其特征在于，该图像处理方法包括：
图像间变化量计算步骤，对构成所述时间序列图像的每个图像，计算所述图像与在时间序列上与所述图像邻近的邻近图像间的变化量来作为图像间变化量；
一次摘要图像组提取步骤，根据所述图像间变化量，从所述时间序列图像中提取一次摘要图像组；
区间变化量计算步骤，计算由构成所述一次摘要图像组的各图像所划分的所述时间序列图像的各时间序列区间中的区间变化量；以及
摘要图像组提取步骤，根据所述图像间变化量和所述区间变化量，从所述时间序列图像中提取摘要图像组；
其中，所述区间变化量计算步骤依次选择构成所述一次摘要图像组的图像来作为关注一次摘要图像，通过对所述一次摘要图像组中的时间序列顺序为所述关注一次摘要图像的前一个的一次摘要前图像、和所述时间序列图像中的时间序列顺序为所述关注一次摘要图像的预定数量之前的区间后方图像之间的变化量进行计算，由此对每个所述区间后方图像计算所述区间变化量。
CN201010112940.1A 2009-02-04 2010-02-03 图像处理装置以及图像处理方法 Expired - Fee Related CN101800846B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-024189 2009-02-04
JP2009024189A JP5457688B2 (ja) 2009-02-04 2009-02-04 画像処理装置、画像処理プログラムおよび画像処理方法

Publications (2)

Publication Number Publication Date
CN101800846A CN101800846A (zh) 2010-08-11
CN101800846B true CN101800846B (zh) 2014-05-14

Family

ID=42397413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010112940.1A Expired - Fee Related CN101800846B (zh) 2009-02-04 2010-02-03 图像处理装置以及图像处理方法

Country Status (3)

Country Link
US (1) US8723935B2 (zh)
JP (1) JP5457688B2 (zh)
CN (1) CN101800846B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4956694B2 (ja) * 2010-09-29 2012-06-20 オリンパスメディカルシステムズ株式会社 情報処理装置及びカプセル型内視鏡システム
JP2012199911A (ja) * 2011-03-10 2012-10-18 Ricoh Co Ltd 情報処理装置
JP5784404B2 (ja) * 2011-07-29 2015-09-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP2823754A4 (en) * 2012-03-07 2015-12-30 Olympus Corp Image processing device, program and image processing method
JP5896791B2 (ja) * 2012-03-07 2016-03-30 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
CN104203065B (zh) 2012-03-08 2017-04-12 奥林巴斯株式会社 图像处理装置和图像处理方法
JP5963480B2 (ja) * 2012-03-08 2016-08-03 オリンパス株式会社 画像要約装置及びプログラム
JP5980567B2 (ja) * 2012-05-17 2016-08-31 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
EP2839770A4 (en) 2012-04-18 2015-12-30 Olympus Corp Image processing device, program and image processing method
JP5948200B2 (ja) * 2012-09-27 2016-07-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP6242072B2 (ja) * 2012-09-27 2017-12-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
JP6006112B2 (ja) * 2012-12-28 2016-10-12 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
US11120547B2 (en) * 2014-06-01 2021-09-14 CapsoVision, Inc. Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching
CN112336295A (zh) * 2019-08-08 2021-02-09 上海安翰医疗技术有限公司 磁性胶囊内窥镜的控制方法、装置、存储介质、电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US5995295A (en) * 1995-12-13 1999-11-30 Olympus Optical Co., Ltd. Lens system
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956026A (en) 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US7184100B1 (en) * 1999-03-24 2007-02-27 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
US7469010B2 (en) * 2001-01-08 2008-12-23 Canon Kabushiki Kaisha Extracting key frames from a video sequence
JP2006041794A (ja) * 2004-07-26 2006-02-09 Nikon Corp 画像処理装置および画像処理プログラム
JP4716794B2 (ja) * 2005-06-06 2011-07-06 オリンパスメディカルシステムズ株式会社 画像表示装置
WO2008041401A1 (fr) * 2006-10-02 2008-04-10 Olympus Corporation Dispositif, procédé et programme de traitement d'image
JP4959445B2 (ja) * 2007-07-04 2012-06-20 オリンパス株式会社 画像処理装置および画像処理プログラム
CN101686799B (zh) * 2007-07-12 2012-08-22 奥林巴斯医疗株式会社 图像处理装置以及图像处理装置的动作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US5995295A (en) * 1995-12-13 1999-11-30 Olympus Optical Co., Ltd. Lens system
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data

Also Published As

Publication number Publication date
JP5457688B2 (ja) 2014-04-02
US8723935B2 (en) 2014-05-13
US20100194992A1 (en) 2010-08-05
CN101800846A (zh) 2010-08-11
JP2010183290A (ja) 2010-08-19

Similar Documents

Publication Publication Date Title
CN101800846B (zh) 图像处理装置以及图像处理方法
CN110400323B (zh) 一种自动抠图系统、方法以及装置
CN101909510B (zh) 图像处理装置以及图像处理程序
CN110659581B (zh) 一种图像处理方法、装置、设备和存储介质
CN102693538A (zh) 生成高动态范围图像的全局对准
CN101753837B (zh) 在多个拍摄条件下间隔拍摄的方法及其拍摄装置
CN102065744A (zh) 图像处理装置、图像处理程序及图像处理方法
CN105874776A (zh) 图像处理设备和方法
CN101675454A (zh) 采用全色像素的边缘绘图
CN108924427A (zh) 一种摄像机聚焦方法、装置以及摄像机
JP4474885B2 (ja) 画像分類装置及び画像分類プログラム
CN105574848A (zh) 用于对象的自动分割的方法和装置
JP2013128229A (ja) 画像印刷装置、方法、プログラム、画像処理装置、方法及びプログラム
CN113706372A (zh) 自动抠图模型建立方法及系统
US10212363B2 (en) Picture processing method and electronic device
CN104769611A (zh) 用于基于脸部表情的概括的方法和装置
CN103748613A (zh) 用于图像去噪、压缩和插值的各向异性梯度正则化
CN115170400A (zh) 一种视频修复的方法、相关装置、设备以及存储介质
CN114207659A (zh) 光场消息传递
KR101913623B1 (ko) 촬영 이미지를 이용한 3차원 광고 생성 방법
CN104584526A (zh) 图像文件生成装置及显示装置
JP4593506B2 (ja) 電子アルバム自動作成装置
CN108132935B (zh) 图像分类方法及图像展示方法
JP2010173323A (ja) 印刷装置
KR101880140B1 (ko) 결제 카드의 유효기간 판독 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140514

Termination date: 20180203