CN101061477A - 基于方差的事件分群 - Google Patents

基于方差的事件分群 Download PDF

Info

Publication number
CN101061477A
CN101061477A CNA2005800394093A CN200580039409A CN101061477A CN 101061477 A CN101061477 A CN 101061477A CN A2005800394093 A CNA2005800394093 A CN A2005800394093A CN 200580039409 A CN200580039409 A CN 200580039409A CN 101061477 A CN101061477 A CN 101061477A
Authority
CN
China
Prior art keywords
image
class value
minute
value
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800394093A
Other languages
English (en)
Inventor
A·C·P·路易
B·D·克劳斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN101061477A publication Critical patent/CN101061477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

在一种图像分类方法中,接收多个分组值。分组值均具有关联的图像。计算分组值的平均值。计算分组值相对于平均值的方差量度。根据方差量度确定分组阈值。超过分组阈值的分组值被标识为组边界。基于组边界向多个组分配图像。

Description

基于方差的事件分群
技术领域
本发明涉及用于自动对图像进行分类的数字图像处理,具体而言涉及基于方差的事件分群。
背景技术
数字图像的快速增长增加了对图像分类以便更容易地检索(retrieving)、复查(reviewing)、和成册(albuming)图像的需求。人工分类是很有效的,但是除非图像数目很少否则将很慢且很繁重。自动方法是很有效的,但是往往具有许多约束条件,诸如需要大范围的处理资源之类。结果,不同的自动方法的适用性往往取决于分类的特定用途和类型。一种分类是按照事件。
一些自动方法根据颜色、形状或者纹理将图像划分成具有类似图像特性的组。这方法可用于按照事件来分类,但当用于那些目的时则固有地就存在有困难。“Home Photo Content Modeling for PersonalizedEvent-Based Retrieval”,Lim,J-H,et al.,IEEE Multimedia,Vol.10(4),Oct.-Dec.2003,pages 28-37公开了利用图像内容按照事件执行对图像的分类。
许多图像伴随有元数据,也就是相关联的非图像信息,其有助于对图像的分组。这种元数据的一个实例是诸如日期与时间之类的时间顺序数据,以及诸如全球定位系统(“GPS”,Global Positioning System)地理位置数据之类的地理数据。因为事件受到时间的限制以及常常受到空间的限制,所以这类数据尤其适合于按照事件来分组。用户通过观看每个图像并根据时间顺序和地理来排序的方式能手动创建长分组的图像。上述的Lim et al.的文章建议了使用时间顺序和地理数据来利用图像内容按照事件对图像进行自动分类。
对于利用相对于方差的量度来分类数据而言,统计技术为大家所熟知,所述偏差诸如标准偏差、方差、平均偏差和样本变化之类。
因此,需要提供一种简单且有效的图像分类法,所述方法利用具有诸如时间顺序或者地理数据之类的分组数据的基于方差的技术。
发明内容
本发明由权利要求定义。在较宽的方面,本发明提供了一种图像分类方法,其中接收多个分组值。每个分组值都具有关联图像。计算分组值的平均值。计算分组值相对于平均值的方差量度。根据方差量度确定分组阈值。超出分组阈值的分组值被标识为组边界。基于组边界将图像分配给多个组。
本发明的有益效果在于提供了改善的方法、计算机程序和系统,所述方法、计算机程序和系统利用具有诸如时间顺序或者地理数据之类的分组数据的基于方差的技术实现简单且有效的图像分类法。
附图说明
结合附图,参照对本发明实施方式的以下说明,本发明的以上及其他特征和目的以及实现它们的方式将变得更加显而易见,并且可以更好地理解本发明本身,在所述附图中:
图1是本发明方法的实施方式的流程图。
图2是本发明方法的另一个实施方式的流程图。
图3是本发明方法的又一个实施方式的流程图。
图4是利用图2的方法将图像分类成事件和子事件的图。
图5是示出一组图像的分组值的定标柱状图的图,其利用了柱状图、平均值、标准偏差和事件阈值。
图6是利用图1的方法实施方式将图像分类为事件的图,其中分组值是连续图像之间的距离。
图7是利用图1的方法实施方式将图像分类为事件的图,其中分组值是与基准之间的距离。
图8是用于提供图5的定标柱状图的定标函数的图。
图9是设备的实施方式的示意视图。
图10是示出一组图像的块柱状图差值的定标柱状图的图,并利用柱状图、平均值、标准偏差和块柱状图阈值。
具体实施方式
在所述方法中,接收一组与各个数字图像关联的分组值并计算其平均值。计算相对于平均值的方差量度并确定分组阈值。超过阈值的分组值被标识为组边界,并根据组边界将图像分配给组。
在下面的说明书中,本发明的一些实施方式被描述成软件程序。本领域的技术人员将很容易意识到:这种软件的等效内容也可以构造在硬件中。因为图像操纵算法和系统是公知的,所以本说明书将特别涉及这样的算法和系统,所述算法和系统构成根据本发明的方法的一部分,或者同根据本发明的方法更直接协作。这种算法和系统的其他方面,以及用于生成和处理图像信号(所涉及到的,但在此不特别示出或者描述)的硬件和/或软件可以从本领域公知的这种系统、算法、组件和元件中选择。如在下面的说明中所阐述的那样,其全部软件实现是常规的,并且在本领域的普通技术人员了解的范围之内。
本发明可以在计算机硬件和计算机化装置中实现。例如,所述方法可以在数字照相机、数字打印机和个人计算机中执行。参照图9,图示了用于实现本发明的计算机系统110。尽管为了举例说明优选实施方式起见示出了计算机系统110,但是本发明不局限于所示出的计算机系统110,而是可以在任何电子处理系统中使用,诸如在数字照相机、家用计算机、信息亭(kiosk)、零售或者批量照相洗印服务店、或其用于处理数字图像的任何其他系统中所查找到的电子处理系统之类。计算机系统110包括基于微处理器的单元112(在此还被称作数字图像处理器),用于接收和处理软件程序以及执行其他的处理功能。显示器114同基于微处理器的单元112电连接,用于例如通过图形用户界面显示与软件相关联的用户相关信息。键盘116也连接到基于微处理器的单元112,用于允许用户向软件输入信息。作为利用键盘116执行输入的替换方式,鼠标118被用于移动显示器114上的选择器120,以及用于选择选择器120所覆盖的项目,这是本领域众所周知的。
典型地包括软件程序的紧凑盘-只读存储器(CD-ROM)124被插入到基于微处理器的单元中,用于提供一种将软件程序及其他信息输入到基于微处理器的单元112的手段。此外,软盘126也可以包括软件程序,并被插入到基于微处理器的单元112中,用以输入软件程序。做为选择,紧凑盘-只读存储器(CD-ROM)124或者软盘126可以被插入到外部设置的盘驱动单元122中,所述盘驱动单元122同基于微处理器的单元112相连接。另外,如本领域众所周知的那样,可以对基于微处理器的单元112进行编程,用以在内部存储软件程序。基于微处理器的单元112还可以具有诸如电话线之类的网络连接127,用于连接到外部网络,诸如局域网或者因特网之类。打印机128还可以同基于微处理器的单元112相连接,用以打印从计算机系统110输出的硬拷贝。
图像还可以经由个人计算机卡(PC卡)130在显示器114上显示,就如之前所公知的那样,所述个人计算机卡130诸如PCMCIA卡(基于个人计算机存储器卡国际联合会的规范)之类,其包括电子地具体化在卡130中的数字化图像。PC卡130最终被插入到基于微处理器的单元112中以在显示器114上实现对图像的视觉显示。做为选择,PC卡130可以被插入到外部设置的PC卡读取器132中,其中所述外部设置的PC卡读取器132同基于微处理器的单元112相连接。也可以经由紧凑盘124、软盘126或者网络连接127输入图像。存储在PC卡130、软盘126或者紧凑盘124中、或者通过网络连接127输入的任何图像可以从各种源处获得,诸如数字照相机(未显示)或者扫描仪(未显示)之类。图像还可以经由连接到基于微处理器的单元112的照相机坞接(docking)端口136直接从数字照相机134中、或者经由电缆连接138直接从数字照相机134中输入到基于微处理器的单元112、或者经由无线连接140输入到基于微处理器的单元112。
输出设备提供已经发生变换的最终图像。输出设备可以打印机或者其他输出设备,其提供纸张或者其他硬拷贝最终图像。输出设备还可以是提供作为数字文件的最终图像的输出设备。输出设备还可以包括诸如打印图像和存储单元中的数字文件之类的输出组合,其中所述存储单元诸如CD或者DVD之类。
本发明能够供生成数字图像的多个捕获设备使用。例如,图9可以代表数字照相洗印服务系统,其中图像捕获设备是用于在彩色底片或者反转胶片上捕获场景的常规感光胶片照像机,以及用于扫描胶片上的显影图像并生成数字图像的胶片扫描设备。捕获设备还可以是具有电子成像器的电子捕获单元(未显示),所述电子成像器诸如电荷耦合设备或者CMOS成像器。电子捕获单元可以具有模-数转换器/放大器,其从电子成像器接收信号,将所述信号放大并转换为数字形式,并将图像信号传送到基于微处理器的单元112。
基于微处理器的单元112提供有用于处理数字图像以在预定的输出设备或者介质上生成令人喜爱的观看图像的装置。本发明能被各种输出设备所使用,所述输出设备可以包括,但不局限于数字照相打印机以及软拷贝显示器。基于微处理器的单元112可用于通过由图像输出装置生成令人喜爱的观看图像的方式来处理数字图像以调节数字图像的整体亮度、色阶、图像结构等。本领域的技术人员将认识到:本发明不仅局限于这些所提到的图像处理功能。
数字图像包括一个或多个数字图像通道或者颜色组分。每个数字图像通道是像素的二维数组。每个像素值涉及由图像捕获设备接收的与像素的物理范围相对应的光量。对彩色图像应用而言,数字图像经常由红色、绿色和蓝色的数字图像通道组成。运动图像应用可以被认为数字图像序列。本领域的技术人员将认识到:本发明可以被用于-但是不局限于在此提到的任何应用的数字图像通道。尽管数字图像通道被说成是按行和列排列的像素值的二维数组,但是本领域的技术人员将认识到本发明同样可以被用于非直线性阵列。本领域的技术人员还将认识到:对数字图像处理而言,在下文中描述的利用处理过的像素值替换原始像素值的步骤在功能上等效于利用处理过的像素值生成新的数字图像同时保留原始像素值的相同处理步骤。
图9所示的通用控制计算机可以将本发明存储为计算机程序产品,所述计算机程序产品具有存储在计算机可读取存储介质中的程序,所述计算机可读取存储介质例如可以包括:诸如磁盘(诸如软盘之类)或者磁带之类的磁存储介质;诸如光盘、光带或者机器可读条形码之类的光存储介质;诸如随机存取存储器(RAM)或者只读存储器(ROM)之类的固态电子存储设备。本发明的关联计算机程序实现还可以存储在任何其他的物理设备或者介质上,所述物理设备或者介质用于存储由脱机存储设备指示的计算机程序。在描述本发明以前,注意到本发明可以在诸如个人计算机之类的任何公知的计算机系统上使用将易于理解。
也应注意:本发明可以以软件和/或硬件的组合来实现,而不局限于物理连接到和/或设置在相同物理场所中的设备。图9中所举例说明的一个或多个设备可以远程设置并可以经由网络连接。一个或多个设备可以诸如通过射频链路之类无线连接,或者直接或者经由网络连接。
本发明可被用于各种用户情景和环境。示例性的情景和环境包括,但不限于:批量数字照相洗印服务店(其包括示例性的工序或者阶段,诸如胶片输入、数字处理、打印出之类),零售数字照相洗印服务店(胶片输入、数字处理、打印出),家用打印(家庭扫描胶片或数字图像、数字处理、打印出),台式机软件(向数字打印机施加算法以使其更好、乃至仅改变它们的软件),数字实行(从介质或者在网络上的数字图像输入、数字处理、在介质上采用数字形式、在网络上采用数字形式的、或者硬拷贝打印机上打印的图像输出),信息亭(数字或者扫描输入、数字处理、数字或者硬拷贝输出),移动设备(例如,PDA或者蜂窝电话,其能被用作处理单元、显示单元或者发出处理指令的单元),以及经由万维网提供的服务。
在每一情况下,本发明可以是独立的或者可以是大系统解决方案的组件。此外,人机界面,例如扫描或者输入、数字处理、向用户显示(如果需要)、输入用户请求或者处理指令(如果需要)、输出,其每一个可以位于相同的或者不同的设备和物理场所中,并且在设备和场所之间的通信可以经由公共或者专用网络连接或者来进行,或者基于介质进行通信。在符合本发明的上述公开内容的情况下,本发明的方法可以是全自动的,也可以具有用户输入(全部或者部分手动),可以具有用户或操作员复查来接受/拒绝结果,或者可以由元数据协助(元数据可以由用户提供,由测量设备(例如照相机)提供,或者利用算法确定)。此外,算法(一个或多个)可以同各种工作流程用户接口方案相接口。
本发明表现为在此描述的实施方式的组合。对“特定实施方式”等的参考指的是在本发明的至少一个实施方式中出现的特征。对“实施方式”或者“特定实施方式”等的独立参考未必都指的是相同的一个或多个实施方式;然而,除非特此说明,或者对本领域的技术人员很容易理解的那样,否则这样的实施方式不是互斥的。
在图像分类方法中,图像被分类为组,或者可选地被分类为子组,然后再被分类为子集。术语“子组”和“子集”被方便使用。做为选择,这些分类都可以用术语“组”来引用。所述方法尤其适合于这样的图像分类法,其中每个这样的组都表示事件或者子事件。术语“事件”在此被定义为由用户的主观意图所理解的重大事件或者偶然发生的事件。
所述方法利用与各个图像相关的和/或来源于各个图像的分组值执行分类。分组值可以表示或者源自于元数据,也就是以允许信息被连同图像一起传送的某种方式而与各个图像关联的非图像信息。例如,有时在相同的文件内提供元数据作为图像信息。这种信息的实例包括:日期、时间、闪光激发、发光类型、透镜焦距、GPS数据、照像机类型、照像机序列号和用户名。
“分组值”可以表示任何种类的非图像信息,其中所述非图像信息能够以数值形式所呈现。所述方法对利用非图像信息按照事件分组图像最有好处,其中所述非图像信息可以具有大量的可能值,诸如时间顺序数据和地理数据之类。这种数据可以被概括为提供距离基准的差值或者数据内部的差值。
所述差值可以与所建立的标准有关,诸如日期与时间或者GPS地理坐标之类。所述差值还可以与任意的基准有关。(为了方便起见,以下的大部分论述都涉及基于时间顺序和/或地理的分组值。)例如,可以将一个或者几个照像机同步到任意的基准时间。同样地,特定的GPS坐标集可以被选为稍后距离测量的任意起始点。基准本身无须固定于某一时间或者地点。距离可以与基准照像机或者其他可移动部件有关。同样地,时间可以按同特定基准时间的差值或者同基准时间序列中最接近的时间的差值来测量。例如,图像可以由多个独立运行的照像机提供。可移动基准可以被指定成照像机之一。在这种情况下,当由其他的照像机捕获图像时所述基准照像机可以具有不同的绝对空间位置,并且在捕获不同的图像时差值可以是同基准照像机之间的间距。
一组图像的内部差值可以是图像同集合中一个或多个其他邻近图像或其他相关图像的差值。方便的差值是同有序序列中最近邻图像或者先前图像的差值。来自胶片上最初捕获图像的元数据通常包括该信息。数字照相机通常以连续的方式向图像分配文件名。内部差值的特定实例包括从前一图像开始所经过的时间和距离。
在所述方法中,接收分组值并取其平均值。分组值通常会连同关联的图像文件一起提供,但是如果关联分组值和各个图像的信息未丢失,则分组值也可以独立于图像文件。
在此公开的实施方式中的平均值是算术平均值。诸如中值和模式之类的其他“平均值”可以视情况用于特定方差量度和特定使用。
可选地,分组值在被求平均之前可以利用定标函数来定标。定标函数是连续的数学函数,其是可转化的并具有正的、下降斜率。结果,定标函数保持小的分组值差值并压缩大的分组值差值。用于特定应用的定标函数可以被启发式地确定。
分组值可以被设置在柱状图中以提供定标的柱状图,其中所述分组值被利用定标函数执行修改。柱状图可用于提供对由所述方法提供的组的目视检查。
与分组值之间的方差量度的计算依照普通的统计程序进行。方差量度是与一组关于特定平均值的值的方差相关的的统计参数。适当的方差量度的实例包括:标准偏差、方差、平均偏差和样本变化。
相对于方差量度设置分组阈值。例如,当方差量度是标准偏差时,所述分组阈值是多个标准偏差。用于特定应用的适当分组阈值能够被启发式地利用一组示例性的图像来确定。
在确定分组阈值之后,超过事件阈值的分组值被标识为组边界,并且基于那些组边界将图像分配给组。例如,在特定实施方式中,偏离一组平均值大于所预选数目的标准偏差的任何时差被作为事件边界,并且根据那些边界将图像分成组。其他分组阈值能够提供其他组边界,所述其他分组阈值多个原始分组阈值的倍数。例如,初始分组阈值t能被用于在kt、2kt...nkt的标准偏差处的其他分组阈值。
在执行所述方法的过程中,能够检查定标柱状图以确认所选择的定标函数没有模糊低于分组阈值的分组值差值,并压缩了在超过分组阈值的分组值之间的差值,因此,所选择的定标函数适合于特定图像集的分组值。
现在参照图1和4-5,在特定实施方式中,利用捕获时间信息对图像进行分组。接收与图像关联的分组值(200),准备时差柱状图,并利用图8所示的时差定标函数映射时差柱状图(202)以提供图5所示的定标柱状图。如图5所示,计算平均值(204),并计算定标时差集的标准偏差(206),以及确定事件阈值(208)。超出事件阈值的时差(图5中事件阈值的右边)被标识为事件边界(210)。与事件阈值内的时差关联的图像(图5中事件阈值的左边)被分配给利用事件边界来确定边界的组(212)。
此实施方式尤其可用于分组利用多个独立运行的照相机所捕获的图像,它们都用图像日期和时间记录为元数据,但是它们缺少在不同照像机之间的实时时钟同步。在这种情况下,一个或多个照像机的时间/日期时钟中的较小误差将不会影响基于显著较长事件的组。
事件阈值被启发式地确定,用于利用实际(时钟)时间或者相对于时间基准所经过的时间来分类所捕获的社会事件图像,其中所述时间基准提供了公共原点。这种判定使用大约150套消费者图像,每一套平均大约40-80关于日常消费者事件的照片,包括假期、学校事件、婚礼、毕业等。事件阈值被确定成遵循以下函数:
事件阈值=0.2+8.159e(-0.0002*(标准偏差^2))
所述函数源自于试验数据用以对各个图像集中的事件进行分组。
现在参照图7,所述方法适用于分组值是地理的问题域。在这种情况下,分组是按照在捕获图像时独立运行的照像机700同基准702之间的距离而进行的。用于图像集实例的定标柱状图类似于图5。横轴(标有“分组值”)表示同基准之间的相对距离或者自基准起的半径。阈值是圆圈704。例如,所述方法的该实施方式可用于界定一组图像的组边界,所述图像是由不同的摄影师利用多个蜂窝电话照像机或者其他能够记录GPS坐标为图像元数据的移动捕获设备所捕获的。GPS坐标被简化成距离基准位置或者用户的距离。基于各个摄影师相对于中央位置或者基准用户的漫游来分组图像。作为一个更特别的实例,多个观众捕获覆盖有不同选手的高尔夫锦标赛的静止/视频图像。由观众捕获的图片/视频能因此基于距离而被分组。利用可用的通信链路,能够自动共享分配给不同组的图像,结果就是:所有观众都能够受益于能够在锦标赛期间观看到其他现场所同时发生的景象。作为所述方法的结果,在分组的图像中所示的现场不必预先规定并可以在锦标赛过程中发生变化,在基准是可移动的情况下特别如此。
现在参照图6,所述方法适用于分组值包括时间顺序信息和地理信息的问题域。在这种情况下,分组值是在捕获图像的时间序列中的连续图像之间的距离(在图6中由箭头指示)。组是用关于图像组652的距离边界650定义的,并且组可与先前论述的事件边界相对。定标柱状图和方法步骤同先前论述的实施方式的定标柱状图和方法步骤相类似。表1是图像时间序列的分组值的实例。左列表示所捕获图像的次序,右列表示在图像i和图像i+1之间的距离。
       表1
图像编号  距离(米)
0  10
1  42
2  19
3  6
4  79
5  693
6  21
7 5
8  9
9  1314
10  3
11  10
12  18
13  12
在第五和第六以及第九和第十图像之间将图像分成组。图6以图形方式示出了这一点。相应的定标距离柱状图类似于图5。在该实施方式中,其他分组阈值在由分组阈值定义的组内定义子组。
分组值能够是图像内容的度量,诸如图像对比度、动态范围和彩色特性之类。现在参照图10,另一基于图像内容的分组值是按时间顺序定序的图像的块柱状图差值。在这种情况下,该图的横轴表示块柱状图差值,其是两个连续的按时间顺序定序的图像的相对差值(或者差异)的度量。在一个事件内的图像对之间的块柱状图差值很小,而在该事件边界处的图像对之间的相应差值则比较大。块柱状图差值还能够被以按另一种方式定序的数据或者被以无定序的数据的方式使用。
块柱状图差值被方便地提供作为从单位元(或者与单位元关联的另一个值)中减去块柱状图相似值后的余数。柱状图相似值能够以本领域技术人员所熟知的方式来确定,诸如在专利号为No.6,351,556的美国专利中所描述的过程那样,特比将其内容引入以供参考。
在图10的实施方式中,块柱状图差值由下述等式表示:
块柱状图差值=1-Inter(R,C)
其中Inter(R,C)是柱状图交叉等式:
Inter ( R , C ) = Σ i = 1 n min ( R i , C i ) Σ i = 1 n R i
其中R和C是两个连续的图像(也分别被称为基准图像和候选图像),n是柱状图中元组(bin)的数目。
参照图2和4,本发明的方法能被迭代地使用来在预先确定的组或者子组内提供子分组。图2中的步骤计算(404)、计算(406)、确定(408)、标识(410)和分配(412)与图1中具有差别在附图标记200的步骤相对应。图4图示了将一组图像300在事件阈值302分组成两个事件304、306,而后再将一个事件306分子组成子事件a308和子事件b310。
每一次迭代都能够使用图像的不同分组值集。(为简单起见,由每一次迭代所提供的级别在此被称为“子组”,意味在该级别提供的组在较早确定的组或子组的范围之内。为了方便起见,用于提供子组的分组值利用词头“第二分组值”来加以区分。)例如,所述方法最初能够用于按照时间对图像进行分组,然后再按照距离对那些组进行分子组。同样,分组值能够与时间和/或距离有关,第二分组值能够是块柱状图差值或图像内容的另一度量。
表2列出了用于检测图像集中的事件和子事件的不同组合的实例。
                    表2
检测 时间差值分群 距离差值分群 块柱状图差值分群
事件 X
事件 X
事件和子事件 X(1) X(2)
事件和子事件 X(1) X(2)
事件和子事件 X(1) X(2)
事件和子事件 X(2) X(1)
事件、子事件和又一子事件 X(1) X(2) X(3)
事件、子事件和又一子事件 X(2) X(1) X(3)
在表2中,“X(n)”表示施加不同算法的次序。
所述方法还能够被用于其他分组方法,尤其是使用除预先使用过的信息以外的信息的分组方法。例如,所述方法能够用于利用时差分群检测图像集合的事件,之前或之后有利用另一方法的替换分群方法,所述另一方法诸如块柱状图分群或者两均值法分群(two-meansclustering)之类(在专利号为No.6,606,411和No.6,351,556的美国专利中公开,在此将其内容引入以供参考)。参照图3,块柱状图分群是分群技术的实例,其中分析图像的内容并将图像分配给对那个分析响应的子集(组或者子组)。为图像对确定块柱状图交叉值(500)。当柱状图交叉值超出预定差值阈值时执行基于块的柱状图相关。

Claims (28)

1.一种图像分类方法,包括下述步骤:
接收多个分组值,所述分组值均具有关联的图像;
计算所述分组值的平均值;
计算所述分组值相对于所述平均值的方差量度;
根据所述方差量度确定适用于所述分组值的分组阈值;
将超过所述分组阈值的分组值标识为组边界;
基于所述组边界分配所述图像到多个组。
2.根据权利要求1所述的方法,其中所述分组值基于时差和距离中的至少一项。
3.根据权利要求2所述的方法,其中所述时差或者距离是相对于序列中的邻接图像的。
4.根据权利要求2所述的方法,其中所述时差或者距离全部是相对于时间基准和地理基准的至少一项的。
5.根据权利要求4所述的方法,其中所述时间或者地理基准对全部所述图像而言是恒定的。
6.根据权利要求1所述的方法,其中所述分组值是在捕获各个图像期间同可移动基准之间的相对距离,并且所述可移动基准在捕获两个或更多所述图像时具有不同的绝对空间位置。
7.根据权利要求6所述的方法,其中所述接收步骤还包括利用多个独立运行的照相机捕获所述图像。
8.根据权利要求1所述的方法,其中所述接收步骤还包括利用多个独立运行的照像机捕获所述图像。
9.根据权利要求8所述的方法,其中所述分组值是时间,并且所述照像机免于实时时钟同步。
10.根据权利要求8所述的方法,还包括指定所述照像机之一作为可移动基准,其中所述分组值均表示在捕获各个图像时各个所述照像机同所述可移动基准之间的间距。
11.根据权利要求1所述的方法,其中所述分组值是块柱状图差值。
12.根据权利要求11所述的方法,其中所述块柱状图差值是相对于时间顺序序列的邻接图像的。
13.根据权利要求1所述的方法,其中所述平均值是算术平均值。
14.根据权利要求1所述的方法,其中所述方差量度是标准偏差。
15.根据权利要求1所述的方法,其中所述图像均具有第二分组值,并且所述方法还包括下述步骤:
关于一个或多个所述组计算各个所述图像的第二分组值的组平均值;
计算各个所述第二分组值相对于每个所述平均值的方差量度;
根据每个所述方差量度确定适用于各个所述组的各自第二分组阈值;
将超过所述各自第二分组阈值的所述第二分组值中的一些标识为各自所述个组的子组边界;
基于各自所述子组边界将所述一个或多个组中的每一个的所述图像分配给多个子组。
16.根据权利要求15所述的方法,其中所述分组值是时差和距离之一。
17.根据权利要求16所述的方法,其中所述第二分组值是所述时差和所述距离中的另一个。
18.根据权利要求16所述的方法,其中所述第二分组值基于图像内容。
19.根据权利要求16所述的方法,其中所述第二分组值是块柱状图差值。
20.根据权利要求1所述的方法,还包括分析一个或多个所述组的所述图像的内容,并将所述一个或多个所述组的所述图像分配给对所述分析响应的子集。
21.根据权利要求1所述的方法,还包括,在所述计算所述平均值之前计算用于定标所述分组值的差值,其中减少相对大的值并保留相对小的值。
22.根据权利要求1所述的方法,其中所述分组阈值由下述等式来表示:
事件阈值=0.2+8.159e(-0.0002*(s^2))
其中
e是自然对数,
s是所述分组值的标准偏差。
23.根据权利要求1所述的方法,其中所述方差量度是标准偏差,方差,平均偏差和样本变化之一。
24.根据权利要求1所述的方法,其中所述图像均具有元数据,所述元数据表示当捕获各个图像时同地理或者时间基准的间距,并且所述计算步骤利用所述元数据。
25.根据权利要求1所述的方法,其中所述计算步骤还包括准备时间或者距离差值柱状图,并向所述柱状图施加映射函数。
26.一种图像分类方法,包括下述步骤:
接收多个分组值,所述分组值均具有关联的图像,所述分组值均表示在捕获各个图像时同地理或者时间基准的间距;
计算所述分组值的算术平均值;
计算所述分组值相对于所述平均值的标准偏差;
确定适用于所述分组值的分组阈值,所述分组阈值是所述标准偏差的倍数;
将超过所述分组阈值的分组值标识为组边界;
基于所述组边界向多个组分配所述图像。
27.一种对图像分类的计算机程序产品,所述计算机程序产品包括具有存储在其中的用于执行下述步骤的计算机程序的计算机可该取存储介质:
接收多个分组值,所述分组值均具有关联的图像;
计算所述分组值的平均值;
计算所述分组值相对于所述平均值的方差量度;
根据所述方差量度确定适用于所述分组值的分组阈值;
将超过所述分组阈值的分组值标识为组边界;
基于所述组边界分配所述图像到多个组。
28.一种图像分类设备,包括:
用于接收多个分组值的装置,所述分组值均具有关联的图像;
用于计算所述分组值的平均值的装置;
用于计算所述分组值相对于所述平均值的方差量度的装置;
用于根据所述方差量度确定适用于所述分组值的分组阈值的装置;
用于将超过所述分组阈值的分组值标识为组边界的装置;
用于基于所述组边界分配所述图像到多个组的装置。
CNA2005800394093A 2004-11-17 2005-11-16 基于方差的事件分群 Pending CN101061477A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/997,411 2004-11-17
US10/997,411 US7653249B2 (en) 2004-11-17 2004-11-17 Variance-based event clustering for automatically classifying images

Publications (1)

Publication Number Publication Date
CN101061477A true CN101061477A (zh) 2007-10-24

Family

ID=35871193

Family Applications (2)

Application Number Title Priority Date Filing Date
CNA2005800394093A Pending CN101061477A (zh) 2004-11-17 2005-11-16 基于方差的事件分群
CNA2005800393866A Pending CN101073078A (zh) 2004-11-17 2005-11-16 按照事件的多层图像聚类

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNA2005800393866A Pending CN101073078A (zh) 2004-11-17 2005-11-16 按照事件的多层图像聚类

Country Status (5)

Country Link
US (1) US7653249B2 (zh)
EP (1) EP1815361A1 (zh)
JP (1) JP2008521133A (zh)
CN (2) CN101061477A (zh)
WO (1) WO2006055514A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253935A (zh) * 2010-05-18 2011-11-23 鸿富锦精密工业(深圳)有限公司 相片分类系统及方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298895B2 (en) * 2003-04-15 2007-11-20 Eastman Kodak Company Method for automatically classifying images into events
CN100573514C (zh) * 2004-12-01 2009-12-23 皇家飞利浦电子股份有限公司 相关内容检索中的位置相似度阈值的调整
JP4881034B2 (ja) * 2005-02-28 2012-02-22 富士フイルム株式会社 電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラム
US7737995B2 (en) * 2005-02-28 2010-06-15 Microsoft Corporation Graphical user interface system and process for navigating a set of images
US7831599B2 (en) * 2005-03-04 2010-11-09 Eastman Kodak Company Addition of new images to an image database by clustering according to date/time and image content and representative image comparison
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP4577173B2 (ja) * 2005-09-29 2010-11-10 ソニー株式会社 情報処理装置および方法、並びにプログラム
KR100735553B1 (ko) * 2005-10-10 2007-07-04 삼성전자주식회사 사진 분류 방법 및 장치
US8392415B2 (en) * 2005-12-12 2013-03-05 Canon Information Systems Research Australia Pty. Ltd. Clustering of content items
US20080085055A1 (en) * 2006-10-06 2008-04-10 Cerosaletti Cathleen D Differential cluster ranking for image record access
US7869658B2 (en) * 2006-10-06 2011-01-11 Eastman Kodak Company Representative image selection based on hierarchical clustering
US8117210B2 (en) * 2006-10-06 2012-02-14 Eastman Kodak Company Sampling image records from a collection based on a change metric
WO2008133046A1 (ja) * 2007-04-13 2008-11-06 Nec Corporation 写真グループ化装置、写真グループ化方法、および写真グループ化用プログラム
US8934717B2 (en) * 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US8706205B2 (en) * 2007-11-29 2014-04-22 Elminda Ltd. Functional analysis of neurophysiological data
US7836093B2 (en) 2007-12-11 2010-11-16 Eastman Kodak Company Image record trend identification for user profiles
US8676001B2 (en) * 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US20100107125A1 (en) * 2008-10-24 2010-04-29 Microsoft Corporation Light Box for Organizing Digital Images
US8396287B2 (en) 2009-05-15 2013-03-12 Google Inc. Landmarks from digital photo collections
US8175335B2 (en) * 2009-06-17 2012-05-08 Sony Corporation Content adaptive detection of images with stand-out object
US8340436B2 (en) * 2009-06-19 2012-12-25 Eastman Kodak Company Detecting significant events in consumer image collections
US20110010509A1 (en) * 2009-07-07 2011-01-13 L3 Communications Integrated Systems,L.P. System and method of sorting and calculating statistics on large data sets with a known value range
US8861897B2 (en) * 2010-02-17 2014-10-14 Shutterfly, Inc. System and methods for creating a collection of images
US8718386B2 (en) * 2010-02-23 2014-05-06 Intellectual Ventures Fund 83 Llc Adaptive event timeline in consumer image collections
US20110211737A1 (en) * 2010-03-01 2011-09-01 Microsoft Corporation Event Matching in Social Networks
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US8406460B2 (en) 2010-04-27 2013-03-26 Intellectual Ventures Fund 83 Llc Automated template layout method
US8406461B2 (en) 2010-04-27 2013-03-26 Intellectual Ventures Fund 83 Llc Automated template layout system
US8660369B2 (en) * 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
AU2011202609B2 (en) * 2011-05-24 2013-05-16 Canon Kabushiki Kaisha Image clustering method
JP5954407B2 (ja) * 2012-03-16 2016-07-20 富士通株式会社 評価サーバ、評価プログラム及び評価方法
KR102203810B1 (ko) * 2013-10-01 2021-01-15 삼성전자주식회사 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
US20150331930A1 (en) * 2014-05-16 2015-11-19 Here Global B.V. Method and apparatus for classification of media based on metadata
US11170037B2 (en) 2014-06-11 2021-11-09 Kodak Alaris Inc. Method for creating view-based representations from multimedia collections
US9471695B1 (en) * 2014-12-02 2016-10-18 Google Inc. Semantic image navigation experiences
AU2015203570A1 (en) * 2015-06-26 2017-01-19 Canon Kabushiki Kaisha Method, system and apparatus for segmenting an image set to generate a plurality of event clusters
US10140516B2 (en) 2015-12-16 2018-11-27 Samsung Electronics Co., Ltd. Event-based image management using clustering
JP6222313B2 (ja) * 2016-08-16 2017-11-01 株式会社バッファロー 情報処理装置、情報処理装置におけるデータ付与方法及びプログラム
CN113849101B (zh) * 2021-11-26 2022-03-11 腾讯科技(深圳)有限公司 信息处理方法、装置、电子设备和计算机可读存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249252B1 (en) * 1996-09-09 2001-06-19 Tracbeam Llc Wireless location using multiple location estimators
US5999639A (en) * 1997-09-04 1999-12-07 Qualia Computing, Inc. Method and system for automated detection of clustered microcalcifications from digital mammograms
US6104835A (en) * 1997-11-14 2000-08-15 Kla-Tencor Corporation Automatic knowledge database generation for classifying objects and systems therefor
US6240424B1 (en) * 1998-04-22 2001-05-29 Nbc Usa, Inc. Method and system for similarity-based image classification
US6606411B1 (en) 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US6351556B1 (en) * 1998-11-20 2002-02-26 Eastman Kodak Company Method for automatically comparing content of images for classification into events
US6404925B1 (en) * 1999-03-11 2002-06-11 Fuji Xerox Co., Ltd. Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition
US6636648B2 (en) * 1999-07-02 2003-10-21 Eastman Kodak Company Albuming method with automatic page layout
US6914626B2 (en) * 2000-02-21 2005-07-05 Hewlett Packard Development Company, L.P. Location-informed camera
US6657661B1 (en) * 2000-06-20 2003-12-02 Hewlett-Packard Development Company, L.P. Digital camera with GPS enabled file management and a device to determine direction
US6904160B2 (en) * 2000-10-18 2005-06-07 Red Hen Systems, Inc. Method for matching geographic information with recorded images
US7007243B2 (en) * 2000-12-20 2006-02-28 Eastman Kodak Company Method and apparatus for producing digital images with embedded image capture location icons
US20020165839A1 (en) * 2001-03-14 2002-11-07 Taylor Kevin M. Segmentation and construction of segmentation classifiers
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
US6633232B2 (en) * 2001-05-14 2003-10-14 Koninklijke Philips Electronics N.V. Method and apparatus for routing persons through one or more destinations based on a least-cost criterion
JP2002344867A (ja) * 2001-05-18 2002-11-29 Fujitsu Ltd 画像データ格納システム
US6847733B2 (en) * 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
US7035467B2 (en) * 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
US7039239B2 (en) * 2002-02-07 2006-05-02 Eastman Kodak Company Method for image region classification using unsupervised and supervised learning
US20040111415A1 (en) * 2002-12-04 2004-06-10 Patricia Scardino Automatic organization of images uploaded to a photo-sharing site
US20040174443A1 (en) * 2003-03-07 2004-09-09 Simske Steven J. System and method for storing of records in a database

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253935A (zh) * 2010-05-18 2011-11-23 鸿富锦精密工业(深圳)有限公司 相片分类系统及方法

Also Published As

Publication number Publication date
US7653249B2 (en) 2010-01-26
US20060126944A1 (en) 2006-06-15
CN101073078A (zh) 2007-11-14
JP2008521133A (ja) 2008-06-19
WO2006055514A1 (en) 2006-05-26
EP1815361A1 (en) 2007-08-08

Similar Documents

Publication Publication Date Title
CN101061477A (zh) 基于方差的事件分群
US7643686B2 (en) Multi-tiered image clustering by event
US8238615B2 (en) Method for comparing photographer aesthetic quality
US8311364B2 (en) Estimating aesthetic quality of digital images
JP5744437B2 (ja) 追尾装置、追尾方法及びプログラム
US8330826B2 (en) Method for measuring photographer's aesthetic quality progress
US8594440B2 (en) Automatic creation of a scalable relevance ordered representation of an image collection
US20120301032A1 (en) Image classification apparatus, image classification method, program, recording medium, integrated circuit, and model creation apparatus
US20070115373A1 (en) Location based image classification with map segmentation
US20030206231A1 (en) Method and apparatus for enhancing digital images utilizing non-image data
US20130051623A1 (en) Geo-Relevance for Images
JP2013225327A (ja) カメラへのユーザ入力に基づく画像値インデックス
US20080219563A1 (en) Configuration of a plurality of images for multi-dimensional display
JP2010506297A (ja) 画像レコードアクセス用異分類クラスタランキング
WO2015167975A1 (en) Rating photos for tasks based on content and adjacent signals
US8351674B2 (en) Image portion identification methods, image parsing methods, image parsing systems, and articles of manufacture
CN114511820A (zh) 货架商品检测方法、装置、计算机设备及存储介质
Bianco et al. Image quality assessment by preprocessing and full reference model combination
KR101545386B1 (ko) 포토앨범 제작 방법 및 시스템
CN110348404B (zh) 一种农村道路景观视觉评价分析方法
CN104917953B (zh) 照片群组产生及操作方法以及使用该方法的装置
JP2010176235A (ja) 画像インターフェース、および画像検索プログラム
TW201822147A (zh) 圖像分類方法及圖像展示方法
CN115620134A (zh) 目标实例数量确定方法、装置、电子设备和存储介质
CN116433638A (zh) 一种筛选图片质量的方法、系统和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20071024

C20 Patent right or utility model deemed to be abandoned or is abandoned