CN102770874B - 用户图像集中的自适应事件时间线 - Google Patents

Abstract

一种用于组织数字图像集的事件时间线的方法，其包括利用处理器来检测数字图像集中的事件和每个事件的相关时间跨度；确定在该数字图像集中重要的被检测事件；以及组织该事件时间线，以便该事件时间线显示该重要事件和其他事件的聚类表示，使其在不同的时间粒度下可被用户使用。经组织的事件时间线也被用于选择图像以便产生输出。

Description

用户图像集中的自适应事件时间线

技术领域

本发明一般涉及数字图像处理领域，特别涉及用于组织多组数字图像以便有效管理和检索用户图像集中的事件的方法。

背景技术

数字照相机、可拍照的手机和扫描器的增加已经导致数字图像和视频的爆炸性增长，形成大量个人多媒体数据库。由于拍摄数字照片很容易并且实践上免费，因此用户不再把拍照局限于重要的事件和特殊场合。图像经常被拍摄，并且在用户的一生中每天都在发生。由于一般的用户已经积累了多年的数字图像和视频，因此浏览图像集以找到在特定事件期间拍摄的图像和视频对于用户来说是非常耗费时间的过程。

已经有将图像分组成事件的成果（work）。美国专利US 6,606,411和美国专利US 6,351,556公开了一种用于通过临时事件和子事件对图像内容进行聚类的算法。上述两个专利教导了如何将数字图像集中的图像和视频聚类成临时的事件和子事件。术语“事件”和“子事件”在客观意义上被用于指示试图匹配特定发生（occurrence）（对应于事件）和这些发生的分区（对应于子事件）的用户客观感觉的计算机中间程序的产品。美国专利US 6,915,011中公开了将图像自动组织成事件的另一种方法。所检测的事件从最早到最近在时间线中按时间顺序排序。

利用上述方法，可以通过沿着时间线观察事件的表示（representative）而不是观察每个图像略图（thumbnail）来减少用户定位特定事件所需的浏览量。但是，一般的用户每年仍然能够产生多于100个此类事件，并且更多产的拍照者每年很容易超过数百个被检测事件。仍然需要创建一种整体事件时间线结构，其能够适应于用户的拍照行为以及在其图像集中的事件的时间粒度（granularity）和选择事件的子集的能力，所述事件的子集概括整体图像集或该图像集中的给定时段。

发明内容

根据本发明，提供一种用于组织数字图像集的事件时间线的方法，其包括利用处理器执行以下步骤：

（a）检测数字图像集中的事件和每个事件的相关时间跨度；

（b）确定数字图像集中重要的被检测事件；以及

（d）组织该事件时间线，以便将在所检测的重要事件之间的事件时间线上的被检测事件分组成在该事件时间线上的聚类（cluster）。

由于一般用户的图像集中的图像和视频的数目迅速增加并且每个用户可能具有不同的拍照行为，因此急需向用户提供对来自其图像集的图像和重要事件的有效访问和检索。在本发明中，按照被检测的事件将用户的拍照行为变换成时间线，其中针对每个时步存在一个数据点。然后，在考虑到被检测事件的重要性和事件的时间粒度两者的情况下，创建基于事件的自适应时间线。

图像和视频的组织及检索对于一般用户来说是一个问题。用户能够容易地访问并浏览其图像集中的事件的概观是非常有用的。在现有技术中公开的技术允许将图像集中的图像分类成事件，但是不能根据其拍照行为自适应地创建针对个体用户定制的事件时间线。因此，缺少用于发现和访问对用户来说重要的事件的有效机制。本发明在考虑到被检测事件的重要性和事件的时间粒度的情况下以不同的时间尺度（scale）创建有效的基于事件的时间线。当用图像的图像集创建输出如剪贴簿/相册和幻灯片时，经组织的时间线能够用于选择图像并确定重点。

附图说明

图1是实施本发明的系统的框图；

图2是由图1实施的方法的整体流程图；

图3是示出图2的方法的一个实施例的更详细流程图；

图4是图2的方法的第二实施例的更详细流程图；

图5示出图2的事件时间线组织器120的输入和输出的具体示例；

图6示出以不同的粒度设定值215生成的事件的具体示例；

图7是图4的事件时间线组织器320的输入和输出的具体示例；以及

图8是使用经组织的事件时间线来创建输出的流程图。

具体实施方式

本发明可以在本领域技术人员熟知的计算机系统中实现。在以下描述中，本发明的一些实施例将被描述为软件程序。本领域技术人员将容易认识到此类方法的等价物也可以被构造成本发明范围内的硬件或软件。

由于图像操控算法和系统是已知的，本说明书将特别关注于形成根据本发明的方法的一部分的算法和系统或者更直接地与该方法结合的算法和系统。本文未具体示出或描述的此类算法和系统的其他方面以及用于产生或以其他方式处理其涉及的图像信号的硬件或软件可以选自本领域已知的此类系统、算法、部件和元件。正如在以下说明书中所阐明的描述，其所有软件实施方式都是常规的并且在本领域的普通技术内。在说明书的其他部分中，图像集中的视频被包括在术语“图像”中。

本发明可以在计算机硬件和计算设备中实现。例如，该方法可以在数字照相机中、多媒体智能手机中、数字打印机中、互联网服务器上、共用电话间、个人计算机上执行。参考图1，其示出用于实现本发明的计算机系统。虽然为了图示说明优选实施例的目的示出了该计算机系统，但是本发明并不限于所示出的计算机系统，而是能够用在诸如数字照相机、家用计算机、共用电话间或用于处理数字图像的任何其他系统中找到的任何电子处理系统上。计算机10包括用于接收和处理软件程序以及用于执行其他处理功能的基于微处理器的单元20（在此也被称为处理器）。存储器单元30存储用户供给的和计算机生成的数据，当运行计算机程序时该数据能够被处理器20访问。显示装置（例如监控器）70被电连接到计算机10，用于例如通过使用图形用户界面显示与软件有关的信息和数据。键盘60也被连接到计算机。作为对使用键盘60来输入的替换选项，鼠标可被用于移动显示装置70上的选择器并用于选择该选择器覆盖的项目，这在本领域是众所周知的。输入装置50诸如压缩磁盘（CD）和DVD能够被插入到计算机10中，用于将软件程序和其他信息输入到计算机10和处理器20。此外，正如本领域所熟知的，计算机10能够被编程以便在内部存储软件程序。另外，可以通过使用输入装置50诸如存储器卡、微型驱动器、CD和DVD，或者通过将拍照装置（例如照相机、手机、录像机）作为输入装置直接连接到计算机10来将媒体文件（例如图像、音乐和视频）传输到计算机10的存储器30。计算机10可以具有网络连接80例如电话线或无线连接，其连接到外部网络例如局域网或因特网。软件程序和媒体文件可以通过网络连接80从其他计算机或因特网传输到计算机10。

还应该注意到，本发明能够以软件或硬件的组合形式实现，而不局限于物理连接的或位于相同物理位置内的装置。图1所示的一个或多个装置可以远距离设置并且可以经由网络连接。一个多个装置可以被无线地例如通过射频链路连接，其或者直接连接，或者通过网络连接。

参考图2，用户的数字图像集105存在于计算机10的存储器30中。该图中的其他框体是由软件程序实现的并且由计算机10的处理器20执行。数字图像集105被提供给事件检测器110和重要事件检测器115。事件检测器115将用户的数字图像集105分组成事件表示（representation）。在优选实施例中，利用美国专利US6,606,411和美国专利US 6,351,556中公开的事件和子事件检测器将数字图像集105分组成临时事件和子事件。上述两个专利教导了如何将数字图像集中的图像和视频聚类（cluster）成临时事件和子事件。术语“事件”和“子事件”在客观意义上被用于指示试图匹配特定发生（occurrence）（对应于事件）和这些发生的分区（对应于子事件）的用户客观感觉的计算机中间程序的产品。简言之，通过基于整个图像集中相邻图像之间的时间差的直方图的双平均聚类（two-meanclustering）确定该图像集的相邻图像之间的时间差的阈值，将图像集分类成事件。基于在边界处具有高于前一步骤中确定的阈值的时间差，图像被分离成对应于事件的组。针对每个事件，可以通过如美国专利US 6,351,556所述比较连续图像的彩色直方图信息来确定子事件（如果存在的话）。这通过将图像划分成多个块并且然后计算每个块的彩色直方图来完成。如美国专利US 6,351,556所述，基于块的直方图关联程序被用于检测子事件边界。将图像自动组织成事件的另一种方法在美国专利US 6,915,011中公开。简言之，根据上述发明的一个方面，事件聚类方法利用前景和背景分割将来自一组的图像聚类成相似事件。开始时，每个图像被划分成多个块，由此提供基于块的图像。利用逐块（block-by-block）比较，每个基于块的图像被分割成至少包括前景和背景的多个区域。从这些区域中提取一个或更多个亮度、颜色、位置或尺寸特征，并且所提取的特征被用于估计和比较该组的连续图像中包括前景和背景的区域的相似性。然后，计算连续图像之间的总相似性的度量，由此提供连续图像之间的图像距离，并且根据该图像距离对事件组进行划界。事件时间跨度是事件的开始和结束之间的时间，其中事件的开始由该事件中的第一图像的拍摄时间表示，并且其结束由该事件中的最后图像的拍摄时间表示（或者如果事件以视频剪辑结束时为视频片段的拍摄的结束）。

参考图2，重要事件检测器115识别数字图像集105中的重要事件。数字图像集105被提供给重要事件检测器115。该检测器利用从由拍摄装置（例如照相机）储存在数字图像集105的图像文件中的EXIF元数据提取的图像拍摄日期和时间信息，生成示出在由数字图像集105覆盖的时段的每个日历日拍摄的图像数目的时间序列。该事件序列被分析以找到拟合该序列的模型。存在很多用于时间序列建模的完善方法（参见“Introduction to Time Series and Forecasting”，Brockwelland Davis,Springer-Verlag 2002）。在这种情况下合适的模型是ARIMA（Auto-Regressive Integrated Moving Average）模型即自回归整合移动平均模型（Brockwell and Davis,supra,pp179-187）。该模型ARIMA（p,d,q）具有三个主要参数：p为自回归分量的阶数，q为移动平均分量的阶数，而d为处理偏离稳态所需要的差分的阶数。图像集中的重要事件被识别为在拟合模型与实际时间序列之间的残差高于指定的阈值即拟合模型较不能预测实际数据的日历日发生。

参考图2，事件时间线组织器120接受由数字图像集105检测的事件和由重要事件检测器115识别的重要事件作为输入。在一个实施例中，事件时间线组织器120保留时间线上的重要事件，并且将位于该时间线上的相邻重要事件之间的事件分组成被称为元事件的聚类。每个事件占据由其时间跨度指定的一段时间线。例如，图5的顶行示出一个时间线，在其上标记了事件和重要事件。该事件时间线组织器产生在图5的底行示出的输出，其中重要事件之间的事件已经被聚类成元事件。由此产生的经组织的事件时间线150具有减少数量的顶级（top-level）分组，该顶级分组包括在时间线上的元事件（其为事件的聚类）和重要事件。因此，呈现给用户较少的聚类顶级视图，同时仍然保留在顶级视图中可访问的潜在感兴趣事件（重要事件）。其他事件可以通过扩展元事件来访问，其可以由它们覆盖的持续时间（例如“2009年2月20日至4月2日”）来描述。

美国专利US 6,606,411的方法也提供一些用于调整从任何给定图像集生成的事件和子事件的数目的关键参数。主参数“粒度”确定事件聚类的整体粒度。有效值在[-1，1]范围内，其中0是“最佳”调谐设定值。较大的值增加由算法找到的事件数目，而较小的值减少事件数目。实际内部机制与调节双平均聚类的各种阈值有关。这些阈值中的一些包括用于整体直方图比较的高低阈值以及用于多块（multi-block）直方图比较的高低阈值，以确定是否合并两个事件或两个子事件。所检测的事件继续在时间线上按照时间顺序从最早到最近排序。图6示出利用粒度参数的不同设定值生成的事件组。该图表绘出在一年的时间跨度期间检测的事件的数目。在所示的示例中，基于所提供的粒度参数设定值，整年的事件的最终数目从少于10到接近170变化。

参考图3，数字图像集105由事件检测器215处理，其中粒度参数设定为覆盖[-1，1]范围的一系列数值。数字图像集105还由重要事件检测器115处理，并且输出被提供给事件时间线组织器320。在事件时间组织器320的这一实施例中，时间线断开成围绕重要事件的时段。该时段的边界在任何两个相邻重要事件之间的时间中点处。在包含重要事件的每个时段内，选择在最小粒度设定值下检测的事件（产生最少的事件），其仍然包含作为被检测事件的重要事件。例如，参考图7，上面三行时间线示出重要事件检测器115在不同粒度（粒度1是最小的，粒度3是最大的）下的输出。重要事件是突出的事件。最后一行示出经组织的事件时间线350，其中时间线的不同时段从不同粒度设定值选择事件，其基于提供该时段中的重要事件的正确表示的最小粒度。该方法确保在经组织的时间线350上能够得到重要事件，并且其他事件以适当粒度围绕该重要事件出现。

参考图4，数字图像集105由事件检测器215处理，其中粒度参数设定为覆盖[-1，1]范围的一系列数值。数字图像集105也由利用不同粒度的时间区间（bin）的重要事件检测器115处理。一组时间单位被确定——这些时间单位可以是几个月（拍摄季节）、一个月、一周、一天或几小时——单位的大小被称为粒度。通过计数在给定的时间单位或区间中拍摄的图像数目产生不同粒度下的时间序列。事件检测器215和重要事件检测器115在不同粒度415下的输出与附加输入420一起被提供给时间粒度选择器425。时间粒度选择器425选择事件粒度并且从其输入组提取对应于该时间粒度的一组事件和重要事件。该附加输入420可以包括用户动作、系统要求或用户偏好。所选择的该组事件和重要事件被传递到先前描述的事件时间线组织器320，以产生经组织的时间线450。也可以利用事件时间线组织器120替代事件时间线组织器320产生针对每个时间粒度的不同的经组织的时间线。在本发明的一个实施例中，用户随后可以从这组事件时间线选择时间线。以如下方式使用附加输入420。在浏览应用中，可以以用户观察图像集时所选择的时间粒度来选择事件和重要事件。例如，如果用户观察几周的短时间跨度，精细的粒度设定值（较大数量）被用来选择事件和重要事件；而如果用户观察长时间跨度（例如五年内的图像集），则为事件和重要事件选择较低的粒度值。在显示能力方面的系统需求也可以规定经组织的事件时间线上的顶级事件的数目，并且因此规定所选择的粒度。例如，如果大约10个事件将适合于显示器，则选择粒度以使得事件和重要事件的数目接近该数目。用户也可以设置以某一粒度观察事件的偏好，并且时间粒度选择器为给定的用户选择这一设定值。

从图像集创建输出相册（硬拷贝）或幻灯片（软拷贝）的挑战之一是选择将要包含的图像以及将要放在每个被选图像上的重点。参考图8，经组织的事件时间线810（可以是150、350或450）提供媒体选择模块820，该媒体选择模块从数字图像集105选择将要使用的图像。媒体选择模块820也接收输出规格815作为输入。输出规格815包括将要选择的图像的数目以及将要用于该选择的时间线部分，例如，从一年的时间跨度选择12个图像以生成照片日历作为输出。媒体选择模块820以如下方式区分所选择的时间跨度中的事件的优先次序。在通过乘以重要性因子（例如2.0）而使重要事件中的图像数目增加之后，以与事件中的图像数目成比例的方式对事件进行加权。以与其权重成比例的方式在事件之间分配输出规格中的图像的数目。令n₁……n_m为m个事件的图像计数，其中，对于重要事件，n=（重要性因子*实际图像计数），而对于其余（非重要）事件，n=实际图像计数。于是，赋予任何事件的权重k为并且赋予该事件的图像数目是（权重*由输出规格指定的图像数目）。应当注意，赋予的图像的分数将需要四舍五入成整数，因而，一些事件可能接收赋予它们的0个图像（如果它们被赋予少于0.5个图像）。

从特定事件中选择给定数量的图像可以简单地基于以相等间隔采样该事件图像来完成。考虑到可以用在该步骤中的图像质量、多样性和特定语义要素如存在的人和物体，还有执行这种选择的更智能的方法。例如，该选择可以基于图像的技术质量（参见A.Loui,M.Wood,A.Scalise,and J.Birkelund,“Multidimensional image value assessment and rating for automated albuming andretrival”, Proc IEEE Intern Conf.on Image Processing(ICIP）,San Diego，California，October 12-15,2008）或图像的美学质量（参见C,Cerosaletti,and A.Loui,“Measuring the perceived aesthetic quality of photographic image,”Proc 1stInternational Workshop on Quality Multimedia Experience (QoMEX), San Diego，California，July 29-31,2009）。但是，这不是本发明的重点，其关注于提供一种在事件级（event-level）上的选择和加权机制。

所选择的图像被提供给重点操作器825。重点操作器825生成重点分数以从所选组中突出特定的图像。在一个实施例中，来自非重要事件的图像具有默认的重点分数，而属于重要事件的被选图像通过将该默认分数乘以大于1.0的重要性因子而被赋予重点分数。该重点分数可以基于针对图像的技术质量的分数（参见A.Loui,M.Wood,A.Scalise,and J.Birkelund,“Multidimensional image valueassessment and rating for automated albuming and retrival”,Proc IEEE Intern Conf.on Image Processing(ICIP）,San Diego，California，October 12-15,2008）或针对图像的美学质量的分数（参见C,Cerosaletti,and A.Loui,“Measuring the perceivedaesthetic quality of Photographic image,”Proc 1st International Workshop on qualityMultimedia Experience(QoMEX),San Diego，California，July 29-31,2009）或者两种分数的组合。输出创建模块850利用重点分数和图像选择来产生图像的创造性表示。对于硬拷贝（例如相簿、日历、卡片），重点分数可以控制图像在输出中的尺寸或在页面中的位置突出。对于软拷贝（例如数字相框、计算机监控器或其他显示装置上的幻灯片），重点分数可以用来分配图像的放映时间，即具有较高重点分数的图像将显示较长的时间。较高的重点分数也可以提供突显（highlighting）的触发，例如以两种展示形式围绕图像的装饰边框。

部件列表

10    计算机

20    处理器

30    存储器

50    输入装置

60    键盘

70    显示装置

80    网络连接

105   数字图像集

110   事件检测器

115   重要事件检测器

120   事件时间线组织器

150   经组织的事件时间线

215   具有不同粒度的事件检测器

320   事件时间线组织器

350   经组织的事件时间线

415   具有不同粒度的重要事件检测器

420   附加输入

425   时间粒度选择器

450   经组织的事件时间线

810   经组织的事件时间线

815   输出规格

820   媒体选择模块

825   重点操作器

850   输出创建模块

Claims (11)

1.一种用于组织数字图像集的方法，包括：

通过计算设备，检测所述数字图像集中的多个事件和所述多个事件中的每个事件的相关时间跨度；

通过计算设备，确定所述数字图像集中的所述多个事件中的重要事件，其中确定重要事件包括：

生成时间序列，该时间序列表示在由数字图像集覆盖的时间段期间捕获的图像的数目；

分析所述时间序列以找出拟合所述时间序列的模型；以及

识别其中模型与所述时间序列之间的残差高于指定阈值的时段，所识别出的时段对应于所述重要事件；以及

通过计算设备，将所述多个事件组织成事件时间线，以便将在所确定的重要事件之间的事件时间线上的被检测事件分组成在该事件时间线上的聚类。

2.根据权利要求1所述的方法，其中检测所述多个事件包括基于所选择的时间粒度来检测所述多个事件。

3.根据权利要求2所述的方法，还包括允许用户浏览与所述多个事件中的至少一个被检测事件相关的图像。

4.一种用于组织数字图像集的方法，包括：

通过计算设备，基于第一选定时间粒度，为第一事件时间线检测所述数字图像集中的第一多个事件和所述第一多个事件中每个事件的相关时间跨度；

通过计算设备，基于不同于第一选定时间粒度的第二选定时间粒度，为第二事件时间线检测所述数字图像集中的第二多个事件和所述第二多个事件中每个事件的相关时间跨度；

通过计算设备，确定所述数字图像集中的所述第一多个事件和所述第二多个事件中的重要事件，其中所述确定包括分别针对第一事件时间线和第二事件时间线：

基于相应的第一选定时间粒度或第二选定时间粒度，生成表示图像数目的时间序列；

分析所述时间序列以找出拟合所述时间序列的模型；以及

识别其中模型与所述时间序列之间的残差高于指定阈值的时段，所识别出的时段对应于所述重要事件；以及

通过计算设备，组织所述第一事件时间线和所述第二事件时间线，以便分别在所述第一事件时间线和所述第二事件时间线上，将在所确定的重要事件之间的被检测事件分组成在相应事件时间线上的聚类，由此产生具有不同的时间粒度的第一事件时间线和第二事件时间线。

5.根据权利要求4所述的方法，还包括：

提供对所述第一事件时间线和所述第二事件时间线的显示；以及

接收用户对所述第一事件时间线或所述第二事件时间线的选择。

6.根据权利要求5所述的方法，还包括允许用户针对所选择的第一事件时间线或第二事件时间线来浏览与与所述多个事件中的至少一个被检测事件相关的图像。

7.一种用于组织数字图像集的方法，包括：

通过计算设备，以不同的时间粒度检测所述数字图像集中的多个事件和所述多个事件中每个事件的相关时间跨度；

通过计算设备，以每个时间粒度确定所述数字图像集中所述多个事件中的重要事件，其中确定重要事件包括：

生成时间序列，该时间序列表示在由数字图像集覆盖的时间段期间捕获的图像的数目；

分析所述时间序列以找出拟合所述时间序列的模型；以及

识别其中模型与所述时间序列之间的残差高于指定阈值的时段，所识别出的时段对应于所述重要事件；

通过计算设备，针对事件时间线上的每个时段，选择事件检测的粒度；以及

通过计算设备，组织所述事件时间线，以便使在每个时段内，所述事件时间线上的所述多个事件基于针对所述时段的事件检测而选择的粒度。

8.根据权利要求7所述的方法，其中基于在给定的时段内选择保留所述重要事件的最少被检测事件来选择事件检测的粒度。

9.一种从数字图像集中选择图像的方法，包括：

通过计算设备，检测所述数字图像集中的多个事件和所述多个事件中每个事件的相关时间跨度；

通过计算设备，确定所述数字图像集中的所述多个事件中的重要事件，其中确定重要事件包括：

生成时间序列，该时间序列表示在由数字图像集覆盖的时间段期间捕获的图像的数目；

分析所述时间序列以找出拟合所述时间序列的模型；以及

识别其中模型与所述时间序列之间的残差高于指定阈值的时段，所识别出的时段对应于所述重要事件；

通过计算设备，基于所述多个事件中每个事件的重要性和与该事件相关的图像的数目对每个事件赋予权重；以及

通过计算设备，响应于所赋予的权重来选择图像。

10.根据权利要求9所述的方法，还包括：

利用重点操作器产生重点分数；并且

基于重点分数控制图像输出的表示。

11.根据权利要求9所述的方法，还包括输出所选择的图像，所述输出包括硬拷贝或软拷贝，所述硬拷贝输出包括剪贴簿、日历、相册、蒙太奇或卡片，所述软拷贝输出包括幻灯片、数字相框或蒙太奇。