CN102265598A - 使用基于内容的过滤和基于主题的聚类将图像布置到页面中 - Google Patents

使用基于内容的过滤和基于主题的聚类将图像布置到页面中 Download PDF

Info

Publication number
CN102265598A
CN102265598A CN2009801523973A CN200980152397A CN102265598A CN 102265598 A CN102265598 A CN 102265598A CN 2009801523973 A CN2009801523973 A CN 2009801523973A CN 200980152397 A CN200980152397 A CN 200980152397A CN 102265598 A CN102265598 A CN 102265598A
Authority
CN
China
Prior art keywords
image
attribute
cluster
page
theme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801523973A
Other languages
English (en)
Inventor
S.P.基特尔
Y.高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN102265598A publication Critical patent/CN102265598A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • G06F16/4387Presentation of query results by the use of playlists
    • G06F16/4393Multimedia presentations, e.g. slide shows, multimedia albums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

为了将图像布置到页面中,接收由至少一个成像设备捕获的图像。应用基于内容的过滤以便移除至少一幅接收的图像以产生图像集合。然后,对集合中的图像执行基于主题的聚类以便产生多个图像聚类,其中所述多个图像聚类与相应的主题关联,所述主题基于时间以及提供图像之间的主题相似性的指示的至少一个其他属性。将所述多个图像聚类映射到输出表示的相应页面。

Description

使用基于内容的过滤和基于主题的聚类将图像布置到页面中
背景技术
数码相机(静态相机和/或视频相机)允许用户捕获大量的数字图像。这样的数码相机中使用的存储卡的容量已经增大,同时存储卡的成本已经下降。此外,一些数码相机现在包括具有相对较大的容量的基于盘的存储装置。
尽管捕获大量的数字图像是容易的,但是组织这样的数字图像对于用户来说经常是一种挑战。必须手工搜索数百或者甚至数千幅数字图像以便组织这些图像通常是可能花费长时间的繁琐的过程。
已经提出了执行数字图像集合的自动聚类(clustering)的一些技术;然而,这样的技术可能不产生令人满意的结果或者可能遭受低效率。
附图说明
本发明的一些实施例将参照以下附图进行描述:
图1为结合了本发明实施例的示例性系统的框图;
图2为依照实施例将图像集合分成页的过程的流程图;
图3为依照实施例执行基于内容的过滤的流程图;以及
图4为依照实施例执行基于主题的聚类的流程图。
具体实施方式
依照一些实施例,提供了执行数字图像的基于主题的自动分页(pagination)的机制,其按主题将图像分组到输出表示的页面上。包括图像页面的输出表示可以是相簿或相册。可替换地,输出表示也可以是照片幻灯片秀或者包括页面的任何其他类型的输出。通常,相簿或相册指的是数字图像的容器,其按主题将数字图像布置到分开的不同页面上以便允许以经过组织的且审美上令人愉悦的方式呈现数字图像。术语“相册”和“相簿”在本文中互换地使用。照片幻灯片秀提供顺序地显示给用户的多个幻灯片(页面)。
相簿可以是用户可以使用诸如计算机、个人数字助理等等之类的电子设备访问的数字文档。可替换地,相簿可以是具有其上布置了图像的多个页面的物理照片簿;例如,在使用依照一些实施例的技术对数字图像分页之后,数字图像的页面可以被打印且装配成物理相簿。
“数字图像”(或者更简单地“图像”)指的是对象(例如场景、人等等)的数字表示。数字图像可以使用诸如静态相机或视频相机之类的相机采集。
使用数码相机,用户可以捕获大量的图像。依照一些实施例的分页机制提供了以基于主题的方式将大量的数字图像组织到页面上的方便且高效的方式。由分页机制得到的相簿的页面与相应主题关联,其中主题可以基于图像中的人、图像的景物、图像中的颜色等等。
为了改进效率,依照一些实施例的基于主题的分页机制执行基于内容的过滤以便移除可能不希望在相簿中的图像。可以从集合中移除的图像的示例可以包括具有相对较低质量的那些图像、被认为无趣的那些图像、重复的那些图像和/或由用户手工标记为不合需要的图像。
基于内容的过滤使用一个或多个过滤准则,包括以下的一个或多个准则:锐度准则,其允许确定图像是否太模糊不清;有趣性准则,其允许确定图像是否无趣或有趣;以及重复准则,其允许确定一幅图像是否是另一幅图像的重复。
通过应用依照一些实施例的基于内容的过滤,可以减少必须考虑用于分页的图像的数目,这降低了执行图像分页中涉及的另外的任务的计算负担。而且,通过执行基于内容的过滤,更加可能的是,最终输出到相簿页面的图像将导致设计良好且审美上令人愉悦的相簿。
在已经执行基于内容的过滤以产生减小的图像集(其中原始图像集合中的一些图像通过使用上面指出的一个或多个过滤准则已经被移除)之后,分页机制接下来执行基于主题的聚类。基于主题的聚类考虑若干聚类属性,包括时间属性以及提供接收的图像之间的主题相似性的指示的至少另一个属性。时间属性规定时间上更近地被捕获的图像倾向于比时间上更远地被捕获的图像更紧密地相关。
在一些实施例中,与时间属性相结合考虑以便执行基于主题的聚类的所述至少另一个属性可以从以下属性中选择:颜色属性(以便允许比较图像以确定这些图像在颜色方面有多紧密相关);面部数目属性(以便允许基于图像中的人数对图像聚类);以及位置属性(以便允许基于地理位置对图像聚类)。
使用面部数目属性对图像聚类可以不是对具有完全相同的面部数目的图像进行过分简单的分组。可以对具有零面部的图像与具有大于零面部的图像之间的区别进行更加强烈的强调。每幅图像具有单个面部的一组图像可以形成强聚类。可替换地,每幅图像具有超过一个面部的一组图像可以形成聚类。不太可能的是,希望从其中其他图像具有4个面部的组中拒绝具有3或5个面部的图像。另一个规则是,如果存在包含比如超过六个面部的大群快照,那么该图像可以设置为占据整个页面,因为这样的群快照通常非常难于获得。
可以考虑用于分组图像的另一个属性是试图对包含(一个或多个)相同的人的图像分组的面部身份属性。例如,可能希望的是将(一个或多个)相同的人的图像放置在一个页面上以便提供个人为中心的主题。
使用聚类属性,基于主题的聚类产生多个图像聚类,其中每个聚类包括至少一幅图像。所述多个聚类与多个主题相对应。这些聚类被映射到相簿的相应页面。
图1示出了包括计算机系统100和一个或多个成像设备的示例性布置,所述成像设备包括静态数码相机102和视频相机104。静态数码相机102和视频相机104能够捕获数字图像,所述数字图像可以在静态数码相机102和视频相机例如通过输入/输出端口(例如通用串行总线或USB端口)或者通过网络(例如局域网、广域网、因特网等等)连接到计算机系统100时传输到计算机系统100。
静态数码相机102和/或视频相机140捕获的数字图像由计算机系统100接收并且作为数字图像集合106存储在计算机系统100的存储装置108中。存储装置108可以是基于盘的存储装置,例如基于磁盘的存储装置或者基于光盘的存储装置。可替换地,存储装置108可以包括半导体存储设备。
计算机系统100也包括能够在一个或多个中央处理单元(CPU)112上执行的分页软件110。分页软件110执行依照一些实施例的分页技术以便将集合106中的图像分页到也存储在存储装置108中的相簿114的页面上。
尽管计算机系统100被描绘成单计算机系统,但是应当指出的是,在一个可替换的实现方式中,计算机系统100可以由多个计算机组成,其中分页软件110可以以分布的方式在多个计算机上执行。
显示设备116也连接到计算机系统100。显示设备116显示与分页软件110关联的图形用户界面(GUI)118。GUI 118可以用来显示包括相簿页面的相簿114。此外,GUI 118可以用来执行关于分页软件110的控制,以便指示分页软件110执行关于图像集合的分页。GUI 118也可以用来调节分页软件110的设置,以便选择哪些过滤准则和聚类属性用于执行分页。
除了在显示设备116中呈现相簿114之外,应当指出的是,也可以通过其他机制输出相簿114。例如,可以在彩色打印机上打印相簿114的页面。可替换地,可以通过网络将相簿发送到远程用户。在该后一种情形下,计算机系统100可以是与服务提供商关联的计算机系统,所述服务提供商例如销售对顾客提供的图像分页的服务的提供商。
图2描绘了依照实施例执行分页的总体流程图。例如由图1的计算机系统100接收(在202处)来自一个或多个成像设备的图像。将这些图像收集到集合106中(或者收集到多个集合中)。应当指出的是,可以实时接收图像以便进行处理,在该情况下,在接收到新图像时执行分页软件110执行的分页。可替换地,可以预先存储图像集合并且在离线模式下执行分页(换言之,当分页执行时,不接收新的图像)。
接收的图像的集合可能相当大。为了增强处理效率并且避免将不希望的图像插入到相簿中,由分页软件110执行基于内容的过滤(在204处)。如果满足了一个或多个过滤准则(如上文所讨论的),那么基于内容的过滤可以从集合中移除一幅或多幅图像。应当指出的是,在一些情况下,如果图像不满足任何过滤准则,那么基于内容的过滤的应用可能不移除任何图像。然而,一般而言,基于内容的过滤的目的是产生减小的图像集。
接下来,分页软件110对减小集中的图像执行(在206处)基于主题的聚类。基于主题的聚类考虑各种聚类属性,包括时间属性、颜色属性、面部数目属性以及位置属性。此外或者可替换地,也可以考虑其他的聚类属性,例如面部身份属性、对象类型属性(例如以便对包含汽车的图像、包含飞机的图像等等进行分组)、活动类型属性(例如以便对涉及诸如足球、篮球等等之类的活动的图像进行分组)或者其他聚类属性。基于主题的聚类产生与多个主题相对应的多个聚类。
然后,将聚类映射(在208处)到相簿的对应页面。该映射可以是一对一映射,或者如果聚类中存在太多的图像,那么可以将聚类的图像映射到多个页面。可替换地,如果在一些聚类中存在不够多的图像,那么可以将这样的聚类映射到一个页面上。
更一般地,代替基于聚类中的图像数目进行映射,映射可以基于聚类中的图像的页面-空间要求。可以确定一些图像应当比其他图像分配更多的相簿页面空间。包含要求更大量的照片簿空间的图像的聚类可以分配更多的照片簿页面。何时希望这样的一个示例是在包含大群人的图像的聚类的情况下。希望的是让该大群图像占据页面上的大量空间,可能地占据整个页面。在这种情况下,即使包含大群快照的聚类中的图像数目不那么大,该聚类也可以分配超过一个页面。
用于确定为图像分配的照片簿页面空间的相对量的准则可以人工确定(例如通过允许用户规定“喜爱的设置”或者通过使用“星级评定”方案)或者通过检测应当占据更多空间的“繁忙(busy)”图像而自动地确定。可以自动地检测的“繁忙程度”的示例包括大群人(例如面部计数大于六)以及包括大量具有显著不同的颜色的小区域的图像。这些度量与下文描述的“权重”准则相同。
聚类的图像被布局在相簿的对应页面上(在210处)。在将聚类的图像布局在页面上时,可以基于分配给相应图像的权重确定每幅图像的尺寸。一旦放置到页面上,聚类中的图像可以与指示图像的相对尺寸的权重关联。第一图像的较高的权重可以指示该第一图像具有比可能与较低的权重关联的第二图像更大的尺寸。在一个示例中,较高的权重可以分配给具有较大面部数目的图像,其指示这样的图像可能是将受益于变得更大从而可以更清楚地观看到面部的群照片。此外,具有相对大量的纹理的图像(繁忙图像)也应当分配较高的权重,从而使得它们在相簿的对应页面上更大。此外,也可以基于面部尺寸和/或颜色变化分配权重。
为了简化在页面上布局图像的过程,可以使用预定义模板。给定聚类的主题,将该主题与模板之一匹配。具有最高匹配分数的模板用来布局该聚类的图像。在一个实现方式中,该匹配涉及选择与分配给页面的图像具有相同数目的图像容纳器、具有相同的取向的模板。如果在该阶段存在匹配选择,那么例如可以依照相对图像尺寸权重被满足的程度对可替换项排列等级。
在其他实现方式中,可以采用更复杂的布局机制。C. Brian Atkins的“Blocked Recursive Image Composition,” Proceeding of the 16th ACM international conference on Multimedia, pp. 821-824 (2008年10月26日)中描述了一种这样的布局机制。这样的算法能够有效地设计适合图像形状的特定组合以及诸如图像的相对权重之类的任何附加规定的模板。
图3中更详细地示出了基于内容的过滤204。基于内容的过滤204包括应用(在302处)重复过滤、应用(在304处)锐度过滤以及应用(在306处)有趣性过滤。
尽管图3中的三种不同的过滤器以特定的顺序示出,但是应当指出的是,这些过滤器在其他实施例中可以以不同的顺序加以应用。此外,图3中所示的一些过滤器可以省略。在其他实现方式中,可以添加其他过滤器。
在302处应用的重复过滤移除重复的图像。只要两幅图像依照计算的一个或多个度量彼此足够相似,那么即使它们不等同,也可以认为这两幅图像是重复的。用户倾向于拍摄相同的场景、人或其他对象的多幅快照。该多幅快照可能具有相同的视图或者可能具有不同的视图(例如,相机关于被拍摄的对象的不同角度)。
重复检测可以完全基于图像的相似性。例如,可以提取一对图像中的颜色聚类,并且可以通过比较这些颜色聚类来查明颜色相似性。图像相似性可以基于该对图像的颜色聚类上的EMD(推土机距离)。在其他实现方式中,其他度量可以用来表示两幅图像之间的颜色聚类的相似性。在一个实现方式中,可以将快速颜色量化算法应用于图像以便提取其的主要颜色聚类。Jun Xiao等人的“Mixed-Initiative Photo Collage Authoring,” Proceeding of the 16th ACM international conference on Multimedia, pp. 509-518 (2008年10月26日)中描述了这样的快速颜色量化算法的一个示例。
可替换地,重复检测也可以基于时间。重复快照倾向于在时间上彼此靠近地被拍摄。因此,如果时间信息在与图像关联的元数据中可用,那么可以提取该时间信息以便用于重复检测。在一个实现方式中,图像的元数据可以处于EXIF(可交换图像文件格式)。EXIF元数据中包含的时间信息处于时间戳的形式。在其他实现方式中,与图像关联的时间信息可以是另一种格式。
为了帮助重复检测,可以训练二元分类器以便以逐对的方式执行重复检测,其中将对中的图像彼此比较以便确定图像是否是彼此的重复物。二元分类器输出结果,其中该结果可以指示对中的图像是彼此的重复物,或者对中的图像不是重复物。二元分类器可以使用由用户人工加标签的图像训练集来训练。一旦经过训练,二元分类器就可以处理新的图像以便标识重复。
在标识重复图像中分类器考虑的图像特征包括上面讨论的颜色聚类相似性,以及与图像关联的时间接近度。重复检测函数Dup(X, Y)可以通过在时间差特征Dt(X, Y)上建立分类器而构造,其中X和Y代表正被比较以寻找重复的两幅图像。时间差特征Dt(X, Y)代表图像X和Y的时间戳之间的距离。分类器也建立在颜色距离特征Dc(X, Y)(其考虑EMD距离以确定图像X和Y中的颜色聚类之间的相似性)上。重复检测函数Dup(X, Y)可以应用于每一对可能的图像。
在一个实现方式中,可以构造重复图,其中图中的两个节点(代表两幅相应的图像)当且仅当它们是重复物(如上面讨论的二元分类器所标识的)时才是连通的。可以在图中标识连通的节点。与两幅重复图像中的较佳图像关联的节点被保留,而代表重复图像的另一个节点被从重复图中移除。“较佳”图像可以是具有更大的面部数目、具有更高的锐度分数、具有更高的颜色变化等等的图像。在从重复图中移除了重复节点之后,最终的结果是与非重复图像相对应的非连通节点的列表。
所应用(在304处)的锐度过滤基于锐度准则。锐度过滤器被设计成移除经常由于运动或者聚焦不良而得到的模糊图像。图像的模糊性经常使图像中的主要边缘弱化。
在一个实现方式中,可以使用以下锐度分数(Q):
Q=强度(e)/熵(h),
其中强度(e)是前10%的最强边缘的平均边缘强度,并且熵(h)为归一化边缘强度直方图的熵。
直观上,非模糊图像具有更强的边缘以及更加多峰的边缘强度分布—因此非模糊图像具有更大的强度(e)和更小的熵(h),导致更大的Q值。预定义锐度阈值Te可以被设置成使得具有小于Te的锐度分数的图像从集合中被移除。
代替使用上面的锐度分数,在其他实施例中可以使用其他类型的分数以便表示图像的锐度(或者锐度的缺乏)。
所应用(在308处)的有趣性过滤器使用有趣性过滤准则。有时,用户拍摄不是“有趣”的快照。令人厌烦的或者无趣的图像可以标识为具有低颜色变化的图像。为了量化“有趣性”分数,可以将上面指出的快速颜色量化算法应用于图像以便提取其主要颜色聚类。
接下来,创建具有最大颜色聚类的平均颜色的均匀参考图像。通过这样做,创建了原始图像的“无趣”版本,使得如果原始图像的颜色变化确实低,那么它与该无趣图像的“颜色距离”应当是小的。为了测量原始图像与产生的无趣图像之间的颜色距离,计算从这两幅图像提取的颜色聚类的EMD距离。将计算的EMD距离与阈值Ti(其是预定义的)进行比较,从而从图像集合中移除具有低于Ti的有趣性分数(EMD距离)的任何图像。
图4中示出了基于主题的聚类206。如上面所讨论的,在由于应用基于内容的过滤(图3中的204)而包含通常比原始图像集合更少的图像的减小的图像集上执行基于主题的聚类。
主题通常表示在诸如时间、颜色、人和位置之类的某个维度上的相似性。时间方面的相似性可以使用时间差函数Dt(X, Y)(上面所讨论的)计算,颜色方面的相似性可以使用颜色距离函数Dc(X, Y) (上面所讨论的)计算,并且基于人的相似性可以基于面部检测函数F(X)来计算。面部检测函数F(X)计算图像X中的面部数目。另一个函数可以用来标识两幅图像代表的地点的相似性。如果图像的元数据包含GPS(全球定位系统)坐标,那么这样的定位信息可以用来执行依照位置的聚类。
为了减小搜索空间,使用以下合理观察:在聚类算法中,时间上更靠近地拍摄的图像应当比时间上更远的图像被给予更高的优先级以便分组在一起。首先将图像集分割(在402处)成非重叠的时间聚类。对于在时间t1, t2, ..., tn+1处拍摄的时间有序的图像序列I1,I2, ..., In+1,时间间隙为g1, g2, ..., gn,其中gi = ti+1 – ti。将图像序列分割成时间聚类的一种简单的方式是挑选阈值G,使得以任何间隙gi将图像序列分解成子集,其中gi>G。得到的图像子集序列(时间聚类)为S1, S2, ..., Sm,其中m ≤ n+1。
接下来,在每个得到的时间聚类内,基于主题的聚类试图使用主题组检测器集检测(在404处)主题分组,所述主题组检测器包括检测时间相似性、颜色相似性、面部数目、面部身份、位置接近度和/或基于其他聚类属性的相似性的上述函数。被成功分组的图像从时间聚类中移除(在406处)并且传送到208以供分页。该过程可以对时间聚类中剩余的图像重复以便从该时间聚类中找到附加的主题聚类。当时间聚类中的图像已经用完或者不能找到另外的聚类时,算法迭代到下一时间聚类,直到时间聚类序列被用完,如所确定的那样(在408处)。
该机制允许图像在相簿中出现的顺序偏离拍摄图像的时间顺序。尽管时间聚类在照片簿中保持其时间序列,但是用于页面分组的基于主题的聚类可以使得时间聚类中的图像在其出现在相簿中时被重新排序。
在一个实施例中,主题组检测器工作如下。给定图像节点集,检测器首先构造主题图,该主题图包含代表减小的图像集的图像的所有节点。接下来,如果以下一个或多个主题条件被满足,则构造任何两个节点之间的边缘:图像在颜色方面相似(基于函数Dc(X, Y)的输出与颜色相似性阈值的比较),图像在时间上靠近(基于函数Dt(X, Y)的输出与时间阈值的比较),基于每幅图像中的面部数目确定图像相似(上文进一步讨论的),图像包含(一个或多个)相同的人,以及图像在相似的位置拍摄(基于计算两幅图像之间的地理距离的函数的输出与位置阈值的比较)。然后,可以通过找到主题图的团或连通分量而标识主题组。
可以由依照一些实施例的分页软件110执行的另一个任务是选择封面图像以用作相簿的封面。分页软件110从经受分页的图像集中挑选候选封面图像。假设活动突发(“突发”表示在少量时间内拍摄的相对大量的图像快照)与有趣事件(对于拍摄图像快照的用户而言)关联。因此,候选封面图像是在所述突发之一内发生的图像。从每个突发中挑选的候选封面图像可以基于某个准则,例如涉及面部数目的准则(例如,从图像突发中选择的候选封面图像是具有最大面部数目的图像)。在其他实现方式中可以使用其他的准则。
将候选封面图像呈现给用户,该用户于是可以从这些候选封面图像中选择封面图像以用于相簿。
加载上面描述的软件(包括图1的分页软件110)的指令以便在处理器(例如一个或多个图1中的CPU 112)上执行。该处理器包括微处理器、微控制器、处理器模块或子系统(包括一个或多个微处理器或微控制器)或者其他控制或计算设备。如在本文中使用的,“处理器”可以指单个部件或多个部件(例如一个CPU或多个CPU)。
将(软件的)指令和数据存储在相应的存储设备中,所述存储设备实现为一个或多个计算机可读或计算机可用的存储介质。该存储介质包括不同形式的存储器,包括:半导体存储器设备,例如动态或静态随机存取存储器(DRAM或SRAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存;磁盘,例如固定盘、软盘和可移除盘;其他的磁性介质,包括磁带;以及光学介质,例如紧致盘(CD)或数字视频盘(DVD)。应当指出的是,上面讨论的软件的指令可以在计算机可读或计算机可用存储介质上提供,或者可替换地,可以在可能地具有多个节点的大系统中分布的多个计算机可读或计算机可用存储介质上提供。这样的一个或多个计算机可读或计算机可用存储介质被认为是物品(或制品)的一部分。物品或制品可以指任何制造的单个部件或多个部件。
在前面的描述中,阐述了许多细节以便提供对于本发明的理解。然而,本领域技术人员应当理解的是,本发明可以在没有这些细节的情况下实施。尽管针对有限数目的实施例公开了本发明,但是本领域技术人员应当理解由此引出的许多修改和变型。预期的是,所附权利要求覆盖了落入本发明的真实精神和范围之内的这样的修改和变型。

Claims (16)

1. 一种由计算机执行的将图像布置到页面中的方法,包括:
接收由至少一个成像设备捕获的图像;
应用基于内容的过滤以便在满足至少一个过滤准则的情况下移除至少一幅接收的图像以产生图像集合;
对集合中的图像执行基于主题的聚类以便产生多个图像聚类,其中所述多个图像聚类与相应的主题关联,所述主题基于时间以及提供图像之间的主题相似性的指示的至少一个其他属性;以及
将所述多个图像聚类映射到输出表示的相应页面。
2. 权利要求1的方法,其中应用基于内容的过滤包括标识重复图像并且移除重复图像。
3. 权利要求1或2的方法,其中应用基于内容的过滤包括在满足涉及接收的图像的锐度的所述至少一个准则的情况下移除所述至少一幅接收的图像。
4. 前面的权利要求中任何一项的方法,其中应用基于内容的过滤包括在满足指示接收的图像的有趣性的所述至少一个准则的情况下移除所述至少一幅接收的图像。
5. 前面的权利要求中任何一项的方法,其中所述至少一个其他属性包括涉及集合的图像之间的颜色相似性的属性。
6. 权利要求5的方法,其中所述至少一个其他属性进一步包括涉及集合中每幅图像中的人面部数目或人的身份的另一个属性。
7. 权利要求5的方法,其中所述至少一个其他属性进一步包括涉及集合中的图像描绘的位置的另一个属性。
8. 前面的权利要求中任何一项的方法,其中将图像聚类映射到输出表示的相应页面包括将所述图像聚类映射到相簿的相应页面。
9. 前面的权利要求中任何一项的方法,进一步包括将聚类的图像布局到相应的页面中,其中布局图像包括将权重分配给所述聚类的特定聚类内的多幅图像,并且其中所述权重指示与所述特定聚类对应的页面中的所述多幅图像的相应尺寸。
10. 权利要求9的方法,进一步包括基于所述特定聚类中的图像的权重将一定数目的页面分配给该特定聚类。
11. 权利要求9的方法,其中基于从以下选择的至少一个准则确定权重:颜色变化,面部数目,面部尺寸和用户规定。
12. 一种包括至少一个计算机可读存储介质的物品,所述存储介质包含指令,所述指令在执行时使得计算机执行前面的权利要求中任何一项的方法。
13. 一种计算机系统,包括:
存储图像的存储装置;以及
处理器,其用于:
通过将基于内容的过滤应用于存储的图像而产生图像集,使得在满足至少一个过滤准则的情况下从该集中移除至少一幅存储的图像;
产生多个聚类,其中每个聚类包括该集中的至少一幅图像,其中所述多个聚类基于该集中的图像的时间属性以及进一步基于提供该集中的图像之间的主题相似性的指示的至少一个其他属性而产生;以及
将聚类的图像输出到输出表示的对应页面。
14. 权利要求13的计算机系统,其中基于内容的过滤基于以下过滤准则中的一个或多个:重复准则,锐度准则和有趣性准则。
15. 权利要求13或14的计算机系统,其中所述至少一个其他属性包括从以下选择的属性:涉及该集的图像之间的颜色相似性的属性,涉及该集中每幅图像中的人面部数目的属性,涉及该集中每幅图像中的面部身份的属性,对象类型属性,活动类型属性以及涉及该集中的图像的位置的属性。
16. 前面的权利要求中任何一项的计算机系统,其中处理器进一步标识用于输出表示的候选封面图像,并且将所述候选封面图像呈现给用户以便选择为用于输出表示的封面图像。
CN2009801523973A 2008-10-26 2009-02-26 使用基于内容的过滤和基于主题的聚类将图像布置到页面中 Pending CN102265598A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10852308P 2008-10-26 2008-10-26
US61/108523 2008-10-26
PCT/US2009/035279 WO2010047843A1 (en) 2008-10-26 2009-02-26 Arranging images into pages using content-based filtering and theme-based clustering

Publications (1)

Publication Number Publication Date
CN102265598A true CN102265598A (zh) 2011-11-30

Family

ID=42119590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801523973A Pending CN102265598A (zh) 2008-10-26 2009-02-26 使用基于内容的过滤和基于主题的聚类将图像布置到页面中

Country Status (5)

Country Link
US (1) US20110205399A1 (zh)
EP (1) EP2351352A4 (zh)
JP (1) JP2012507189A (zh)
CN (1) CN102265598A (zh)
WO (1) WO2010047843A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622424A (zh) * 2012-02-23 2012-08-01 广州商景网络科技有限公司 多电子相册展示方法及系统
CN102930523A (zh) * 2012-11-12 2013-02-13 北京奇虎科技有限公司 图片处理系统和图片拼接实现方法
CN104133917A (zh) * 2014-08-15 2014-11-05 百度在线网络技术(北京)有限公司 照片的分类存储方法及装置
CN104182415A (zh) * 2013-05-27 2014-12-03 佳能株式会社 用于将多个对象布置到输出单位上的方法和设备
CN104216976A (zh) * 2014-09-01 2014-12-17 广东欧珀移动通信有限公司 一种移动终端图片分组查看方法及系统
CN104584081A (zh) * 2012-09-03 2015-04-29 索尼公司 信息处理设备、信息处理方法和程序
CN105144139A (zh) * 2013-03-28 2015-12-09 惠普发展公司,有限责任合伙企业 生成特征集
CN105493078A (zh) * 2013-06-14 2016-04-13 微软技术许可有限责任公司 彩色草图图像搜索
CN106558034A (zh) * 2015-09-30 2017-04-05 北京奇虎科技有限公司 一种在移动设备中清理图像数据的方法和装置
CN106557731A (zh) * 2015-09-30 2017-04-05 北京奇虎科技有限公司 一种多媒体数据的浏览方法和装置
CN108255406A (zh) * 2018-01-25 2018-07-06 努比亚技术有限公司 人物相册封面生成方法、移动终端及计算机可读存储介质
CN108335314A (zh) * 2018-02-28 2018-07-27 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
WO2018191889A1 (zh) * 2017-04-19 2018-10-25 广东欧珀移动通信有限公司 照片处理方法、装置及计算机设备
CN108804652A (zh) * 2018-06-07 2018-11-13 腾讯科技(深圳)有限公司 封面图片的生成方法、装置、存储介质和电子装置
CN109597928A (zh) * 2018-12-05 2019-04-09 云南电网有限责任公司信息中心 支持用户策略配置的基于Web网络的非结构化文本获取方法
CN111143590A (zh) * 2019-12-25 2020-05-12 上海云从企业发展有限公司 图像过滤方法、系统、设备及机器可读介质

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8639028B2 (en) * 2006-03-30 2014-01-28 Adobe Systems Incorporated Automatic stacking based on time proximity and visual similarity
CN102388003B (zh) * 2009-03-02 2014-11-19 苹果公司 用于强化用于便携式电子设备的玻璃盖的技术
WO2010151255A1 (en) 2009-06-24 2010-12-29 Hewlett-Packard Development Company, L.P. Image album creation
US10574614B2 (en) 2009-08-03 2020-02-25 Picpocket Labs, Inc. Geofencing of obvious geographic locations and events
US9544379B2 (en) 2009-08-03 2017-01-10 Wolfram K. Gauglitz Systems and methods for event networking and media sharing
CN102348171B (zh) * 2010-07-29 2014-10-15 国际商业机器公司 消息处理方法及其系统
JP5773618B2 (ja) * 2010-11-08 2015-09-02 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、プログラム
US20120159326A1 (en) * 2010-12-16 2012-06-21 Microsoft Corporation Rich interactive saga creation
US8774530B1 (en) * 2010-12-22 2014-07-08 Emc Corporation Automated diagnostic analysis of image data
JP2012137838A (ja) * 2010-12-24 2012-07-19 Ricoh Co Ltd 情報処理装置、レイアウト生成方法、およびプログラム
US8923629B2 (en) 2011-04-27 2014-12-30 Hewlett-Packard Development Company, L.P. System and method for determining co-occurrence groups of images
JP5820142B2 (ja) * 2011-04-27 2015-11-24 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
US20120294514A1 (en) * 2011-05-19 2012-11-22 Xerox Corporation Techniques to enable automated workflows for the creation of user-customized photobooks
CN102810042B (zh) * 2011-06-02 2015-04-29 宏达国际电子股份有限公司 影像缩图的版面产生方法及系统
US20130067346A1 (en) * 2011-09-09 2013-03-14 Microsoft Corporation Content User Experience
JP5204283B2 (ja) * 2011-09-27 2013-06-05 楽天株式会社 画像編集装置、画像編集方法、プログラムおよびコンピュータ読み取り可能な記憶媒体
US9280545B2 (en) * 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
US9143601B2 (en) 2011-11-09 2015-09-22 Microsoft Technology Licensing, Llc Event-based media grouping, playback, and sharing
US20130239030A1 (en) * 2012-03-06 2013-09-12 Apple Inc. Application for publishing journals
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US9189876B2 (en) 2012-03-06 2015-11-17 Apple Inc. Fanning user interface controls for a media editing application
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
US9424280B2 (en) * 2012-12-28 2016-08-23 Animoto Inc. Organizing media items based on metadata similarities
US10474407B2 (en) 2013-10-10 2019-11-12 Pushd, Inc. Digital picture frame with automated interactions with viewer and viewer devices
US10824666B2 (en) * 2013-10-10 2020-11-03 Aura Home, Inc. Automated routing and display of community photographs in digital picture frames
US10467279B2 (en) 2013-12-02 2019-11-05 Gopro, Inc. Selecting digital content for inclusion in media presentations
WO2016098458A1 (ja) * 2014-12-15 2016-06-23 ソニー株式会社 情報処理方法、映像処理装置及びプログラム
US10785323B2 (en) 2015-01-05 2020-09-22 Picpocket Labs, Inc. Use of a dynamic geofence to control media sharing and aggregation associated with a mobile target
JPWO2017002505A1 (ja) * 2015-06-30 2018-04-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN105072337B (zh) * 2015-07-31 2019-03-26 小米科技有限责任公司 图片处理方法及装置
US10140516B2 (en) * 2015-12-16 2018-11-27 Samsung Electronics Co., Ltd. Event-based image management using clustering
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
JP6723937B2 (ja) * 2017-01-31 2020-07-15 キヤノン株式会社 プログラム、画像処理装置、および画像処理方法
US11238164B2 (en) * 2017-07-10 2022-02-01 Burstiq, Inc. Secure adaptive data storage platform
CN107977674B (zh) * 2017-11-21 2020-02-18 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
US20200151494A1 (en) * 2018-11-13 2020-05-14 Kristi Ann CLIFT Method, System and Apparatus for Duplicate Images
US11170044B2 (en) * 2019-01-02 2021-11-09 International Business Machines Corporation Personalized video and memories creation based on enriched images
WO2021262183A1 (en) 2020-06-25 2021-12-30 Google Llc Automatic generation of people groups and image-based creations
US11651096B2 (en) 2020-08-24 2023-05-16 Burstiq, Inc. Systems and methods for accessing digital assets in a blockchain using global consent contracts
US11861259B1 (en) 2023-03-06 2024-01-02 Aura Home, Inc. Conversational digital picture frame

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324545B1 (en) * 1997-10-15 2001-11-27 Colordesk Ltd. Personalized photo album
EP0990997A1 (en) * 1998-09-29 2000-04-05 Eastman Kodak Company A method for controlling and managing redundancy in an image database by elimination of automatically detected exact duplicate and near duplicate images
US6636648B2 (en) * 1999-07-02 2003-10-21 Eastman Kodak Company Albuming method with automatic page layout
US20050210413A1 (en) * 1999-11-24 2005-09-22 Quek Su M Utilization of digital images
JP2004246868A (ja) * 2003-01-22 2004-09-02 Canon Inc 画像抽出方法及び該方法をコンピュータに実行させるプログラム
US20040250205A1 (en) * 2003-05-23 2004-12-09 Conning James K. On-line photo album with customizable pages
WO2005065283A2 (en) * 2003-12-24 2005-07-21 Walker Digital, Llc Method and apparatus for automatically capturing and managing images
US7296224B2 (en) * 2004-04-23 2007-11-13 Hewlett-Packard Development Company, L.P. Method for assigning graphical images to pages
EP1805684A4 (en) * 2004-10-12 2008-10-22 Samsung Electronics Co Ltd METHOD, MEDIUM AND DEVICE FOR PERSON-BASED PHOTOCLUSTERING IN A DIGITAL PHOTO ALBUM AND METHOD, MEDIUM AND DEVICE FOR CREATING A PERSON-BASED DIGITAL PHOTOALBUM
US7831599B2 (en) * 2005-03-04 2010-11-09 Eastman Kodak Company Addition of new images to an image database by clustering according to date/time and image content and representative image comparison
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4708875B2 (ja) * 2005-06-20 2011-06-22 キヤノン株式会社 ファイル管理装置、ファイル管理方法、プログラム、および記憶媒体
JP2007121548A (ja) * 2005-10-26 2007-05-17 Olympus Imaging Corp 画像管理装置、画像管理プログラム、画像管理方法及び記録媒体
US7663671B2 (en) * 2005-11-22 2010-02-16 Eastman Kodak Company Location based image classification with map segmentation
JP4704217B2 (ja) * 2006-01-19 2011-06-15 富士フイルム株式会社 アルバム作成システム、アルバム作成方法およびアルバム作成プログラム
US7783085B2 (en) * 2006-05-10 2010-08-24 Aol Inc. Using relevance feedback in face recognition
US8176065B2 (en) 2006-10-13 2012-05-08 Sony Corporation System and method for automatic selection of digital photo album cover
US20090112800A1 (en) * 2007-10-26 2009-04-30 Athellina Rosina Ahmad Athsani System and method for visual contextual search

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622424A (zh) * 2012-02-23 2012-08-01 广州商景网络科技有限公司 多电子相册展示方法及系统
CN104584081B (zh) * 2012-09-03 2018-04-27 索尼公司 信息处理设备、信息处理方法和程序
CN104584081A (zh) * 2012-09-03 2015-04-29 索尼公司 信息处理设备、信息处理方法和程序
CN102930523A (zh) * 2012-11-12 2013-02-13 北京奇虎科技有限公司 图片处理系统和图片拼接实现方法
CN105144139A (zh) * 2013-03-28 2015-12-09 惠普发展公司,有限责任合伙企业 生成特征集
US10331799B2 (en) 2013-03-28 2019-06-25 Entit Software Llc Generating a feature set
CN104182415A (zh) * 2013-05-27 2014-12-03 佳能株式会社 用于将多个对象布置到输出单位上的方法和设备
CN104182415B (zh) * 2013-05-27 2019-03-22 佳能株式会社 用于将多个对象布置到输出单位上的方法和设备
US10528620B2 (en) 2013-06-14 2020-01-07 Microsoft Technology Licensing, Llc Color sketch image searching
CN105493078B (zh) * 2013-06-14 2019-07-23 微软技术许可有限责任公司 彩色草图图像搜索
CN105493078A (zh) * 2013-06-14 2016-04-13 微软技术许可有限责任公司 彩色草图图像搜索
US10146796B2 (en) 2014-08-15 2018-12-04 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for photograph classification and storage
WO2016023336A1 (zh) * 2014-08-15 2016-02-18 百度在线网络技术(北京)有限公司 照片的分类存储方法、装置、设备和计算机存储介质
CN104133917A (zh) * 2014-08-15 2014-11-05 百度在线网络技术(北京)有限公司 照片的分类存储方法及装置
CN104133917B (zh) * 2014-08-15 2018-08-10 百度在线网络技术(北京)有限公司 照片的分类存储方法及装置
CN104216976B (zh) * 2014-09-01 2018-09-04 广东欧珀移动通信有限公司 一种移动终端图片分组查看方法及系统
CN104216976A (zh) * 2014-09-01 2014-12-17 广东欧珀移动通信有限公司 一种移动终端图片分组查看方法及系统
CN106557731A (zh) * 2015-09-30 2017-04-05 北京奇虎科技有限公司 一种多媒体数据的浏览方法和装置
CN106558034A (zh) * 2015-09-30 2017-04-05 北京奇虎科技有限公司 一种在移动设备中清理图像数据的方法和装置
WO2018191889A1 (zh) * 2017-04-19 2018-10-25 广东欧珀移动通信有限公司 照片处理方法、装置及计算机设备
US11429660B2 (en) 2017-04-19 2022-08-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Photo processing method, device and computer equipment
CN108255406A (zh) * 2018-01-25 2018-07-06 努比亚技术有限公司 人物相册封面生成方法、移动终端及计算机可读存储介质
CN108335314A (zh) * 2018-02-28 2018-07-27 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
CN108804652A (zh) * 2018-06-07 2018-11-13 腾讯科技(深圳)有限公司 封面图片的生成方法、装置、存储介质和电子装置
CN109597928A (zh) * 2018-12-05 2019-04-09 云南电网有限责任公司信息中心 支持用户策略配置的基于Web网络的非结构化文本获取方法
CN109597928B (zh) * 2018-12-05 2022-12-16 云南电网有限责任公司信息中心 支持用户策略配置的基于Web网络的非结构化文本获取方法
CN111143590A (zh) * 2019-12-25 2020-05-12 上海云从企业发展有限公司 图像过滤方法、系统、设备及机器可读介质

Also Published As

Publication number Publication date
WO2010047843A1 (en) 2010-04-29
EP2351352A1 (en) 2011-08-03
JP2012507189A (ja) 2012-03-22
US20110205399A1 (en) 2011-08-25
EP2351352A4 (en) 2012-11-14

Similar Documents

Publication Publication Date Title
CN102265598A (zh) 使用基于内容的过滤和基于主题的聚类将图像布置到页面中
CN102132318B (zh) 图像收藏集的可缩放的相关性排序表示的自动创建
JP5934653B2 (ja) 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
CN102737089B (zh) 图像处理装置和图像处理方法
US8730397B1 (en) Providing a photobook of video frame images
US9785653B2 (en) System and method for intelligently determining image capture times for image applications
JP5632084B2 (ja) コンシューマ配下画像集における再来性イベントの検出
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
Tao et al. Skyfinder: attribute-based sky image search
CN101510205B (zh) 实现相片自动聚类的方法、装置及系统
US20070195344A1 (en) System, apparatus, method, program and recording medium for processing image
CN104133917A (zh) 照片的分类存储方法及装置
CN1680939A (zh) 数字文件和数据的快速可视分类
US20160179846A1 (en) Method, system, and computer readable medium for grouping and providing collected image content
CN109447186A (zh) 聚类方法及相关产品
CN101334780A (zh) 人物影像的搜寻方法、系统及存储影像元数据的记录媒体
CN110348347A (zh) 一种信息处理方法及装置、存储介质
JP2011055169A (ja) 電子機器及び映像処理方法
JP2007317077A (ja) 画像分類装置および方法ならびにプログラム
Barthel et al. Graph-based browsing for large video collections
Pigeau et al. Building and tracking hierarchical geographical & temporal partitions for image collection management on mobile devices
CN105488526A (zh) 群共享照片的自动筛选方法
CN115880754A (zh) 一种多档合并的方法、装置及电子设备
Ahmad et al. Event recognition in personal photo collections: An active learning approach
CN112100427A (zh) 视频处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20111130

C20 Patent right or utility model deemed to be abandoned or is abandoned