CN102065196A - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN102065196A
CN102065196A CN2010105440989A CN201010544098A CN102065196A CN 102065196 A CN102065196 A CN 102065196A CN 2010105440989 A CN2010105440989 A CN 2010105440989A CN 201010544098 A CN201010544098 A CN 201010544098A CN 102065196 A CN102065196 A CN 102065196A
Authority
CN
China
Prior art keywords
image
time
production date
images
information processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105440989A
Other languages
English (en)
Inventor
佐佐哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102065196A publication Critical patent/CN102065196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种从在事件中拍摄的多个图像中选择预定数目的图像的信息处理装置、信息处理方法及程序。该信息处理装置包括:图像分析部分,分析并计算图像各自的评估值;第一和第二聚集部分,当按照摄制日期和时间的顺序重新排列多个图像时,基于邻近图像的摄制日期和时间以及距离之间的差,分别确定第一和第二界限组,所述第一和第二界限组包括用于将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件的多个界限;分类部分,依据所确定的界限组将多个图像分类到多个子事件;以及图像选择部分,通过排除具有小的评估值的图像来确定要选择的图像。

Description

信息处理装置、信息处理方法及程序
技术领域
本发明涉及信息处理装置、信息处理方法及程序。例如,本发明涉及一种通过自动地从用户在旅行时拍摄的大量图像中选择允许该用户观看他/她旅行的图像、而在用户进行幻灯片放映时优选使用的信息处理装置、信息处理方法及程序。
背景技术
迄今,数字照相机通常已经配备了所谓的幻灯片放映功能。幻灯片放映功能是例如按照摄制的顺序或者按照随机的顺序依序回放拍摄的和存储的图像,并且在显示单元上显示该图像(例如,参见日本未审查专利申请公开NO.2005-110088)。
顺带提及,当数字照相机的用户在诸如旅行之类等等的事件中拍摄了大量图像,然后使用相关技术的幻灯片放映功能进行回放以显示图像时,花费了太多的时间来观看所有的图像,这是因为图像的数目太大了。为了防止该情况,用户应当从大量的摄制图像中选择预定数目的图像,并且使用这些图像进行幻灯片放映。
发明内容
为了以预定比例(rate)从大量的摄制图像中选择图像,想到了例如随机地选择图像,或者基于预定的评估准则对各个摄制图像计算评估值,并且然后基于该评估值选择图像。
然而,在上述的情形下,有时候未显示用户想要观看的图像。此外,依赖于评估准则,图像的选择可能是错乱的(unbalanced),并且可能发生以下情形:即使用户观看通过幻灯片放映显示的所有图像,用户也未能掌握事件的整个流程。
鉴于这些情况,做出了本发明。期望允许用户从在事件中拍摄的大量图像中选择使得可以掌握该事件的整个流程的图像。
根据本发明的实施例,提供了一种从在事件中拍摄的多个图像中选择预定数目的图像的信息处理装置,所述信息处理装置包括:图像分析部件,用于分析多个图像,并且计算图像各自的评估值;第一聚集部件,当按照摄制日期和时间的顺序重新排列多个图像时,基于指示邻近图像的摄制日期和时间之间的差的时间差值,确定包括多个界限(boundary)的第一界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的多个图像分类(sort)到多个子事件(sub-event);第二聚集部件,当按照摄制日期和时间的顺序重新排列多个图像时,基于指示邻近图像的摄制位置之间的差的距离差值,确定包括多个界限的第二界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件;分类部件,用于依据所确定的第一和第二界限组将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件;以及图像选择部件,用于通过在为每个子事件所分类的图像中排除具有小的评估值的图像来确定要选择的图像。
分类部件可以使用第一界限组和第二界限组的逻辑相加作为界限而将按照摄制日期和时间重新排列的多个图像分类到多个子事件。
图像选择部件可以按照评估值的升序通过从为每个子事件所分类的图像中排除预定比例的图像来确定要选择的图像。
根据本发明的实施例的信息处理装置还可以包括指定部件,用于允许用户指定包括以下中的至少一个的选项作为图像选择部件选择图像的原则:人物图像优先、风景图像优先或者正常。
根据本发明的实施例的信息处理装置还可以包括类似图像检测部件,用于在多个图像中检测类似图像组,并且在属于该类似图像组的图像中排除具有最大评估值的图像以外的图像。
图像分析部件可以针对多个图像中的每一个图像计算用于评估以下中的至少一个的评估值:类似图像的数目、要作为对象的人物的面部的大小、人物的数目、人物的表情、人物的布置、包括人物的组,或者要作为对象的风景的布局。
根据本发明的实施例的信息处理装置还可以包括:图像拍摄部件,用于拍摄图像;以及获取部件,用于获取指示图像的摄制日期和时间以及摄制地点的信息。
根据本发明的另一实施例,提供了一种在信息处理装置中处理信息的方法,所述信息处理装置从在事件中拍摄的多个图像中选择预定数目的图像,所述方法包括以下步骤:通过信息处理装置,分析多个图像。并且计算图像各自的评估值;第一聚集,当按照摄制日期和时间的顺序重新排列多个图像时,基于指示邻近图像的摄制日期和时间之间的差的时间差值,确定包括多个界限的第一界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件;第二聚集,当按照摄制日期和时间的顺序重新排列多个图像时,基于指示邻近图像的摄制位置之间的差的距离差值,确定包括多个界限的第二界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件;依据所确定的第一和第二界限组将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件;以及图像选择,通过在为每个子事件所分类的图像中排除具有小的评估值的图像来确定要选择的图像。
根据本发明的另一实施例,提供了一种用于控制从在事件中拍摄的多个图像中选择预定数目的图像的信息处理装置的程序,所述程序使得信息处理装置的计算机执行包括以下步骤的处理:分析多个图像,并且计算图像各自的评估值;第一聚集,当按照摄制日期和时间的顺序重新排列多个图像时,基于指示邻近图像的摄制日期和时间之间的差的时间差值,确定包括多个界限的第一界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件;第二聚集,当按照摄制日期和时间的顺序重新排列多个图像时,基于指示邻近图像的摄制位置之间的差的距离差值,确定包括多个界限的第二界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件;依据所确定的第一和第二界限组将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件;以及图像选择,通过在为每个子事件所分类的图像中排除具有小的评估值的图像来确定要选择的图像。
在本发明的实施例中,分析多个图像并且计算图像各自的评估值。当按照摄制日期和时间的顺序重新排列多个图像时,基于指示邻近图像的摄制日期和时间之间的差的时间差值,确定包括多个界限的第一界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件。而且,当按照摄制日期和时间的顺序重新排列多个图像时,基于指示邻近图像的摄制位置之间的差的距离差值,确定包括多个界限的第二界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件。另外,依据所确定的第一和第二界限组将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件。而且,通过在为每个子事件所分类的图像中排除具有小的评估值的图像来确定要选择的图像。
通过本发明的实施例,可以允许用户从在事件中拍摄的大量图像中选择使得可能掌握该事件的整个流程的图像。
附图说明
图1是图示本发明的概览的图;
图2是图示应用本发明的数字照相机的配置示例的框图;
图3是控制部分实现的功能块的配置示例的图;
图4是图示幻灯片图像(slide-image)选择处理的流程图;
图5是图示子事件分类处理的流程图;
图6是图示第一聚集(clustering)处理的流程图;
图7是图示子事件分段的图;
图8是图示第二聚集处理的流程图;
图9是图示图像减少处理的流程图;
图10是图示图像减少处理的流程图;以及
图11是图示计算机的配置示例的框图。
具体实施方式
以下,将给出实施本发明的最佳方式的描述(下文称为实施例)。在这一点上,将按以下顺序给出描述。
1.本发明的概览
2.第一实施例
3.第二实施例
4.变型
1.本发明的概览
图1是图示本发明的概览的图。在本发明中,依据摄制日期和时间以及摄制位置,例如将在诸如旅行之类的事件中拍摄的所有图像分类到多个子事件,并且从属于每个子事件的图像中选择图像以便使得用户观看该事件的整个流程。
2.第一实施例
数字照相机的配置示例
图2图示根据第一实施例的数字照相机的配置示例。数字照相机10包括:控制部分11、存储器12、操作输入部分13、位置信息获取部分14、总线15、成像部分16、图像处理部分17、编码/解码部分18、记录部分19,以及显示部分20。
控制部分11响应于从操作输入部分13输入的用户操作、依据操作信号来控制数字照相机10的每个部分。此外,控制部分11执行在存储器12中记录的控制程序以便实现如图3所示的功能块,并且执行稍后描述的幻灯片图像选择处理等。
预先在存储器12中记录控制程序。此外,存储器12保存在幻灯片图像选择处理过程中的各种信息。
操作输入部分13包括在数字照相机10的外壳上布置的包含按钮的用户接口以及在显示部分20上层压(laminate)的触摸面板等等,并且依据用户的操作而生成操作信号以将该信号输出给控制部分11。
位置信息获取部分14在摄制定时处接收并分析GPS(全球定位系统)信号,并且由此获得指示摄制日期和时间(日期、时间)以及位置(纬度、经度、海拔高度)的信息。在此,采用所获得的指示摄制日期和时间以及位置的信息作为exif信息,将其与所拍摄的图像相关联地记录。在这一点上,控制部分11中包含的时钟的时间信息可以用于摄制日期和时间。
成像部分16包括镜头组和诸如CCD、CMOS等等之类的光电转换元件,并且通过光电转换元件将通过镜头组入射的对象的光学图像转换为图像信号,并且输出该图像信号至图像处理部分17。
图像处理部分17对从成像部分16输入的图像信号执行预定的图像处理,以将该信号输出给编码/解码部分18。此外,图像处理部分17在图像拍摄时和回放时分别对从成像部分16输入的和从编码/解码部分18输入的图像信号的像素执行稀疏化(thinning)等,以生成用于显示的图像信号,并且将该信号输出给显示部分20。
在图像拍摄时,编码/解码部分18依据JPEG方法等对从图像处理部分17输入的图像信号执行编码,并且将作为结果获得的编码后的图像信号输出给记录部分19。此外,在回放时,编码/解码部分18对从记录部分19输入的编码后的图像信号执行解码,并且将作为结果的所获得的图像信号输出给图像处理部分17。
在图像拍摄时,记录部分19在记录介质(在该图中未示出)上记录从编码/解码部分18输入的编码后的图像信号。此外,记录部分19在记录介质上记录与编码后的图像信号有关的exif信息。另外,在回放时,记录部分19读出在记录介质上记录的编码后的图像信号,并且将该信号输出给编码/解码部分18。
显示部分20包括液晶显示器等,并且显示从图像处理部分17输入的图像信号的图像。
接着,图3图示由控制部分11执行控制程序而实现的功能块的配置示例。这些功能块独立地操作,并且由此实现幻灯片图像选择处理。然而,可以通过诸如IC芯片之类的硬件等来配置图3中示出的各个功能块。
控制部分31控制图3中的每个功能块的操作。图像分析部分32包括:面部检测部分41、组确定部分42、风景检测部分43、布局检测部分44、表情检测部分45、以及类似图像组检测部分46,图像分析部分32依序对记录介质上记录的所有图像执行图像分析。
面部检测部分41检测位于输入图像中的人物的面部,并且识别对象人物的数目。此外,面部检测部分41计算所检测的面部的特征量。
组确定部分42执行对所检测的面部的特征量的聚集以便识别其中拍摄相同人物作为对象的图像。此外,组确定部分42依据面部在相同图像中存在的频率、距离、位置等估计对象人物所属于的组(其指的是例如配偶、父母和孩子、家庭、以及包括多个人物的其他组)。此外,组确定部分42依据每个组在所有图像中出现的频率来确定重要的组。另外,组确定部分42依据各个人物在所有图像中出现的频率来确定重要的人物。
风景检测部分43确定输入图像是否是具有大自然和街景作为对象的风景图像,并且计算被确定为风景图像的图像的、作为风景图像的评估值。为计算评估值,可以使用其中预先将优美的风景图像学习为教学数据的SVM(支持矢量机)。
布局检测部分44基于在输入图像中所检测的人物面部的数目以及每个面部的大小和位置来计算用于指示人物图像的布局有多好的评估值。
表情检测部分45基于在输入图像中检测到的人物面部的特征量,计算用于指示每个面部的表情(带笑的、发怒的、直盯着相机等)的评估值。
类似图像组检测部分46依据特征量的类似程度将依序输入的图像分类到类似图像组,并且从类似图像组中选择具有最高的整体评估值的图像作为代表性图像,而从候选的幻灯片图像中排除其他图像。在这一点上,当存在许多类似图像时,即,用户(摄影者)感兴趣的并且向该对象赋予非常重要的样片(proof)。相应地,代表性图像的整体评估值还可以依据属于类似图像组的图像的数目而增加。
子事件分类部分33包括第一聚集处理部分51、第二聚集处理部分52,和组合部分53,基于摄制日期和时间以及摄制位置将在事件中拍摄的所有图像分类到多个子事件。
当基于在事件中拍摄的所有图像的摄制日期和时间、按照摄制日期和时间的顺序对所有图像进行分类时,第一聚集处理部分51确定子事件分段位置。当基于在事件中拍摄的所有图像的摄制位置、按照摄制日期和时间的顺序对所有图像进行分类时,第二聚集处理部分52确定子事件分段位置。
组合部分53通过逻辑相加操作对由第一聚集处理部分51确定的子事件分段位置和由第二聚集处理部分52确定的子事件分段位置进行组合,并且将在事件中拍摄的所有图像分类到子事件中的任一个子事件。
幻灯片图像选择部分34通过按照图像的评估值的升序来排除图像而从为每个子事件所分类的图像中选择幻灯片图像。
显示控制部分35以从在事件中拍摄的所有图像中选择的幻灯片图像为目标地执行幻灯片放映。也就是说,显示控制部分35控制记录部分19以依序从记录介质中读出与为幻灯片图像所选择的图像对应的编码后的图像信号,控制编码/解码部分18解码该信号,并且控制显示部分20显示与作为结果获得的图像信号对应的图像。
操作描述
接着,将给出数字照相机10的操作的描述。图4是图示幻灯片图像选择处理的流程图。
当用户指示开始处理时(例如,在记录介质中存储了在诸如旅行等之类的事件中拍摄的大量图像的状态下),执行幻灯片图像选择处理。
在步骤S1,控制部分31确定从在事件中拍摄的所有图像中要选择作为幻灯片图像的个数(下文中称为选择个数)。该确定的方法是例如基于以下的计算,所述计算通过依据与幻灯片图像的幻灯片放映和显示间隔同时地回放的音乐的回放时间段、以及依据在事件中拍摄的所有图像的个数乘以预定比例来进行。在这一点上,用户可以指定选择个数。
在步骤S2,控制部分31允许用户指定以下中的任一个作为幻灯片图像的选择原则:正常的、人物图像优先、风景图像优先。在此,如果指定了正常的,则基本上均等地选择人物图像和风景图像。如果指定了人物图像优先,则通过优先级选择人物图像。如果指定了风景图像优先,则通过优先级选择风景图像。以此方式,通过允许用户指定选择原则,可以选择满足用户的意图和目的的图像。
在步骤S3,图像分析部分32依序获得在事件中拍摄的所有图像并且分析图像,根据各种观点计算每个图像的评估值f1至f5,并且向它们添加权重以确定每个图像的整体评估值F。
具体地,图像分析部分32依据属于每个类似图像组的图像的数目来计算该类似图像组的代表性图像的评估值f1。此外,图像分析部分32依据从每个图像检测的面部的大小和位置和表情、对象人物的数目和布局等等来计算评估值f2。另外,图像分析部分32依据从每个图像检测到的多个面部大小、邻近状态,以及位置来计算评估值f3。此外,另外,如果属于重要的组的人物自己是对象,则图像分析部分32添加评估值f4。另外,图像分析部分32计算指示作为风景图像的评估的评估值f5。
而且,如在以下表达式所示出的,图像分析部分32将所计算的评估值f1、f2、f3、f4和f5分别乘以预定的权重因子k1、k2、k3、k4和k5,并且将它们加在一起以计算整体评估值F。
F=k1×f1+k2×f2+k3×f3+k4×f4+k5×f5
另外,在步骤S3,图像分析部分32在预定的图像上进行标记(意味着该图像未被从候选的幻灯片图像中排除)。具体地,图像分析部分32在包括作为对象的重要人物的图像中在具有最高的整体评估值F的图像上进行标记。此外,图像分析部分32在包括属于重要组的所有人物的图像中在具有最高的整体评估值F的图像上进行标记。
在步骤S4,子事件分类部分33执行子事件分类处理,其中基于摄制日期和时间以及摄制位置,将所有图像分类到多个子事件。
将参照图5至图8给出子事件分类处理的详细描述。
图5是详细图示子事件分类处理的流程图。在步骤S11,控制部分31依据所有图像的数目确定子事件的目标数目sn。以下,将子事件的目标数目暂时地假定为sn=5。
在步骤S12,第一聚集处理部分51基于每个图像的摄制日期和时间执行第一聚集处理。在步骤S13,第二聚集处理部分52基于每个图像的摄制位置执行第二聚集处理。在这一点上,可以并行地执行步骤S12中的第一聚集处理和步骤S13中的第二聚集处理。
图6是图示第一聚集处理的流程图。在步骤S21,第一聚集处理部分51按照摄制日期和时间的顺序重新排列所有图像。在步骤S22,第一聚集处理部分51计算邻近图像之间的摄制日期和时间的差值(下文中称为时间差值)。
在步骤S23,第一聚集处理部分51按照所计算的时间差值的降序来重新排列图像。在步骤S24,第一聚集处理部分51确定与第一(最大时间差值)时间差值到第(目标值sn-1)个时间差值对应的图像分段作为子事件分段位置。
例如,如果假定按降序在图7中A示出的图像之间的时间差值是时间差值1、时间差值2、时间差值3,和时间差值4,则由于目标值sn=5,与时间差值1到时间差值4对应的图像分段被确定为子事件分段位置。作为结果,如图7中B示出,生成与目标值sn=5相同数目的子事件。
在步骤S25,第一聚集处理部分51确定第(目标值sn-1)个时间差值是否小于预设的时间阈值。如果确定该值小于阈值,则处理前进到步骤S26。
在步骤S26,第一聚集处理部分51取消在步骤S24中确定的子事件分段位置,并且从与第一(最大时间差值)时间差值到第(目标值sn-1)个时间差值对应的图像分段中再次确定仅仅与不小于时间阈值的时间差值对应的图像分段作为子事件分段位置。
例如,如图7中的C所示,如果从时间差值1到时间差值3的时段不小于时间阈值,并且仅仅时间差值4小于时间阈值,则分别与时间差值1、时间差值2、和时间差值3对应的图像分段被确定为子事件分段位置。作为结果,生成了比目标值sn=5少的4个子事件。
此外,例如,如图7中D所示,如果时间差值1个时间差值2不小于时间阈值,而时间差值3和时间差值4小于时间阈值,则分别与时间差值1和时间差值2对应的图像分段被确定为子事件分段位置。作为结果,生成了比目标值sn=5少的3个子事件。
在这一点上,在步骤S25,如果确定第(目标值sn-1)个时间差值不小于预设的时间阈值,则该处理跳过步骤S26。相应地,在该情形下,如图7中B所示,生成并保持与目标值sn相同数目的子事件。完成第一聚集处理。
图8是图示第二聚集处理的流程图。在步骤S31,第二聚集处理部分52按照摄制日期和时间的顺序重新排列所有图像。在步骤S32,第二聚集处理部分52计算邻近图像之间的摄制位置的差值(下文中称为距离差值)。
在步骤S33,第二聚集处理部分52按照所计算的距离差值的降序来重新排列图像。在步骤S34,第二聚集处理部分52确定与第一(最大距离差值)距离差值到第(目标值sn-1)个距离差值对应的图像分段作为子事件分段位置。作为结果,生成与目标值sn相同数目的子事件。
在步骤S35,第二聚集处理部分52确定第(目标值sn-1)个距离差值是否小于预设的距离阈值。如果确定该值小于阈值,则处理前进到步骤S36。
在步骤S36,第二聚集处理部分52取消在步骤S34中确定的子事件分段位置,并且从与第一(最大距离差值)距离差值到第(目标值sn-1)个距离差值中对应的图像分段再次确定仅仅与不小于距离阈值的距离差值对应的图像分段作为子事件分段位置。作为结果,生成了比目标值sn少的子事件。
在这一点上,在步骤S35,如果确定第(目标值sn-1)个距离差值不小于预设的距离阈值,则该处理跳过步骤S36。相应地,在该情形下,生成并保持与目标值相同数目的子事件。完成第二聚集处理。
如上所述,在第一聚集处理中基于图像拍摄时间和在第二聚集处理中基于摄制位置,生成多达与目标值sn相同数目的子事件。
返回参照图5,在步骤S14,组合部分53通过使用逻辑相加操作对由第一聚集处理部分51确定的子事件分段位置和由第二聚集处理部分52确定的子事件分段位置进行组合,并且将在事件中拍摄的所有图像分类到子事件中的任一个子事件。
通过上述的子事件分类处理,所有图像都被分类到最大时为目标值sn的两倍数目的子事件中的任一个。然而,由第一聚集处理确定的子事件分段位置和由第二聚集处理确定的子事件分段位置经常匹配,并且由此认为子事件的数目没有过分地增加。另一方面,例如,如果用户在去程和回程时两次访问相同的地方,则在去程时拍摄的图像和在回程时拍摄的图像不被分类到同一子事件,而可以被分类到不同的子事件。
返回参照图4,在步骤S5,图像分析部分32的类似图像组检测部分46依据各个图像的特征量的类似程度将各个图像分类到类似图像组。具体地,类似图像组检测部分46执行HSV(色调、饱和度、值)转换以便获得每个图像的特征量,对特征量执行粗略量化,然后执行直方图处理,并且按照摄制日期和时间比较邻近图像之间的直方图。如果差值不大于预定的阈值,则类似图像组检测部分46确定该图像属于类似图像组。此外,类似图像组检测部分46基于布局的类似程度来确定类似图像组。
此外,在步骤S5,类似图像组检测部分46从每个类似图像组中选择具有最高的整体评估值F的图像作为代表性图像,并且从候选的幻灯片图像中排除其他图像。
在步骤S6,幻灯片图像选择部分34执行图像排除处理,其中通过按照整体评估值F的升序从候选的幻灯片图像中排除为每个子事件所分类的各个图像而选择幻灯片图像。将给出图像排除处理的详细描述。
图9和图10是图示图像排除处理的流程图。在步骤S51,控制部分31基于所有图像的数目、在步骤S1中确定的选择个数、以及被分类到每个子事件的个数,来确定要在每个子事件中最终保留的图像的目标数目(下文中称为最终目标个数)。具体地,控制部分31例如确定选择个数与所有图像的数目的比例、以及被分类到每个子事件的图像的数目的乘积,作为每个子事件的最终目标个数。
在步骤S52,控制部分31基于在步骤S51中确定的每个子事件的最终目标个数来将目标个数设置为比最终目标个数大的值。例如,控制部分31将目标个数设置为比最终目标个数大20%。在这一点上,每次进行步骤S53的处理时,目标个数被逐渐设置到接近最终目标个数的数目并且之后进行重复。
在步骤S53,幻灯片图像选择部分34基于图像分析部分32的分析结果获得人物图像和风景图像的个数,并且然后依据在步骤S2中指定的选择原则(正常的、人物图像优先,或者风景图像优先)确定在随后的处理中是否排除人物图像或风景图像(要被排除的图像)。
在步骤S54,幻灯片图像选择部分34按照摄制日期和时间的顺序指定一个子事件作为处理目标。
在步骤S55,幻灯片图像选择部分34按照图像的整体评估值F的升序从候选的幻灯片图像中排除在被分类到要处理的子事件的图像中、未被标记的要排除的图像(人物图像或者风景图像)。并且使得未被排除的剩余个数(选择个数)接近于在步骤S52中设置的目标值。然而,如果在属于该子事件的图像中仅仅剩余一个未被排除的图像,则该图像不被排除。也就是说,在该阶段,为每个子事件剩余(选择)至少一个图像。然而,在随后的步骤S61的处理中,有时候删除子事件自身。
在步骤S56,幻灯片图像选择部分34确定在之前紧接的步骤S55中是否已经能够从候选的幻灯片图像中排除被分类到要处理的子事件中的一个或多个图像。如果不能排除任何一个,则处理前进到步骤S57。在步骤S57,幻灯片图像选择部分34改变要排除的目标。具体地,如果当前要排除人物图像,则将排除风景图像。相反,如果当前要排除风景图像,则将排除人物图像。此后,处理返回到步骤S55,并且重复随后的处理。
在这一点上,在步骤S56。如果在之前紧接的步骤S55中已经能够从候选的幻灯片图像中排除被分类到要处理的子事件中的一个或多个图像,则处理前进到步骤S58。
在步骤S58,幻灯片图像选择部分34确定是否已经指定要处理所有子事件。直到确定已经指定要处理所有子事件为止,处理返回到步骤S54,并且重复随后的处理。而在步骤S58,如果确定已经指定要处理所有子事件,则处理前进到步骤S59。
在步骤S59,幻灯片图像选择部分34确定未被从属于每个子事件的图像中的候选的幻灯片图像中排除的、剩余的图像(选择的图像)的总数是否达到在步骤S1中确定的选择个数。如果确定还未达到,则处理前进到图10中的步骤S60。
在步骤S60,幻灯片图像选择部分34在所有的子事件中识别仅仅剩余一个图像未被从所包括的图像内的候选的幻灯片图像中排除的(选择的)的子事件的数目。另外,幻灯片图像选择部分34确定子事件的数目是否不小于预定的阈值。如果确定子事件的数目不小于预定的阈值,则处理前进到步骤S61。相反,如果确定子事件的数目小于预定的阈值,则跳过步骤S61的处理。
在步骤S61,幻灯片图像选择部分34比较作为各子事件中的唯一一个图像而剩余的(选择的)图像的整体评估值,并且删除具有最小值的图像所属于的子事件。
在步骤S62,幻灯片图像选择部分34确定在所有的子事件中是否存在可以被排除的一个或多个图像(也就是说,未被标记的图像)。只有确定不存在时,处理才前进到步骤S63。相反,如果确定存在一个或多个图像,则跳过步骤S63的处理。
在步骤S63,幻灯片图像选择部分34取消对所标记的图像的标记。由此,允许排除所有的保留图像。
在步骤S64,控制部分31基于在步骤S51确定的每个子事件的最终目标个数,将目标个数设置为比当前目标个数更接近最终目标个数的值。此后,处理返回到图9的步骤S53,并且重复随后的处理。
而在步骤S59,如果确定未从属于每个子事件的图像之中的候选的幻灯片图像中排除而剩余的(选择的)图像的总数已经达到在步骤S1中确定的选择个数,则终止图像排除处理。
在这一点上,在属于每个子事件的图像之中,如果未从候选的幻灯片图像中排除而剩余的(选择的)图像的总数已经达到在步骤S1中确定的选择个数,但是当已经排除了太多的图像并且所选择的图像的数目小于选择个数时,则按照整体评估值F的降序从被排除的图像中释放图像(添加到选择中)。
相反,即使上述的步骤S53的处理和随后的处理被重复了预定的次数,但当存在许多保留图像并且该数目未能达到选择个数时,则不管子事件和标记图像的保留个数,在保留图像中按照整体评估值F的升序来排除图像。
在上面,已经完成了对图像排除处理和幻灯片图像选择处理的描述。
通过上述幻灯片选择处理,以均衡的方式对从诸如旅行等之类的整个事件中采集的图像进行选择变得可能,这有助于容易地理解事件的过程,并且其包括有价值的看点。
3.第二实施例
计算机配置的示例
在根据上述的第一实施例的数字照相机10中,相机自身拍摄图像。然而,在根据第二实施例的计算机中,对于从外部输入的(在事件中拍摄的)多个图像执行幻灯片图像选择处理。
图11图示了根据第二实施例的计算机的配置示例。在计算机100中,通过总线104将CPU(中央处理单元)101、ROM(只读存储器)102、RAM(随机存取存储器)103相互连接。
还将输入/输出接口105连接到总线104。将以下部分连接到输入/输出接口105:输入部分106,包括键盘、鼠标、麦克风等;输出部分107,包括显示器、扬声器等;存储部分108,包括硬盘、非易失性存储器等;通信部分109,包括网络接口等;以及驱动器110,用于驱动可移动介质111,诸如磁盘、光盘、磁光盘,或者半导体存储器等。
在具有上述配置的计算机中,CPU 101通过输入/输出接口105和总线104将存储在例如存储部分108中的程序加载到RAM 103以执行该程序,并且由此执行上述的幻灯片图像选择处理。
在这一点上,由计算机执行的程序可以是依据本说明书中所述的顺序按照时间序列处理的程序,可替换地,该程序可以是并行或者在必要定时(诸如在被调用时)等等执行的程序。
在这一点上,不仅可以将本发明应用于选择在幻灯片放映时要显示的图像的情形,而且可以应用于例如为照片收集选择图像的情形。
4.变型
在这一点上,上述的第一和第二实施例不限于上述内容。可以进行各种改变而不脱离本发明的要旨。此外,考虑以下扩展。
可以添加以下功能:向用户呈现子事件的列表(包括删除的子事件),并且响应于用户的指令而允许用户从被删除的子事件中恢复重要的图像。相反,可以添加允许用户指定并删除不必要的子事件的功能。
基于图像的摄制位置信息,可以检索预定的数据库来识别摄制位置的地标名称,并且可以将该地标名称赋予子事件的标题。此外,可以允许用户向每个子事件给出任何标题和注释。
另外,可以添加基于每个图像的摄制日期和时间以及摄制位置的信息,在事件进行时自动地创建用户的时间表、游记等等的功能。
另外,与显示地图的应用程序进行协作,可以添加在地图上显示子事件的位置和行程路线的功能。
本发明包含于2009年11月18日向日本专利局提交的日本优先权专利申请JP2009-262512中公开的内容有关的主题,通过引用在此并入其全部内容。
本领域技术人员应理解,依赖于设计需求和其他因素,可以出现各种修改、组合、子组合以及变更,只要它们在所附权利要求或其等效物的范围内即可。

Claims (16)

1.一种从在事件中拍摄的多个图像中选择预定数目的图像的信息处理装置,所述信息处理装置包括:
图像分析部件,用于分析多个图像,并且计算图像各自的评估值;
第一聚集部件,当按照摄制日期和时间的顺序重新排列所述多个图像时,基于指示邻近图像的摄制日期和时间之间的差的时间差值,确定包括多个界限的第一界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的所述多个图像分类到多个子事件;
第二聚集部件,当按照摄制日期和时间的顺序重新排列所述多个图像时,基于指示邻近图像的摄制位置之间的差的距离差值,确定包括多个界限的第二界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的所述多个图像分类到多个子事件;
分类部件,用于依据所确定的第一和第二界限组将按照摄制日期和时间的顺序重新排列的多个图像分类到多个子事件;以及
图像选择部件,用于通过在为每个子事件所分类的图像中排除具有小的评估值的图像来确定要选择的图像。
2.根据权利要求1所述的信息处理装置,
其中,分类部件使用第一界限组和第二界限组的逻辑相加作为界限而将按照摄制日期和时间重新排列的多个图像分类到多个子事件。
3.根据权利要求2所述的信息处理装置,
其中,图像选择部件按照评估值的升序,通过从为每个子事件所分类的图像中排除预定比例的图像来确定要选择的图像。
4.根据权利要求2所述的信息处理装置,还包括指定部件,用于允许用户指定包括以下中的至少一个的选项作为图像选择部件选择图像的原则:人物图像优先、风景图像优先或者正常。
5.根据权利要求2所述的信息处理装置,还包括类似图像检测部件,用于在所述多个图像中检测类似图像组,并且在属于该类似图像组的图像中排除具有最大评估值的图像以外的图像。
6.根据权利要求4所述的信息处理装置,
其中,图像分析部件针对所述多个图像中的每一个图像计算用于评估以下中的至少一个的评估值:类似图像的数目、要作为对象的人物的面部的大小、人物的数目、人物的表情、人物的布置、包括人物的组,或者要作为对象的风景的布局。
7.根据权利要求2所述的信息处理装置,还包括:
图像拍摄部件,用于拍摄图像;以及
获取部件,用于获取指示图像的摄制日期和时间以及摄制地点的信息。
8.一种在信息处理装置中处理信息的方法,所述信息处理装置从在事件中拍摄的多个图像中选择预定数目的图像,所述方法包括以下步骤:
通过信息处理装置,
分析所述多个图像,并且计算图像各自的评估值;
第一聚集,当按照摄制日期和时间的顺序重新排列所述多个图像时,基于指示邻近图像的摄制日期和时间之间的差的时间差值,确定包括多个界限的第一界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的所述多个图像分类到多个子事件;
第二聚集,当按照摄制日期和时间的顺序重新排列所述多个图像时,基于指示邻近图像的摄制位置之间的差的距离差值,确定包括多个界限的第二界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的所述多个图像分类到多个子事件;
依据所确定的第一和第二界限组,将按照摄制日期和时间的顺序重新排列的所述多个图像分类到多个子事件;以及
图像选择,通过在为每个子事件所分类的图像中排除具有小的评估值的图像来确定要选择的图像。
9.一种用于控制从在事件中拍摄的多个图像中选择预定数目的图像的信息处理装置的程序,所述程序使得信息处理装置的计算机执行包括以下步骤的处理:
分析所述多个图像,并且计算图像各自的评估值;
当按照摄制日期和时间的顺序重新排列所述多个图像时,基于指示邻近图像的摄制日期和时间之间的差的时间差值进行第一聚集,以便确定包括多个界限的第一界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的所述多个图像分类到多个子事件;
当按照摄制日期和时间的顺序重新排列所述多个图像时,基于指示邻近图像的摄制位置之间的差的距离差值进行第二聚集,以便确定包括多个界限的第二界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的所述多个图像分类到多个子事件;
依据所确定的第一和第二界限组,将按照摄制日期和时间的顺序重新排列的所述多个图像分类到多个子事件;以及
进行图像选择,以便通过在为每个子事件所分类的图像中排除具有小的评估值的图像来确定要选择的图像。
10.一种从在事件中拍摄的多个图像中选择预定数目的图像的信息处理装置,所述信息处理装置包括:
图像分析机构,分析多个图像,并且计算图像各自的评估值;
第一聚集机构,当按照摄制日期和时间的顺序重新排列所述多个图像时,基于指示邻近图像的摄制日期和时间之间的差的时间差值,确定包括多个界限的第一界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的所述多个图像分类到多个子事件;
第二聚集机构,当按照摄制日期和时间的顺序重新排列所述多个图像时,基于指示邻近图像的摄制位置之间的差的距离差值,确定包括多个界限的第二界限组,所述多个界限用于将按照摄制日期和时间的顺序重新排列的所述多个图像分类到多个子事件;
分类机构,用于依据所确定的第一和第二界限组将按照摄制日期和时间的顺序重新排列的所述多个图像分类到多个子事件;以及
图像选择机构,用于通过在为每个子事件所分类的图像中排除具有小的评估值的图像来确定要选择的图像。
11.根据权利要求10所述的信息处理装置,
其中,分类机构使用第一界限组和第二界限组的逻辑相加作为界限而将按照摄制日期和时间重新排列的所述多个图像分类到多个子事件。
12.根据权利要求10所述的信息处理装置,
其中,图像选择机构按照评估值的升序,通过从为每个子事件所分类的图像中排除预定比例的图像来确定要选择的图像。
13.根据权利要求10所述的信息处理装置,还包括指定机构,用于允许用户指定包括以下中的至少一个的选项作为图像选择机构选择图像的原则:人物图像优先、风景图像优先或者正常。
14.根据权利要求10所述的信息处理装置,还包括类似图像检测机构,用于在所述多个图像中检测类似图像组,并且在属于该类似图像组的图像中排除具有最大评估值的图像以外的图像。
15.根据权利要求10所述的信息处理装置,
其中,图像分析机构针对多个图像中的每一个图像计算用于评估以下中的至少一个的评估值:类似图像的数目、要作为对象的人物的面部的大小、人物的数目、人物的表情、人物的布置、包括人物的组,或者要作为对象的风景的布局。
16.根据权利要求10所述的信息处理装置,还包括:
图像拍摄机构,用于拍摄图像;以及
获取机构,用于获取指示图像的摄制日期和时间以及摄制地点的信息。
CN2010105440989A 2009-11-18 2010-11-11 信息处理装置、信息处理方法及程序 Pending CN102065196A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP262512/09 2009-11-18
JP2009262512A JP2011109428A (ja) 2009-11-18 2009-11-18 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN102065196A true CN102065196A (zh) 2011-05-18

Family

ID=44000288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105440989A Pending CN102065196A (zh) 2009-11-18 2010-11-11 信息处理装置、信息处理方法及程序

Country Status (3)

Country Link
US (1) US8786753B2 (zh)
JP (1) JP2011109428A (zh)
CN (1) CN102065196A (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010047336A1 (ja) * 2008-10-20 2010-04-29 株式会社キャメロット 画像撮影システム及び画像撮影方法
US9082452B2 (en) * 2011-02-21 2015-07-14 Kodak Alaris Inc. Method for media reliving on demand
CN102542523A (zh) * 2011-12-28 2012-07-04 天津大学 一种基于街景的城市图片信息认证方法
US9424280B2 (en) * 2012-12-28 2016-08-23 Animoto Inc. Organizing media items based on metadata similarities
US9202143B2 (en) * 2013-04-29 2015-12-01 Microsoft Technology Licensing, Llc Automatic photo grouping by events
US11080318B2 (en) * 2013-06-27 2021-08-03 Kodak Alaris Inc. Method for ranking and selecting events in media collections
US20150006545A1 (en) * 2013-06-27 2015-01-01 Kodak Alaris Inc. System for ranking and selecting events in media collections
US9632803B2 (en) * 2013-12-05 2017-04-25 Red Hat, Inc. Managing configuration states in an application server
US10003716B2 (en) * 2015-03-24 2018-06-19 Sony Corporation Generation of a digest video
JP6667224B2 (ja) * 2015-08-07 2020-03-18 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
CN106682755A (zh) * 2015-11-10 2017-05-17 深圳富泰宏精密工业有限公司 电子设备及实现旅游路线规划的方法
US10140516B2 (en) * 2015-12-16 2018-11-27 Samsung Electronics Co., Ltd. Event-based image management using clustering
JP6622662B2 (ja) * 2016-07-04 2019-12-18 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2019067076A (ja) * 2017-09-29 2019-04-25 劉謹銘 多重画像源の処理方法
US10204124B1 (en) * 2017-12-20 2019-02-12 Merck Sharp & Dohme Corp. Database indexing and processing
JP7172472B2 (ja) 2018-11-09 2022-11-16 富士通株式会社 ルール生成装置、ルール生成方法及びルール生成プログラム
CN111626108B (zh) * 2020-04-17 2023-04-21 浙江大华技术股份有限公司 一种目标的识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1735137A (zh) * 2004-08-02 2006-02-15 佳能株式会社 数字照相机
CN101013504A (zh) * 2006-01-11 2007-08-08 富士胶片株式会社 图像评估设备、方法和程序
US20070229912A1 (en) * 2006-03-31 2007-10-04 Fujifilm Corporation Image processing apparatus, image processing method, image processing program, image processing system and image processing control apparatus
US20080086511A1 (en) * 2006-10-10 2008-04-10 Canon Kabushiki Kaisha Image display controlling apparatus, method of controlling image display, and storage medium
US20080162568A1 (en) * 2006-10-18 2008-07-03 Huazhang Shen System and method for estimating real life relationships and popularities among people based on large quantities of personal visual data
US20090257097A1 (en) * 2008-04-15 2009-10-15 Canon Kabushiki Kaisha Method, apparatus, and storage medium for selecting an image reading apparatus

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040130635A1 (en) 2002-10-09 2004-07-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP4343639B2 (ja) 2003-10-01 2009-10-14 キヤノン株式会社 撮像装置
US7663671B2 (en) * 2005-11-22 2010-02-16 Eastman Kodak Company Location based image classification with map segmentation
JP4356688B2 (ja) * 2005-12-07 2009-11-04 ソニー株式会社 撮像装置、およびデータ記録方法、データ表示制御方法、並びにコンピュータ・プログラム
JP4818178B2 (ja) * 2007-03-27 2011-11-16 キヤノン株式会社 ネットワーク制御装置、ネットワーク制御方法、プログラム
US20100278396A1 (en) * 2008-01-18 2010-11-04 Nikon Corporation Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera, and image display program
JP4640456B2 (ja) * 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP2011107997A (ja) * 2009-11-18 2011-06-02 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US20120098989A1 (en) * 2010-10-20 2012-04-26 Wataru Sugawara Imaging apparatus and method of displaying a number of captured images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1735137A (zh) * 2004-08-02 2006-02-15 佳能株式会社 数字照相机
CN101013504A (zh) * 2006-01-11 2007-08-08 富士胶片株式会社 图像评估设备、方法和程序
US20070229912A1 (en) * 2006-03-31 2007-10-04 Fujifilm Corporation Image processing apparatus, image processing method, image processing program, image processing system and image processing control apparatus
US20080086511A1 (en) * 2006-10-10 2008-04-10 Canon Kabushiki Kaisha Image display controlling apparatus, method of controlling image display, and storage medium
US20080162568A1 (en) * 2006-10-18 2008-07-03 Huazhang Shen System and method for estimating real life relationships and popularities among people based on large quantities of personal visual data
US20090257097A1 (en) * 2008-04-15 2009-10-15 Canon Kabushiki Kaisha Method, apparatus, and storage medium for selecting an image reading apparatus

Also Published As

Publication number Publication date
US8786753B2 (en) 2014-07-22
US20110115943A1 (en) 2011-05-19
JP2011109428A (ja) 2011-06-02

Similar Documents

Publication Publication Date Title
CN102065196A (zh) 信息处理装置、信息处理方法及程序
CN101783886B (zh) 信息处理设备、信息处理方法和程序
CN102207950B (zh) 电子装置和图像处理方法
CN102473196B (zh) 内容输出装置、内容输出方法及内容输出集成电路
CN101790034B (zh) 图像处理装置和图像显示方法
US8577962B2 (en) Server apparatus, client apparatus, content recommendation method, and program
CN102741882B (zh) 图像分类装置、图像分类方法、集成电路、模型制作装置
CN101685542B (zh) 电子设备、模糊图像分拣方法
CN101751574B (zh) 图像处理设备、成像装置和成像处理方法
US20070195344A1 (en) System, apparatus, method, program and recording medium for processing image
CN102065218A (zh) 信息处理装置、信息处理方法和程序
JP5517683B2 (ja) 画像処理装置及びその制御方法
CN100571363C (zh) 图像处理设备、系统和方法
EP2246807A1 (en) Information processing apparatus and method, and program
US20070081088A1 (en) Information processing apparatus and method, and program used therewith
EP1816575A1 (en) System, apparatus, method, program and recording medium for processing image
US20140093174A1 (en) Systems and methods for image management
US7672977B2 (en) Image reproducing apparatus, method of controlling same and control program therefor
KR101475939B1 (ko) 이미지 처리 장치의 제어 방법과 이미지 처리 장치, 이미지파일
CN101167076A (zh) 对于缺乏时间信息的图像的添加性聚类
JP2011217209A (ja) 電子機器、コンテンツ推薦方法及びプログラム
CN103838808A (zh) 信息处理装置、信息处理方法和程序
CN101855633A (zh) 影像分析装置、基于影像分析的人物间的评价值计算方法
US20100262605A1 (en) Image management apparatus, control method thereof and storage medium storing program
US8320609B2 (en) Device and method for attaching additional information

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20151118

C20 Patent right or utility model deemed to be abandoned or is abandoned