CN101657815B - 照片分组设备、照片分组方法以及照片分组程序 - Google Patents

照片分组设备、照片分组方法以及照片分组程序 Download PDF

Info

Publication number
CN101657815B
CN101657815B CN200880011955XA CN200880011955A CN101657815B CN 101657815 B CN101657815 B CN 101657815B CN 200880011955X A CN200880011955X A CN 200880011955XA CN 200880011955 A CN200880011955 A CN 200880011955A CN 101657815 B CN101657815 B CN 101657815B
Authority
CN
China
Prior art keywords
photo
time
opporunity
adjacent
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200880011955XA
Other languages
English (en)
Other versions
CN101657815A (zh
Inventor
大纲亮磨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN101657815A publication Critical patent/CN101657815A/zh
Application granted granted Critical
Publication of CN101657815B publication Critical patent/CN101657815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

即使在要拍照的事件的特性或用户的拍照配置发生变化时,也可以以高精度对照片进行分组。邻近数据选择单元(拍照时间距离基本邻近数据选择单元1)基于时间顺序拍照时间信息,选择具有与每个相邻照片块中确定的确定时间在时间距离上满足约束的拍照时间的照片作为邻近照片,并输出用于对邻近照片的拍照时间数据加以指定的邻近数据指定信息,其中所述相邻照片块作为夹在以拍照顺序排列的照片组中彼此相邻的两个照片的拍照时间之间的时间块。组边界确定单元2通过使用由邻近数据指定信息指定的、在每个相邻照片块中的确定时间处的邻近照片的拍照时间数据,来检测每个相邻照片块中拍照配置的变化,从而确定在每个相邻照片块中是否存在组边界。

Description

照片分组设备、照片分组方法以及照片分组程序
技术领域
本发明涉及用于对数字摄像机、具有摄像机的移动终端等所拍摄的照片进行分组的照片分组设备、照片分组方法、以及照片分组程序,更具体地,涉及用于沿着拍照时间的时间轴对照片进行分组的照片分组设备、照片分组方法、以及照片分组程序。
背景技术
利用这种照片分组设备,可以通过以下方式来管理照片:基于拍照时间和日期或在连续拍摄照片之间的时间间隔超过固定的阈值时进行分组,以及将照片放入不同的组(例如,专利文献1)。
图19是示出了照片分组设备的结构的示例的框图,如专利文献1中所述的,所述照片分组设备通过对拍照时间的时间间隔进行阈值处理来对照片进行分组。图19所示的照片分组设备包括相邻照片块拍照时间间隔计算单元901和时间间隔阈值处理单元902。利用时间顺序拍照时间信息作为输入的相邻照片块拍照时间间隔计算单元901向时间间隔阈值处理单元902传送时间顺序拍照时间间隔信息,其中,所述时间顺序拍照时间信息表示以时间顺序拍摄的每个照片的拍照时间,所述时间顺序拍照时间间隔信息表示以时间顺序排列的各个照片之间的拍照时间间隔。利用从相邻照片块拍照时间间隔计算单元901输出的时间顺序拍照时间间隔信息作为输入的时间间隔阈值处理单元902输出组边界位置信息,所述组边界位置信息表示在要分组的照片组中的组边界的位置。
接下来,将描述图19所示的照片分组设备的操作。以拍照时间为顺序,向相邻照片块拍照时间间隔计算单元901输入时间顺序拍照时间信息,作为以时间顺序拍摄的照片的拍照时间数据,其中所述拍照时间数据是从照片或附属到照片的相关信息中提取的。由于以Exif格式将拍照时间数据存储在照片中是一种惯用手段,所以读取该信息得到时间顺序拍照时间信息。
相邻照片块拍照时间间隔计算单元901根据所应用的时间顺序拍照时间信息,来计算在时间上彼此相邻的照片的拍照时间之差。更具体地,在输入的照片总数为N并且第i个照片的拍照时间为T(i)的情况下,关于每个i(i=1,...,N-1)来执行以下表达式(1),以将所得到的时间间隔d(i)(i=1,...,N-1)作为时间顺序拍照时间间隔信息输出至时间间隔阈值处理单元902。
d(i)=T(i+1)-T(i)  ...  表达式(1)
时间间隔阈值处理单元902将所应用的时间顺序拍照时间间隔信息与固定的阈值相比较,当时间间隔超过阈值时,将其位置标识为组边界。更具体地,在阈值为TH的情况下,关于每个时间间隔d(i)(i=1,...,N-1)来执行以下表达式(2),以将满足表达式(2)的i标识为组边界,即,确定在第i个照片与第(i+1)个照片之间存在组断点。时间间隔阈值处理单元902获得满足表达式(2)的所有i,并输出这些i作为组边界信息。
d(i)>TH...  表达式(2)
尽管在上述示例中用于划分事件的阈值TH是固定的,然而在非专利文献1中公开了一种根据固定数目的在先或在后拍照时间间隔来动态地改变阈值以对照片进行分组的方法。
图20是示出了照片分组设备的结构的示例的框图,所述照片分组设备通过动态地改变阈值以如非专利文献1中所述对拍照时间的时间间隔进行阈值处理,来对照片进行分组。图20所示的照片分组设备包括相邻照片块拍照时间间隔计算单元901、时间间隔阈值处理单元902、固定数目拍照时间间隔数据选择单元911、以及阈值确定单元912。
在图20所示的示例中,采用时间顺序拍照时间信息作为输入的相邻照片块拍照时间间隔计算单元901向固定数目拍照时间间隔数据选择单元911和时间间隔阈值处理单元902输出时间顺序拍照时间间隔信息。采用从相邻照片块拍照时间间隔计算单元901输出的时间顺序拍照时间间隔信息作为输入的所述固定数目拍照时间间隔数据选择单元911向阈值确定单元912输出固定数目的拍照时间间隔数据片。采用从所述固定数目拍照时间间隔数据选择单元911输出的所述固定数目的拍照时间间隔数据片作为输入的阈值确定单元912向时间间隔阈值处理单元902输出阈值。采用从相邻照片块拍照时间间隔计算单元901输出的时间顺序拍照时间间隔信息、以及从阈值确定单元912输出的阈值作为输入的时间间隔阈值处理单元902输出组边界位置信息。
接下来,将描述图20所示的照片分组设备的操作。当输入时间顺序拍照时间信息时,相邻照片块拍照时间间隔计算单元901计算时间上彼此相邻的照片的拍照时间之差,以类似于图19所示示例的方式输出时间顺序拍照时间间隔信息。
固定数目拍照时间间隔数据选择单元911选择在要处理的时间间隔之前和之后的固定数目的拍照时间间隔。更具体地,当要处理第k个时间间隔d(k)时,在固定数目为w的情况下,选择在前的w个时间间隔和在后的w个时间间隔d(k-w),d(k-w+1),...,d(k),d(k+1),...,d(k+w)。将所选择的时间间隔作为固定数目的拍照时间间隔数据片输出至阈值确定单元912。
阈值确定单元912可以根据固定数目的拍照时间间隔数据片计算阈值TH(k),以用于来对要处理的d(k)进行阈值处理。更具体地,将通过使用以下表达式(3)来进行计算。这里,K是常量,实验性地,将K设置为log(17)。将得到的阈值TH(k)输出至时间间隔阈值处理单元902。
(公式1)
TH ( k ) = exp ( K + 1 2 w + 1 Σ i = - w w log ( d ( k + i ) ) ) 表达式(3)
时间间隔阈值处理单元902的操作与图19所示示例的操作相同。所使用的阈值不是固定的,而是根据每个i(i=1,...,N-1)而改变。在d(k)的阈值处理中,例如使用从阈值确定单元912输出的阈值TH(k)。
专利文献1:日本专利公开No.2004-355493。
非专利文献2:J.C.Platt,M.Czerwinski,B.A.Field,“Photo TOC:Automatic Clustering for Browsing Personal Photographs”,Proceedingsof the 2003 Joint Conference on International Conference on Information,Communication and Signal Processing and Pacific Rim Conference onMultimedia,2003,Vol.1,pp.6-10。
使用图19和图20所示的照片分组设备可以实现对时间顺序照片的分组。然而,存在分组精度(划分精度)可能变差的情况。划分精度变差的因素如下。
第一个问题是,这种如图19所示利用固定阈值的划分使得很难确定实现高精度分组的阈值。原因在于,固定的阈值无法充分反映对象或要拍摄的事件的特性以及用户的拍照配置方面发生的变化。当基于稀疏地拍摄照片的事件来确定阈值时,例如出现以下问题:很难从频繁地拍摄照片的事件的照片组中找到组边界。相反,当基于频繁地拍摄照片的事件来确定阈值时,例如出现以下问题:稀疏地拍摄照片的事件的照片组将被过度地划分。此外,由于拍照的频率很大程度上取决于拍摄者的拍摄配置,所以很有可能的是,所确定的反映特定人的配置的阈值将不适于对其他人拍摄的照片进行分组。
第二个问题是,通过以如图20所示的阈值控制方法来进行这种划分,当时间上相隔很远的照片的拍照时间包含在用于确定阈值的固定数目的拍照时间间隔数据片中时,无法满意地确定阈值。原因在于,对于在时间上稀疏地拍摄的照片,与时间上相隔很远的照片的拍照时间间隔可能包含在固定数目的拍照时间间隔数据片中,使得阈值将由于相隔很远的拍照时间间隔的影响而增大,从而使划分精度变差。尽管在时间上相隔很远的照片基本上不与目前要分组的照片的内容相关,然而当该照片位于作为选择参考的数目(照片数目)范围之内时,还是会影响阈值的确定。如果减小用于确定阈值的照片的数目以避免这种情况,则由于在高频率拍照的事件的照片分组中只有邻近的照片会影响阈值的确定,所以阈值可能是不稳定的。
在这些情况下,本发明的目的是提供一种照片分组设备、照片分组方法、以及照片分组程序,使得即使在要拍照的事件的特性或用户的拍照配置发生变化时,也能够以高精度对照片进行分组。
发明内容
根据本发明,关于每个相邻照片块,基于满足与相邻照片块中一个或多个时间与拍照时间之间的时间距离的预定约束的照片的拍照时间,或基于满足时间距离约束的照片之间的拍照时间间隔,来检测相邻照片块中拍照配置的变化,使得在任意相邻照片块内,有可能与相同事件或对象有关的一系列照片可以用于确定,而不会因照片数目的限制而导致忽略。相应地,也可以在没有划分范围限制的情况下以高精度对照片进行分组。
此外,由于可以检测到拍照配置的变化而不受在时间上相隔很远的不相关照片数据的影响,所以即使在照片是稀疏地拍摄的情况下,也能够以高精度对照片进行分组。
附图说明
图1是示出了根据第一示例实施例的照片分组设备的结构的示例的框图;
图2是示出了照片分组设备的操作的示例的流程图;
图3是示出了邻近数据选择单元1的结构的示例的框图;
图4是示出了邻近数据选择单元1的结构的另一示例的框图;
图5是示出了时间宽度确定单元12的结构的示例的框图;
图6是示出了时间宽度确定单元12的结构的另一示例的框图;
图7是示出了组边界确定单元2的结构的示例的框图;
图8是示出了拍照密度计算单元2的结构的示例的框图;
图9是用于说明窗函数的示例的图;
图10是用于说明对拍照密度进行计算的示例的图;
图11示出了拍照密度计算单元21的结构的另一示例的框图;
图12是示出了组边界确定单元2的结构的另一示例的框图;
图13是示出了组边界确定单元2的结构的另一示例的框图;
图14是示出了根据第二示例实施例的照片分组设备的结构的示例的框图;
图15是示出了组边界确定单元2′的结构的示例的框图;
图16是示出了组边界确定单元2′的结构的另一示例的框图;
图17是示出了组边界确定单元2′的结构的另一示例的框图;
图18是示出了根据第三示例实施例的照片分组设备的结构的示例的框图;
图19是示出了根据现有技术的照片分组设备的结构的示例的框图;以及
图20是示出了根据现有技术的照片分组设备的结构的示例的框图。
具体实施方式
(第一示例实施例)
在下文中,将参考附图来详细描述本发明的示例实施例。图1是示出了根据本发明第一示例实施例的照片分组设备的结构的示例的框图。图1所示的照片分组设备包括拍照时间距离基本邻近数据选择单元1(下文中简称邻近数据选择单元1)和组边界确定单元2。采用时间顺序拍照时间信息(表示以拍照顺序排列的照片组中所包含的每个照片的拍照时间)作为输入的邻近数据选择单元1向组边界确定单元2输出邻近数据指定信息,所述邻近数据指定信息是:对与每个相邻照片块中所设置的确定时间(位于夹在要分组的照片组中的两个相邻照片的拍照时间之间的时间内)的时间距离满足约束的拍照时间数据加以指定的信息。采用时间顺序拍照时间信息以及从邻近数据选择单元1输出的邻近数据指定信息作为输入的组边界确定单元2输出组边界位置信息,所述组边界位置信息表示要分组的照片组中的组边界的位置。
这里,时间距离表示特定时间与特定时间之间的时间间隔(时间宽度)。照片组中的组边界的位置表示在照片组的布置中作为组的边界线的断点。拍照时间是与拍照有关的时间,不仅可以是实际触发快门时的时间,也可以是在从拍摄照片时开始直到保存该照片的图像数据时为止的一系列过程中以预定的计时来计算的任何时间,例如,在传感器上产生对象的图像时的时间,在产生对象的图像之后通过执行诸如JPEG之类的压缩或图像校正而产生用于保存的图像数据时的时间,在蜂窝电话的情况下(在该情况下允许用户选择在拍照之后保存/不保存数据)用户指定保存时的时间,以及在拍照之后将照片传送至另一设备(如服务器)的情况下传送该照片时的时间。例如,可以从与每个照片相关的Exif信息中得到时间顺序拍照时间信息。还可以从以描述等效内容的元数据描述格式(如,MPEG-7、MPEG-A Part3等)而存储的元数据中获得该信息。
关于每个相邻照片块,邻近数据选择单元1根据时间顺序拍照时间信息来选择拍照时间与相邻照片块中确定的特定时间之间的时间距离满足约束的照片作为用于确定是否存在组边界的邻近照片块,并向组边界确定单元2输出用于对邻近照片的拍照时间数据加以指定的邻近数据指定信息。在下文中,将选择邻近照片所参考的时间称作确定时间。在本示例实施例中,邻近数据选择单元1从时间顺序拍照时间信息中选择照片的拍照时间数据作为邻近数据,该拍照时间数据指示与每个相邻照片块中提供的确定时间之间的时间距离满足约束的拍照时间,并输出对邻近数据加以指定的邻近数据指定信息,从而为组边界确定单元2指定邻近照片。
使用由邻近数据指定信息指定的、在每个邻近照片块中的确定时间处的邻近照片的拍照时间数据(邻近数据),组边界确定单元2检测每个相邻照片块中拍照配置的变化,并根据检测结果来确定在每个相邻照片块中是否存在组边界,从而在要分组的照片组中确定组边界。
在本示例实施例中,邻近数据选择单元1和组边界确定单元2例如通过诸如可根据程序进行操作的CPU之类的数据处理设备来实现。
接下来将描述本示例实施例的操作。图2是示出了根据本示例实施例的照片分组设备的操作的示例的流程图。如图2所示,首先,邻近数据选择单元1接收时间顺序拍照时间信息的输入(步骤S1)。通过从例如Exif信息(该Exif信息伴随着被指定为分组目标的、按照拍照顺序排列的照片的图像数据)获得(查阅)拍照时间数据,邻近数据选择单元1可以接收时间顺序拍照时间信息的输入,所述时间顺序拍照时间信息指示按照拍照顺序的每个照片的拍照时间数据。当输入时间顺序拍照时间信息时,在与每个相邻照片块中确定的确定时间的时间距离满足约束的时间拍摄的照片作为邻近照片的情况下,拍照时间基本邻近数据选择单元1选择邻近照片的拍照时间数据作为确定时间的邻近数据(步骤S2)。邻近数据被用作用于检测在两个照片之间拍照配置是否发生改变的采样数据,其中所述确定时间夹在这两个照片的拍摄时间之间。
例如,假定将所输入的照片的总数表示为N,将第i个照片的拍照时间表示为T(i),关于第j和第(j+1)相邻照片之间的块,邻近数据选择单元1可以选择满足以下表达式(4)的确定时间T,以选择表示与确定时间T的时间距离满足某种固定约束的拍照时间T(i)的拍照时间数据,作为邻近数据。
(公式2)
T(j)≤T<T(j+1)    表达式(4)
可以将确定时间T设置在相邻照片块中的任意位置。还可以在一个相邻照片块中设置多个时间。例如,可以将相邻照片本身的拍照时间看作是确定时间,或可以将相邻照片块中获得的中点看作是确定时间。例如,还可以以固定的时间宽度来划分相邻时间块,以将每个划分边界的时间看作是确定时间。当针对一个相邻照片块设置了多个确定时间时,可以独立地处理每个邻近数据作为每个确定时间处的邻近数据,或者可以将相同相邻照片块中设置的多个确定时间处的邻近数据组合并处理作为每个相邻照片块中的邻近数据。
对于拍照时间的约束例如可以是以下条件:与确定时间T的时间距离不大于固定时间。考虑诸如每年举办的生日晚会之类的事件,一种可选的条件可能是:联合使用大约一年前的拍照时间。此外,不一定总是从连续拍摄的照片范围内选择邻近数据,也可以采用以下条件:考虑诸如在提前确定的时区中发生的进餐之类的事件,联合使用在包含在同一时区中的拍照时间(例如,接近24小时的倍数的拍照时间)。在对邻近数据选择单元1的实现方式的描述中,将详细描述选择邻近数据的特定方法。
例如,关于每个确定时间T(在每个相邻照片块中设定的一个或多个确定时间T),邻近数据选择单元1向组边界确定单元2输出对所选邻近数据加以指定的邻近数据指定信息。邻近数据指定信息可以是所选择的邻近数据本身(邻近照片的拍照时间数据),或是指示作为邻近数据而选择的照片索引值的信息。在选择连续的照片作为邻近照片的情况下,邻近数据指定信息可以是表示所选照片范围的索引值(例如,所选照片的索引的最大值和最小值,最大值或最小值,以及所选照片的数目)。
然后,使用由邻近数据选择单元1所指定的、每个相邻照片块中的确定时间的邻近数据,组边界确定单元2检测每个相邻照片块中的拍照配置的变化,以根据检测结果来确定在每个相邻照片块中是否存在组边界(步骤S3)。例如,通过使用由邻近数据指定信息所指示的每个确定时间的邻近数据(即,拍照时间数据),组边界确定单元2仅需要检测在确定时间之前和之后拍照配置是否发生变化,并且当检测到拍照配置的变化时,确定在两个照片之间存在组边界,其中所述确定时间夹在这两个照片的拍摄时间中间。
尽管用于确定拍照配置的变化的指标当中包括拍照时间的密度、平均拍照间隔、以及拍照时间间隔,然而该指标不限于此,类似地反映拍照配置的任何统计量都是可以使用的。结合了这些的统计量可以用于确定。例如,可能的是,将前述统计量加权相加的统计量,以及将要选择性使用的统计量。在对组边界确定单元2的描述中,将更详细地描述对拍照位置的变化进行确定的方法。
根据每个相邻照片块中是否存在组边界的确定结果,组边界确定单元2输出组边界位置信息,所述组边界位置信息表示要分组的照片组中的组边界的位置。组边界确定单元2不仅输出表示组边界的位置的组边界位置信息,还采用以下输出形式:使用户能够识别出组边界的位置,以基于组而将照片分发到文件夹。
照片分组设备还可以重复进行分组操作以获得其他级别的组,如采用大的时间宽度作为时间距离约束而对照片进行分组,以及采用小的时间宽度作为时间距离约束对分类到分组中的照片进一步进行分组。
如前所述,关于在每个相邻照片块中设置的确定时间,通过使用基于拍照时间距离而选择的邻近数据来确定在相邻照片块中是否存在组边界,可以自适应地确定组边界,而不受拍照时间在时间上相隔很远的不相关照片的拍照时间数据的影响。此外,由于在时间上邻近的照片的拍照时间数据可以全部被指定为邻近数据而无需考虑照片的数目,所以可以使用与相同事件或对象有关的一系列照片来进行确定,从而区分组边界,并且更合适地反映用户拍照配置或事件特性所造成的影响。
由于通过选择在时间上相近地存在的照片的拍照时间数据作为邻近数据而无需考虑照片的数目,同时排除了时间上远离的照片的拍照时间数据,所以可基于事件以高精度对照片进行分组,可以有效地使用照片,如通知事件断点的幻灯片放映呈现。在以幻灯片放映的形式呈现照片时,例如,通过在组内使用连续过渡效果(诸如渐隐之类的效果,两幅图像混合并逐渐切换),以及在组边界上使用视觉冲击较大的视觉效果(诸如划入划出(wipe)或框入/框出(box-in/out)之类的过渡效果),与仅以固定视觉效果简单地切换照片的传统幻灯片放映方式相比,可以实现更有效的通知事件断点的幻灯片放映。
接下来,将更详细地描述邻近数据选择单元1。
图3是示出了邻近数据选择单元1的结构的示例的框图。如图3所示,邻近数据选择单元1可以包括内部固定时间距离邻近数据选择单元11。这里,内部固定时间距离邻近数据选择单元11以时间顺序拍照时间信息和表示与特定时间的时间距离(时间宽度)的时间宽度信息作为输入,输出邻近数据指定信息。
在从相邻照片块中设置的预定时间到拍照时间的时间间隔不大于固定时间的约束下,内部固定时间距离邻近数据选择单元11基于时间顺序拍照时间信息所指示的每个照片的拍照时间以及预定的时间宽度信息所指示的时间宽度,选择关于每个相邻照片块的邻近数据。
接下来,将描述本示例中拍照时间距离基本邻近数据选择单元1的操作。当应用时间顺序拍照时间信息和时间宽度信息时,内部固定时间距离邻近数据选择单元11针对每个相邻照片块设置确定时间,以选择从相邻照片块中的确定时间到拍照时间的时间间隔不大于由时间宽度信息指示的时间宽度(时间间隔)的照片的拍照时间数据,作为邻近数据。在将第i个照片的拍照时间表示为T(i),将指示固定时间距离的时间宽度表示为W的情况下,例如,关于第j与第(j+1)个照片之间的相邻照片块,邻近数据选择单元1可以选择指示拍照时间T(i)的拍照时间数据作为邻近数据,其中所述拍照时间T(i)满足以下表达式(5),确定时间T满足表达式(4)中所示。
|T(i)-T|<W    表达式(5)
这里,可以使用提前确定的值作为时间宽度W,或者可以由用户指定值。
因此,在选择邻近数据的时间处的时间距离不大于固定时间的约束的情况下,可以由时间宽度W来指定要被选择作为邻近数据的照片的时间范围。相应地,对时间宽度W的调节导致对用于确定是否存在组边界的数据范围的调节。即使在时间宽度W的自动调节未能生效的情况下,用户对时间宽度W的指定也使得可以容易地通过与用户交互来进行调节。
将时间宽度设置为更大,例如,将被选择为邻近数据的照片的时间范围扩大,使得能够对要计算的、用于确定组边界的指标(下文将描述的拍照密度、拍照时间间隔等等)的时间变化进行平衡,利用宏观波动来检测拍照配置的变化,从而能够使划分等级变得宽松。相反,当时间宽度被设置为较小时,要被选择作为邻近数据的照片的时间范围将变窄,以利用在短时间段内的较小时间变化来检测拍照配置的变化,从而能够细微地对组进行划分。以婚礼照片的分组为例,在设置了大的时间宽度时,还可以基于相对大的单元事件,如“结婚典礼”、“结婚宴席”、以及“第二宴席”,来对照片进行分组,当设置了小的时间宽度时,可以基于相对小的单元事件,如“结婚典礼”中的“进场”、“演讲”、“切蛋糕”……“鲜花赠礼”,来对照片进行分组。
此外,邻近数据选择单元1的结构可以是如图4所示的结构。图4是示出了邻近数据选择单元1的结构的另一示例的框图。如图4所示,邻近数据选择单元1可以包括内部固定时间距离邻近数据选择单元11以及时间宽度确定单元12。这里,采用时间顺序拍照时间信息作为输入的时间宽度确定单元12向内部固定时间距离邻近数据选择单元11输出时间宽度信息。内部固定时间距离邻近数据选择单元11以时间顺序拍照时间信息和从第二宽度确定单元12输出的时间宽度信息作为输入,输出邻近数据指定信息。
换言之,在本示例中,时间宽度确定单元12确定时间宽度,内部时间距离邻近数据选择单元11通过使用由时间宽度确定单元12确定的时间宽度来选择邻近数据。
时间宽度确定单元12根据每个照片的拍照时间信息来估计具有很大可能性被拍照的事件,并确定适于该事件的时间宽度。下文中将描述确定适于该事件的时间宽度的方法。由时间宽度确定单元12确定的时间宽度W可以是随单独的确定时间而变化的值,或者是在特定的固定确定时间之间的相同值。表示所确定的时间宽度W的时间宽度信息可以是时间宽度W本身,或者是用于对提前确定的多个时间宽度W中的任何时间宽度进行标识的时间宽度标识信息。
在从相邻照片块中设置的确定时间到拍照时间的时间距离落入固定值的约束下,内部固定时间距离邻近数据选择单元11基于时间顺序拍照时间信息以时间顺序指示的每个照片的拍照时间,以及由时间宽度确定单元12输出的时间宽度信息所指示的时间宽度,来选择关于每个相邻照片块的邻近数据。内部固定时间距离邻近数据选择单元11的操作与图3所示示例中相同。
因此,确定适于事件特性的时间宽度使得可以根据事件特性来自动调节邻近数据的范围。相应地,可以在分组时反映出事件中的拍照配置的差别。
接下来,将与时间宽度确定单元12的特定结构一起来描述时间宽度确定方法。图5是示出了时间宽度确定单元12的结构的示例的框图。如图5所示,时间宽度确定单元12可以具有事件估计单元121和时间宽度计算单元122。这里,事件估计单元121以时间顺序拍照时间信息作为输入,向时间宽度计算单元122输出表示事件种类的事件种类信息。以事件估计单元121输出的事件种类信息作为输入的时间宽度计算单元122输出时间宽度信息。
事件估计单元121至少基于每幅图像的拍照时间、根据拍照的目标来估计事件的种类。此外,时间宽度计算单元122基于与事件估计单元121所估计的事件种类相对应的拍照模式来计算时间宽度。
接下来,将描述本示例的时间宽度确定单元12的操作。当输入时间顺序拍照时间信息时,事件估计单元121根据每个照片的拍照时间来估计事件的内容(种类)。例如,在拍照时间是吃饭(例如午饭或晚饭)时间的情况下,可以将事件的种类估计为“与进餐有关”,认为很有可能对食物或吃饭场景进行拍照。例如,在提前注册作为对象的人的生日的情况下,或者在即使用户未能明确注册的情况下,当注册了其他信息(如,应用于上次生日晚会的照片的关键字)时,将这些信息以及拍照时间和日期相组合以自动估计何时是生日,以及当拍照时间和日期接近生日时,可以将事件种类估计为“与生日有关”,认为该事件很有可能是生日晚会。在这种情况下,认为这样的事件很有可能发生在节日,并通过使用日历信息将接近生日的节日包含到范围之内,可以将事件种类估计为“与生日有关”。事件估计单元121可以基于确定时间来确定事件种类,或可以基于要分组的整组照片的拍照时间、通过粗略分类来估计事件种类。
更具体地,事件估计单元121仅需要基于提前确定的确定方法(确定过程、条件等)在提前定义的事件种类当中选择至少一个事件种类。当无法满足事件种类的任何条件时,事件估计单元12可以输出事件种类信息指示事件种类未知。
向时间宽度计算单元122输出用于标识所估计事件的事件种类信息。这里,事件种类信息可以是表示所估计的一个事件的种类的信息,或者是表示作为候选的多个事件的种类的信息。事件估计单元121还可以与事件种类一起输出表示事件估计可靠性的指标数据。
接下来,时间宽度计算单元122根据事件估计单元121所估计的事件的种类来控制(确定)时间宽度W。例如,当事件种类指示事件“与进餐有关”时,采用大的时间宽度并控制以防止过度划分吃饭的照片而使得认为在吃饭时没有拍摄照片。在事件种类例如是还包括多个划分事件(切蛋糕、吹蜡烛、交换赠品等)的“生日晚会”时,例如可以执行控制以减小时间宽度,使得可以将生日晚会中的单独事件分开。在时间宽度W是根据事件种类而提前确定的情况下,时间宽度计算单元122仅需要根据事件种类来获得时间宽度W。
另一方面,当事件种类信息包括多个候选的事件种类时,计算适于所有候选的时间宽度。例如,当提前独立地设置适于每一事件种类的时间宽度时,时间宽度计算单元122可以按照候选的顺序来对事件进行加权以获得加权平均,从而计算一个时间宽度。此时,如果事件估计的可靠性指标可以一起使用,则可通过权重来反映该可靠性指标。例如,可能的情况是,对与可靠性指标成比例的权重进行加权平均,以计算时间宽度。当可靠性低时,例如可以利用所添加的默认时间宽度来进行加权平均,以近似默认时间宽度。
此外,时间宽度计算单元122可以从用户接受表示事件等级的参数的输入,以允许用户对要分组的事件的等级进行设置。这里,事件等级是表示作为分组单位的事件尺度的指标,等级变得越粗糙,则作为分组单位的事件尺度越大。当设置事件等级时,时间宽度计算单元122仅需要计算在分组等级(划分等级)上反映事件等级的时间宽度。更具体地,随着事件等级变得更粗糙,将时间宽度设置得更大,以通过增大时间宽度、利用宏观波动来检测拍照配置的变化,相反,随着事件等级变得更精细,将时间宽度设置得更小,以利用小的时间变化来检测拍照配置的变化。最终,通过将根据事件种类而计算的时间宽度与反映用户对事件等级的意向的时间宽度相混合来进行计算。可用的计算方法是将这两个宽度相混合的任意方法,如对根据事件种类而确定的时间宽度和通过用户请求而确定的时间宽度进行加权相加。
因此,通过基于拍照时间信息来估计事件的内容,可以选择适于事件内容的时间宽度。此外,用户利用参数对事件等级的指定使得可以指定反映事件估计结果和用户意图两者的时间宽度。此外在本示例中,仅使用拍照时间信息来估计事件内容具有的优点是,使得甚至可以将设备容易地安装于在算术运算量方面具有很大约束的终端上,如摄像机或蜂窝电话。
图6是示出了时间宽度确定单元12的结构的另一示例的框图。如图6所示,时间宽度确定单元12可以具有事件估计单元121和时间宽度计算单元122。尽管图6所示的时间宽度确定单元12与图5所示示例的区别在于,事件估计单元121不仅接收时间顺序拍照时间信息的输入,还接收照片数据(照片的图像数据)或照片的元数据的输入,其余相同。
在本示例中,事件估计单元121通过使用照片的图像数据或元数据以及拍照时间,来估计事件的内容。更具体地,通过使用照片的图像数据,使用通过对颜色、图案、以及成分进行分析而获得的信息,基于整个照片或通过划分照片而得到的区域进行事件估计。例如,在整个照片较暗并且该照片是在夜间拍摄的情况下,认为对象是夜间场景的可能性很高,对于呈现这种特征的照片组,将事件种类估计为“与夜间场景有关”。此外,当拍照时间和日期是在夏天时,认为该事件种类为焰火的可能性很高,对于呈现这种特征的照片组,将事件种类估计为“焰火”。利用图像数据分析信息(整个照片或基于区域的颜色、图案、成分等)、拍照时间的时区、以及提前存储的有关事件种类,事件估计单元121仅需要通过查阅相应的事件种类、基于分析结果和拍照时间来获得估计。
此外,当可以通过GPS(全球定位系统)自动获得拍照地点的信息时,还可以将拍照位置信息用作元数据。即使在采用照片组估计出相同事件种类“焰火”的情况下,当指示较大不同的拍照位置时,认为它们是不同的焰火事件,采用拍照位置发生改变的位置作为边界,对与该事件种类“焰火”相对应的照片的范围分别做出指示。可选地,可以与事件种类一起输出表示事件尺度的信息。即使无法获得要处理的照片的拍照位置信息,当从具有邻近拍照时间的其他照片中获得拍照位置信息时,可以通过使用该照片位置信息来估计要处理的照片的照片位置。
时间宽度计算单元122仅需要通过不仅反映事件估计单元121输出的事件种类、还反映与所估计的事件种类或事件尺度有关的照片范围,来计算时间宽度。例如,采用根据事件种类而确定的时间宽度,将照片范围所指示的时间宽度以及根据事件尺度而确定的时间宽度相混合以获得计算结果。
因此,通过使用照片的图像数据或拍照位置的元数据等以及拍照时间信息,可以对事件实现更精确的估计,从而更适当地计算时间宽度。
接下来将更详细地描述组边界确定单元2。
图7是示出了组边界确定单元2的结构的示例的框图。如图7所示,组边界确定单元7可以包括拍照密度计算单元21和最小点检测单元22。拍照密度计算单元21这里以时间顺序拍照时间信息和邻近数据指定信息作为输入,向最小点检测单元22输出表示每个确定时间的拍照密度的密度信息。最小点检测单元22以拍照密度计算单元21输出的密度信息作为输入,输出组边界位置信息。
拍照密度计算单元21基于邻近数据来计算每个确定时间(在每个相邻照片块中有一个或多个确定时间)的拍照密度。这里,拍照密度表示对在以确定时间为参考的情况下预定的时间区域上的拍照行为的拥塞程度进行指示的指标。最小点检测单元22对拍照密度计算单元21所计算的在每个确定时间处的拍照密度进行比较以检测最小点,并基于时间区域中检测到的最小点的位置来确定组边界。
接下来,将描述本示例的组边界确定单元2的操作。拍照密度计算单元21接收时间顺序拍照时间信息和邻近数据指定信息的输入。拍照密度计算单元21通过使用邻近照片的拍照时间数据作为由邻近数据指定信息指定的、在每个确定时间处的邻近数据,来计算每个确定时间处的拍照密度。然后,向最小点检测单元22输出表示每个确定时间的所计算的拍照密度的密度信息。可以获得拍照密度作为在时间区域内拍摄照片的频率(拍照频率),其中所述时间区域的范围是用作在确定时间处开始的时间距离约束的时间宽度。其可以通过使用以下将描述的窗函数来获得。
最小点检测单元22基于从拍照密度计算单元21输出的密度信息所指示的每个确定时间处的拍照密度,检测拍照密度的最小点。例如,通过对以时间顺序布置的各个确定时间处的拍照密度的值进行比较以检验每个确定时间处拍照密度的变化,并检测变化从减小变成增大的点(确定时间)作为最小点。更具体地,在时间t处的拍照密度作为f(t)的情况下,检测针对三个连续确定时间Tm-1、Tm、以及Tm+1满足以下表达式(6)的Tm作为最小点。可以利用具有某种程度上的偏差宽度的变化来检测最小点。
f(Tm-1)>f(Tm)和f(Tm)<f(Tm+1)  表达式(6)
除了前述以外,可以使用检测最小点的任意方法。当检测到最小点时,最小点检测单元22仅需要确定在最小点之前和之后划分的组。例如,假定检测到最小点的确定时间是Tm,则确定在满足以下表达式(7)的第k和第(k+1)个照片之间的相邻照片块中存在组边界。
(公式3)
T(k)≤Tm<T(k+1)    表达式(7)
由于通常基于事件来拍摄照片,所以通过这样的基于每个相邻照片块中确定时间处的拍照密度的起伏来检测拍照配置的变化,使得与现有技术已知的简单阈值处理的情况相比,可以以更高的精度来对照片进行分组。此外,由于时间上相隔很远的拍照时间数据并不用作计算拍照密度时使用的拍照时间数据,所以可以以高精度进行分组。
图8是示出了拍照密度计算单元21的结构的示例的框图。如图8所示,拍照密度计算单元21可以包括窗函数基本拍照密度计算单元211。这里,窗函数基本拍照密度计算单元211以时间顺序拍照时间信息、邻近数据指定信息和时间宽度信息作为输入,输出密度信息。
窗函数基本拍照密度计算单元211通过使用预先定义的窗函数来计算每个确定时间(每个相邻照片块中的确定时间)处的拍照密度。这里,窗函数表示在以原点为中心的固定范围内具有正值的非负函数。窗函数的值指示特定照片的拍照对邻近时间区域中的拍照密度有多大影响。
图9是用于说明窗函数的示例的图。图9(a)示出了具有三角形的窗函数的示例。图9(b)示出了具有矩形的窗函数的示例。如图9(a)所示,当窗函数绘制出连续变化的三角形时,一个照片的拍照给邻近时间区域中的拍照密度带来的变化将也是连续的。另一方面,例如,如图9(b)所示,当函数绘制出在任意时间等处均具有固定值的非连续变化函数形状时,一个照片的拍照给邻近时间区域中的拍照密度带来的变化将也是非连续的。尽管在三角形窗函数的情况下例如密度随时间按比例减小,然而在具有负指数函数形式的函数的情况下,这种影响将仅限于更为邻近的区域。对于窗函数,使用随着远离原点而衰减的衰减函数,对于在时间上与确定时间相分离的时间处的拍照,对确定时间处的拍照密度进行加权。
窗函数的配置不限于图9所示的情况,例如可以使用在固定范围内具有向上凸起的函数,或者可以将具有正态分布的密度分布函数的一部分切除替换三角形形式。配置可以是横向非对称的。利用用于对这些函数中定义的窗宽度进行调节的参数W,还可以改变窗宽度以使作用范围变宽或变窄。
接下来将描述本示例的拍照密度计算单元21的操作。当输入时间顺序拍照时间信息和邻近数据指定信息时,对于邻近照片的拍照时间数据(所述邻近照片的拍照时间数据是由邻近数据指定信息所指定的、每个确定时间的邻近数据)所指示的每个拍照时间,窗函数基本拍照密度计算单元211利用作为原点(中心)的拍照时间、在时间轴上设置窗函数,以计算每个确定时间处的拍照密度,作为在确定时间处窗函数(与确定时间处的每个邻近照片的拍照时间相对应的窗函数)的叠加(superposition)。
这里,将具体描述一种使用窗函数来计算拍照密度的方法。以hw(t)来表示窗函数,以W来表示窗宽度,则通过以下表达式(8)来获得确定时间T处的拍照密度。这里,i0和i1分别是表示由邻近数据指定信息指定为邻近数据的邻近照片的范围的指标值的最小值和最大值。
(公式4)
f ( T ) = Σ i = i 0 i 1 h w ( T - T ( i ) ) 表达式(8)
例如,使用三角窗函数使得如图10所示来计算这样的拍照密度。图10示出了在拍照时间T(1)处的拍照密度例如是那些只与拍照时间T(1)相对应的窗函数的叠加(图10中,具有作为原点的拍照时间T(1)的窗函数)。还示出的是,例如在拍照时间T(2)处的拍照密度是在与拍照时间T(2)相对应的窗函数和与拍照时间T(3)相对应的窗函数之间的叠加。尽管在图10所示的示例中,通过将各个拍照时间处的拍照密度相链接来表达拍照密度的起伏,然而利用窗函数的叠加的计算方法使得可以计算任意点处的拍照密度,并且实际上,根据确定时间处窗函数的叠加来计算拍照密度。存在确定时间是拍照时间的情况。
此外,通过把选择邻近数据的时间处的时间宽度以及窗函数中由窗宽度(参数W)给定的时间宽度设置为具有相同的值,将会对确定时间造成影响的邻近照片(该邻近照片的窗函数在确定时间处具有非负值)可以被指定为邻近数据,既不多也不少。这两个时间宽度不需要是一致的,当这两个时间宽度互不相同时,仅需要在邻近数据指定信息所指定的范围内应用窗函数。换言之,使窗函数与邻近数据指定信息指示为邻近数据的邻近照片相对应,以得到它们的叠加。
因此,使用窗函数使得可以容易地计算出任意时间处的拍照密度。此外,由于采用窗函数或窗宽度的形式,所以可以自由地设置一个拍照时间将会产生影响的程度或时间范围,从而能够以高精度来对照片进行分组。此外,将窗宽度设置为由用户自由改变使得可以根据用户的意愿容易地改变照片的分组等级。
图11是示出了拍照密度计算单元21的结构的另一示例的框图。如图11所示,拍照密度计算单元21可以包括窗函数基本拍照密度计算单元211和时间宽度确定单元212。这里,时间宽度确定单元212以时间顺序拍照时间信息为输入,向窗函数基本拍照密度计算单元211输出时间宽度信息。以时间顺序拍照时间信息、邻近数据指定信息、以及从时间宽度确定单元212输出的时间宽度信息作为输入的窗函数基本拍照密度计算单元211输出密度信息。
更具体地,在本示例中,窗函数基本拍照密度计算单元211通过使用由时间宽度确定单元212确定的时间宽度W作为窗宽度,来计算拍照密度。时间宽度确定单元212仅需要执行与图5或图6所示的时间宽度确定单元12相同的处理。
因此,通过由时间宽度确定单元212来设置适于所估计的事件的时间宽度,计算具有适于该事件的时间宽度的拍照密度,使得可以容易地执行满足事件内容的高精度分组。
组边界确定单元2的结构可以是如图12所示的结构。图12是示出了组边界确定单元2的结构的另一示例的框图。如图12所示,组边界确定单元2可以包括平均拍照时间间隔计算单元23和最大点检测单元24。这里,以时间顺序拍照时间信息和邻近数据指定信息作为输入的平均拍照时间间隔计算单元23向最大点检测单元24输出表示每个确定时间处的拍照时间间隔的平均的平均时间间隔信息。最大点检测单元24以从平均拍照时间间隔计算单元23输出的平均时间间隔信息作为输入,输出组边界位置信息。
平均拍照时间间隔计算单元23计算每个确定时间(在每个相邻时间块中的一个或多个确定时间)处的邻近照片的拍照时间间隔的平均值。最大点检测单元24根据平均拍照时间间隔计算单元23所计算的每个确定时间处的邻近照片的拍照时间间隔的平均值来检测作为最大点的确定时间,以检测组边界。
接下来将描述本示例中的组边界确定单元2的操作。平均拍照时间间隔计算单元23接收时间顺序拍照时间信息和邻近数据指定信息的输入。平均拍照时间间隔计算单元23通过使用邻近照片的拍照时间数据作为由邻近数据指定信息所指定的、每个确定时间处的邻近数据,来计算每个确定时间处的平均拍照时间间隔。更具体地,首先获得邻近照片中相邻拍照时间之差以计算其平均值。计算平均拍照时间间隔的一种可能方法是:简单地对这些差求平均,或通过根据与确定时间的时间距离进行加权而求平均。然后,向最大点检测单元24输出平均时间间隔信息,该平均时间间隔信息表示所计算的每个确定时间处的邻近照片的平均拍照时间间隔。
最大点检测单元24基于从平均拍照时间间隔计算单元23输出的平均时间间隔信息来计算平均拍照时间间隔的最大点。例如,对以时间顺序排列的、每个确定时间处的平均拍照时间间隔的值的增大/减小进行计算,以检测从增大变成减小的点(确定时间)作为最大点。更具体地,利用时间t处的平均拍照时间间隔作为g(t),关于三个连续的确定时间Tm-1、Tm和Tm+1,检测满足以下表达式(9)的Tm作为最大点。可以利用具有一定起伏宽度的变化来检测最大点。
g(Tm-1)<g(Tm),并且g(Tm)>g(Tm+1)  表达式(9)
除了以上所述以外,可以使用检测最大点的任意方法。在检测到最大点时,最大点检测单元24仅需要确定在最大点之前和之后对组进行划分。换言之,在将检测到最大点时的确定时间表示为Tm的情况下,确定在满足已示出的表达式(7)的第k和第(k+1)个照片之间的相邻照片块之间存在组边界。利用最大点对组边界的确定与图7所示利用最小点对组边界的确定相同。
由于平均拍照时间间隔可以被中断为拍照密度的倒数,所以类似于使用拍照密度的情况,通过基于每个相邻照片块中确定时间处的平均时间间隔的起伏来检测拍照配置的变化,与现有技术已知的简单的阈值处理情况相比,可以以更高的精度来对照片进行分组。此外,由于没有使用在时间上相隔很远的拍照时间数据作为用于计算平均拍照时间间隔的拍照时间数据,所以可以将分组实现为高精度。
组边界确定单元2的结构可以是如图13所示的结构。图13是示出了组边界确定单元2的结构的另一示例的框图。如图13所示,组边界确定单元2可以包括拍照时间间隔计算单元25、阈值确定单元26、以及时间间隔阈值处理单元27。这里,拍照时间间隔计算单元25以时间顺序拍照时间信息作为输入,输出表示以时间顺序排列的照片之间的拍照时间间隔的时间顺序拍照时间间隔信息。阈值确定单元26以从拍照时间间隔计算单元25输出的时间顺序拍照时间间隔信息以及邻近数据指定信息作为输入,输出拍照时间间隔的阈值,以作为确定是否存在组边界的参考。时间间隔阈值处理单元27以从拍照时间间隔计算单元25输出的时间顺序拍照时间间隔信息以及从阈值确定单元26输出的阈值作为输入,输出组边界位置信息。
拍照时间间隔计算单元25基于要分组的每个照片的拍照时间信息来计算以时间顺序排列的照片之间的拍照时间间隔。阈值确定单元26确定拍照时间间隔的阈值,以作为通过使用被选择为每个确定时间处邻近数据的邻近照片之间的拍照时间间隔而确定是否存在组边界的参考,所述邻近数据由邻近数据指定信息来指定。时间间隔阈值处理单元27通过使用阈值确定单元26所确定的阈值,对每个相邻照片块的时间间隔进行阈值处理,以确定是否存在组边界。
接下来将描述本示例的组边界确定单元2的操作。拍照时间间隔计算单元25接收时间顺序拍照时间信息的输入。拍照时间间隔计算单元25计算以时间顺序彼此相邻的两个照片的拍照时间之差,并输出该差作为时间顺序拍照时间间隔信息。这种差计算方法在这里可以是现有技术已知的对以时间顺序彼此相邻的两个照片的拍照时间之差的计算,或者是根据固定规则的计算。例如,在计算以时间顺序彼此相邻的两个照片的拍照时间之差后,对若干在先和在后数据进一步进行平均,以获得拍照时间间隔。因此,所计算的时间顺序拍照时间间隔信息被输出至阈值确定单元26和时间间隔阈值处理单元27。
阈值确定单元26计算拍照时间间隔的阈值,作为通过使用被选择为每个确定时间处的邻近数据的邻近照片之间的拍照时间间隔来确定是否存在组边界的参考,所述邻近数据是由邻近数据指定信息指定的,所述间隔是根据从拍照时间间隔计算单元25输出的时间顺序拍照时间间隔信息而获得的。阈值确定单元26执行控制,使得当每个确定时间处的邻近照片之间的拍照时间间隔较短时,阈值较小,以及相反地,当拍照时间间隔较长时,阈值较大。例如,通过使用已示出的表达式(3),可以基于通过对拍照时间间隔的对数求平均而得到的值来计算阈值。然后,将计算出的阈值输出至时间间隔阈值处理单元27。
时间间隔阈值处理单元27通过使用由阈值确定单元26确定的阈值,对相邻照片块的时间间隔进行阈值处理,以确定是否存在组边界。
因此,通过对拍照时间间隔的阈值进行适当控制,以作为根据邻近照片的拍照间隔是长还是短来确定是否存在组边界的参考,与现有技术已知的简单阈值处理的情况相比,可以以更高的精度来对照片进行分组。此外,由于在确定阈值时没有使用在时间上相隔很远的照片的拍照时间数据,所以可以提高分组精度。
如上所述,即使在事件的特性或用户的拍照配置发生变化时,本示例实施例也能够实现高精度的照片分组。原因在于,以每个相邻照片块中从确定时间到拍照时间的时间距离作为约束,通过选择邻近数据,以通过使用该邻近数据来确定相邻照片块中是否存在组边界,看上去与相同事件或对象有关的一系列照片可以用于在意相邻照片块中的确定而不会因照片数目的限制而造成忽略。因此,可以检测拍照配置的变化,同时更精确地反映任意相邻照片块中用户的拍照配置或事件的特性所造成的影响。即使在稀疏地拍摄照片时,本示例实施例也使得可以实现高精度的照片分组。原因在于,仅使用在时间上邻近的照片的拍照时间数据,从而防止在时间上分离的照片对确定造成影响。
尽管在上文中仅关于照片的分组进行了描述,然而在对照片进行分组时的确定中使用的指标还能够在组中选择代表图像。例如,可以检测拍照密度的最大点或平均时间间隔的最小点作为极点,并选择在与极点最接近的时间拍摄的照片作为代表图像。
(第二示例实施例)
接下来,参考附图来描述本发明的第二示例实施例。图14是示出了根据本发明第二示例实施例的照片分组设备的结构的示例的框图。图1 4所示的照片分组设备包括拍照时间距离基本邻近数据选择单元1(简称邻近数据选择单元1)、组边界确定单元2′、以及拍照时间间隔计算单元4。这里,拍照时间间隔计算单元4以时间顺序拍照时间信息作为输入,向组边界确定单元2′输出时间顺序拍照时间间隔信息。邻近数据选择单元1以时间顺序拍照时间信息作为输入,向组边界确定单元2′输出邻近数据指定信息。组边界确定单元2′以从拍照时间间隔计算单元4输出的时间顺序拍照时间间隔信息以及从邻近数据选择单元1输出的邻近数据指定信息作为输入,输出组边界位置信息。
在本示例实施例中,组边界确定单元2′与根据第一示例实施例的组边界确定单元2的不同之处在于,所应用的信息是时间顺序拍照时间间隔信息。邻近数据选择单元1与根据第一示例实施例的邻近数据选择单元1相同。拍照时间间隔计算单元4与图13所示的拍照时间间隔计算单元25相同。
接下来将描述本示例实施例的操作。拍照时间间隔计算单元4接收时间顺序拍照时间信息的输入。拍照时间间隔计算单元4基于时间顺序拍照时间信息来计算以时间顺序排列的照片之间的拍照时间间隔。拍照时间间隔计算单元4的操作与图13所示的拍照时间间隔计算单元25的操作相同,该单元输出时间顺序拍照时间间隔信息。
另一方面,还向邻近数据选择单元1施加时间顺序拍照时间信息。当接收时间顺序拍照时间信息的输入时,邻近数据选择单元1向组边界确定单元2′输出邻近数据指定信息,所述邻近数据指定信息是用于对与每个相邻照片块中设置的确定时间的时间距离满足约束的拍照时间数据加以指定的信息。邻近数据选择单元1的操作与根据图1所示的第一示例实施例的邻近数据选择单元1的操作相同,该单元输出邻近数据指定信息。
组边界确定单元2′接收从拍照时间间隔计算单元4输出的时间顺序拍照时间间隔信息以及从邻近数据选择单元1输出的邻近数据指定信息作为输入。通过使用被选择为每个确定时间处的邻近数据(该邻近数据是由邻近数据指定信息指定的)的相邻照片之间的拍照时间间隔(该间隔是从时间顺序拍照时间间隔信息得到的),组边界确定单元2′确定每个相邻照片块中是否存在组边界。然后,基于确定结果,输出组边界位置信息。
接下来将更详细地描述组边界确定单元2′。
图15是示出了组边界确定单元2的结构的示例。如图15所示,组边界确定单元2′可以包括拍照密度计算单元21′和最小点检测单元22。这里,拍照密度计算单元21′以时间顺序拍照时间间隔信息和邻近数据指定信息作为输入,输出密度信息。最小点检测单元22以从拍照密度计算单元21′输出的密度信息作为输入,输出组边界位置信息。
在本示例中,拍照密度计算单元21′与图7所示的第一示例实施例中的拍照密度计算单元21的不同之处在于,所应用的信息是时间顺序拍照时间间隔信息。最小点检测单元22与图7所示的最小点检测单元22相同。
接下来,描述本示例的组边界确定单元2′的操作。当应用时间顺序拍照时间间隔信息时,拍照密度计算单元21′从时间顺序拍照时间间隔信息得到被选择为每个确定时间处的邻近数据(该邻近数据由邻近数据指定信息指定)的邻近照片之间的拍照时间间隔,并通过使用所得到的邻近照片之间的拍照时间间隔来计算每个确定时间处的拍照密度。在某些情况下,仅通过从时间顺序拍照时间间隔信息中选择与邻近照片之间的拍照时间间隔有关的拍照时间间隔数据,来得到邻近照片之间的拍照时间间隔。可以通过对各个邻近照片之间的拍照时间间隔求平均并采用该平均结果的倒数作为拍照密度,来实现拍照密度的计算。如果在特定的确定时间处邻近照片之间无法存在拍照时间间隔(例如,如果时间距离约束仅选择了一个邻近照片),可以认为拍照密度为0。作为拍照时间间隔的平均,可以根据与确定时间的时间距离得到简单的平均或加权平均。然后,拍照密度计算单元21′向最小点检测单元22输出对所计算的每个确定时间处的拍照密度加以表示的密度信息。
最小点检测单元22的操作与图7所示的最小点检测单元22的操作相同,并且基于从拍照密度计算单元21输出的密度信息,该最小点检测单元22检测拍照密度的最小点,以基于检测结果来确定是否存在组边界。
因此,使用拍照时间间隔数据而不是直接使用拍照时间数据类似地使得可以基于拍照密度的起伏来检测拍照配置的变化,这使得可以实现以高精度对照片进行分组。
组边界确定单元2′的结构可以是如图16所示的结构。图16是示出了组边界确定单元2′的结构的另一示例的框图。如图16所示,组边界确定单元2′可以包括平均拍照时间间隔计算单元23′和最大点检测单元24。平均拍照时间间隔计算单元23′以时间顺序拍照时间间隔信息和邻近数据指定信息作为输入,输出平均时间间隔信息。最大点检测单元24以从平均拍照时间间隔计算单元23′输出的平均时间间隔信息作为输入,输出组边界位置信息。
在本示例中,平均拍照时间间隔计算单元23′与根据图8所示第一示例实施例的平均拍照时间间隔计算单元23的不同之处在于,所应用的信息是时间顺序拍照时间间隔信息。最大点检测单元24与图8所示的最大点检测单元24相同。
接下来,描述本示例的组边界确定单元2′的操作。当应用时间顺序拍照时间间隔信息时,平均拍照时间间隔计算单元23′从时间顺序拍照时间间隔信息中得到被选择为每个确定时间处的邻近数据(该邻近数据由邻近数据指定信息指定)的邻近照片之间的拍照时间间隔,并通过使用所得到的邻近照片之间的拍照时间间隔来计算每个确定时间处的平均拍照时间间隔。计算平均拍照时间间隔的方法与图8所示的平均拍照时间间隔计算单元23的方法相同。然后,平均拍照时间间隔计算单元23′向最大点检测单元24输出平均时间间隔信息,该平均时间间隔信息表示所计算的每个确定时间处的平均拍照时间间隔。
最大点检测单元24的操作与图8所示的最大点检测单元24的操作相同,并且基于从平均拍照时间间隔计算单元23′输出的平均时间间隔信息,该最大点检测单元24检测平均拍照时间间隔的最大点,以基于检测结果来确定是否存在组边界。
因此,使用拍照时间间隔数据而不是直接使用拍照时间数据类似地使得可以基于平均拍照时间间隔的起伏来检测拍照配置的变化,这使得可以实现以高精度对照片进行分组。
组边界确定单元2′的结构可以是如图17所示的结构。图17是示出了组边界确定单元2′的结构的另一示例的框图。如图17所示,组边界确定单元2′可以包括阈值确定单元26和时间间隔阈值处理单元27。阈值确定单元26以时间顺序拍照时间间隔信息和邻近数据指定信息作为输入,输出阈值。时间间隔阈值处理单元27以从阈值确定单元26′输出的阈值以及时间顺序拍照时间间隔信息作为输入,输出组边界位置信息。
在本示例中,省略了图13所示的组边界确定单元2的示例中的拍照时间间隔计算单元25,因为该单元被构造为拍照时间间隔计算单元4。其余部分与图13所示的组边界确定单元2相同。
因此,在向组边界确定单元2′应用拍照时间间隔数据的结构中,同样可以根据邻近照片之间的拍照间隔是长还是短,以相同的方式来适当地控制阈值,这使得与现有技术已知的简单的阈值处理的情况相比,可以以更高的精度来对照片进行分组。
(第三示例实施例)
接下来将参考附图描述本发明的第三示例实施例。图18是示出了根据本发明第三示例实施例的照片分组设备的结构的示例的框图。图18所示的照片分组设备包括拍照时间距离基本邻近数据选择单元1′(简称邻近数据选择单元1′)、组边界确定单元2′、以及拍照时间间隔计算单元4。这里,拍照时间间隔计算单元4以时间顺序拍照时间信息作为输入,向组边界确定单元2′输出时间顺序拍照时间间隔信息。邻近数据选择单元1′以从拍照时间间隔计算单元4输出的时间顺序拍照时间间隔信息作为输入,向组边界确定单元2′输出邻近数据指定信息。组边界确定单元2′以从拍照时间间隔计算单元4输出的时间顺序拍照时间间隔信息以及从邻近数据选择单元1输出的邻近数据指定信息作为输入,输出组边界位置信息。
本示例实施例与图14所示的第二示例实施例的不同之处在于,将时间顺序拍照时间间隔信息应用于邻近数据选择单元1′。
关于每个相邻照片块,邻近数据选择单元1′根据时间顺序拍照时间信息,选择具有在与相邻照片块中确定的特定时间的时间距离上满足约束的拍照时间的照片,作为用于确定是否存在组边界的邻近照片,并向组边界确定单元2′输出用于对邻近照片之间的拍照时间间隔的数据加以指定的邻近数据指定信息。在本示例实施例中,邻近数据选择单元1 ′从时间顺序拍照时间间隔信息中选择拍照时间与每个相邻照片块中设置的确定时间的时间间隔满足预定约束的照片的拍照时间间隔,作为邻近数据,并输出对该邻近数据加以指定的邻近数据指定信息,从而向组边界确定单元2′指定邻近照片。
更具体地,作为用于确定第j和第(j+1)个照片之间是否存在组边界的邻近数据,选择指示拍照时间间隔d(i)的拍照时间间隔数据作为邻近数据,其中该拍照时间间隔d(i)与满足上文所述表达式(4)的确定时间T的时间距离满足特定的固定约束。例如,当使用时间距离在固定时间W内的约束时,可以得到满足以下表达式(10)(等同于上文所述表达式(5))的i0和i1,以选择索引包含在从i0到i1的范围内的照片之间的拍照时间间隔的数据作为邻近数据。这里,Δ=T-T(j),根据相邻照片块中的确定时间T的位置,取从0到d(j)的任意值。
(公式5)
Σ i = i 0 j - 1 d ( i ) + Δ ≤ W , Σ i = j i 1 d ( i ) - Δ ≤ W 表达式(10)
然后,例如,邻近数据选择单元1′向组边界确定单元2′输出邻近数据指定信息,所述邻近数据指定信息指定相对于每个确定时间T(每个相邻照片块中设置一个或多个确定时间T)的所选邻近数据。邻近数据指定信息可以是所选邻近数据自身(邻近照片之间的拍照时间间隔的数据)或对被选择为邻近数据的照片的索引值加以表示的信息。此外,当选择连续照片作为邻近照片时,该信息可以是对所选照片的范围加以表示的索引值(例如,所选照片的索引的最大值和最小值,最大值或最小值,以及所选数目等)。组边界确定单元2′的操作与图14所示组边界确定单元2′的操作相同。当选择不连续的照片作为邻近照片时,邻近数据选择单元1′可以基于时间顺序拍照时间间隔信息得到所选邻近照片之间的拍照时间间隔,以输出对所得到的邻近照片之间的拍照时间间隔的数据加以表示的邻近数据指定信息,或者组边界确定单元2′可以基于邻近数据指定信息所指示的邻近照片的索引值和时间顺序拍照时间间隔信息来得到邻近照片之间的拍照时间间隔。
类似于第二示例实施例,组边界确定单元2′通过使用邻近数据指定信息所指示的相邻照片之间的拍照时间间隔,确定相邻照片块中是否存在组边界。
因此,本示例实施例类似地可以实现一种结构,在该结构中向照片分组设备应用时间顺序拍照时间间隔信息,以便以高精度对照片进行分组。
尽管在上文中参考优选实现方式(以及示例实施例)来描述本发明,然而本发明不限于上述优选实现方式(以及示例实施例)。本领域技术人员将理解,在本发明的范围之内,可以对本发明进行结构和细节上的各种修改。
通过引用并入
本申请基于并要求于2007年4月13日提交的日本专利申请No.2007-106004的优先权,其全部公开一并在此作为参考。本发明还可以用作安装于这些设备上的照片分组程序。
工业实用性
本发明可应用于对包括拍照时间的多个照片数据进行管理的设备。优选地,本发明应用于保存有照片数据的数字摄像机设备或带有摄像机的移动终端、或具有由摄像机设备或移动终端所拍摄的照片的照片数据的个人计算机,等等。本发明还可以用于安装在这些设备上的照片分组程序。

Claims (38)

1.一种照片分组设备,用于通过确定在以拍照顺序排列的照片组中彼此相邻的两个照片之间是否存在组边界,对照片进行分组,所述照片分组设备包括:
组边界确定单元,被配置为基于满足与每个相邻照片块中确定的特定时间的时间距离约束的照片的拍照时间、或基于照片之间的拍照时间间隔,通过检测相邻照片块中拍照配置的变化而确定将每个相邻照片块夹在中间的两个照片之间是否存在组边界,所述相邻照片块作为夹在所述照片组中彼此相邻的两个照片的拍照时间之间的时间块,
其中,所述时间距离约束是:时间间隔不大于固定时间或拍照时间包括在不同日的相同时区中。
2.根据权利要求1所述的照片分组设备,包括:
邻近照片指定单元,用于关于每个相邻照片块,确定该相邻照片块中的一个或多个时间作为确定时间,并基于对要分组的照片组中包含的每个照片的拍照时间加以表示的时间顺序拍照时间信息,把相邻照片块中的一个或多个时间与拍照时间之间的时间距离满足预定约束的照片指定为邻近照片;
其中,所述组边界确定单元还被配置用于关于每个相邻照片块,通过使用被所述邻近照片指定单元指定为相邻照片块中由所述时间顺序拍照时间信息指示的一个或多个确定时间处的邻近照片的照片的拍照时间,检测相邻照片块中拍照配置的变化,以确定将每个相邻照片块夹在中间的两个照片之间是否存在组边界。
3.根据权利要求2所述的照片分组设备,其中,所述组边界确定单元包括:
拍照密度计算单元,用于通过使用被指定为每个相邻照片块中一个或多个确定时间处的邻近照片的照片的拍照时间,来计算拍照密度,所述拍照密度表示在以每个确定时间为参考的预定时间区域上拍摄照片的行为的拥塞程度;以及
最小点检测单元,用于通过将所述拍照密度计算单元所计算的各个确定时间处的拍照密度进行比较而检测最小点,以基于时间区域中检测到的最小点的位置来确定组边界。
4.根据权利要求2所述的照片分组设备,其中,所述组边界确定单元包括:
平均拍照时间间隔计算单元,用于通过使用被指定为每个相邻照片块中一个或多个确定时间处的邻近照片的照片的拍照时间,来计算平均拍照时间间隔,所述平均拍照时间间隔表示在以每个确定时间为参考的预定时间区域中拍摄的照片之间的拍照时间间隔的平均值;以及
最大点检测单元,用于通过将所述平均拍照时间间隔计算单元所计算的各个确定时间处的平均拍照时间间隔相比较,来检测最大点,以基于时间区域中检测到的最大点的位置来确定组边界。
5.根据权利要求2所述的照片分组设备,其中,所述组边界确定单元包括:
拍照时间间隔计算单元,用于基于时间顺序拍照时间信息来计算每个相邻照片块的时间间隔,作为要分组的照片组中彼此相邻的照片之间的拍照时间间隔;
阈值确定单元,用于关于每个相邻照片块,通过使用被邻近照片指定单元指定为相邻照片块中一个或多个确定时间处的邻近照片的照片之间的、从所述拍照时间间隔计算单元所计算的每个相邻照片块的时间间隔中得到的拍照时间间隔,来确定相邻照片块的时间间隔的阈值;以及
阈值处理单元,用于通过使用所述阈值确定单元所确定的每个相邻照片块的时间间隔的阈值,来对每个相邻照片块的时间间隔进行阈值处理,以根据阈值处理的结果来确定组边界。
6.根据权利要求3所述的照片分组设备,其中,所述拍照密度计算单元根据窗函数的叠加来计算拍照密度,所述窗函数是在以被指定为邻近照片的照片的拍照时间为中心的固定范围内具有正值的非负函数。
7.根据权利要求6所述的照片分组设备,其中,所述窗函数是随着该函数远离原点而衰减的函数。
8.根据权利要求6或7所述的照片分组设备,包括:
时间宽度确定单元,用于基于时间顺序拍照时间信息来确定对窗函数中的窗宽度加以限定的时间宽度;其中
拍照密度计算单元根据所述时间宽度确定单元所确定的时间宽度来改变窗函数中的窗宽度。
9.根据权利要求1所述的照片分组设备,包括:
拍照时间间隔计算单元,用于基于表示要分组的照片组中包含的每个照片的拍照时间的时间顺序拍照时间信息,来计算每个相邻照片块的时间间隔,作为要分组的照片组中彼此相邻的照片之间的拍照时间间隔;
邻近照片指定单元,用于关于每个相邻照片块,确定相邻照片块中的一个或多个时间作为确定时间,并基于所述时间顺序拍照时间信息,将在相邻照片块中的一个或多个时间与拍照时间之间的时间距离上满足预定约束的照片指定为邻近照片;以及
所述组边界确定单元还被配置用于:关于每个相邻照片块,通过使用被所述邻近照片指定单元指定为相邻照片块中一个或多个确定时间处的邻近照片的照片之间的、从所述拍照时间间隔计算单元所计算的每个相邻照片块的时间间隔中得到的拍照时间间隔,来检测相邻照片块中拍照配置的变化,以确定在将每个相邻照片块夹在中间的两个照片之间是否存在组边界。
10.根据权利要求1所述的照片分组设备,包括:
拍照时间间隔计算单元,用于基于表示要分组的照片组中包含的每个照片的拍照时间的时间顺序拍照时间信息,来计算每个相邻照片块的时间间隔,作为要分组的照片组中彼此相邻的照片之间的拍照时间间隔;
邻近照片指定单元,用于关于每个相邻照片块,确定相邻照片块中的一个或多个时间作为确定时间,并基于所述拍照时间间隔计算单元所计算的每个相邻照片块的时间间隔,将表示拍照时间在与所述确定时间的时间距离上满足约束的照片指定为邻近照片;以及
所述组边界确定单元还被配置用于:关于每个相邻照片块,通过使用被所述邻近照片指定单元指定为在相邻照片块中的一个或多个确定时间处的邻近照片的照片之间的、从所述拍照时间间隔计算单元计算的每个相邻照片块的时间间隔中得到的拍照时间间隔,来检测相邻照片块中的拍照配置的变化,以确定在将每个相邻照片块夹在中间的两个照片之间是否存在组边界。
11.根据权利要求9所述的照片分组设备,其中,所述组边界确定单元包括:
拍照密度计算单元,用于通过使用被指定为每个相邻照片块中一个或多个确定时间处的邻近照片的照片之间的拍照时间间隔,来计算拍照密度,所述拍照密度表示在以每个确定时间为参考的预定时间区域上拍摄照片的行为的拥塞程度;以及
最小点检测单元,用于通过将所述拍照密度计算单元所计算的各个确定时间处的拍照密度进行比较,来检测最小点,以基于时间区域中检测到的最小点的位置来确定组边界。
12.根据权利要求11所述的照片分组设备,其中,拍照密度计算单元根据被指定为确定时间处的邻近照片的照片之间的拍照时间间隔的平均值的倒数,计算拍照密度。
13.根据权利要求9或10所述的照片分组设备,其中,所述组边界确定单元包括:
平均拍照时间间隔计算单元,用于通过使用被指定为每个相邻照片块中一个或多个确定时间处的邻近照片的照片之间的拍照时间间隔,来计算平均拍照时间间隔,所述平均拍照时间间隔表示在以每个确定时间为参考的预定时间区域中拍摄的照片之间的拍照时间间隔的平均值;以及
最大点检测单元,用于通过将所述平均拍照时间间隔计算单元所计算的各个确定时间处的平均拍照时间间隔相比较,来检测最大点,以基于时间区域中检测到的最大点的位置来确定组边界。
14.根据权利要求9或10所述的照片分组设备,其中,所述组边界确定单元包括:
阈值确定单元,用于关于每个相邻照片块,通过使用被指定为相邻照片块中一个或多个确定时间处的邻近照片的照片之间的拍照时间间隔,来确定相邻照片块的时间间隔的阈值;以及
阈值处理单元,用于通过使用所述阈值确定单元所确定的每个相邻照片块的时间间隔的阈值,来对每个相邻照片块的时间间隔进行阈值处理,以根据阈值处理的结果来确定组边界。
15.根据权利要求2所述的照片分组设备,其中,所述邻近照片指定单元以以下时间距离约束指定邻近照片:相邻照片块中的确定时间与拍照时间之间的时间间隔不大于固定值。
16.根据权利要求15所述的照片分组设备,包括:
时间宽度确定单元,用于基于时间顺序拍照时间信息来确定时间距离约束中的时间宽度;其中
邻近照片指定单元以以下时间距离约束指定邻近照片:相邻照片块中的确定时间与拍照时间之间的时间间隔不大于由所述时间宽度确定单元所确定的时间宽度所指示的固定时间。
17.根据权利要求16所述的照片分组设备,其中,所述时间宽度确定单元包括:
事件估计单元,用于基于时间顺序拍照时间信息来估计要拍照的事件的种类,以及
时间宽度计算单元,用于基于所述事件估计单元所估计的事件种类来计算时间宽度,所述时间宽度反映了根据每一事件种类而预测的典型拍照模式。
18.根据权利要求17所述的照片分组设备,其中,所述事件估计单元基于每个照片的图像数据或每个照片的拍照位置来估计事件的种类。
19.根据权利要求17或18所述的照片分组设备,其中,基于表示作为用户所指定的分组单位的事件尺度的事件等级,所述时间宽度计算单元随着事件等级变得更精细而将时间宽度计算得更小,以及随着事件等级变得更粗糙而将时间宽度计算得更大。
20.一种照片分组方法,通过确定以拍照顺序排列的照片组中彼此相邻的两个照片之间是否存在组边界而对照片进行分组,其中,基于满足与每个相邻照片块中确定的特定时间的时间距离约束的照片的拍照时间,或基于照片之间的拍照时间间隔,通过检测相邻照片块中拍照配置的变化,来确定将每个相邻照片块夹在中间的两个照片之间是否存在组边界,所述相邻照片块作为夹在所述照片组中彼此相邻的两个照片的拍照时间之间的时间块,
其中,所述时间距离约束是:时间间隔不大于固定时间或拍照时间包括在不同日的相同时区中。
21.根据权利要求20所述的照片分组方法,其中,
邻近照片指定单元关于每个相邻照片块,确定该相邻照片块中的一个或多个时间作为确定时间,并基于表示要分组的照片组中包含的每个照片的拍照时间的时间顺序拍照时间信息,把在相邻照片块中的一个或多个时间与拍照时间之间的时间距离上满足预定约束的照片指定为邻近照片,以及
组边界确定单元关于每个相邻照片块,通过使用被指定为相邻照片块中由所述时间顺序拍照时间信息指示的一个或多个确定时间处的邻近照片的照片的拍照时间,来检测相邻照片块中拍照配置的变化,以确定将每个相邻照片块夹在中间的两个照片之间是否存在组边界。
22.根据权利要求21所述的照片分组方法,其中,所述组边界确定单元:
通过使用被指定为每个相邻照片块中一个或多个确定时间处的邻近照片的照片的拍照时间,计算拍照密度,所述拍照密度表示在以每个确定时间为参考的预定时间区域上拍摄照片的行为的拥塞程度,以及
通过将所计算的各个确定时间处的拍照密度进行比较,来检测最小点,以基于时间区域中检测到的最小点的位置来确定组边界。
23.根据权利要求21或22所述的照片分组方法,其中,所述组边界确定单元:
通过使用被指定为每个相邻照片块中一个或多个确定时间处的邻近照片的照片的拍照时间,计算平均拍照时间间隔,所述平均拍照时间间隔表示在以每个确定时间为参考的预定时间区域中拍摄的照片之间的拍照时间间隔的平均值,以及
通过将所计算的各个确定时间处的平均拍照时间间隔相比较,来检测最大点,以基于时间区域中检测到的最大点的位置来确定组边界。
24.根据权利要求21所述的照片分组方法,其中,所述组边界确定单元:
基于时间顺序拍照时间信息来计算每个相邻照片块的时间间隔,作为要分组的照片组中彼此相邻的照片之间的拍照时间间隔,
关于每个相邻照片块,通过使用被指定为相邻照片块中一个或多个确定时间处的邻近照片的照片之间的、从所计算的每个相邻照片块的时间间隔中得到的拍照时间间隔,确定相邻照片块的时间间隔的阈值,以及
通过使用所确定的每个相邻照片块的时间间隔的阈值,对每个相邻照片块的时间间隔进行阈值处理,以根据阈值处理的结果来确定组边界。
25.根据权利要求24所述的照片分组方法,其中,所述组边界确定单元根据窗函数的叠加来计算拍照密度,所述窗函数是在以被指定为邻近照片的照片的拍照时间为中心的固定范围内具有正值的非负函数。
26.根据权利要求25所述的照片分组方法,其中,所述窗函数是随着该函数远离原点而衰减的函数。
27.根据权利要求25或26所述的照片分组方法,其中:
时间宽度确定单元基于时间顺序拍照时间信息来确定对窗函数中的窗宽度加以限定的时间宽度,以及
组边界确定单元根据所述时间宽度确定单元所确定的时间宽度来改变窗函数中的窗宽度。
28.根据权利要求20所述的照片分组方法,其中,
拍照时间间隔计算单元基于表示要分组的照片组中包含的每个照片的拍照时间的时间顺序拍照时间信息,计算每个相邻照片块的时间间隔,作为要分组的照片组中彼此相邻的照片之间的拍照时间间隔,
邻近照片指定单元关于每个相邻照片块,确定相邻照片块中的一个或多个时间作为确定时间,并基于所述时间顺序拍照时间信息,把在相邻照片块中的一个或多个时间与拍照时间之间的时间距离上满足预定约束的照片指定为邻近照片,以及
组边界确定单元关于每个相邻照片块,通过使用被指定为相邻照片块中一个或多个确定时间处的邻近照片的照片之间的、从所计算的每个相邻照片块的时间间隔中得到的拍照时间间隔,检测相邻照片块中拍照配置的变化,以确定将每个相邻照片块夹在中间的两个照片之间是否存在组边界。
29.根据权利要求20所述的照片分组方法,其中,
拍照时间间隔计算单元基于表示要分组的照片组中包含的每个照片的拍照时间的时间顺序拍照时间信息,计算每个相邻照片块的时间间隔,作为要分组的照片组中彼此相邻的照片之间的拍照时间间隔,
邻近照片指定单元关于每个相邻照片块,确定该相邻照片块中的一个或多个时间作为确定时间,并基于所计算的每个相邻照片块的时间间隔,将表示拍照时间在与所述确定时间的时间距离上满足约束照片指定为邻近照片,以及
组边界确定单元关于每个相邻照片块,通过使用被指定为在相邻照片块中一个或多个确定时间处的邻近照片的照片之间的、从所计算的每个相邻照片块的时间间隔中得到的拍照时间间隔,检测相邻照片块中拍照配置的变化,以确定将每个相邻照片块夹在中间的两个照片之间是否存在组边界。
30.根据权利要求28所述的照片分组方法,其中,所述组边界确定单元:
通过使用被指定为每个相邻照片块中一个或多个确定时间处的邻近照片的照片之间的拍照时间间隔,计算拍照密度,所述拍照密度表示在以每个确定时间为参考的预定时间区域上拍摄照片的行为的拥塞程度,以及
通过将所计算的各个确定时间处的拍照密度进行比较,来检测最小点,以基于时间区域中检测到的最小点的位置来确定组边界。
31.根据权利要求30所述的照片分组方法,其中,组边界确定单元根据被指定为确定时间处的邻近照片的照片之间的拍照时间间隔的平均值的倒数,计算拍照密度。
32.根据权利要求28或29所述的照片分组方法,其中,所述组边界确定单元:
通过使用被指定为每个相邻照片块中一个或多个确定时间处的邻近照片的照片之间的拍照时间间隔,计算平均拍照时间间隔,所述平均拍照时间间隔表示在以每个确定时间为参考的预定时间区域中拍摄的照片之间的拍照时间间隔的平均值,以及
通过将所计算的各个确定时间处的平均拍照时间间隔相比较,来检测最大点,以基于时间区域中检测到的最大点的位置来确定组边界。
33.根据权利要求28或29所述的照片分组方法,其中,所述组边界确定单元:
关于每个相邻照片块,通过使用被指定为相邻照片块中一个或多个确定时间处的邻近照片的照片之间的拍照时间间隔,确定相邻照片块的时间间隔的阈值;以及
通过使用所确定的每个相邻照片块的时间间隔的阈值,对每个相邻照片块的时间间隔进行阈值处理,以根据阈值处理的结果来确定组边界。
34.根据权利要求21所述的照片分组方法,其中,所述邻近照片指定单元以以下时间距离约束指定邻近照片:在相邻照片块中的确定时间与拍照时间之间的时间间隔不大于固定值。
35.根据权利要求34所述的照片分组方法,其中,
时间宽度确定单元基于时间顺序拍照时间信息来确定时间距离约束中的时间宽度,以及
邻近照片指定单元以以下时间距离约束指定邻近照片:相邻照片块中的确定时间与拍照时间之间的时间间隔不大于由所述时间宽度所指示的固定时间。
36.根据权利要求35所述的照片分组方法,其中,所述时间宽度确定单元:
基于时间顺序拍照时间信息来估计要拍照的事件的种类,以及
基于所估计的事件种类来计算时间宽度,所述时间宽度反映了根据每一事件种类而预测的典型拍照模式。
37.根据权利要求36所述的照片分组方法,其中,所述时间宽度确定单元基于每个照片的图像数据或每个照片的拍照位置,来估计事件的种类。
38.根据权利要求36或37所述的照片分组方法,其中,基于表示作为用户指定的分组单位的事件尺度的事件等级,所述时间宽度计算单元随着事件等级变得更精细而将时间宽度计算得更小,以及随着事件等级变得更粗糙而将时间宽度计算得更大。
CN200880011955XA 2007-04-13 2008-04-11 照片分组设备、照片分组方法以及照片分组程序 Active CN101657815B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007106004 2007-04-13
JP106004/2007 2007-04-13
PCT/JP2008/057175 WO2008133046A1 (ja) 2007-04-13 2008-04-11 写真グループ化装置、写真グループ化方法、および写真グループ化用プログラム

Publications (2)

Publication Number Publication Date
CN101657815A CN101657815A (zh) 2010-02-24
CN101657815B true CN101657815B (zh) 2012-09-26

Family

ID=39925505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880011955XA Active CN101657815B (zh) 2007-04-13 2008-04-11 照片分组设备、照片分组方法以及照片分组程序

Country Status (5)

Country Link
US (1) US8352471B2 (zh)
EP (1) EP2138939A4 (zh)
JP (1) JP5287716B2 (zh)
CN (1) CN101657815B (zh)
WO (1) WO2008133046A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340436B2 (en) * 2009-06-19 2012-12-25 Eastman Kodak Company Detecting significant events in consumer image collections
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US11580155B2 (en) * 2011-03-28 2023-02-14 Kodak Alaris Inc. Display device for displaying related digital images
JP5735330B2 (ja) * 2011-04-08 2015-06-17 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
JP2014170980A (ja) * 2011-05-12 2014-09-18 Nec Corp 情報処理装置、情報処理方法および情報処理プログラム
JP2014170979A (ja) * 2011-05-12 2014-09-18 Nec Corp 情報処理装置、情報処理方法および情報処理プログラム
JP2013003630A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US9542421B2 (en) 2012-01-24 2017-01-10 Google Inc. Sequencing electronic files
CN103310005A (zh) * 2013-06-28 2013-09-18 北京小米科技有限责任公司 缩略图显示方法及装置
JP6018029B2 (ja) * 2013-09-26 2016-11-02 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
US9070048B2 (en) * 2013-10-17 2015-06-30 Adobe Systems Incorporated Method and apparatus for automatically identifying a representative image for an image group
CN104866501B (zh) * 2014-02-24 2021-06-25 腾讯科技(深圳)有限公司 电子旅行相册生成方法和系统
CN105376651B (zh) * 2014-08-29 2018-10-19 北京金山安全软件有限公司 一种生成视频幻灯片的方法及装置
CN104469069B (zh) * 2014-12-15 2019-07-30 北京百度网讯科技有限公司 照片同步方法和装置
CN104462422A (zh) * 2014-12-15 2015-03-25 北京百度网讯科技有限公司 对象的处理方法及装置
CN105989182A (zh) * 2015-04-13 2016-10-05 乐视移动智能信息技术(北京)有限公司 照片显示方法及智能终端
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
US20160357822A1 (en) * 2015-06-08 2016-12-08 Apple Inc. Using locations to define moments
AU2015203570A1 (en) * 2015-06-26 2017-01-19 Canon Kabushiki Kaisha Method, system and apparatus for segmenting an image set to generate a plurality of event clusters
JP6599727B2 (ja) * 2015-10-26 2019-10-30 株式会社Screenホールディングス 時系列データ処理方法、時系列データ処理プログラム、および、時系列データ処理装置
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US10324973B2 (en) 2016-06-12 2019-06-18 Apple Inc. Knowledge graph metadata network based on notable moments
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
KR102596477B1 (ko) 2016-09-23 2023-11-02 애플 인크. 아바타 생성 및 편집
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
CN110413817B (zh) * 2019-07-30 2023-06-16 腾讯科技(武汉)有限公司 用于对图片进行聚类的方法和设备
US20220366191A1 (en) * 2021-05-11 2022-11-17 Google Llc Automatic generation of events using a machine-learning model

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08335034A (ja) * 1995-06-08 1996-12-17 Konica Corp 写真画像の検索装置及びファイル状態の表示方法
US6606411B1 (en) 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
JP3562572B2 (ja) * 2000-05-02 2004-09-08 インターナショナル・ビジネス・マシーンズ・コーポレーション データベースのドキュメントにおける新規な事項・新規クラスの検出及び追跡
JP4187954B2 (ja) * 2001-08-15 2008-11-26 富士フイルム株式会社 電子アルバム装置と電子アルバム作成方法
JP3914747B2 (ja) * 2001-11-07 2007-05-16 オリンパス株式会社 画像検索装置
US7970240B1 (en) * 2001-12-17 2011-06-28 Google Inc. Method and apparatus for archiving and visualizing digital images
JP2004355493A (ja) 2003-05-30 2004-12-16 Canon Inc 画像処理装置
JP4189811B2 (ja) * 2003-09-30 2008-12-03 日本電気株式会社 画像検出装置、画像検出方法及び画像検出用プログラム
JP2006085588A (ja) * 2004-09-17 2006-03-30 Noritsu Koki Co Ltd 画像記憶装置
EP1598638A2 (en) 2004-05-20 2005-11-23 Noritsu Koki Co., Ltd. Image processing system and navigaton system for correlating position data with image data
US7653249B2 (en) * 2004-11-17 2010-01-26 Eastman Kodak Company Variance-based event clustering for automatically classifying images
JP4577173B2 (ja) * 2005-09-29 2010-11-10 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4262711B2 (ja) 2005-10-14 2009-05-13 大同メタル工業株式会社 樹脂被覆ベアリングの成形方法及び樹脂被膜ベアリングの製造方法並びにその成形方法で成形した樹脂被膜ベアリング

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2000-112997A 2000.04.21
JP特开2001-312505A 2001.11.09
JP特开2003-58867A 2003.02.28

Also Published As

Publication number Publication date
JPWO2008133046A1 (ja) 2010-07-22
US8352471B2 (en) 2013-01-08
CN101657815A (zh) 2010-02-24
US20100114891A1 (en) 2010-05-06
EP2138939A4 (en) 2012-02-29
WO2008133046A1 (ja) 2008-11-06
EP2138939A1 (en) 2009-12-30
JP5287716B2 (ja) 2013-09-11

Similar Documents

Publication Publication Date Title
CN101657815B (zh) 照片分组设备、照片分组方法以及照片分组程序
US11875565B2 (en) Method of selecting important digital images
TWI498843B (zh) 可攜式電子裝置、內容推薦方法及電腦可讀媒體
US10261962B2 (en) System and method for intelligently determining image capture times for image applications
US9665597B2 (en) Method and system for processing images using time and location filters
US8312374B2 (en) Information processing apparatus and method and computer program
US20120027311A1 (en) Automated image-selection method
US20080133697A1 (en) Auto-blog from a mobile device
Yin et al. Socialized mobile photography: Learning to photograph with social context via mobile devices
US20080129835A1 (en) Method for processing image files using non-image applications
US20140079324A1 (en) Image classifying apparatus for classifying images and electronic album creating apparatus for creating electronic album consisting of plural images
US20170293637A1 (en) Automated multiple image product method
CN105653636A (zh) 一种信息处理方法和装置、一种用于信息处理的装置
US20160179846A1 (en) Method, system, and computer readable medium for grouping and providing collected image content
CN103312962A (zh) 图像公开装置、图像公开方法以及图像公开系统
US20150317510A1 (en) Rating photos for tasks based on content and adjacent signals
US20140055479A1 (en) Content display processing device, content display processing method, program and integrated circuit
US20080085032A1 (en) Supplying digital images from a collection
US20070009178A1 (en) Image-clustering method and apparatus
US20230244736A1 (en) Generating Location Based Photo Discovery Suggestions
US8406460B2 (en) Automated template layout method
US20110261995A1 (en) Automated template layout system
CN111480168B (zh) 基于情景的图像选择
CN103177051A (zh) 相片管理系统
US8035617B2 (en) Portable computer device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant