CN102567446B - 编辑装置和编辑方法 - Google Patents

Abstract

在此公开一种编辑装置，包括：故事确定块，配置为确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；估计值计算块，配置为基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，对于所述故事中的每个选择时间计算用于所述多个候选图像的每个的估计值；图像选择块，配置为基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及编辑处理块，配置为以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像。

Description

编辑装置和编辑方法

技术领域

本公开涉及编辑装置、编辑方法、程序和记录介质。

背景技术

近来，诸如PC(个人计算机)的计算机的处理性能的显著进步例如允许在实际处理时间中编辑图像(运动图像和静止图像)，而不特别使用专用装置。此外，该趋势已经持续地提高了用于个人和家庭使用的图像编辑装置的用户数量。例如，图像编辑要求各种任务，如图像(或素材)的分类、故事的确定、图像的选择和图像链接的选择。因此，存在对于图像编辑任务自动化的需要。

在该情况中，可以开发了自动编辑图像的技术。这些技术之一公开在日本专利公报No.2009-153144中，其中从运动图像提取例如反映由该运动图像指示的内容的流的事件，并且例如自动产生具有反映关联的内容的流的场景的摘要图像。

发明内容

应用了用于自动执行图像编辑的现有技术(以下简称为“现有技术”)的编辑装置(以下称为“现有技术编辑装置”)从概念“引入、展开、转折和结论”的观点从运动图像提取场景，并且生成与提取的场景关联的摘要图像。然而，因为现有技术编辑装置基于概念“引入、展开、转折和结论”从运动图像提取场景，所以如果指示一条内容的运动图像中没有建立该内容“引入、展开、转折和结论”，则现有技术编辑装置不能总是从关注的运动图像提取场景。

在自动编辑图像的另一方法中，假定编辑装置从两个或多个图像中选择图像，并且基于故事模板以时间依赖方式链接选择的图像，故事模板用于指定例如由编辑后创建的图像指示的内容的流(或者所谓故事)。

然而，可以经历编辑的图像(以下称为“候选图像”)中，适合故事模板 的候选图像典型地不存在。因此，在使用故事模板的情况下，如果没有适合故事模板的候选图像，可能不能完成由该故事模板指定的故事，或者获得不完整的图像作为编辑的图像。

此外，如果没有适合故事模板的候选图像，则编辑装置例如从候选图像中选择给定的候选图像，以提供试验性的完成图像作为编辑图像。然而，在此情况下，不能利用基于故事模版的编辑点。

即使通过使用现有技术或故事模板执行自动编辑，有时也不能执行匹配“引入、展开、转折和结论”(或一种故事)的观点的场景的提取，或者匹配故事的候选图像的选择。因此，即使通过使用现有技术或故事模板执行自动编辑，也可能获得不完整的图像作为编辑图像，由此使得可能编辑的图像不总是提供用户期望的图像。

因此，本公开处理上述和其他与现有技术方法和装置关联的问题，并且通过提供一种编辑装置、编辑方法、程序和记录介质解决处理的问题，该编辑装置、编辑方法、程序和记录介质配置为在每个图像选择时间从两个或多个候选图像中选择对应于故事的图像，以编辑由此选择的图像。

在执行本公开中并根据本公开的第一模式，提供一种编辑装置。该编辑装置具有：故事确定块，配置为确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；估计值计算块，配置为基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，对于所述故事中的每个选择时间计算用于所述多个候选图像的每个的估计值；图像选择块，配置为基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及编辑处理块，配置为以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像。

在上述新颖的配置中，可以对每个选择时间从两个或多个候选图像中选择对应于故事的图像，以编辑选择的图像。

在上述编辑装置中，估计值计算块对于每个所述选择时间基于所述多个候选图像的每个的特征值以及所述多个候选图像的每个的所述特征值的期望值，计算曼哈顿距离作为所述估计值。

在上述编辑装置中，图像选择块对于每个所述选择时间，选择在每个所述选择时间具有最小估计值的候选图像作为所述选择图像。

在上述编辑装置中，图像选择块从排除已经选择的候选图像的所述多个候选图像中对于每个所述选择时间选择所述选择图像。

上述编辑装置还具有图像估计块，配置为基于所述多个候选图像，设置用于所述多个候选图像的每个的所述特征值。

在上述编辑装置中，如果所述多个候选图像中的任一是在再现时间上超过预定时间的运动图像，则所述图像估计块划分所述运动图像，使得所述再现时间落入所述预定时间内，并且对从划分得到的多个候选图像的每个设置所述特征值。

上述编辑装置还具有候选图像确定块，配置为根据用户操作确定所述多个候选图像的每个。

上述编辑装置还具有通信块，配置为与外部装置执行通信，其中所述故事确定块基于指示由所述通信块接收的、从所述外部装置发送的所述故事的故事信息，确定所述故事。

在上述编辑装置中，故事通过使用指示图像的特征量的特征值的时间函数表示。

在上述编辑装置中，故事通过使用指示图像的种类的信息的时间函数表示。

在执行本公开中并根据本公开的第二模式，提供一种编辑方法。该编辑方法具有：确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；基于所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，对于所述故事中的每个选择时间计算用于所述多个候选图像的每个的估计值；基于所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及以时间依赖方式相互连结作为对于每个选择时间选择的图像的选择图像。

上述新颖的方法允许对于每个选择时间从两个或多个候选图像选择对应于故事的图像，以编辑选择的图像。

在执行本公开中并根据本公开的第三模式，提供一种计算机程序。该程序使得计算机执行以下步骤的程序：确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，对于所述故事中的每个选择时间计算用于所述多个 候选图像的每个的估计值；基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像。

上述新颖的计算机程序允许对于每个选择时间从两个或多个候选图像选择对应于故事的图像，以编辑选择的图像。

在执行本公开中并根据本公开的第四模式，提供一种计算机可读记录介质。该新颖的记录介质记录用于使得计算机执行以下步骤的程序：确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，对于所述故事中的每个选择时间计算用于所述多个候选图像的每个的估计值；基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像。

上述新颖的记录介质允许对于每个选择时间从两个或多个候选图像选择对应于故事的图像，以编辑选择的图像。

如上所述并且根据本公开的实施例，可以对于每个选择时间从两个或多个候选图像选择对应于故事的图像，以编辑选择的图像。

附图说明

图1是指示与作为本公开的一个实施例实施的编辑装置中的编辑途径关联的示例性处理的流程图；

图2是指示作为本公开的另一实施例实施的对候选图示设置的示例性特征值的图；

图3是指示图1的编辑装置中的示例性故事确定处理的流程图；

图4是指示图1的编辑装置中的示例性估计值计算处理的流程图；

图5是用于描述图1的编辑装置中的示例性图像选择处理的图；

图6是用于描述图1的编辑装置中的另一示例性图像选择处理的图；

图7是指示图1的编辑装置中的示例性图像选择处理的流程图；

图8是图示图1的编辑装置的示例性配置的框图；以及

图9是图示图1所示的编辑装置的示例性硬件配置的示意图。

具体实施方式

将参考附图通过本公开的实施例进一步详细描述本公开。应当注意，具有基本上类似的功能配置的组件块以相同的参考数字指示，并且忽略重复的说明。

将按以下顺序进行本公开是实施例的描述。

(1)作为本公开的一个实施例实施的途径(或方法)；

(2)作为本公开的另一实施例实施的控制装置；

(3)作为本公开的另一实施例实施的程序；以及

(4)其中存储作为本公开的一个实施例实施的程序的记录介质

-作为本公开的一个实施例实施的途径

在描述作为本公开的一个实施例实施的编辑装置(以下称为编辑装置100)的示例性配置之前，将描述其中编辑作为本公开一个实施例实施的图像的途径。作为本公开一个实施例实施的图像是静态图像或运动图像。在随后的内容中，可以编辑的候选图像有时可以称为“素材”。应当注意，与作为本公开的一个实施例实施的途径关联的处理可以理解为与作为本公开的一个实施例实施的编辑方法关联的处理。

-编辑途径的概述

如上所述，即使通过使用现有技术或故事模板执行自动编辑，也不可选择匹配故事的候选图像。如上所述，如果在不能选择候选图像的情况，则出现担心获得不完整的图像作为编辑的图像，使得编辑的图像不总是提供用户期望的图像。

因此，基于对每个候选图像设置的特征值，作为本公开的一个实施例实施的编辑装置100在每个选择时间计算每个候选图像的估计值。此外，基于在每个选择时间计算的估计值，编辑装置100从候选图像选择图像。然后，编辑装置100以时间依赖方式相互链接在选择时间选择的选择图像，从而生成编辑图像。

这里与本公开的一个实施例关联的故事代表通过其从两个或多个候选图像中选择图像的参考，其由函数(其细节将随后描述)表示。这里与本公开的一个实施例关联的选择时间代表用其在每个故事中计算估计值的时间。更具体地，与本公开的一个实施例关联的选择时间指示用于执行处理的时间， 该处理用于沿故事选择候选图像。例如，该选择时间是从开始编辑的时间起流逝的时间(例如，用秒、分钟或小时表示)。与本公开的一个实施例关联的选择时间可以是预先指定的时间，或者按照希望由用户设置的时间。

如上所述，编辑装置100基于由时间函数表示的故事顺序地计算每个选择时间的估计值，以及对候选图像设置的特征值，并且对每个选择时间设置具有最小(或者最大)估计值的候选图像(即，具有较高值的候选图像)，例如作为对每个选择时间的选择图像。因此，作为本公开的一个实施例实施的编辑装置100防止引起这样的情况，其中在通过使用现有技术或故事模板的自动编辑中可能出现的在每个选择时间中没有选择选择图像。因此，编辑装置100可以对每个图像选择时间从两个或多个候选图像中选择对应于故事的图像，由此编辑选择的图像。

此外，编辑装置100从两个或多个候选图像中选择具有计算的高估计值的候选图像(例如，具有最小估计值的估计图像或者具有最大估计值的估计图像)作为选择图像，使得如果在未指定的多个候选图像上执行编辑，则可以选择更接近故事的选择图像。因此，如果候选图像随着情况动态地改变，该情况是其中两个或多个用户按照希望增加或删除图像的图像社区站点的图像处理为候选图像，则例如编辑装置100可以从候选图像中选择更接近故事的选择图像。

此外，因为编辑装置100使用由时间函数表示的故事，所以例如编辑装置100可以根据选择时间的设置延长或缩短故事。另一方面，由创建者即人类创建故事模板，使得故事模板的自动改变是困难的。更具体地，难以通过改变故事模板延长或缩短故事。因此，当使用故事模板时为了延长或缩短故事，要求准备两个或多个故事模板，并且例如时常改变准备的故事模板。因此，通过使用由时间函数表示的故事，编辑装置100可以比使用难以延长或缩短故事除非改变模板本身的故事模板，更容易地延长或缩短故事。因此，通过使用由时间函数表示的故事，编辑装置100可以编辑更多样的图像。

-与编辑途径关联的处理的具体示例

以下描述用于实现作为本公开的一个实施例实施的上述编辑途径的处理的示例。参考图1，示出指示与作为本公开的一个实施例实施的编辑装置100中的编辑途径关联的处理的一个示例的流程图。

首先，编辑装置100确定素材组(S100)。当执行步骤S100的处理时， 确定候选图像。例如，这里的素材组代表通过预定主题(如运动会、节日、婚礼和海洋)分类的一组候选图像。这里的素材组可以是由用户手动分类的组，或者通过执行图像处理由编辑装置100或外部装置(如服务器)自动分类的组。

编辑装置100例如基于用户操作执行步骤S100的处理。应当注意，这里上述“基于用户操作执行步骤S100的处理”代表编辑装置100根据对应于从操作者部分(将随后描述)发送的用户操作的操作信号、对应于从外部操作者设备(如遥控器)发送的用户操作的外部操作信号、或者经由网络(或直接)从外部装置发送的操作信号，执行处理。

应当注意，作为本公开的一个实施例实施的编辑装置100可以不执行图1所示步骤S100的处理。如果编辑装置100不执行步骤S100的处理，则编辑装置100从例如没有通过用户操作确定的专门分组的候选图像中选择选择图像。

如上所述，编辑装置100例如基于对在步骤S100确定的候选图像设置的特征值执行处理。以下描述对作为本公开的一个实施例实施的候选图像设置的特征值。

参考图2，示出指示对与本公开的一个实施例关联的候选图像设置的特征值的一个示例的图。图2示出对图像m1到m14设置的特征值的一个示例。

每个候选图像设置有特征值(或者所谓对每个种类(C)的分值)。这里种类代表用于分类图像以确定编辑的图像的方向的关注点。这里种类可以是例如由用户按照希望从两个或多个种类候选中选择的预定的一个或多个。例如，这里种类包括指示基于取得图像的时间的关注点的时间(c1)、指示基于取得图像的位置的关注点的位置(c2)、指示基于图像角度的关注点的图像角度(c3)、指示基于成像的被摄体是否为特定的一个的关注点的肖像度(c4)、以及指示基于成像的被摄体或成像装置运动(可以包括摇摄或缩放)到什么程度的关注点的运动度(c5)。应当注意，这里的种类不限于上述那些，例如这里的种类可以指示基于成像的被摄体的数量、快门速度等的关注点。

例如，编辑装置100通过对每个候选图像执行图像分析和参考每个候选图像的元数据，对每个候选图像设置特征值。例如，在设置位置(c2)的特征值时，编辑装置100根据在通过使用GPS(全球定位系统)获得的编辑装置100的位置与取得每个候选图像的位置之间的直线距离，以10级设置每个 候选图像的特征值。此外，在设置图像角度(c3)的特征值时，编辑装置100以广角侧为1和远摄侧为10的10级设置每个候选图像的特征值。在设置肖像度(c4)时，编辑装置100以候选图像不具有成像的被摄体为1和候选图像关注特定的成像的被摄体(例如，在图像的中心的成像的被摄体)为10的10级，设置每个候选图像的特征值。应当注意，在编辑装置100中设置特征值的方法不限于上述一个；例如，可以设置通过归一化具体值获得的归一化的特征值。

此外，如果候选图像是例如在再现时间上超过预定的持续时间的运动图像，则编辑装置100可以通过时间轴划分候选图像，使得再现时间落入预定持续时间内。如果使用该划分，则编辑装置100设置特征值到每个划分的候选图像。在此情况下，编辑装置100通过参照候选图像的元数据识别候选图像的再现时间。然而，与本公开的一个实施例相关联的识别每个候选图像的再现时间的方法不限于上述方法。上述预定的持续时间例如可以是预定的一个或更具用户操作设置的一个。

如上所述，编辑装置100通过时间轴划分候选图像，使得再现时间落入预定的持续时间内，并且设置特征值到每个划分的候选图像。因此，与对未划分的候选图像设置特征值的情况相比，编辑装置100可以设置更接近图像的特征的特征值。

如上所述，用于候选图像(M)的种类(C)的特征值表示为“S(M，C)”。例如，在图2所示图像m1中种类(c2)的特征值表示为S(m2，c2)＝1。应当注意，图2示出对每个候选图像设置两个或多个种类(C)的示例；明显地，对与本公开的一个实施例关联的每个候选图像可以只设置一个种类(C)。

例如，如上所述编辑装置100对每个候选图像设置特征值。例如，编辑装置100对在步骤S100确定为候选图像的图像设置特征值，但是作为本公开的一个实施例实施的编辑装置100中的处理不限于该处理。例如，无论是否已经执行步骤S100的处理，编辑装置100可以执行对可以提供候选图像的图像设置特征值的处理。在不执行设置估计值的处理的情况下，发送候选图像(或可以提供候选图像的图像)到诸如服务器的外部装置，并且通过使用在涉及的外部装置中设置的特征值执行与随后要描述估计值计算关联的处理，对编辑装置100也是可实施的。

以下再次参考图1描述与作为本公开的一个实施例实施的编辑装置100 中的编辑途径关联的处理的一个示例。当在步骤S100确定素材组时，编辑装置100确定故事(步骤S102中的故事确定处理)。例如，编辑装置100基于对应于从操作者块(将随后描述)发送的用户操作的操作信号，或者对应于从外部操作设备(如遥控器)发送的用户操作的外部操作信号，确定故事。应当注意，在编辑装置100中确定故事的方法不限于上述的一个。例如，如果经由网络(或者直接)接收从连接到编辑装置100的外部装置发送的记录有故事的故事信息，则编辑装置100可以确定由接收的故事信息指示的故事，作为用于随后要描述的处理中使用的故事。

如上所述，与本公开的一个实施例关联的故事提供通过其从两个或多个候选图像中选择图像并且由时间函数表示的参考。通过使用在选择时间t1每个候选图像的特征值的期望值(SX)和特征值二者，表示每个故事。在以下内容中，在每个候选图像中种类(cn)(n是1或更高的整数)在选择时间t的期望值指示为“SX(cn，t)”。

在以下的等式(1)到(3)指示与本公开的一个实施例关联的故事。等式(1)示出用于计算基于候选图像(M)的特征值和候选图像的期望值二者的曼哈顿距离(Manhattan distance)作为在选择时间t的期望值的故事的一个示例。等式(2)和(3)指示在选择时间t用于每个种类的期望值的一个示例。等式(1)和(3)中的N指示每个候选图像的种类的数量。

$D\left(M\right)\left(t\right)=\stackrel{N}{\mathrm{\Σ}}|S(M,\mathrm{cn})-\mathrm{SX}(\mathrm{cn},t)|\left(t\right)...\left(1\right)$

$\mathrm{SX}(c1,t)=\frac{1}{2}\·t...\left(2\right)$

SX(ci，t)t，i＝2...N ...(3)

应当注意，与本公开的一个实施例关联的故事不限于上述等式(1)到(3)所示的那些。例如，编辑装置100可以不管实际距离，通过加权种类(C)计算曼哈顿距离作为估计值。此外，例如编辑装置100可以通过使用户输入用于种类(C)的期望值，使用基于用户操作的故事。此外，编辑装置100可以对用户呈现作为时间函数的故事的曲线图(曲线图具有沿水平轴的时间和沿垂直轴的期望值)，以使用根据用户操作变化和由该曲线图指示的期望值的值作为故事。

-故事确定处理的示例

以下更具体地描述作为本公开的一个实施例实施的编辑装置100中执行 故事确定处理。参考图3，示出指示作为本公开的一个实施例实施的编辑装置100中要执行的故事确定处理的流程图。图3示出要由编辑装置100执行的处理的一个示例，编辑装置100用于基于对应于用户操作的操作信号或对应于用户操作的外部操作信号确定故事。以下描述编辑装置100基于对应于用户操作的操作信号确定故事的示例。

编辑装置100初始化故事(S200)。应当注意，步骤S200的处理等价于例如设置预设故事的处理。编辑装置100通过从例如存储单元(将随后描述)读取故事信息，执行步骤S200的处理。还应当注意，要由编辑装置100执行的步骤S200的处理不限于上述的处理。例如，编辑装置100可以与诸如其中存储故事信息的服务器的外部装置通信，并且通过使用由此从外部装置获取的故事信息执行步骤S200的处理。

当已经在步骤S200中初始化故事时，随后编辑装置100呈现可应用故事(S202)。这里应用故事表示不对应于在随后要描述的步骤S208中检测错误的任何故事。也就是，在步骤S202呈现在步骤S200初始化的故事。

当在步骤S202呈现故事时，随后编辑装置100确定故事是否已经被指定(S204)。编辑装置100基于对应于例如用户操作的操作信号执行步骤S204的处理。

如果没有发现在步骤S204指定的故事，则编辑装置100不推进任何进一步的过程，直到发现指定的故事。应当注意，尽管在图3中未示出，但是如果在例如步骤S202中的处理的执行之后预定的时间，还没有检测到操作信号，则编辑装置100可以终止故事确定操作(这被视为超时)。如果这一点出现，则例如编辑装置100通知用户故事确定处理的终止。

如果发现在步骤S204指定的故事，则编辑装置100确定指定的故事是否为可应用的故事(S206)。如上所述，例如编辑装置100可以通过使用户输入用于种类(C)的期望值，来使用基于用户操作的故事。如果已经通过用户输入异常值，则编辑装置100确定指定的故事是不可应用的故事。

如果在步骤S206发现指定的故事是可应用的故事，则编辑装置100给出错误信息(S208)。编辑装置100重复从步骤S202起的处理。编辑装置100通过在显示屏幕上显示错误屏幕和/或输出错误声音，视觉和/或听觉地给出给出错误信息。然而，要由编辑装置100执行的步骤208的处理不限于上述的一个。

如果在步骤S206发现指定的故事是可应用的故事，则编辑装置100确定是否要建立该故事(S210)。编辑装置100让用户在显示屏幕上显示用于让用户选择故事的建立的屏幕，并且基于对应于用户操作的操作信号执行步骤S210的确定。

如果在步骤S210发现没有建立故事，则编辑装置100重复上述从步骤S202起的处理。

如果在步骤S210发现要建立故事，则编辑装置100确定在步骤S204指定的故事是用于处理中使用的故事(S212)，由此终止故事确定处理。

编辑装置100通过执行例如图3中所示的处理确定故事。明显地，作为本公开的一个实施例实施的故事确定处理不限于图3中所示的一个。

以下再次参考图1描述与作为本公开的一个实施例实施的编辑装置100中的编辑途径关联的处理的一个示例。当在步骤S102确定故事时，随后编辑装置100计算用于候选图像的估计值(步骤S104中的估计值计算处理)。

-估计值计算处理的示例

参考图4，示出指示要由作为本公开的一个实施例实施的编辑装置100执行的估计值计算处理的一个示例的流程图。图4示出一个示例，其中编辑装置100计算等式(1)所示基于候选图像(M)的特征值和候选图像的期望值的曼哈顿距离D(M)(t)，作为在选择时间t的估计值。利用图4，假设如图2所示由mx(x是1或更高的整数)表示每个候选图像。

编辑装置100设置t＝0作为选择时间t的值(S300)，并且设置x＝0作为用于指定对其计算估计值的候选图像的x的值(S302)。

当执行步骤S302的处理时，编辑装置100计算用于候选图像(mx)的估计值D(mx)(t)(S304)。这里，编辑装置100通过使用例如由等式(1)和在图3所示步骤S212中建立的期望值，计算曼哈顿距离D(mx)(t)作为估计值。

如果在步骤S304计算估计值D(mx)(t)，则编辑装置100存储计算的估计值D(mx)(t)(S306)。接下来，编辑装置100将x的值更新为x+1(S308)。

如果在步骤S308更新x的值，则编辑装置100确定x的值是否小于候选图像的数量(S310)。如果在步骤S310发现x的值小于候选图像的数量，则其指示存在尚未对其计算估计值的候选图像，使得编辑装置100重复上述从步骤S304起的处理。

如果在步骤S310发现x的值不小于候选图像的数量，则编辑装置100 将t的值更新为t+Δt(S312)。这里，与本公开的一个实施例关联的Δt指定选择时间t的间隔。在图4中，例如Δt是恒定的；然而，与本公开的一个实施例关联的Δt不需要总是恒定的。例如，Δt可以是通过用户改变的不确定的值，并且可以通过编辑装置100随机设置。

当在步骤S312更新t的值时，然后编辑装置100确定t的值是否小于用于再现编辑的图像的总时间T(S314)。与本公开的一个实施例关联的总再现时间T可以是预定值，或者根据用户操作设置的值。

如果在步骤S314发现t的值小于总再现时间T，则编辑装置100重复上述从步骤S302起的处理。如果在步骤S314发现t的值不小于总再现时间T，则编辑装置100终止估计值计算处理。

通过执行例如图4所示处理，编辑装置100对每个选择时间计算每个候选图像的估计值。应当注意，与本公开的一个实施例关联的估计值计算处理不限于图4所示的处理。

以下再次参考图1描述要在与本公开的一个实施例关联的编辑装置100中执行的编辑途径的处理的一个示例。当在步骤S104计算用于候选图像的估计值时，然后编辑装置100基于计算的估计值从候选图像中选择选择图像(步骤S106中的图像选择处理)。

参考图5，示出要在与本公开的一个实施例关联的编辑装置100中执行的图像选择处理的一个示例。图5示出通过将由等式(1)到(3)指示的故事应用到图2所示的候选图像m1到m4，在选择时间t计算的估计值(图5中的“A”)，以及在选择时间t要选择的选择图像(图5中的“B”)。

如图5所示，如果曼哈顿距离D(M)t计算为估计值，则在每个选择时间t具有最小估计值的候选图像选择为选择图像。应当注意，作为本公开的一个实施例实施的编辑装置100不需要总选择具有最小估计值的候选图像用于选择图像，而是可以选择具有最大估计值的候选图像用于选择图像。更具体地，基于估计值，编辑装置100选择具有更高估计值的候选图像。因此，编辑装置100可以在每个选择时间沿故事选择候选图像。此外，如果存在两个或多个具有最小(或最大)估计值的候选图像，则编辑装置100例如可以随机或根据预定的候选图像优先级，从这些两个或多个候选图像中选择候选图像。

应当注意，要由作为本公开的一个实施例实施的编辑装置100执行的图像选择处理不限于一个如图5所示的选择相同的候选图像两或三次作为选择 图像。图6示出要由作为本公开的一个实施例实施的编辑装置100执行的图像选择处理的另一示例。如同图5，图6示出通过将由等式(1)到(3)指示的故事应用到图2所示候选图像m1到m4，在选择时间t计算的估计值(图6中的“C”)和要在选择时间t选择的选择图像(图6中的“D”)。

如图6所示，编辑装置100可以排除曾经选择的候选图像作为选择图像，并且从排除的候选图像中新选择选择图像。通过如图6所示选择选择图像，可以防止相同候选图像的选择被选择为选择图像，使得编辑装置100可以产生比通过图5所示处理获得的图像更多样的图像。

-图像选择处理的一个示例

以下更具体地描述要在由作为本公开的一个实施例实施的编辑装置100中执行的图像选择处理。图7是指示要在由作为本公开的一个实施例实施的编辑装置100中执行的图像选择处理的一个示例的流程图。这里，图7示出如果编辑装置100计算等式(1)所示的基于候选图像(M)的特征值和候选图像的期望值二者的曼哈顿距离D(M)(t)作为在选择时间t的估计值，则要执行的图像选择处理的一个示例。此外，如图5所示，图7示出在两个或多个选择时间t相同的候选图像选择为选择图像的图像选择处理的一个示例。此外，图7示出要在这样的情况下执行的处理，该情况是如果存在两个或多个具有相同估计值的候选图像，则更早处理的候选图像优选地选择为选择图像。

编辑装置100设置min(t)＝0作为在选择时间t的估计值的最小值min(t)的值(S400)。此外，如同图4所示步骤S300和步骤S302，编辑装置100设置t＝0作为选择时间t的值(S402)，以及x＝0作为指定对其计算的估计值的候选图像的x的值(S404)。

当执行步骤S404的处理时，编辑装置100确定估计值D(mx)(t)的值是否小于min(t)(S406)。如果在步骤S406发现估计值D(mx)(t)的值不小于min(t)，则编辑装置100执行将随后描述的步骤S410的处理。

如果在步骤S406发现估计值D(mx)(t)的值小于min(t)，则编辑装置100将min(t)的值更新为min(t)＝D(mx)(t)(S408)。

如果在步骤S406发现估计值D(mx)(t)的值不小于min(t)，或者如果执行步骤S408的处理，则编辑装置100将x的值更新为x+1(S410)。

当在步骤S410更新x的值时，然后编辑装置100确定x的值是否小于候选图像的数量(S412)。如果在步骤S412发现x的值小于候选图像的数量， 则编辑装置100重复上述从步骤S406起的处理。

如果在步骤S412发现x的值不小于候选图像的数量，则编辑装置100选择对应于min(t)的候选图像作为在选择时间t的选择图像(S414)。

当执行步骤S414的处理时，编辑装置100将t的值更新为t+Δt(S416)。接下来，编辑装置100确定t的值是否小于用于再现编辑的图像的总时间T(S418)。

如果在步骤S418发现t的值小于总再现时间T，则编辑装置100重复上述从步骤S404起的处理。如果在步骤S418发现t的值不小于总再现时间T，则编辑装置100终止图像选择处理。

例如通过执行图7所示处理，编辑装置100选择在每个选择时间具有估计值的最小值的候选图像(即，具有更高估计的候选图像)作为在每个选择时间的选择图像。应当注意，与本公开的一个实施例关联的图像选择处理不限于图7所示的示例。

以下再次参考图1，描述与要在作为本公开的一个实施例实施的编辑装置100中执行的编辑途径关联的处理的一个示例。当在步骤S106中选择对每个选择时间的选择图像时，编辑装置100以时间依赖方式相互链接选择图像，由此编辑链接的选择图像(步骤S108中的编辑处理)。

例如，通过执行图1所示处理，编辑装置100可以基于通过时间函数表示的故事和对每个候选图像设置的特征值，对选择时间顺序地计算估计值，由此对每个选择时间选择具有最小估计值的候选图像(具有更高估计的候选图像)，作为对每个选择时间的选择图像。因此，例如通过执行图1所示处理，编辑装置100可以防止在每个选择时间没有选择选择图像的情况，通过执行使用现有技术或故事模板的自动编辑可能出现该情况。因此，例如通过执行图1所示处理，编辑装置100可以从对用于图像选择的每个选择时间的两个或多个候选图像中选择对应于故事的图像，由此编辑选择的图像。应当注意，与作为本公开的一个实施例实施的编辑途径关联的处理不限于图1所示示例。

在上述描述中，与作为本公开的一个实施例实施的编辑途径关联的处理由编辑装置100执行。然而，与作为本公开的一个实施例实施的编辑途径关联的处理不限于通过装置的一个单元实现。例如，可以通过经历对网络的连接(例如，诸如云计算网络)的系统(即，编辑系统)中的分布处理，实现 与作为本公开的一个实施例实施的编辑途径关联的处理(即，与作为本公开的一个实施例实施的编辑方法关联的处理)。

-作为本公开的一个实施例实施的编辑装置

以下描述作为本公开的一个实施例实施的编辑装置100的示例性配置，该编辑装置100可以执行与上述作为本公开的一个实施例实施的编辑途径关联的处理。参考图8，示出图示作为本公开的一个实施例实施的编辑装置100的示例性配置的框图。

参考图8，例如编辑装置100具有存储单元102、通信块104、控制单元106、操作者块108以及显示块110。

此外，编辑装置100可以具有ROM(只读存储器)和RAM(随机存取存储器)，二者未示出。例如，编辑装置100经由提供数据传输路径的总线相互连接上述组件块。例如，ROM(未示出)存储程序和如用于由控制单元106使用的操作参数的控制数据。例如，RAM(未示出)暂时存储要由控制单元106执行的程序。

-编辑装置100的示例性硬件配置

参考图9，示出作为本公开的一个实施例实施的编辑装置100的示例性硬件配置。如图9所示，例如编辑装置100具有MPU 150、ROM 152、RAM154、记录介质156、输入/输出接口158、操作输入设备160、显示设备162、以及通信接口164。例如，编辑装置100通过提供数据传输路径的总线166相互连接上述组件设备。

MPU 150由包含MPU(微处理单元)和两个或多个用于实现控制功能的电路的集成电路构成，并且用作用于控制整个编辑装置100的控制单元106。此外，在编辑装置100中，MPU 150可以用作将随后描述的候选图像确定块120、图像估计块122、故事确定块124、估计值计算块126、图像选择块128、以及编辑处理块130。

ROM 152存储程序和如用于由MPU 150使用的操作参数的控制数据。例如，RAM 154暂时存储要由MPU 150执行的程序。

记录介质156用作存储单元102，并且例如存储图像估计值以及如图2所示记录的图像特征值和应用程序。例如，记录介质156由诸如HDD(硬盘驱动器)的磁记录介质，或者诸如EEPROM(电可擦除可编程只读存储器)、快闪存储器、MRAM(磁阻随机存取存储器)、FeRAM(铁电随机存取存储 器)、或PRAM(相变随机存取存储器)的非易失性存储器构成。编辑装置100可以具有可从编辑装置100分离的记录介质156。

例如，输入/输出接口158连接到操作输入设备160和显示设备162。操作输入设备160用作操作者块108。显示设备162用作显示块110。例如，输入/输出接口158由USB(通用串行总线)端子、DVI(数字可视接口)端子、HDMI(高清晰度多媒体接口)端子、或各种处理电路中的任一构成。例如，操作输入设备160安排在编辑装置100上，并且连接到编辑装置100中的输入/输出接口158。例如，操作输入设备160由按钮、方向键或诸如转轮(jog dial)的旋转选择器、或其组合构成。例如，显示设备162安排在编辑装置100上，并且连接到编辑装置100中的输入/输出接口158。例如，显示设备162由LCD(液晶显示器)、有机EL(电致发光)显示器、或OLED(有机发光二极管)显示器构成。应当注意，输入/输出接口158可以连接到操作输入设备(例如，键盘或鼠标)和对编辑装置100是在外部的显示设备(例如外部显示器)。此外，显示设备162可以是允许显示和用户操作二者的设备，例如诸如触摸显示屏。

通信接口164是安排在编辑装置100上的通信部件，并且用作通信块104，其执行以有线或无线方式经由网络(或直接)与诸如服务器的外部设备的通信。例如，通信接口164由通信天线与RF电路(无线通信中)、IEEE802.15.1端口与发送/接收电路(有线通信中)、IEEE802.11b端口与发送/接收电路(无线通信中)、或LAN端子与发送/接收电路(有线通信中)构成。例如，作为本公开的一个实施例实施的网络由诸如LAN(局域网)或WAN(广域网)的有线网络、诸如经由基站的无线WAN(WWAN：无线广域网)的无线网络、或基于诸如TCP/IP(传输控制协议/因特网协议)的通信协议的因特网构成。

例如，编辑装置100基于图9所示的配置执行作为本公开的一个实施例实施的编辑途径。应当注意，作为本公开的一个实施例实施的编辑装置100的硬件配置不限于图9所示的示例。例如，编辑装置100可以具有基于DSP(数字信号处理器)的音频输出设备、放大器和扬声器。在该情况下，例如编辑装置100可以在图3所示步骤S208中从上述音频输出设备通过输出错误声音给出可听见的错误通知。此外，可以配置编辑装置100不具有例如图9所示操作输入设备160和显示设备162。

以下再次参考图8描述作为本公开的一个实施例实施的编辑装置100的配置。存储单元102是安排在编辑装置100上的存储部件。例如，存储单元102由诸如硬盘驱动器的磁记录介质或诸如快闪存储器的非易失性存储器构成。

例如，存储单元102存储图像数据、故事信息、图像估计信息和应用程序。例如，图8示出其中图像数据140等、故事信息142和图像估计信息144存储在存储单元102中的示例。

通信块104是安排在编辑装置100上的通信部件，并且以有线或无线方式经由网络(或直接)执行与诸如服务器的外部装置的通信。例如，通过控制单元106在通信处理中控制通信块104。

例如，通信块104由通信天线与RF电路或LAN端子与发送/接收电路构成。通信块104的配置不限于上述示例。例如，可以以经由网络与外部装置可通信的任意方式配置通信块104。

控制单元106由MPU或其中集成两个或多个电路以实现控制功能的集成电路构成，并且工作来控制整个编辑装置100。控制单元106具有候选图像确定块120、图像估计块122、故事确定块124、估计值计算块126、图像选择块128和编辑处理块130，由此在执行与作为本公开的一个实施例实施的编辑途径关联的处理中发挥主要作用。此外，例如控制单元106可以具有配置为控制与诸如服务器的外部装置的通信的通信控制块(未示出)。

候选图像确定块120基于用户操作确定候选图像。更具体地，例如候选图像确定块120在执行图1所示步骤S100的处理中发挥主要作用。

图像估计块122基于该候选图像设置用于候选图像的特征值。更具体地，每次由候选图像确定块120确定候选图像时，例如，图像估计块122通过执行对确定的候选图像的图像分析和参考其元数据，设置用于每个确定的候选图像的特征值。接下来，例如图像估计块122产生图像估计信息，并且记录产生的图像估计信息到存储单元102。应当注意，如果图像估计信息预先记录到存储单元102，则记录的图像估计信息可以以盖写的方式更新，或者可以单独地记录新获取的图像估计信息。要由图像估计块122执行的处理不限于上述示例。例如，图像估计块122可以对存储单元102中存储的图像数据设置特征值，而不通过候选图像确定块120的候选图像的确定。

如果例如候选图像是超过再现中的预定持续时间的运动图像，则图像估 计块122划分候选图像，使得再现时间落入预定持续时间内，并且对每个划分的候选图像设置特征值。

故事确定块124确定故事。更具体地，例如故事确定块124在执行图1所示步骤S102的处理中发挥主要作用。

估计值计算块126基于由故事确定块124确定的故事和对两个或多个候选图像的每个设置的特征值，计算在每个选择时间用于每个候选图像的估计值。更具体地，例如估计值计算块126在通过使用由故事确定块124确定的故事和存储单元102中存储的图像估计信息144，执行图1所示步骤S104的处理中发挥主要作用。

图像选择块128基于在估计值计算块126中获得的估计值，从在每个选择时的候选图像中选择选择图像。更具体地，例如图像选择块128在执行图1所示步骤S106的处理中发挥主要作用。

编辑处理块130以时间依赖方式相互连接通过图像选择块128在每个选择时间选择的选择图像。也就是，例如编辑处理块130在执行图1所示步骤S108的处理中发挥主要作用。

控制单元106可以通过具有候选图像确定块120、图像估计块122、故事确定块124、估计值计算块126、图像选择块128和编辑处理块130，在执行与编辑途径关联的处理中发挥主要作用。应当注意，控制单元106的配置不限于图8所示的配置。

操作者块108是安排在编辑装置100上可以由用户操作的操作部件。通过操作者块108，编辑装置100使得能够通过用户操作，由此通过操作者块108响应于由用户所作的操作，执行用户期望的处理。例如，操作者块108由按钮、方向键、诸如转轮的旋转选择器、或其组合构成。

显示块110是安排在编辑装置100上的显示部件，在显示屏幕上显示各种类型的信息。例如，在显示块110的显示屏幕上显示的屏幕包括用于在图3所示步骤S208中可视地告知错误的错误屏幕、用于显示由图像数据指示的图像的再现屏幕、以及用于用户以使编辑装置100执行期望的处理的操作屏幕。例如，显示块110由LCD或有机EL显示器构成。应当注意，编辑装置100可以用触摸屏配置显示块110。如果采用触摸屏，则编辑装置100用作能够用户操作和显示二者的操作显示块。

编辑装置100可以通过例如图8所示配置，实现与例如图1所示作为本 公开的一个实施例实施的编辑途径关联的处理。因此，通过例如图8所示的配置，编辑装置100可以从两个或多个候选图像中选择对应于故事的图像，并且编辑选择的图像。应当注意，作为本公开的一个实施例实施的编辑装置100的配置不限于图8所示的配置。

如上所述，作为本公开的一个实施例实施的编辑装置100基于由时间函数表示的故事和对每个候选图像设置的特征值，对每个选择时间顺序计算估计值，并且选择在每个选择时间具有最小(或最大)估计值的候选图像(即，具有较高估计的候选图像)，作为用于每个选择时间的选择图像。因此，编辑装置100可以防止在每个选择时间没有选择选择图像的情况，通过使用现有技术或故事模板执行自动编辑可能出现该情况。因此，通过执行例如图1所示的处理，编辑装置100可以对用于图像选择的每个选择时间从两个或多个候选图像中选择对应于故事的图像，由此编辑选择的图像。

此外，编辑装置100从两个或多个候选图像选择具有高估计值的候选图像作为选择图像，使得如果对未指定的多个候选图像执行编辑，则可以选择更接近故事的选择图像。因此，如果候选图像随着情况动态地改变，该情况是在两个或多个用户按照希望增加或删除图像的图像社区站点的图像处理为候选图像，则例如编辑装置100可以从候选图像中选择更接近故事的选择图像。

此外，编辑装置100使用由时间函数表示的故事，使得编辑装置100例如可以根据选择时间的设置延长或缩短故事。即，通过使用由时间函数表示的故事，编辑装置100可以比使用难以延长或缩短故事除非改变模板本身的故事模板的情况，更容易地延长或缩短故事。因此，通过使用由时间函数表示的故事，编辑装置100可以编辑具有更高多样性的图像。

在以上描述中，编辑装置100称为本公开的一个实施例。本公开的一个实施例不限于此。例如，本公开的一个实施例可应用于多种装置和设备，例如诸如包括PC和服务器的计算机、诸如电视接收机的显示装置、诸如移动电话的便携式通信装置、音频/视频再现装置(或视频/音乐再现装置)和游戏机。

此外，本公开的实施例可应用于配置经历对网络的连接的系统(即，编辑系统)的计算机群，例如诸如云计算网络。

-作为本公开的一个实施例实施的程序

通过用于使计算机用作作为本公开的一个实施例实施的编辑装置的程序(即，用于实现与例如图1、图3、图4和图7所示作为本公开的一个实施例实施的编辑途径关联的处理)，可以对每个选择时间从两个或多个候选图像中选择对应于故事的图像以编辑选择的图像。

-记录作为本公开的一个实施例实施的程序的记录介质

在以上描述中，使用用于使计算机用作作为本公开的一个实施例实施的控制装置的程序(即，计算机程序)。然而，本公开的实施例提供其中记录该程序的记录介质。

虽然已经使用具体术语描述了本公开的优选实施例，但是这样的描述仅用于说明的目的，并且要理解，可以做出多种改变和变化，不背离权利要求的精神和范围。

例如，作为本公开的一个实施例实施的编辑装置100可以单独地安排(或例如以单独的电路实现)图8所示候选图像确定块120、图像估计块122、故事确定块124、估计值计算块126、图像选择块128和编辑处理块130。

上述配置示出本公开的实施例的示例，并且显然输入其技术范围。

本公开包含涉及在2010年10月25日向日本专利局提交的日本优先权专利申请JP 2010-238170中公开的主题，在此通过引用并入其全部内容。

Claims (10)

1.一种编辑装置，包括：

故事确定块，配置为确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；

估计值计算块，配置为基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，在所述故事中对于每个选择时间计算用于所述多个候选图像的每个的估计值；

图像选择块，配置为基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及

编辑处理块，配置为以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像，

其中所述图像选择块对于每个所述选择时间，选择在每个所述选择时间具有最小估计值的候选图像作为所述选择图像。

2.根据权利要求1所述的编辑装置，其中所述估计值计算块对于每个所述选择时间基于所述多个候选图像的每个的特征值以及所述多个候选图像的每个的所述特征值的期望值，计算曼哈顿距离作为所述估计值。

3.根据权利要求1所述的编辑装置，其中所述图像选择块从排除已经选择的候选图像的所述多个候选图像中对于每个所述选择时间选择所述选择图像。

4.根据权利要求1所述的编辑装置，还包括：

图像估计块，配置为基于所述多个候选图像，设置用于所述多个候选图像的每个的所述特征值。

5.根据权利要求4所述的编辑装置，其中，如果所述多个候选图像中的任一是在再现时间上超过预定时间的运动图像，则所述图像估计块划分所述运动图像，使得所述再现时间落入所述预定时间内，并且对从划分得到的多个候选图像的每个设置所述特征值。

6.根据权利要求1所述的编辑装置，还包括：

候选图像确定块，配置为根据用户操作确定所述多个候选图像的每个。

7.根据权利要求1所述的编辑装置，还包括：

通信块，配置为与外部装置执行通信，其中所述故事确定块基于指示由所述通信块接收的、从所述外部装置发送的所述故事的故事信息，确定所述故事。

8.根据权利要求1所述的编辑装置，其中所述故事通过使用指示图像的特征量的特征值的时间函数表示。

9.根据权利要求8所述的编辑装置，其中所述故事通过使用指示图像的种类的信息的时间函数表示。

10.一种编辑方法，包括：

确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；

基于所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，在所述故事中对于每个选择时间计算用于所述多个候选图像的每个的估计值；

基于所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及

以时间依赖方式相互连结作为对于每个选择时间选择的图像的选择图像，

其中对于每个所述选择时间，选择在每个所述选择时间具有最小估计值的候选图像作为所述选择图像。