CN110494862B - 序列产生装置及其控制方法 - Google Patents

Abstract

本发明涉及用于产生序列的序列产生装置，所述序列指示对象物的状态的转变，所述装置包括：输入部件，用于输入将被产生的序列的对象物的初始状态；配置部件，配置将被产生的序列的对象物的最终状态；产生部件，基于初始状态使用预定的预测模型来产生多个序列；以及输出部件，从所述多个序列中输出与最终状态一致的一个或多个序列。

Description

序列产生装置及其控制方法

技术领域

本发明涉及用于高效地产生多样的序列的技术。

背景技术

元素数据项的有序集合被称为序列。元素数据是表示人、事物或感兴趣的事件的瞬时状态的数据。存在各种类型的序列。例如，行为是包括运动类别和表示对象物的位置的坐标作为元素数据的序列，视频是包括图像作为元素数据的序列。近年来，已经存在使用序列的各种识别技术。这样的技术的例子包括使用视频序列的人类行为识别技术和使用语音序列的语音识别技术。使用序列的这些识别技术可以使用机器学习作为技术基础。在机器学习中，重要的是确保用于学习和评估的数据的多样性。因此，当序列用作用于机器学习的数据时，优选的是收集多样的范围的数据。

序列收集方法的例子包括观测并且收集实际上已经发生的现象的方法、人为地产生序列的方法、以及随机地产生序列的方法。日本专利公开No.2002-259161公开了为了软件测试、详尽地产生包括软件画面作为元素数据的画面转变序列的技术。此外，日本专利公开No.2002-83312公开了为了产生动画、产生给予人物的意图(例如，“前进到目的地”)所对应的行为序列的技术。

发明内容

技术问题

然而，上述序列收集方法具有各种问题。例如，当基于使用摄像机记录的视频收集视频序列时，记录的视频取决于记录期间发生的现象。因此，上述方法对于收集与不太频繁的现象相关的序列是低效的。此外，当行为序列被手动设置为人为地产生序列时，详尽地覆盖多种序列所需的操作成本高。当随机产生序列时，可能产生看似不太可能实际发生的不自然的序列。日本专利公开No.2002-259161和日本专利公开No.2002-83312中所公开的技术没有被设计为解决上述问题。

本发明是鉴于上述问题而提出的。本发明的目的是提供可以高效地产生多样的自然的序列的技术。

问题的解决方案

为了解决上述问题，根据本发明的序列产生装置包括以下组件。也就是说，一种产生表示对象物的状态转变的序列的序列产生装置包括：

输入部件，用于输入将被产生的序列中的对象物的初始状态；

设置部件，用于设置将被产生的序列中的对象物的结束状态；

产生部件，用于基于初始状态使用预定的预测模型来产生序列；以及

输出部件，用于输出所述序列中的至少一个序列，所述至少一个序列与结束状态匹配。

附图说明

图1是例示说明序列的例子的示图。

图2是例示说明根据第一实施例的序列产生系统的配置的例子的示图。

图3是例示说明结束状态设置单元的GUI的例子的示图。

图4是例示说明多样性设置单元的GUI的例子的示图。

图5是例示说明序列产生单元的处理步骤的例子的示图。

图6是例示说明序列产生系统执行的处理的流程图。

图7是例示说明复合序列的例子的示图。

图8是例示说明根据第二实施例的复合序列产生系统的配置的例子的示图。

图9是例示说明复合序列产生系统执行的处理的流程图。

图10是例示说明分层序列的例子的示图。

图11是例示说明根据第三实施例的分层序列产生系统的配置的例子的示图。

图12是例示说明分层序列产生系统执行的处理的流程图。

具体实施方式

现在将参照附图来详细描述本发明的示例性实施例。要理解的是，本文中所描述的实施例仅仅是用于说明性的目的，而非意图限制本发明的范围。

(第一实施例)

作为根据本发明的序列产生装置的第一实施例，产生表示与单个人(对象物)的行为相关的状态转变的单个行为序列的系统将被作为例子进行描述。

<序列>

图1是例示说明序列的例子的示图。作为单个行为序列的元素数据，该例子关注于人的“运动”(诸如走路或跌倒)和表示这个人的位置的“坐标”。与单个人的行为相关的任何项(诸如速度和方位)可以用作序列的元素数据。

单个行为序列可以用于定义用于产生计算机图形(CG)视频的人物的行为。例如，通过设置人物模型和动画，CG视频产生工具可以产生CG视频。因为单个行为序列对应于动画的组成元素(诸如包括走路和跌倒的运动类别和人物的坐标)，所以可以通过使用单个行为序列设置动画来产生人物动作。这样的CG视频被应用于基于机器学习的行为识别技术中的学习和评估。

第一实施例描述了序列是单个行为序列的例子。这里，单个行为序列被简称为序列。根据第一实施例的序列产生系统基于操作者定义的各种设置和输入序列来产生一个或多个多样的自然的序列。

<装置配置>

图2是例示说明根据第一实施例的序列产生系统的配置的例子的示图。该序列产生系统包括序列产生装置10和终端装置100。这些装置可以经由网络连接。网络的例子包括陆线电话网络、移动电话网络和互联网。这些装置中的一个可以包含在另一个装置中。

终端装置100是操作者所用的计算机装置，并且包括显示单元DS和操作检测器OP(未示出)。终端装置100的例子包括个人计算机(PC)、平板PC、智能电话和功能手机。

显示单元DS包括图像显示面板，诸如液晶面板或有机EL面板，并且显示从序列产生装置10接收的信息。显示的内容的例子包括各种类型的序列信息和GUI组件，诸如用于操作的按钮和文本字段。

操作检测器OP包括设置在显示单元DS的图像显示面板上的触摸传感器。操作检测器OP基于操作者的手指或触摸笔的移动来检测操作者的操作，并且将表示检测到的操作的操作信息输出到序列产生装置10。操作检测器OP可以包括输入装置，诸如控制器、键盘和鼠标，并且获取表示操作者对显示在图像显示面板上的内容执行的输入操作的操作信息。

序列产生装置10是提供用于输入各种设置和序列的用户界面(UI)、并且基于通过UI接收的各种输入来产生多样的自然的序列的装置。序列产生装置10包括序列获取单元11、预测模型学习单元12、序列属性设置单元13、预测模型改动单元14、结束状态设置单元15、多样性设置单元16和序列产生单元17。

序列获取单元11获取序列和下面描述的序列属性的对，并且将获取的对输出到预测模型学习单元12和序列产生单元17。序列属性是包括一个序列内共同的至少一个项的静态信息。属性项的例子包括环境类型(诸如室内或街道设置)、人可以在其中移动的可移动区域、以及感兴趣的人的年龄和性别。序列属性的每个项可以例如通过固定值、数值范围或概率分布来指定。用于获取序列和序列属性的方法不限于特定的一种方法。例如，它们可以由操作者通过终端装置100手动输入，或者可以使用图像识别技术从图像提取。

用于学习预测模型(下面描述)的给定序列被称为“学习序列”，用于产生序列的给定序列被称为“参考序列”。学习序列和参考序列包括一起配对的相应的序列属性。优选的是，存在多样的学习序列，这些学习序列因此是在各种条件下广泛地获取的。例如，通过互联网获得的许多未指定的图像可以被作为学习序列获取。另一方面，参考序列优选地是自然序列，并且是在与将被产生的序列的条件相同或类似的条件下获取的。例如，当与监视相机的图像捕获环境相对应的序列将被产生时，可以基于监视相机实际上捕获的图像来获取参考序列。

预测模型学习单元12基于使用从序列获取单元11接收的至少一个学习序列的学习来产生“预测模型”。预测模型学习单元12然后将产生的预测模型输出到预测模型改动单元14。

这里描述的预测模型是在序列被给定的条件下，定义与被预测来遵循给定序列的序列相关的信息的模型。与预测的序列相关的信息可以例如是预测的序列的集合，或者可以是序列的出现概率分布。这里，基于预测模型预测的序列(即，序列产生单元17产生的序列)被称为“预测序列”。预测序列的元素数据项的数量可以是固定值，或者可以任意地变化。预测序列可以只包括一个元素数据项。

预测模型的形式不限于特定的一种形式。例如，预测模型可以是概率模型，诸如马尔可夫决策模型，或者可以基于状态转变表。可以使用深度学习。例如，使用观测的值作为元素数据的连续密度隐藏马尔可夫模型(HMM)可以用作预测模型。在这种情况下，当序列被输入时，可以在序列被观测之后产生元素数据的观测概率分布。例如，当元素数据包括运动类别和坐标时，产生每个运动类别的概率和坐标的概率分布。这对应于包括一个元素数据项的预测序列的概率分布。

如上所述，预测模型是基于使用至少一个学习序列的学习来定义的。通过使用预测模型，因此，可以防止产生不太可能作为学习序列包括的奇怪且不自然的预测序列。例如，如果方向频繁改变的走路运动没有作为学习序列包括在内，则类似的序列不太可能被产生为预测序列。另一方面，作为学习序列包括的许多行为更可能被产生为预测序列。

对于序列产生系统将输出的“输出序列”，序列属性设置单元13设置序列属性，诸如可移动区域或年龄，并且将设置的序列属性输出到预测模型改动单元14。这里，序列属性设置单元13设置的序列属性被称为输出序列属性。

输出序列属性例如通过操作者经由终端装置100的直接输入来设置。可替代地，输出序列属性可以通过读取预定义的设置文件来设置。其他方法的例子可以包括读取参考序列以提取读取的参考序列之中共同的序列属性、并且将提取的属性设置为输出序列属性。输出序列属性可以通过UI显示在终端装置100的显示单元DS中。

预测模型改动单元14基于输出序列属性来改动预测模型，并且将改动的预测模型输出到序列产生单元17。也就是说，根据学习序列的序列属性，预测模型学习单元12产生的预测模型不一定与输出序列属性匹配。例如，如果可移动区域被设置为输出序列属性，则移动到不可移动区域(诸如墙壁内部)通常将不太可能发生。为了处理这样的情形，例如，将预测模型改为从目的地移除墙壁内部的坐标。也就是说，通过改变预测模型以使得与输出序列属性不一致的序列不包括在预测中，预测模型被改为适应输出序列属性。用于这样的改动的方法不限于特定的一种方法。例如，可以提取具有与输出序列属性相同的序列属性的学习序列，并且可以仅使用提取的学习序列来学习预测模型。如果预测模型由概率分布定义，则与输出序列属性不一致的部分的概率可以变为“0.0”。

结束状态设置单元15设置结束状态，并且将设置的结束状态输出到序列产生单元17，所述结束状态是输出序列的结束部分的候选集合或输出序列的结束部分的条件。操作者可以将任何项设置为结束状态。例如，结束状态可以是元素数据项或序列的集合、运动类别的类型、或结束处的坐标的范围。多个项可以同时被设置。结束状态设置单元15提供允许操作者设置结束状态并且可视化设置的结束状态的UI。所述UI可以是命令UI(CUI)或图形UI(GUI)。

图3是例示说明结束状态设置单元15的GUI的例子的示图。具体地说，示出了用于将“运动类别”和“坐标”指定为结束状态的GUI。特别地，作为行为序列的序列属性，在这种情况下设置定义人(对象物)的周围环境的“可移动区域”。区域1201显示地图，该地图示出被设置为输出序列属性的可移动区域。在该图中，空的(或白色)区域表示可移动区域，填充的(或黑色)区域表示不允许人通过的不可移动区域，诸如墙壁。

区域1202显示表示结束状态的运动类别的图标的给定列表。点击或敲击期望的图标使得用户可以选择结束状态下的运动类别。

图标1203是例如用粗框突出显示的选定的运动类别图标。图标1204指示选定图标1203移动到地图上的可移动区域的结果。这可以例如通过使用鼠标的拖放动作来进行。该图标的坐标对应于结束状态下的坐标。图标被允许仅被放置在地图上的可移动区域中。这防止设置与序列属性不一致的结束状态。上述GUI因此使得可以设置结束状态下的运动类别和坐标。结束状态设置单元15的UI不限于图3所示的例子，并且任何UI可以被使用。

多样性设置单元16提供用于设置多样性参数的UI，并且将设置的多样性参数输出到序列产生单元17，所述多样性参数控制序列产生系统产生的序列的多样性的级别(程度)。多样性参数可以为各种形式。例如，多样性参数可以是用于预测模型的预测概率的阈值、每个元素数据项(诸如坐标)的分散度、或用于基于预测概率的产生概率的排名级别的阈值。多样性设置单元16通过UI从操作者接收多样性参数的输入。多样性设置单元16的UI可以用于显示并且输入多样性参数项，或者可以用于显示并且输入抽象的多样性程度并基于多样性程度调整多样性参数。

尽管序列产生系统能够产生多样的自然的序列，但是所需的多样性级别根据目的而变化。此外，多样性和自然性具有权衡关系。也就是说，随着多样性提高，变得更有可能的是不太自然的序列将被产生，而随着多样性降低，变得更有可能的是只有自然的序列将被产生。控制多样性因此对于自动地产生序列是重要的。可以预期，使用多样性参数可以促进产生适合于目的的序列。

图4是例示说明多样性设置单元16的GUI的例子的示图。具体地说，图4例示说明用于设置作为多样性参数的“坐标分散度”和“概率阈值”的GUI，“坐标分散度”是元素数据项，“概率阈值”用于根据预测模型改变定义的运动类别。

项1301和1302均是用于设置多样性程度的参数项。具体地说，项1301接收“坐标分散度”的设置，项1302接收用于预测序列的“概率阈值”的设置。在该例子中，这些项的值由滑块1303和滑块1304接收。操纵每个项的对应滑块使得操作者可以设置多样性参数。多样性设置单元16的UI不限于图4所示的例子，并且任何UI可以被使用。例如，可以显示对多样性参数做出的改变的结果以供预览。

基于预测模型、结束状态、多样性参数和至少一个参考序列，序列产生单元17产生具有参考序列作为初始状态的输出序列。然后，与设置的结束状态匹配的输出序列被作为整个序列产生系统进行的处理的结果输出。

图5是例示说明序列产生单元17的处理步骤的例子的示图。序列1101和1102均表示参考序列。当存在多个参考序列时，序列产生单元17选择并且使用参考序列中的至少一个。选定的参考序列用于基于预测模型产生关于预测序列的信息，也就是说，用于产生预测序列的集合或预测序列的出现概率分布。

结束状态1103指示输出序列的结束状态的设置，图标1104至1107均表示示例性结束状态。结束状态要么是“结束候选的集合”，要么是“结束条件”。如果结束状态是结束候选的集合，则结束状态用于移除与结束状态不匹配的任何预测序列。如果结束状态是结束条件，则结束状态用于校正预测模型。例如，通过将与结束状态不一致的预测序列的出现概率分布变为“0.0”来校正预测模型。

另外，基于多样性参数，序列产生单元17仅产生与多样性参数所指示的条件匹配的预测序列作为输出序列。例如，如果“坐标分散度”被设置为多样性参数，则超过设置的坐标分散度的预测序列被从预测序列的集合移除。如果“概率阈值”被设置为多样性参数，则低于阈值的预测序列的概率分布的部分被从将被产生的目标排除。因此，当获得与各种条件匹配的预测序列的出现概率分布时，基于概率分布产生预测序列。

最终产生的预测序列与选定的参考序列组合以产生“输出序列”。序列1108和1109是产生的输出序列的例子。如果没有与参考序列相对应的预测序列，则参考序列被从将被选择的目标排除。用于选择参考序列的方法不限于特定的一种方法。例如，选择可以随机地进行，或者可以产生选定的参考序列之间的相似性程度以选择具有较低的相似性程度的参考序列。可能存在未被选择的参考序列。预测序列候选可以被选择作为新的参考序列。在参考序列的选择中，可以选择并且使用参考序列的起始点和结束点之间的任何部分。

<装置的操作>

图6是例示说明序列产生系统执行的处理的流程图。序列产生流程包括以下步骤：获取学习序列，学习预测模型，设置输出序列属性，改动预测模型，设置结束状态，设置多样性参数，获取参考序列，并且产生序列。

在步骤S101中，序列获取单元11获取用于学习预测模型的至少一对序列和序列属性作为学习序列。在步骤S102中，预测模型学习单元12基于学习序列产生学习的预测模型。

在步骤S103中，序列属性设置单元13设置输出序列属性。在步骤S104中，预测模型改动单元14改动学习的预测模型以适应输出序列属性从而产生预定的预测模型。

在步骤S105中，结束状态设置单元15设置将被产生的序列的结束状态。在步骤S106中，多样性设置单元16设置将被产生的序列的多样性参数。在步骤S107中，序列获取单元11获取参考序列。

在步骤S108中，序列产生单元17基于改动的预测模型、结束状态、多样性参数和至少一个参考序列来产生至少一个输出序列。

在第一实施例中，如上所述，输出序列是基于结束状态、多样性参数和输出序列属性自动产生的。这使得操作者可以用较少的工作获取期望的序列。通过基于参考序列产生输出序列，可以产生不太给予奇怪感觉的自然的序列。另外，通过基于预测序列信息(例如，预测序列的集合或预测序列的出现概率分布)产生输出序列，可以在预测序列的范围内产生多样的序列。

通过使多样性参数和输出序列属性是可调的，可以提供可以在不损失自然性的情况下保持适合于目的的多样性的调整。

(第二实施例)

第二实施例描述了用于产生复合序列的配置。这里，复合序列是指彼此相互作用的序列的集合。复合序列中包括的序列中的每个被称为个体序列。每个个体序列的元素数据项的数量可以为任何值。每个个体序列设有指示起始点的定时的索引。

第二实施例描述了表示多个人的行为的复合序列。在本实施例中，表示与多个人的行为相关的状态转变的复合序列被称为复合行为序列。复合行为序列中包括的个体序列中的每个对应于第一实施例中描述的单个行为序列。

图7是例示说明复合序列的例子的示图。这里例示说明了两个人的复合行为序列。更具体地说，人A(行人)如何被人B(酒醉的人)攻击被示为相应的人的单个行为序列。元素数据包括“运动”诸如走路和踢腿。

像第一实施例中的单个行为序列那样，复合行为序列可以用于产生CG视频，并且特别是当用于多个人相互交互时可以被使用。这样的CG视频适用于基于机器学习的行为识别技术中的学习和评估。复合行为序列也可以用于对集体行为(诸如体育比赛和灾难中的疏散行为)进行分析。

图8是例示说明根据第二实施例的复合序列产生系统的配置的例子的示图。组成元件类似于第一实施例中例示说明的那些组成元件，但是它们的操作中的一些不同于第一实施例中的那些操作。如图8所示，根据本实施例的复合序列产生系统包括复合序列产生装置20和终端装置100b。这些装置可以经由网络连接。网络的例子包括陆线电话网络、移动电话网络和互联网。这些装置中的一个可以包含在另一个装置中。

终端装置100b是类似于第一实施例中例示说明的终端装置100的计算机装置。终端装置100b被操作者用于输入和输出用于根据本实施例的复合序列产生系统的各种类型的信息。

复合序列产生装置20是提供用于各种类型的设置和数据录入的UI、并且基于通过UI接收的各种输入来产生多样的自然的复合序列的装置。复合序列产生装置20包括序列获取单元21、预测模型学习单元22、序列属性设置单元23、预测模型改动单元24、结束状态设置单元25、多样性设置单元26和序列产生单元27。

序列获取单元21获取学习序列和参考序列。第二实施例中的学习序列和参考序列这二者都是复合序列。用于获取学习序列和参考序列的方法不限于特定的一种方法。例如，它们可以由操作者手动输入，使用行为识别技术自动地从视频提取，或者通过体育比赛的记录的数据获取。

预测模型学习单元22基于学习序列来学习预测模型，并且将预测模型输出到预测模型改动单元24。本实施例的预测模型与第一实施例的预测模型有部分不同，并且在复合序列被给出的条件下预测个体序列。这使得能够基于个体序列之间的相互作用来产生预测序列。在使用预测模型产生预测序列时，选择复合序列中的个体序列，并且产生遵循选定的个体序列的预测序列。

序列属性设置单元23设置输出序列属性，并且将设置的输出序列属性输出到预测模型改动单元24。在本实施例中，输出序列属性可以包括个体序列的数量。输出序列属性可以针对个体序列中的每个独立地设置。例如，在输出足球比赛的序列时，比赛者和球的数量可以被设置为单个地设置对应的输出序列属性。多个个体序列之间共同的输出序列属性可以被一起设置为共同的输出序列属性。

预测模型改动单元24改动预测模型以适应输出序列属性，并且将改动的预测模型输出到序列产生单元27。当多个输出序列属性被设置时，预测模型可以针对输出序列属性中的每个被独立地改动，并且输出为多个不同的预测模型。

结束状态设置单元25设置结束状态，并且将设置的结束状态输出到序列产生单元27。本实施例中的结束状态可以例如是足球比赛的序列中的“进球得分”或“越位发生”。结束状态设置单元25可以针对每个个体序列独立地设置结束状态。例如，对应于球的个体序列可以是“坐标在球门中”。

多样性设置单元26提供用于设置多样性参数的UI，并且将设置的多样性参数输出到序列产生单元27，所述多样性参数控制复合序列产生系统产生的序列的多样性。本实施例中的多样性参数可以针对每个个体序列独立地设置，或者可以被设置为共同的多样性参数。

基于预测模型、结束状态、多样性参数和参考序列，序列产生单元27产生并且输出复合序列。具体地说，序列产生单元27基于序列属性选择参考序列中的每个个体序列所对应的预测模型，并且对每个个体序列产生预测序列。序列产生单元27然后产生从共同的参考序列预测的一个或多个个体序列，并且使用与结束状态匹配的个体序列的组合来形成或产生复合序列。

图9是例示说明复合序列产生系统执行的处理的流程图。本实施例中的复合序列产生流程包括以下步骤：获取学习序列，学习预测模型，设置输出序列属性，改动预测模型，设置结束状态，设置多样性参数，获取参考序列，并且产生序列。

在步骤S201中，序列获取单元21获取用于学习预测模型的学习序列。在步骤S202中，预测模型学习单元22基于学习序列来学习预测模型。

在步骤S203中，序列属性设置单元23设置输出序列属性。在步骤S204中，预测模型改动单元24根据输出序列属性来改变和改动预测模型。

在步骤S205中，结束状态设置单元25设置输出序列的结束状态。在步骤S206中，多样性设置单元26设置用于输出序列的多样性参数。在步骤S207中，序列获取单元21获取参考序列。

在步骤S208中，序列产生单元27基于改动的预测模型、结束状态、多样性参数和参考序列来产生输出序列。

如上所述，在第二实施例中，复合序列是基于结束状态、多样性参数和输出序列属性自动产生的。这使得操作者可以用较少的工作来获取期望的复合序列。

此外，通过考虑多个对象物之间的相互作用来学习预测模型以产生复合序列。因此，在不需要操作者输入对象物之间的相互作用的细节的情况下，可以产生考虑对象物之间的相互作用的复合序列。

(第三实施例)

第三实施例描述了用于产生分层序列的配置。这里，分层序列是指具有分层结构的多个序列组成的序列。在第三实施例中，人在建筑物之间的行进将被描述为分层序列。

图10是例示说明分层序列的例子的示图。这里例示说明了表示与人的行进相关的状态转变的分层序列。图10例示说明由三个层组成的序列：建筑物、楼层和坐标。具体地说，这里例示说明的序列是表示从建筑物A的第二层到建筑物B的第十三层的行进的分层序列。

元素数据包括建筑物、楼层和坐标。坐标是针对每个楼层定义的，楼层是针对每个建筑物定义的。因此，分层序列是具有包含关系的元素的结构表示，诸如建筑物、楼层和坐标。

像图10中的建筑物、楼层和坐标那样，分层序列中的不同的位置(每个具有相同类型的元素数据)被称为层。包括另一个层的层被称为上层，包括在另一个层中的层被称为下层。例如，“建筑物”和“坐标”分别是相对于“楼层”而言的上层和下层。

图11是例示说明根据第三实施例的分层序列产生系统的配置的例子的示图。因为组成元素包括与第一实施例中例示说明的部分相同的部分，所以这里将仅描述不同之处。如图11所示，根据本实施例的分层序列产生系统包括分层序列产生装置30和终端装置100c。这些装置可以经由网络连接。网络的例子包括陆线电话网络、移动电话网络和互联网。这些装置中的一个可以包含在另一个装置中。

终端装置100c是类似于第一实施例中例示说明的终端装置100的计算机装置。终端装置100c被操作者用于输入和输出用于根据本实施例的分层序列产生系统的各种类型的信息。

分层序列产生装置30是提供用于各种类型的设置和数据录入的UI、并且基于通过UI接收的各种输入来产生一个或多个多样的自然的分层序列的装置。分层序列产生装置30包括序列获取单元31、预测模型学习单元32、序列属性设置单元33、预测模型改动单元34、结束状态设置单元35、多样性设置单元36和序列产生单元37。

序列获取单元31获取学习序列和参考序列，并且将它们输出到预测模型学习单元32和序列产生单元37。序列获取单元31获取的学习序列和参考序列这二者都是分层序列。序列获取单元31可以使用用于识别分层结构的技术来将序列转换为分层序列。

预测模型学习单元32基于学习序列来学习预测模型，并且将预测模型输出到预测模型改动单元34。本实施例中的预测模型是针对分层序列的每个层学习的。用于每个层的预测模型基于对应层的序列的元素数据和上层的序列的元素数据来产生预测序列。

例如，就与建筑物、楼层和坐标相对应的分层序列(诸如图10所示的分层序列)来说，对于每个层的定义是基于上层的元素数据，以诸如“建筑物”、“建筑物A的楼层”和“建筑物A的第一楼层的坐标”这样的方式进行的。预测模型可以针对上层的每个元素数据独立地定义，或者可以被定义为基于上层的元素数据而改变的单个预测模型。

序列属性设置单元33提供使得操作者可以设置输出序列属性的UI，并且将设置的输出序列属性输出到预测模型改动单元34。输出序列属性可以针对分层序列的每个层独立地设置，或者可以被设置为共同的输出序列属性。

预测模型改动单元34基于输出序列属性来改变和改动预测模型，并且将所得的预测模型输出到序列产生单元37。预测模型改动单元34对与每个层相对应的预测模型执行改动处理。

结束状态设置单元35设置结束状态，并且将设置的结束状态输出到序列产生单元37。结束状态可以针对每个层设置，或者可以仅针对特定的层设置。结束状态可以基于上层的序列自动地设置。例如，当上层的序列从“建筑物A”变为“建筑物B”时，那么对于下层的楼层，允许在建筑物之间行进的“第一楼层”被设置为结束状态。用于自动地设置结束状态的信息可以通过从学习序列提取用于结束部分的元素数据来设置，或者可以手动设置。

多样性设置单元36提供用于设置多样性参数的UI，并且将设置的多样性参数输出到序列产生单元37，所述多样性参数控制分层序列产生系统产生的分层序列的多样性。本实施例中的多样性参数可以针对与每个层相对应的元素数据独立地设置，或者可以仅针对特定的层设置。

序列产生单元37基于预测模型、结束状态、多样性参数和参考序列来产生用于每个层的序列，并且输出作为整个分层序列产生系统进行的处理的结果的分层序列。序列产生单元37通过基于上层的序列产生下层的序列来按从上层起的次序产生分层序列。

图12是例示说明分层序列产生系统执行的处理的流程图。分层序列产生流程包括以下步骤：获取学习序列，学习预测模型，设置输出序列属性，改动预测模型，设置结束状态，设置多样性参数，获取参考序列，并且产生序列。

在步骤S301中，序列获取单元31获取用于学习预测模型的学习序列。在步骤S302中，预测模型学习单元32基于学习序列来学习用于每个层的预测模型。

在步骤S303中，序列属性设置单元33设置输出序列属性。在步骤S304中，预测模型改动单元34根据输出序列属性来改动用于每个层的预测模型。

在步骤S305中，结束状态设置单元35设置结束状态。在步骤S306中，多样性设置单元36设置多样性参数。在步骤S307中，序列获取单元31获取参考序列。

在步骤S308中，序列产生单元37基于改动的预测模型、结束状态、多样性参数和参考序列来按从上层起的次序产生输出序列。

如上所述，在第三实施例中，分层序列是基于结束状态、多样性参数和输出序列属性自动产生的。这使得操作者可以用较少的工作来获取期望的分层序列。

此外，根据本实施例的分层序列产生系统以基于上层的序列产生下层的序列这样的方式来按从上层起的次序产生序列。预测序列的产生范围因此缩小到每个层，并且可以高效地产生分层序列。

(其他实施例)

本发明也可以通过如下处理来实现，在该处理中，执行上述实施例的功能中的至少一个的程序经由网络或存储介质被供应给系统或装置，并且该系统或装置的计算机中的至少一个处理器读取并且执行该程序。本发明也可以通过执行至少一个功能的电路(例如，ASIC)来实现。

本发明不限于上述实施例，并且在不脱离本发明的精神和范围的情况下，可以对这些实施例做出各种改变和修改。附上权利要求以使本发明的范围公开。

本申请要求基于2017年3月30日提交的日本专利申请No.2017-68743的优先权，该申请特此整个地通过引用并入本文。

Claims (19)

1.一种产生表示对象物的状态转变的序列的序列产生装置，所述序列产生装置包括：

输入部件，用于输入作为图像的参考序列，作为将被产生的序列中的对象物的初始状态；

设置部件，用于设置将被产生的序列中的对象物的结束状态；

产生部件，用于通过将参考序列输入预定的预测模型来产生具有参考序列作为初始状态的多个输出序列；

输出部件，用于输出所述多个输出序列中的至少一个输出序列，所述至少一个输出序列的结束部分与结束状态匹配；以及

多样性设置部件，用于设置所述多个输出序列的多样性的程度，

其中，所述产生部件基于所述程度来确定所述多个输出序列的多样性。

2.根据权利要求1所述的序列产生装置，其中，所述输入部件输入给定的参考序列作为初始状态，所述给定的参考序列由用户指定。

3.根据权利要求1所述的序列产生装置，其中，所述设置部件将用户选择的给定的结束候选中的至少一个设置为结束状态。

4.根据权利要求1所述的序列产生装置，进一步包括学习部件，所述学习部件用于对学习序列进行学习以产生预测模型。

5.根据权利要求4所述的序列产生装置，进一步包括属性设置部件，所述属性设置部件用于设置将被产生的序列之间共同的共同属性。

6.根据权利要求5所述的序列产生装置，进一步包括改动部件，所述改动部件用于将通过对学习序列进行学习而获得的经学习的预测模型改动为适应所述共同属性以产生所述预定的预测模型。

7.根据权利要求5所述的序列产生装置，其中，所述共同属性包括对象物的属性和对象物的周围环境的属性中的至少一个。

8.根据权利要求5所述的序列产生装置，其中，所述输入部件防止与所述共同属性不匹配的初始状态的输入。

9.根据权利要求5所述的序列产生装置，其中，所述设置部件防止与所述共同属性不匹配的结束状态的设置。

10.根据权利要求5所述的序列产生装置，其中，所述属性包括环境类型。

11.根据权利要求5所述的序列产生装置，其中，所述对象物是人，所述属性包括人的年龄或性别。

12.根据权利要求5所述的序列产生装置，其中，所述属性包括对象物的可移动区域，所述可移动区域是对象物能够在其中移动的区域。

13.根据权利要求1所述的序列产生装置，其中，所述对象物是人，所述状态转变是人的行为。

14.根据权利要求13所述的序列产生装置，其中，所述序列均包括行为中的每个运动的类型和运动发生的位置。

15.根据权利要求1所述的序列产生装置，其中，所述产生部件产生复合序列，所述复合序列是彼此相互作用的序列的集合。

16.根据权利要求1所述的序列产生装置，其中，所述产生部件产生由具有分层结构的多个序列组成的分层序列。

17.根据权利要求16所述的序列产生装置，其中，所述产生部件产生层的序列，所述层的序列是基于上层的序列的元素产生的。

18.一种序列产生装置的控制方法，所述序列产生装置产生表示对象物的状态转变的序列，所述控制方法包括以下步骤：

输入作为图像的参考序列，作为将被产生的序列中的对象物的初始状态；

设置将被产生的序列中的对象物的结束状态；

通过将参考序列输入预定的预测模型来产生具有参考序列作为初始状态的多个输出序列；

输出所述多个输出序列中的至少一个输出序列，所述至少一个输出序列的结束部分与结束状态匹配；以及

设置所述多个输出序列的多样性的程度，

其中，基于所述程度来确定所述多个输出序列的多样性。

19.一种计算机可读存储介质，存储有用于使计算机用作根据权利要求1所述的序列产生装置的每个部件的程序。

Images