CN116662411A - 场景模板库的构建方法、对象预测方法及装置、电子设备 - Google Patents

场景模板库的构建方法、对象预测方法及装置、电子设备 Download PDF

Info

Publication number
CN116662411A
CN116662411A CN202310755458.7A CN202310755458A CN116662411A CN 116662411 A CN116662411 A CN 116662411A CN 202310755458 A CN202310755458 A CN 202310755458A CN 116662411 A CN116662411 A CN 116662411A
Authority
CN
China
Prior art keywords
scene
sample
target
scene template
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310755458.7A
Other languages
English (en)
Inventor
袁瑚
李宗尚
康志恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202310755458.7A priority Critical patent/CN116662411A/zh
Publication of CN116662411A publication Critical patent/CN116662411A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本公开提供了一种场景模板库的构建方法、对象预测方法及装置、电子设备，可以应用于计算机技术、大数据技术和人工智能技术领域。该场景模板库的构建方法包括：对样本对象序列进行特征提取，得到样本对象特征向量；根据与样本对象序列对应的样本场景标签信息，构建与样本场景标签信息对应的初始场景模板；根据样本对象特征向量和初始场景模板，确定样本对象融合向量；根据样本对象融合向量，对初始场景模板进行调整，得到与样本场景标签信息对应的目标场景模板；根据样本场景标签信息和与样本场景标签信息对应的目标场景模板，构建场景模板库。

Description

场景模板库的构建方法、对象预测方法及装置、电子设备
技术领域
本公开涉及计算机技术、大数据技术和人工智能技术领域，更具体地，涉及一种场景模板库的构建方法、对象预测方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
随着计算机技术的发展，如何处理时间序列数据(Time Series Data)以进行时序预测是亟待解决的问题。
时间序列数据可以指在不同时间上收集到的数据，能够用于反映某一事物、现象等随时间的变化状态或程度。时序预测可以指根据历史统计的时间序列数据，对未来的变化趋势进行预测分析。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：单一模型无法满足不同场景下基于时间序列数据进行时序预测的需求。
发明内容
有鉴于此，本公开提供了一种场景模板库的构建方法、对象预测方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
根据本公开的一个方面，提供了一种场景模板库的构建方法，包括：
对样本对象序列进行特征提取，得到样本对象特征向量；
根据与上述样本对象序列对应的样本场景标签信息，构建与上述样本场景标签信息对应的初始场景模板；
根据上述样本对象特征向量和上述初始场景模板，确定样本对象融合向量；
根据上述样本对象融合向量，对上述初始场景模板进行调整，得到与上述样本场景标签信息对应的目标场景模板；以及
根据上述样本场景标签信息和与上述样本场景标签信息对应的目标场景模板，构建上述场景模板库。
根据本公开的实施例，上述初始场景模板包括第一初始场景矩阵和第二初始场景矩阵。
根据本公开的实施例，上述根据上述样本对象特征向量和上述初始场景模板，确定样本对象融合向量包括：
对上述样本对象特征向量和上述第一初始场景矩阵进行融合处理，得到第一输出特征向量；
对上述第一输出特征向量进行编码处理，得到中间编码向量；
对上述样本对象特征向量和上述第二初始场景矩阵进行融合处理，得到第二输出特征向量；以及
对上述中间编码向量和上述第二输出特征向量进行解码处理，得到上述样本对象融合向量。
根据本公开的实施例，上述根据上述样本场景标签信息和与上述样本场景标签信息对应的目标场景模板，构建上述场景模板库包括：
将上述样本场景标签信息确定为场景模板键信息；
将上述目标场景模板确定为场景模板值信息；
根据上述场景模板键信息和上述场景模板值信息，构建场景模板键值关系；以及
将上述场景模板键值关系存储至上述场景模板库。
根据本公开的实施例，上述对样本对象序列进行特征提取，得到样本对象特征向量包括：
将上述样本对象序列输入至预先训练完成的预训练模型中的特征提取模块，得到上述样本对象特征向量，其中，上述预训练模型还包括第一融合模块、第一编码器、第二融合模块和第一解码器；
其中，上述第一输出特征向量是利用上述第一融合模块处理上述样本对象特征向量和上述第一初始场景矩阵得到的；
其中，上述中间编码向量是利用上述第一编码器处理上述第一输出特征向量得到的；
其中，上述第二输出特征向量是利用上述第二融合模块处理上述样本对象特征向量和上述第二初始场景矩阵得到的；
其中，上述样本对象融合向量是利用上述中间编码向量和上述第二输出特征向量得到的。
根据本公开的实施例，上述样本对象序列还对应有样本对象标签信息。
根据本公开的实施例，上述根据上述样本对象融合向量，对上述初始场景模板进行调整，得到与上述样本场景标签信息对应的目标场景模板包括：
根据上述样本对象融合向量，确定样本对象预测信息；
根据上述样本对象预测信息和上述样本对象标签信息，得到损失函数值；
在保持上述特征提取模块、上述第一编码器和上述第一解码器的模型参数不变的情况下，根据上述损失函数值调整上述第一融合模块和上述第二融合模块，直至满足预定结束条件，得到上述对象预测模型；以及
将与上述对象预测模型对应的初始场景模板确定为上述目标场景模板。
根据本公开的实施例，上述预训练模型还包括多层感知模块，上述多层感知模块包括M个隐藏层，上述M个隐藏层中的每个隐藏层各自对应有N个神经元，M和N均为正整数。
根据本公开的实施例，上述根据与上述样本对象序列对应的样本场景标签信息，构建与上述样本场景标签信息对应的初始场景模板包括：
根据上述样本场景标签信息，确定与上述样本场景标签信息对应的目标长度值；
根据上述M个隐藏层和上述上述M个隐藏层各自对应的N个神经元，确定目标数组；以及
根据上述目标长度值和上述目标数组，构建上述初始场景模板。
根据本公开的实施例，上述根据上述目标长度值和上述目标数组，构建上述初始场景模板包括：
根据上述目标长度值和上述目标数组，构建与上述上述样本场景标签信息对应的待处理场景模板；以及
利用上述多层感知模块对上述待处理场景模板进行多层感知处理，得到上述初始场景模板。
根据本公开的实施例，上述预训练模型是通过如下方式训练得到的：
根据P个样本对象信息，构建与上述P个样本对象信息各自对应的对象数据集，其中，P为正整数；
根据Q个样本场景信息，构建与上述Q个样本场景信息各自对应的场景数据集，其中，Q为正整数；
根据与上述P个样本对象信息各自对应的对象数据集和与上述Q个样本场景信息各自对应的场景数据集，构建上述至少一个预训练对象序列；以及
利用上述至少一个预训练对象序列，训练深度学习模型，得到上述预训练模型。
根据本公开的实施例，上述根据与上述P个样本对象信息各自对应的对象数据集和与上述Q个样本场景信息各自对应的场景数据集，构建上述至少一个预训练对象序列包括：
根据与上述P个样本对象信息各自对应的对象数据集和与上述Q个样本场景信息各自对应的场景数据集，构建至少一个候选预训练对象序列；
针对上述至少一个候选预训练对象序列中的每个候选预训练对象序列，基于滑动窗口方法，对上述候选预训练对象序列进行划分，得到多个预训练对象数据；以及
根据上述多个预训练对象数据，确定上述预训练对象序列。
根据本公开的另一个方面，提供了一种对象预测方法，包括：
对目标对象序列进行特征提取，得到目标对象特征向量；
根据与上述目标对象序列对应的目标场景标签信息，从场景模板库中获取与上述目标场景标签信息对应的目标场景模板；
根据上述目标对象特征向量和上述目标场景模板，确定目标对象融合向量；以及
根据上述目标对象融合向量，确定与上述目标对象序列对应的对象预测结果；
其中，上述场景模板库是利用上述场景模板库的构建方法构建得到的。
根据本公开的另一个方面，提供了一种场景模板库的构建装置，包括：
第一特征提取模块，用于对样本对象序列进行特征提取，得到样本对象特征向量；
第一构建模块，用于根据与上述样本对象序列对应的样本场景标签信息，构建与上述样本场景标签信息对应的初始场景模板；
第一确定模块，用于根据上述样本对象特征向量和上述初始场景模板，确定样本对象融合向量；
调整模块，用于根据上述样本对象融合向量，对上述初始场景模板进行调整，得到与上述样本场景标签信息对应的目标场景模板；以及
第二构建模块，用于根据上述样本场景标签信息和与上述样本场景标签信息对应的目标场景模板，构建上述场景模板库。
根据本公开的另一个方面，提供了一种对象预测装置，包括：
第二特征提取模块，用于对目标对象序列进行特征提取，得到目标对象特征向量；
获取模块，用于根据与上述目标对象序列对应的目标场景标签信息，从场景模板库中获取与上述目标场景标签信息对应的目标场景模板；
第二确定模块，用于根据上述目标对象序列和上述目标场景模板，确定目标对象融合向量；以及
第三确定模块，用于根据上述目标对象融合向量，确定与上述目标对象序列对应的对象预测结果；
其中，上述场景模板库是利用上述场景模板库的构建装置构建得到的。
根据本公开的另一个方面，提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个指令，
其中，当上述一个或多个指令被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如本公开所述的方法。
根据本公开的另一个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，上述可执行指令被处理器执行时使处理器实现如本公开所述的方法。
根据本公开的另一个方面，提供了一种计算机程序产品，上述计算机程序产品包括计算机可执行指令，上述计算机可执行指令在被执行时用于实现如本公开所述的方法。
根据本公开的实施例，由于样本对象融合向量是根据样本对象特征向量和初始场景模板确定的，样本对象特征向量是通过对样本对象序列进行特征提取得到的，初始场景模板是根据与样本对象序列对应的样本场景标签信息构建的，通过根据样本对象融合向量，对初始场景模板进行调整，使得得到的目标场景模板能够与样本场景标签信息所表征的场景类型相适应。在此基础上，由于场景模板库是根据样本场景标签信息和与样本场景标签信息对应的目标场景模板构建的，因而场景模板库能够维护不同场景类型下的目标场景模板，至少部分地克服了相关技术中单一模型无法满足不同场景下基于时间序列数据进行时序预测的需求的技术问题，提高了场景模板库的构建效率，有利于后续根据场景类型从场景模板库中获取与场景类型对应的样本场景标签信息。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的可以应用场景模板库的构建方法、对象预测方法的系统架构；
图2示意性示出了根据本公开实施例的场景模板库的构建方法的流程图；
图3A示意性示出了根据本公开实施例的预训练模型的训练过程的示例示意图；
图3B示意性示出了根据本公开实施例的基于滑动窗口方法，对候选预训练对象序列进行划分，得到多个预训练对象数据过程的示例示意图；
图4示意性示出了根据本公开实施例的根据与样本对象序列对应的样本场景标签信息，构建与样本场景标签信息对应的初始场景模板过程的示例示意图；
图5示意性示出了根据本公开实施例的确定样本对象融合向量过程的示例示意图；
图6示意性示出了根据本公开实施例的对象预测模型的训练过程的示例示意图；
图7示意性示出了根据本公开实施例的对象预测方法的流程图；
图8示意性示出了根据本公开的实施例的场景模板库的构建装置的框图；
图9示意性示出了根据本公开的实施例的对象预测装置的框图；以及
图10示意性示出了根据本公开实施例的适于实现场景模板库的构建方法、对象预测方法的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本公开的实施例中，所涉及的数据(例如，包括但不限于用户个人信息)的收集、更新、分析、处理、使用、传输、提供、公开、存储等方面，均符合相关法律法规的规定，被用于合法的用途，且不违背公序良俗。特别地，对用户个人信息采取了必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全和国家安全。
在本公开的实施例中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
例如，在收集目标对象序列之后，可以采用包括去标识化或者匿名化处理方式对您的信息进行脱敏，以保护您的信息安全。
时间序列可以指将同一统计指标的数值按其发生时间的先后顺序排列而成的数列。时序预测方法可以包括以下至少之一：基于统计学模型的时序预测方法、基于机器学习模型的时序预测方法和基于深度学习模型的时序预测方法。
由于用于时序预测的模型需要针对特定、单一的场景进行训练，而各个场景之间特点迥异，单一的模型难以解决所有场景的问题，因此模型之间的可迁移性较差。
此外，由于用于时序预测的模型形式较为固定，在特征参数发生变更的情况下，需要对模型进行重新训练，因而导致模型的灵活性较差。
为了至少部分地解决相关技术中存在的技术问题，本公开提供了一种场景模板库的构建方法、对象预测方法及装置、电子设备，可以应用于计算机技术、大数据技术和人工智能技术领域。该场景模板库的构建方法包括：对样本对象序列进行特征提取，得到样本对象特征向量；根据与样本对象序列对应的样本场景标签信息，构建与样本场景标签信息对应的初始场景模板；根据样本对象特征向量和初始场景模板，确定样本对象融合向量；根据样本对象融合向量，对初始场景模板进行调整，得到与样本场景标签信息对应的目标场景模板；根据样本场景标签信息和与样本场景标签信息对应的目标场景模板，构建场景模板库。
图1示意性示出了根据本公开实施例的可以应用场景模板库的构建方法、对象预测方法的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103，网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的场景模板库的构建方法、对象预测方法一般可以由服务器105执行。相应地，本公开实施例所提供的场景模板库的构建装置、对象预测装置一般可以设置于服务器105中。本公开实施例所提供的场景模板库的构建方法、对象预测方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的场景模板库的构建装置、对象预测装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
备选地，本公开实施例所提供的场景模板库的构建方法、对象预测方法也可以由第一终端设备101、第二终端设备102或第三终端设备103执行，或者也可以由不同于第一终端设备101、第二终端设备102或第三终端设备103的其他终端设备执行。相应地，本公开实施例所提供的场景模板库的构建装置、对象预测装置也可以设置于第一终端设备101、第二终端设备102或第三终端设备103中，或设置于不同于第一终端设备101、第二终端设备102或第三终端设备103的其他终端设备中。
应该理解，图1中的第一终端设备、第二终端设备、第三终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的第一终端设备、第二终端设备、第三终端设备、网络和服务器。
应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。
图2示意性示出了根据本公开实施例的场景模板库的构建方法的流程图。
如图2所示，该场景模板库的构建方法200包括操作S210～S250。
在操作S210，对样本对象序列进行特征提取，得到样本对象特征向量。
在操作S220，根据与样本对象序列对应的样本场景标签信息，构建与样本场景标签信息对应的初始场景模板。
在操作S230，根据样本对象特征向量和初始场景模板，确定样本对象融合向量。
在操作S240，根据样本对象融合向量，对初始场景模板进行调整，得到与样本场景标签信息对应的目标场景模板。
在操作S250，根据样本场景标签信息和与样本场景标签信息对应的目标场景模板，构建场景模板库。
根据本公开的实施例，样本对象序列可以包括与样本对象对应的时间序列数据。样本对象可以是与样本场景相关联的。样本对象可以对应有样本对象标签信息。样本对象标签信息可以用于表征具体的任务类型。样本场景可以对应有样本场景标签信息。样本场景标签信息可以用于表征具体的场景类型。时间序列数据可以指按照一定时顺序排列的反映同一现象不同时间点上取值的数据。可以通过对时间序列数据的分析来预测未来数据的变化趋势。
根据本公开的实施例，可以预先利用多个预训练对象序列对第一预定模型进行预训练，得到具备通用时序预测能力的预训练模型。多个预训练对象序列可以各自对应有不同的任务类型和场景类型。在获得样本对象序列之后，可以利用预训练模型处理样本对象序列，以便对样本对象序列进行时序预测，得到样本对象预测结果。第一预定模型可以包括能够实现对样本对象序列进行时序预测的模型。第一预定模型可以可以包括以下至少之一：基于统计学模型的第一预定模型、基于机器学习模型的第一预定模型和基于深度学习模型的第一预定模型。
例如，基于统计学模型的第一预定模型可以包括至少之一：移动平均模型(Moving-Average Model，MA)、指数平滑模型(Exponential Smoothing Model，MS)、ARIMA(Autoregressive Integrated Moving Average Model)模型。基于机器学习模型的第一预定模型可以包括至少之一：决策树(Decision Tree，DT)模型、梯度提升决策树(GradientBoosting Decision Tree，GBDT)模型、支持向量机(Support Vector Machine，SVM)。卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent NeuralNetwork，RNN)和转换器(Transformer)。
根据本公开的实施例，在获得样本对象序列之后，也可以利用第二预定模型处理样本对象序列，得到样本对象特征向量。第二预定模型可以包括能够实现样本对象序列特征提取的深度学习模型。第二预定模型可以包括至少之一：卷积神经网络、循环神经网络和转换器。第二预定模型的训练方式可以根据实际业务需求进行配置，在此不作限定。例如，训练方式可以包括以下至少之一：无监督训练、有监督训练和半监督训练。
根据本公开的实施例，在获得样本对象特征向量之后，可以根据与样本对象序列对应的样本场景标签信息，构建初始场景模板。例如，可以根据样本场景标签信息，确定长度值。根据预训练模型中的隐藏层数量和与每一隐藏层各自对应的神经元数量，确定数组。根据长度值和数组，构建初始场景模板。初始场景模板(即Prompt)可以包括与场景类型相关的参数矩阵。初始场景模板可以与样本对象序列相结合，给予预训练模型上下文以指导预训练模型接下来应当执行的任务，即能够将下游任务基于预训练模型进行改造。
根据本公开的实施例，在获得初始场景模板之后，可以利用第三预定模型处理样本对象特征向量和初始场景模板，得到样本对象融合向量。第三预定模型可以包括能够实现特征融合的深度学习模型。第三预定模型可以包括至少之一：转换器、特征金字塔网络(Feature Pyramid Network，FPN)、LSTM(Long Short-Term Memory，长短期记忆网络)和Bi-LSTM(Bi-directional Long Short-Term Memory，双向长短期记忆网络)。
例如，在第三预定模型为转换器的情况下，可以利用转换器中的第二编码器对样本对象特征向量和初始场景模板进行处理，得到编码向量。利用转换器中的第二解码器对编码向量进行处理，得到样本对象融合向量。
根据本公开的实施例，在获得样本对象融合向量之后，可以根据样本对象融合向量，对初始场景模板进行调整，得到与样本场景标签信息对应的目标场景模板。例如，可以在预训练模型的基础上结合初始场景模板得到对象预测模型，利用对象预测模型对样本对象序列进行处理得到样本对象融合向量。根据样本对象融合向量，确定样本对象预测信息。在保持预训练模型的模型参数不变的情况下，根据样本对象预测信息和样本对象标签信息，对初始场景模板进行调整，得到与样本场景标签信息对应的目标场景模板。
根据本公开的实施例，在获得目标场景模板之后，可以根据样本场景标签信息和与样本场景标签信息对应的目标场景模板，构建场景模板库。场景模板库可以用于存储样本场景标签信息和目标场景模板。场景模板库可以维护至少一个键值关系。至少一个键值关系中的每个键值关系可以包括样本场景标签信息的键信息和目标场景模板的值信息。
根据本公开的实施例，由于样本对象融合向量是根据样本对象特征向量和初始场景模板确定的，样本对象特征向量是通过对样本对象序列进行特征提取得到的，初始场景模板是根据与样本对象序列对应的样本场景标签信息构建的，通过根据样本对象融合向量，对初始场景模板进行调整，使得得到的目标场景模板能够与样本场景标签信息所表征的场景类型相适应。在此基础上，由于场景模板库是根据样本场景标签信息和与样本场景标签信息对应的目标场景模板构建的，因而场景模板库能够维护不同场景类型下的目标场景模板，至少部分地克服了相关技术中单一模型无法满足不同场景下基于时间序列数据进行时序预测的需求的技术问题，提高了场景模板库的构建效率，有利于后续根据场景类型从场景模板库中获取与场景类型对应的样本场景标签信息。
下面参考图3A、图3B、图4、图5和图6，对根据本发明实施例的场景模板库的构建方法200做进一步说明。
根据本公开的实施例，预训练模型可以是通过如下方式训练得到的。
根据P个样本对象信息，构建与P个样本对象信息各自对应的对象数据集，其中，P为正整数。根据Q个样本场景信息，构建与Q个样本场景信息各自对应的场景数据集，其中，Q为正整数。根据与P个样本对象信息各自对应的对象数据集和与Q个样本场景信息各自对应的场景数据集，构建至少一个预训练对象序列。利用至少一个预训练对象序列，训练深度学习模型，得到预训练模型。
根据本公开的实施例，样本对象信息可以包括历史输入数据的时间步长度和预测输出数据的时间步长度。可以根据与P个样本对象信息各自对应的历史输入数据的时间步长度和预测输出数据的时间步长度，构建与P个样本对象信息各自对应的对象数据集。样本场景信息可以包括场景数据集长度。可以根据与Q个样本场景信息各自对应的场景数据集长度，构建与Q个样本场景信息各自对应的场景数据集。
根据本公开的实施例，在获得与P个样本对象信息各自对应的对象数据集和与Q个样本场景信息各自对应的场景数据集之后，可以构建P×Q个预训练对象序列。每个预训练对象序列可以有场景数据集构建对象数据集确定每次训练任务中历史输入数据的时间步长度和预测输出数据的时间步长度。以历史输入数据的维度为(k+1)×1、预测输出数据的大小为n×1为例，预训练对象序列可以如下表1所示。
表1
根据本公开的实施例，可以基于第一损失函数，根据至少一个预训练对象序列和与至少一个预训练对象序列各自对应的样本对象标签信息，训练深度学习模型，得到预训练模型。第一损失函数可以包括以下至少之一：Huber损失函数(Huber Loss Function)、均方误差损失函数(Mean Squared Error Loss Function，MSE)、平均绝对误差损失函数(Mean Absolute Error Loss Function，MAE)、回归损失函数(Regression LossFunction)和Hinge损失函数(Hinge Loss Function)。
根据本公开的实施例，以Huber损失函数、δ为超参数为例，Huber损失函数可以结合均方误差损失函数和平均绝对误差损失函数的优点，提高对异常点的鲁棒性。例如，在Huber损失位于[0-δ，0+δ]之间的情况下，Huber损失函数等价于均方误差损失函数。在Huber损失位于[-∞，δ]和[δ，+∞]之间的情况下，Huber损失函数等价于平均绝对误差损失函数。
根据本公开的实施例，由于预训练对象序列是基于对象数据集和场景数据集构建得到的，因而能够在保障数据质量的情况下，通过不同场景、不同格式的预训练对象序列对深度学习模型进行训练，提高了深度学习模型的训练效率和准确性，进而提高了得到的预训练模型的泛化能力，使得得到的预训练模型能够具备针对不同场景类型、不同任务类型的通用时序预测能力，以便于保障后续预训练模型与场景类型相适应的扩展性和延展性。
图3A示意性示出了根据本公开实施例的预训练模型的训练过程的示例示意图。
如图3A所示，在300A中，可以根据P个样本对象信息301，构建与P个样本对象信息301各自对应的对象数据集302。根据Q个样本场景信息303，构建与Q个样本场景信息303各自对应的场景数据集304。
根据与P个样本对象信息301各自对应的对象数据集302和与Q个样本场景信息303各自对应的场景数据集304，构建至少一个预训练对象序列305。
将至少一个预训练对象序列305输入至深度学习模型306，输出预训练对象预测结果307。将预训练对象预测结果307和样本对象标签信息308输入至第一损失函数309，输出第一损失函数值310。利用第一损失函数值310调整深度学习模型306的模型参数，得到预训练模型。
根据本公开的实施例，根据与P个样本对象信息各自对应的对象数据集和与Q个样本场景信息各自对应的场景数据集，构建至少一个预训练对象序列可以包括如下操作。
根据与P个样本对象信息各自对应的对象数据集和与Q个样本场景信息各自对应的场景数据集，构建至少一个候选预训练对象序列。针对至少一个候选预训练对象序列中的每个候选预训练对象序列，基于滑动窗口方法，对候选预训练对象序列进行划分，得到多个预训练对象数据。根据多个预训练对象数据，确定预训练对象序列。
根据本公开的实施例，在预训练模型的训练过程中，可以根据与P个样本对象标签信息各自对应的对象数据集和与Q个样本场景标签信息各自对应的场景数据集，构建P×Q候选预训练对象序列。从P×Q候选预训练对象序列不放回地抽取至少一个候选预训练对象序列展开训练，直到所有预训练对象序列训练完毕。可以基于滑动窗口方法，提高对候选预训练对象序列进行划分，不断地构造预训练对象数据。
图3B示意性示出了根据本公开实施例的基于滑动窗口方法，对候选预训练对象序列进行划分，得到多个预训练对象数据过程的示例示意图。
如图3B所示，以滑动窗口311的长度为k+n+1、滑动步长为1为例，在300B中，多个预训练对象数据可以包括由与时间步t-k-1对应的值至与时间步t+n对应的值。k、n和t可以根据实际业务需求进行设置，在此不作限定。
以前k+1个数据为历史输入数据、后n个数据为预测目标数据为例，在此情况下，预训练对象序列可以包括由与时间步t-k-1对应的值至与时间步t对应的值。样本对象标签信息可以包括由与时间步t+1对应的值至与时间步t+n对应的值。
根据本公开的实施例，预训练模型还包括多层感知模块，多层感知模块包括M个隐藏层，M个隐藏层中的每个隐藏层各自对应有N个神经元，M和N均为正整数。
根据本公开的实施例，操作S220可以包括如下操作。
根据样本场景标签信息，确定与样本场景标签信息对应的目标长度值。根据M个隐藏层和M个隐藏层各自对应的N个神经元，确定目标数组。根据目标长度值和目标数组，构建初始场景模板。
根据本公开的实施例，初始场景模板的构建方式可以如下式(1)所示。
Pθ＝|Pidx|×dim(h) (1)
其中，Pθ可以表征初始场景模板，Pidx可以表征与样本场景标签信息对应的目标长度值，h可以表征预训练模型的隐藏层维度，dim(h)可以表征目标数组。
根据本公开的实施例，根据目标长度值和目标数组，构建初始场景模板可以包括如下操作。
根据目标长度值和目标数组，构建与样本场景标签信息对应的待处理场景模板。利用多层感知模块对待处理场景模板进行多层感知处理，得到初始场景模板。
根据本公开的实施例，待处理场景模板和初始场景模板在第一维可以具有相同的长度，而第二维的长度不同。利用多层感知模块对待处理场景模板进行多层感知处理，得到初始场景模板的方式可以如下式(2)所示。
Pθ[i，：]＝MLP(P′θ[i，：]) (2)
其中，Pθ可以表征初始场景模板，P′θ可以表征待处理场景模板，MLP()可以表征利用多层感知模块进行处理，i可以表征初始场景模板的时间步索引。
根据本公开的实施例，由于待处理场景模板是根据目标长度值和目标数组构建得到的，因而待处理场景模板能够充分利用场景数据，提高了待处理场景模板与样本场景标签信息的相关性，进而提高了待处理场景模板的质量。在此基础上，通过利用多层感知模块对待处理场景模板进行多层感知处理，能够得到更为精确和符合实际场景需求的初始场景模板，提高了初始场景模板的自动构建效率和准确性。
图4示意性示出了根据本公开实施例的根据与样本对象序列对应的样本场景标签信息，构建与样本场景标签信息对应的初始场景模板过程的示例示意图。
如图4所示，在400中，可以根据样本场景标签信息401，确定与样本场景标签信息401对应的目标长度值402。根据M个隐藏层403和M个隐藏层各自对应的N个神经元404，确定目标数组405。
根据目标长度值402和目标数组405，构建与样本场景标签信息对应的待处理场景模板406。利用多层感知模块对待处理场景模板406进行多层感知处理，得到初始场景模板407。
根据本公开的实施例，操作S230可以包括如下操作。
对样本对象特征向量和第一初始场景矩阵进行融合处理，得到第一输出特征向量。对第一输出特征向量进行编码处理，得到中间编码向量。对样本对象特征向量和第二初始场景矩阵进行融合处理，得到第二输出特征向量。对中间编码向量和第二输出特征向量进行解码处理，得到样本对象融合向量。
根据本公开的实施例，初始场景模板可以包括第一初始场景矩阵和第二初始场景矩阵。
根据本公开的实施例，以Pθ(Pθ1，Pθ2)表征初始场景模板，其中，Pθ1可以表征第一初始场景矩阵，Pθ2可以表征第二初始场景矩阵。初始场景模板的参数可以在微调训练时随机生成。
根据本公开的实施例，在针对特定场景类型微调预训练模型的情况下，可以将初始场景模板和预训练模型联系起来。例如，可以根据样本对象特征向量和第一初始场景矩阵确定第一输出特征向量。根据样本对象特征向量和第二初始场景矩阵确定第二输出特征向量。根据第一输出特征向量和第二输出特征向量，确定样本对象融合向量。
根据本公开的实施例，通过采用向量编码和向量解码的方式，能够在特定场景类型中实现样本对象特征向量和初始场景模板的拼接，使得得到的样本对象融合向量能够融合与样本对象特征向量对应的对象信息和与初始场景模板对应的场景信息，提高了样本对象融合向量的准确性和完整性。
图5示意性示出了根据本公开实施例的确定样本对象融合向量过程的示例示意图。
如图5所示，在500中，可以对样本对象特征向量501和第一初始场景矩阵5021进行融合处理，得到第一输出特征向量503。对第一输出特征向量503进行编码处理，得到中间编码向量504。
对样本对象特征向量501和第二初始场景矩阵5022进行融合处理，得到第二输出特征向量505。
对中间编码向量504和第二输出特征向量505进行解码处理，得到样本对象融合向量506。
根据本公开的实施例，操作S210可以包括如下操作。
将样本对象序列输入至预先训练完成的预训练模型中的特征提取模块，得到样本对象特征向量，其中，预训练模型还包括第一融合模块、第一编码器、第二融合模块和第一解码器。
根据本公开的实施例，第一输出特征向量可以是利用第一融合模块处理样本对象特征向量和第一初始场景矩阵得到的。中间编码向量可以是利用第一编码器处理第一输出特征向量得到的。第二输出特征向量可以是利用第二融合模块处理样本对象特征向量和第二初始场景矩阵得到的。样本对象融合向量可以是利用中间编码向量和第二输出特征向量得到的。
根据本公开的实施例，可以将样本对象序列X输入至预先训练完成的预训练模型中的特征提取模块(例如，embedding层)，得到样本对象特征向量E。样本对象特征向量E维度可以为(k+1)×h。
根据本公开的实施例，在第一编码器侧，可以利用第一融合模块将样本对象特征向量E和第一初始场景矩阵Pθ1进行拼接，得到第一输出特征向量[Pθ1，E]。将第一输出特征向量[Pθ1，E]作为第一编码器的输入。
根据本公开的实施例，第一编码器可以包括第一输入层和第一隐藏层。第一编码器可以用于将第一输出特征向量进行编码。例如，可以利用第一编码器的第一输入层对第一输出特征向量进行编码，得到辅助编码向量。利用第一编码器的第一隐藏层对辅助编码向量进行处理，得到中间编码向量。
根据本公开的实施例，在第一解码器侧，可以利用第二融合模块将样本对象特征向量E和第二初始场景矩阵Pθ2进行拼接，得到第二输出特征向量[Pθ2，E]。将第二输出特征向量Pθ2，E作为第一解码器的输入。
根据本公开的实施例，第一解码器可以包括第二隐藏层和第一输出层。第一解码器可以用于对中间编码向量和第二输出特征向量进行重构。例如，可以利用第一解码器的第二隐藏层对中间编码向量和第二输出特征向量进行解码，得到辅助解码向量。利用第一解码器的第一输出层对辅助解码向量进行处理，得到样本对象融合向量。
根据本公开的实施例，样本对象序列还对应有样本对象标签信息。
根据本公开的实施例，操作S240可以包括如下操作。
根据样本对象融合向量，确定样本对象预测信息。根据样本对象预测信息和样本对象标签信息，得到损失函数值。在保持特征提取模块、第一编码器和第一解码器的模型参数不变的情况下，根据损失函数值调整第一融合模块和第二融合模块，直至满足预定结束条件，得到对象预测模型。将与对象预测模型对应的初始场景模板确定为目标场景模板。
根据本公开的实施例，可以基于第二损失函数，根据对象预测信息和样本对象标签信息，得到损失函数值。在训练过程中，可以将预训练模型的模型参数进行冻结，即不更新预训练模型的模型参数参数。例如，可以保持特征提取模块、第一编码器和第一解码器的模型参数不变。
根据本公开的实施例，可以根据损失函数值更新第一初始场景矩阵和第二初始场景矩阵的参数，直至满足预定结束条件。预定结束条件可以包括初始场景模板的参数值趋于稳定。例如，可以根据损失函数值调整第一融合模块和第二融合模块的模型参数。在此情况下，可以将初始场景模板调整为场景化特征更为显著的目标场景模板，以引导预训练模型进行特定场景类型下的对象预测的对象预测模型。
根据本公开的实施例，通过根据样本对象预测信息和样本对象标签信息得到损失函数值，进一步调整与第一融合模块对应的第一初始场景矩阵和与第二融合模块对应的第二初始场景矩阵，至少部分地克服不同场景需要单独建模所导致的建模成本高、模型可迁移性差的问题，能够提高对象预测模型与场景类型对应的适应能力，进而提高了目标场景模板的的生成效率和质量。
图6示意性示出了根据本公开实施例的对象预测模型的训练过程的示例示意图。
如图6所示，在600中，预训练模型600可以包括特征提取模块600_1、第一融合模块600_2、第一编码器600_3、第二融合模块600_4和第一解码器600_5。
可以将样本对象序列601输入至特征提取模块600_1，输出样本对象特征向量602。
第一融合模块600_2可以对第一初始场景矩阵603_1和样本对象特征向量602进行融合处理，输出第一输出特征向量604。可以将第一输出特征向量604输入至第一编码器600_3，输出中间编码向量605。
第二融合模块600_4可以对第二初始场景矩阵603_2和样本对象特征向量602进行融合处理，输出第二输出特征向量606。
可以将中间编码向量605和第二输出特征向量606输入至第一解码器600_5，输出样本对象融合向量607。根据样本对象融合向量607，确定样本对象预测信息608。
基于第二损失函数609，根据样本对象预测信息608和与样本对象序列601对应的样本对象标签信息，得到第二损失函数值610。利用第二损失函数值610调整预训练模型600中第一融合模块600_2(即第一初始场景矩阵603_1)和第二融合模块600_4(即第二初始场景矩阵603_2)的模型参数，得到对象预测模型。
根据本公开的实施例，操作S250可以包括如下操作。
将样本场景标签信息确定为场景模板键信息。将目标场景模板确定为场景模板值信息。根据场景模板键信息和场景模板值信息，构建场景模板键值关系。将场景模板键值关系存储至场景模板库。
根据本公开的实施例，场景模板库能够用于维护至少一个场景模板键值关系。至少一个场景模板键值关系中的每个场景模板键值关系可以各自包括场景模板键信息和场景模板值信息。在完成对象预测模型的训练之后，可以将样本场景标签信息确定为场景模板键信息(即Key)。将目标场景模板确定为场景模板值信息(即Value)。
根据本公开的实施例，由于场景模板键值关系是根据样本场景标签信息和目标场景模板构建的，因而能够利用场景模板库管理样本场景标签信息和目标场景模板，提高了目标场景模板的管理效率和准确性。通过在内存中维护通用的预训练模型和场景模板库，在后续进行对象预测的情况下，可以从场景模板库获取与场景对应的目标场景模板，在预训练模型的基础上结合目标场景模板，由此节约了计算资源和时间成本，能够激发预训练模型针对不同场景类型和不同任务类型的预测额能力，提高了场景类型切换的效率，进而提高了对象预测的灵活性和效率。
以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他场景模板库的构建方法，只要能够提高场景模板库的构建效率即可。
图7示意性示出了根据本公开实施例的对象预测方法的流程图。
如图7所示，该对象预测方法700包括操作S710～S740。
在操作S710，对目标对象序列进行特征提取，得到目标对象特征向量。
在操作S720，根据与目标对象序列对应的目标场景标签信息，从场景模板库中获取与目标场景标签信息对应的目标场景模板。
在操作S730，根据目标对象特征向量和目标场景模板，确定目标对象融合向量。
在操作S740，根据目标对象融合向量，确定与目标对象序列对应的对象预测结果。
根据本公开的实施例，场景模板库可以是利用场景模板库的构建方法200构建得到的。
根据本公开的实施例，针对目标对象序列、目标对象特征向量、目标场景标签信息和目标对象融合向量的说明，可以参见上文针对样本对象序列、样本对象特征向量、样本场景标签信息和样本对象融合向量的相关内容，在此不再赘述。
根据本公开的实施例，可以根据与目标对象序列对应的任务类型，确定目标场景标签信息。根据目标场景标签信息，从场景模板库中获取与目标场景标签信息对应的目标场景模板。场景模板库可以包括至少一个样本场景标签信息和与至少一个样本场景标签信息各自对应的目标场景模板。例如，可以将目标场景标签信息与至少一个样本场景标签信息分别进行匹配，以获取目标场景模板。
根据本公开的实施例，在获得目标场景模板之后，可以在预训练模型的基础上拼接目标场景模板，以进行与目标场景标签信息表征的场景类型下的对象预测，得到目标对象融合向量。可以根据目标对象融合向量，确定与目标对象序列对应的对象预测结果。
根据本公开的实施例，由于目标场景模板是根据与目标对象序列对应的目标场景标签信息从场景模板库中获取的，因而目标场景模板能够与目标场景标签信息所表征的场景类型相适应。在此基础上，由于目标对象融合向量是根据目标对象特征向量和目标场景模板确定的，目标对象特征向量是通过对目标对象序列进行特征提取得到的，通过通过根据目标对象融合向量，确定与目标对象序列对应的对象预测结果，提高了对象预测的场景适应能力和对象预测效率。
以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他对象预测方法，只要能够提高对象预测的场景适应能力和对象预测效率即可。
图8示意性示出了根据本公开的实施例的场景模板库的构建装置的框图。
如图8所示，场景模板库的构建装置800可以包括第一特征提取模块810、第一构建模块820、第一确定模块830、调整模块840和第二构建模块850。
第一特征提取模块810，用于对样本对象序列进行特征提取，得到样本对象特征向量。
第一构建模块820，用于根据与样本对象序列对应的样本场景标签信息，构建与样本场景标签信息对应的初始场景模板。
第一确定模块830，用于根据样本对象特征向量和初始场景模板，确定样本对象融合向量。
调整模块840，用于根据样本对象融合向量，对初始场景模板进行调整，得到与样本场景标签信息对应的目标场景模板。
第二构建模块850，用于根据样本场景标签信息和与样本场景标签信息对应的目标场景模板，构建场景模板库。
根据本公开的实施例，初始场景模板包括第一初始场景矩阵和第二初始场景矩阵。
根据本公开的实施例，第一确定模块830可以包括第一融合单元、编码单元、第二融合单元和解码单元。
第一融合单元，用于对样本对象特征向量和第一初始场景矩阵进行融合处理，得到第一输出特征向量。
编码单元，用于对第一输出特征向量进行编码处理，得到中间编码向量。
第二融合单元，用于对样本对象特征向量和第二初始场景矩阵进行融合处理，得到第二输出特征向量。
解码单元，用于对中间编码向量和第二输出特征向量进行解码处理，得到样本对象融合向量。
根据本公开的实施例，第二构建模块850可以包括第一确定单元、第二确定单元、第一构建单元和存储单元。
第一确定单元，用于将样本场景标签信息确定为场景模板键信息。
第二确定单元，用于将目标场景模板确定为场景模板值信息。
第一构建单元，用于根据场景模板键信息和场景模板值信息，构建场景模板键值关系。
存储单元，用于将场景模板键值关系存储至场景模板库。
根据本公开的实施例，第一特征提取模块810可以包括输入单元。
输入单元，用于将样本对象序列输入至预先训练完成的预训练模型中的特征提取模块，得到样本对象特征向量，其中，预训练模型还包括第一融合模块、第一编码器、第二融合模块和第一解码器。
根据本公开的实施例，第一输出特征向量是利用第一融合模块处理样本对象特征向量和第一初始场景矩阵得到的。
根据本公开的实施例，中间编码向量是利用第一编码器处理第一输出特征向量得到的。
根据本公开的实施例，第二输出特征向量是利用第二融合模块处理样本对象特征向量和第二初始场景矩阵得到的。
根据本公开的实施例，样本对象融合向量是利用中间编码向量和第二输出特征向量得到的。
根据本公开的实施例，样本对象序列还对应有样本对象标签信息。
根据本公开的实施例，调整模块840可以包括第三确定单元、获得单元、调整单元和第四确定单元。
第三确定单元，用于根据样本对象融合向量，确定样本对象预测信息。
获得单元，用于根据样本对象预测信息和样本对象标签信息，得到损失函数值。
调整单元，用于在保持特征提取模块、第一编码器和第一解码器的模型参数不变的情况下，根据损失函数值调整第一融合模块和第二融合模块，直至满足预定结束条件，得到对象预测模型。
第四确定单元，用于将与对象预测模型对应的初始场景模板确定为目标场景模板。
根据本公开的实施例，预训练模型还包括多层感知模块，多层感知模块包括M个隐藏层，M个隐藏层中的每个隐藏层各自对应有N个神经元，M和N均为正整数。
根据本公开的实施例，第一构建模块820可以包括第五确定单元、第六确定单元和第二构建单元。
第五确定单元，用于根据样本场景标签信息，确定与样本场景标签信息对应的目标长度值。
第六确定单元，用于根据M个隐藏层和M个隐藏层各自对应的N个神经元，确定目标数组。
第二构建单元，用于根据目标长度值和目标数组，构建初始场景模板。
根据本公开的实施例，第二构建单元可以包括第一构建子单元和处理子单元。
第一构建子单元，用于根据目标长度值和目标数组，构建与样本场景标签信息对应的待处理场景模板。
处理子单元，用于利用多层感知模块对待处理场景模板进行多层感知处理，得到初始场景模板。
根据本公开的实施例，预训练模型可以是通过如下方式训练得到的。
根据P个样本对象信息，构建与P个样本对象信息各自对应的对象数据集，其中，P为正整数。根据Q个样本场景信息，构建与Q个样本场景信息各自对应的场景数据集，其中，Q为正整数。根据与P个样本对象标签信息各自对应的对象数据集和与Q个样本场景标签信息各自对应的场景数据集，构建至少一个预训练对象序列。利用至少一个预训练对象序列，训练深度学习模型，得到预训练模型。
根据本公开的实施例，根据与P个样本对象信息各自对应的对象数据集和与Q个样本场景信息各自对应的场景数据集，构建至少一个预训练对象序列可以用于执行如下操作。
根据与P个样本对象信息各自对应的对象数据集和与Q个样本场景信息各自对应的场景数据集，构建至少一个候选预训练对象序列。
针对至少一个候选预训练对象序列中的每个候选预训练对象序列，基于滑动窗口方法，对候选预训练对象序列进行划分，得到多个预训练对象数据。
根据多个预训练对象数据，确定预训练对象序列。
图9示意性示出了根据本公开的实施例的对象预测装置的框图。
如图9所示，对象预测装置900可以包括第二特征提取模块910、获取模块920、第二确定模块930和第三确定模块940。
第二特征提取模块910，用于对目标对象序列进行特征提取，得到目标对象特征向量。
获取模块920，用于根据与目标对象序列对应的目标场景标签信息，从场景模板库中获取与目标场景标签信息对应的目标场景模板。
第二确定模块930，用于根据目标对象序列和目标场景模板，确定目标对象融合向量。
第三确定模块940，用于根据目标对象融合向量，确定与目标对象序列对应的对象预测结果。
根据本公开的实施例，场景模板库是利用场景模板库的构建装置800构建得到的。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一特征提取模块810、第一构建模块820、第一确定模块830、调整模块840和第二构建模块850中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，第一特征提取模块810、第一构建模块820、第一确定模块830、调整模块840和第二构建模块850中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一特征提取模块810、第一构建模块820、第一确定模块830、调整模块840和第二构建模块850中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本公开的实施例中场景模板库的构建装置部分与本公开的实施例中场景模板库的构建方法部分是相对应的，场景模板库的构建装置部分的描述具体参考场景模板库的构建方法部分，在此不再赘述。
例如，第二特征提取模块910、获取模块920、第二确定模块930和第三确定模块940中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，第二特征提取模块910、获取模块920、第二确定模块930和第三确定模块940中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第二特征提取模块910、获取模块920、第二确定模块930和第三确定模块940中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本公开的实施例中对象预测装置部分与本公开的实施例中对象预测方法部分是相对应的，对象预测装置部分的描述具体参考对象预测方法部分，在此不再赘述。
图10示意性示出了根据本公开实施例的适于实现场景模板库的构建方法、对象预测方法的电子设备的框图。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，根据本公开实施例的计算机电子设备1000包括处理器1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1009加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中，存储有电子设备1000操作所需的各种程序和数据。处理器1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备1000还可以包括输入/输出(I/O)接口1005，输入/输出(I/O)接口1005也连接至总线1004。电子设备1000还可以包括连接至输入/输出(I/O)接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至输入/输出(I/O)接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的场景模板库的构建方法、对象预测方法。
在该计算机程序被处理器1001执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1009被下载和安装，和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (15)

1.一种场景模板库的构建方法，包括：
对样本对象序列进行特征提取，得到样本对象特征向量；
根据与所述样本对象序列对应的样本场景标签信息，构建与所述样本场景标签信息对应的初始场景模板；
根据所述样本对象特征向量和所述初始场景模板，确定样本对象融合向量；
根据所述样本对象融合向量，对所述初始场景模板进行调整，得到与所述样本场景标签信息对应的目标场景模板；以及
根据所述样本场景标签信息和与所述样本场景标签信息对应的目标场景模板，构建所述场景模板库。
2.根据权利要求1所述的方法，其中，所述初始场景模板包括第一初始场景矩阵和第二初始场景矩阵；
所述根据所述样本对象特征向量和所述初始场景模板，确定样本对象融合向量包括：
对所述样本对象特征向量和所述第一初始场景矩阵进行融合处理，得到第一输出特征向量；
对所述第一输出特征向量进行编码处理，得到中间编码向量；
对所述样本对象特征向量和所述第二初始场景矩阵进行融合处理，得到第二输出特征向量；以及
对所述中间编码向量和所述第二输出特征向量进行解码处理，得到所述样本对象融合向量。
3.根据权利要求1所述的方法，其中，所述根据所述样本场景标签信息和与所述样本场景标签信息对应的目标场景模板，构建所述场景模板库包括：
将所述样本场景标签信息确定为场景模板键信息；
将所述目标场景模板确定为场景模板值信息；
根据所述场景模板键信息和所述场景模板值信息，构建场景模板键值关系；以及
将所述场景模板键值关系存储至所述场景模板库。
4.根据权利要求1至3中任一项所述的方法，其中，所述对样本对象序列进行特征提取，得到样本对象特征向量包括：
将所述样本对象序列输入至预先训练完成的预训练模型中的特征提取模块，得到所述样本对象特征向量，其中，所述预训练模型还包括第一融合模块、第一编码器、第二融合模块和第一解码器；
其中，所述第一输出特征向量是利用所述第一融合模块处理所述样本对象特征向量和所述第一初始场景矩阵得到的；
其中，所述中间编码向量是利用所述第一编码器处理所述第一输出特征向量得到的；
其中，所述第二输出特征向量是利用所述第二融合模块处理所述样本对象特征向量和所述第二初始场景矩阵得到的；
其中，所述样本对象融合向量是利用所述中间编码向量和所述第二输出特征向量得到的。
5.根据权利要求4所述的方法，其中，所述样本对象序列还对应有样本对象标签信息；
所述根据所述样本对象融合向量，对所述初始场景模板进行调整，得到与所述样本场景标签信息对应的目标场景模板包括：
根据所述样本对象融合向量，确定样本对象预测信息；
根据所述样本对象预测信息和所述样本对象标签信息，得到损失函数值；
在保持所述特征提取模块、所述第一编码器和所述第一解码器的模型参数不变的情况下，根据所述损失函数值调整所述第一融合模块和所述第二融合模块，直至满足预定结束条件，得到所述对象预测模型；以及
将与所述对象预测模型对应的初始场景模板确定为所述目标场景模板。
6.根据权利要求4所述的方法，其中，所述预训练模型还包括多层感知模块，所述多层感知模块包括M个隐藏层，所述M个隐藏层中的每个隐藏层各自对应有N个神经元，M和N均为正整数；
所述根据与所述样本对象序列对应的样本场景标签信息，构建与所述样本场景标签信息对应的初始场景模板包括：
根据所述样本场景标签信息，确定与所述样本场景标签信息对应的目标长度值；
根据所述M个隐藏层和所述所述M个隐藏层各自对应的N个神经元，确定目标数组；以及
根据所述目标长度值和所述目标数组，构建所述初始场景模板。
7.根据权利要求6所述的方法，其中，所述根据所述目标长度值和所述目标数组，构建所述初始场景模板包括：
根据所述目标长度值和所述目标数组，构建与所述所述样本场景标签信息对应的待处理场景模板；以及
利用所述多层感知模块对所述待处理场景模板进行多层感知处理，得到所述初始场景模板。
8.根据权利要求4所述的方法，其中，所述预训练模型是通过如下方式训练得到的：
根据P个样本对象信息，构建与所述P个样本对象信息各自对应的对象数据集，其中，P为正整数；
根据Q个样本场景信息，构建与所述Q个样本场景信息各自对应的场景数据集，其中，Q为正整数；
根据与所述P个样本对象信息各自对应的对象数据集和与所述Q个样本场景信息各自对应的场景数据集，构建所述至少一个预训练对象序列；以及
利用所述至少一个预训练对象序列，训练深度学习模型，得到所述预训练模型。
9.根据权利要求8所述的方法，其中，所述根据与所述P个样本对象信息各自对应的对象数据集和与所述Q个样本场景信息各自对应的场景数据集，构建所述至少一个预训练对象序列包括：
根据与所述P个样本对象信息各自对应的对象数据集和与所述Q个样本场景信息各自对应的场景数据集，构建至少一个候选预训练对象序列；
针对所述至少一个候选预训练对象序列中的每个候选预训练对象序列，
基于滑动窗口方法，对所述候选预训练对象序列进行划分，得到多个预训练对象数据；以及
根据所述多个预训练对象数据，确定所述预训练对象序列。
10.一种对象预测方法，包括：
对目标对象序列进行特征提取，得到目标对象特征向量；
根据与所述目标对象序列对应的目标场景标签信息，从场景模板库中获取与所述目标场景标签信息对应的目标场景模板；
根据所述目标对象特征向量和所述目标场景模板，确定目标对象融合向量；以及
根据所述目标对象融合向量，确定与所述目标对象序列对应的对象预测结果；
其中，所述场景模板库是利用权利要求1～9中任一项所述的方法构建得到的。
11.一种场景模板库的构建装置，包括：
第一特征提取模块，用于对样本对象序列进行特征提取，得到样本对象特征向量；
第一构建模块，用于根据与所述样本对象序列对应的样本场景标签信息，构建与所述样本场景标签信息对应的初始场景模板；
第一确定模块，用于根据所述样本对象特征向量和所述初始场景模板，确定样本对象融合向量；
调整模块，用于根据所述样本对象融合向量，对所述初始场景模板进行调整，得到与所述样本场景标签信息对应的目标场景模板；以及
第二构建模块，用于根据所述样本场景标签信息和与所述样本场景标签信息对应的目标场景模板，构建所述场景模板库。
12.一种对象预测装置，包括：
第二特征提取模块，用于对目标对象序列进行特征提取，得到目标对象特征向量；
获取模块，用于根据与所述目标对象序列对应的目标场景标签信息，从场景模板库中获取与所述目标场景标签信息对应的目标场景模板；
第二确定模块，用于根据所述目标对象序列和所述目标场景模板，确定目标对象融合向量；以及
第三确定模块，用于根据所述目标对象融合向量，确定与所述目标对象序列对应的对象预测结果；
其中，所述场景模板库是利用权利要求11所述的装置构建得到的。
13.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个指令，
其中，当所述一个或多个指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至9或权利要求10中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有可执行指令，所述可执行指令被处理器执行时使处理器实现权利要求1至9或权利要求10中任一项所述的方法。
15.一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述计算机可执行指令在被执行时用于实现权利要求1至9或权利要求10中任一项所述的方法。
CN202310755458.7A 2023-06-25 2023-06-25 场景模板库的构建方法、对象预测方法及装置、电子设备 Pending CN116662411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310755458.7A CN116662411A (zh) 2023-06-25 2023-06-25 场景模板库的构建方法、对象预测方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310755458.7A CN116662411A (zh) 2023-06-25 2023-06-25 场景模板库的构建方法、对象预测方法及装置、电子设备

Publications (1)

Publication Number Publication Date
CN116662411A true CN116662411A (zh) 2023-08-29

Family

ID=87726141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310755458.7A Pending CN116662411A (zh) 2023-06-25 2023-06-25 场景模板库的构建方法、对象预测方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN116662411A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473880A (zh) * 2023-12-27 2024-01-30 中国科学技术大学 样本数据生成方法及无线跌倒检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473880A (zh) * 2023-12-27 2024-01-30 中国科学技术大学 样本数据生成方法及无线跌倒检测方法
CN117473880B (zh) * 2023-12-27 2024-04-05 中国科学技术大学 样本数据生成方法及无线跌倒检测方法

Similar Documents

Publication Publication Date Title
CN110162669B (zh) 视频分类处理方法、装置、计算机设备及存储介质
US20220383078A1 (en) Data processing method and related device
US11625433B2 (en) Method and apparatus for searching video segment, device, and medium
CN109104620A (zh) 一种短视频推荐方法、装置和可读介质
CN112256886B (zh) 图谱中的概率计算方法、装置、计算机设备及存储介质
US11586817B2 (en) Word vector retrofitting method and apparatus
CN116720004B (zh) 推荐理由生成方法、装置、设备及存储介质
WO2019141902A1 (en) An apparatus, a method and a computer program for running a neural network
US10885332B2 (en) Data labeling for deep-learning models
US20240135174A1 (en) Data processing method, and neural network model training method and apparatus
CN112084752B (zh) 基于自然语言的语句标注方法、装置、设备及存储介质
CN112465737B (zh) 图像处理模型训练方法、图像处理方法及图像处理装置
CN112966754B (zh) 样本筛选方法、样本筛选装置及终端设备
CN116662411A (zh) 场景模板库的构建方法、对象预测方法及装置、电子设备
CN116166271A (zh) 代码生成方法、装置、存储介质及电子设备
CN113327599A (zh) 语音识别方法、装置、介质及电子设备
CN113591490B (zh) 信息处理方法、装置和电子设备
CN113343020B (zh) 基于人工智能的图像处理方法、装置及电子设备
CN116881027B (zh) 原子服务组合通信方法、装置、电子设备和介质
WO2024046144A1 (zh) 一种视频处理方法及其相关设备
WO2023185209A1 (zh) 模型剪枝
US11501759B1 (en) Method, system for speech recognition, electronic device and storage medium
CN116070257A (zh) 使用去中心化数据上的堆叠集成来训练异构模型的系统和方法
WO2019141905A1 (en) An apparatus, a method and a computer program for running a neural network
CN111582456B (zh) 用于生成网络模型信息的方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination