CN110263916A - 数据处理方法和装置、存储介质及电子装置 - Google Patents

数据处理方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN110263916A
CN110263916A CN201910472128.0A CN201910472128A CN110263916A CN 110263916 A CN110263916 A CN 110263916A CN 201910472128 A CN201910472128 A CN 201910472128A CN 110263916 A CN110263916 A CN 110263916A
Authority
CN
China
Prior art keywords
data
target
network model
nerve network
previous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910472128.0A
Other languages
English (en)
Other versions
CN110263916B (zh
Inventor
付灿苗
曹琼
裴文杰
沈小勇
戴宇荣
贾佳亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910472128.0A priority Critical patent/CN110263916B/zh
Publication of CN110263916A publication Critical patent/CN110263916A/zh
Priority to JP2021541499A priority patent/JP7292657B2/ja
Priority to PCT/CN2020/080301 priority patent/WO2020238353A1/zh
Priority to EP20814490.7A priority patent/EP3979098A4/en
Priority to US17/459,775 priority patent/US20210390370A1/en
Application granted granted Critical
Publication of CN110263916B publication Critical patent/CN110263916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种数据处理方法和装置、存储介质及电子装置。其中，该方法包括：获取目标序列数据，其中，目标序列数据包括按照时间顺序进行排序的多组数据；依次将多组数据中的每组数据中的每个数据输入到目标神经网络模型，其中，在目标神经网络模型对当前数据进行处理的过程中，根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据中的每个数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理；获取目标神经网络模型输出的数据处理结果。本发明解决了相关技术中的序列模型无法对长时间依赖关系进行建模的技术问题。

Description

数据处理方法和装置、存储介质及电子装置
技术领域
本发明涉及计算机领域，具体而言，涉及一种数据处理方法和装置、存储介质及电子装置。
背景技术
目前，序列数据建模可以应用于视觉处理(例如，视频理解分类，异常动作检测)、文本分析(例如，情感分类)、对话系统等。
用于序列建模的方法可以是图模型，图模型可以分为两类：生成模型(生成式图形模型)和判别模型(判别式图形模型)。作为生成模型的一个示例，隐马尔可夫模型可以对链中的序列数据建模潜在的特定特征。判别模型根据输入数据对所有类别标签的分布进行建模，判别模型的一个示例是条件随机场。
序列模型也可以是基于循环神经网络来提取时间序列上的信息，例如，基于RNN/LSTM(Recurrent Neural Network/Long Short-Term Memory，循环神经网络/长短期记忆网络)来进行序列建模，在诸多任务上都展现了其优异的性能。与图形模型相比，递归神经网络更易于优化和更好的时间建模能力。
然而，上述序列模型捕获一段序列里面相邻时间步骤的信息，相邻时序的一阶信息由于梯度消失和随时间跨度加大信息消逝无法长久保持，因而无法对长时间依赖关系建模，也就是说，相关技术中的序列模型无法对长时间依赖关系进行建模的问题。
发明内容
本发明实施例提供了一种数据处理方法和装置、存储介质及电子装置，以至少解决相关技术中的序列模型无法对长时间依赖关系进行建模的技术问题。
根据本发明实施例的一个方面，提供了一种数据处理方法，包括：获取目标序列数据，其中，目标序列数据包括按照时间顺序进行排序的多组数据；依次将多组数据中的每组数据中的每个数据输入到目标神经网络模型，其中，每组数据中的每个数据在输入到目标神经网络模型时被视为当前组数据中的当前数据，在目标神经网络模型对当前数据进行处理的过程中，根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据中的每个数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理；获取目标神经网络模型输出的数据处理结果。
根据本发明实施例的另一方面，还提供了一种数据处理装置，包括：第一获取模块，用于获取目标序列数据，其中，目标序列数据包括按照时间顺序进行排序的多组数据；输入模块，用于依次将多组数据中的每组数据中的每个数据输入到目标神经网络模型，其中，每组数据中的每个数据在输入到目标神经网络模型时被视为当前组数据中的当前数据，在目标神经网络模型对当前数据进行处理的过程中，根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据中的每个数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理；第二获取模块，用于获取目标神经网络模型输出的数据处理结果。
根据本发明实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的方法。
在本发明实施例中，采用依次对目标序列数据中的每个数据输入到目标神经网络模型，由目标神经网络模型根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理；并获取目标神经网络模型输出的数据处理结果，由于目标神经网络模型(例如，LSTM模型)对输入的当前数据进行处理时不仅依据获取相邻时间步骤的信息(前一个处理结果)，还依据当前组数据的前一组数据和前一组数据的处理结果(前一组处理结果)，可以捕获长时间依赖关系，并对长时间依赖关系建模，进而解决了相关技术中的序列模型无法对长时间依赖关系进行建模的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种数据处理方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的数据处理方法的流程示意图；
图3是根据本发明实施例的一种可选的数据处理方法的示意图；
图4是根据本发明实施例的另一种可选的数据处理方法的示意图；
图5是根据本发明实施例的又一种可选的数据处理方法的示意图；
图6是根据本发明实施例的又一种可选的数据处理方法的示意图；
图7是根据本发明实施例的又一种可选的数据处理方法的示意图；
图8是根据本发明实施例的又一种可选的数据处理方法的示意图；
图9是根据本发明实施例的又一种可选的数据处理方法的示意图；
图10是根据本发明实施例的又一种可选的数据处理方法的示意图；
图11是根据本发明实施例的一种可选的数据处理装置的结构示意图；
图12是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相关技术中的序列模型只能捕获一段序列里面相邻时间步骤的信息，在序列中显式地去建模相邻时间步骤之间的信息(一阶)交互。由于非相邻时间步骤上的高阶交互无法捕获到，因此并没有充分利用非相邻时间步骤之间的高阶信息交互。
在实际应用中，可能一个序列数据有成千上百个时间步骤，一阶的信息交互由于信息随着时间消逝逐渐稀释以及梯度弥散的原因完全没法处理，故而无法对长时间依赖关系建模。这限制了模型对于长时间依赖数据的建模能力，进而限制了模型对长距离时间依赖性问题的处理能力。
为解决上述问题，根据本发明实施例的一个方面，提供了一种数据处理方法。可选地，上述数据处理方法可以但不限于应用于如图1所示的应用环境中。如图1所示，上述数据处理方法涉及终端设备102通过网络104与服务器106之间的交互。
终端设备102可以采集或者从其他设备获取目标序列数据，并将目标序列数据通过网络104发送给服务器106，其中，目标序列数据包括按照时间顺序进行排序的多组数据。
服务器106在获取到目标序列数据之后，可以依次将多组数据中的每组数据中的每个数据输入到目标神经网络模型，并获取目标神经网络模型输出的数据处理结果，其中，在目标神经网络模型对当前数据进行处理的过程中，根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据中的每个数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理。
可选地，在获取到数据处理结果之后，服务器106可以依据数据处理结果确定出目标任务的执行结果，并将确定出的执行结果通过网络104发给终端设备104，由终端设备104进行执行结果的保存，还可以进行执行结果的展示。
上述目标任务可以包括但不限于：视频理解分类，异常动作检测；文本分析(例如，情感分类)，对话系统等。
可选地，在本实施例中，上述终端设备可以包括但不限于以下至少之一：手机、平板电脑等。上述网络可以包括但不限于以下至少之一：无线网络，有线网络，其中，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络，该有线网络可以包括：局域网、城域网、广域网等。上述服务器可以包括但不限于以下至少之一：用于使用目标神经网络模型对目标序列模型进行处理的设备。上述只是一种示例，本实施例对此不做任何限定。
可选地，在本实施例中，作为一种可选的实施方式，如图2所示，上述数据处理方法可以包括：
S202，获取目标序列数据，其中，目标序列数据包括按照时间顺序进行排序的多组数据；
S204，依次将多组数据中的每组数据中的每个数据输入到目标神经网络模型，其中，每组数据中的每个数据在输入到目标神经网络模型时被视为当前组数据中的当前数据，在目标神经网络模型对当前数据进行处理的过程中，根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据中的每个数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理；
S206，获取目标神经网络模型输出的数据处理结果。
可选地，上述数据处理方法可以但不限于应用于使用目标神经网络执行目标任务的过程。上述目标任务可以是能够根据目标序列数据在时间序列上的信息确定执行目标任务执行结果。例如，上述目标任务可以是视频理解分类，异常动作检测，文本分析(例如，情感分类)，对话系统等。
例如，以动作分类为例，视频数据是一种序列数据，每个数据为一个视频帧(视频图像)，将视频数据输入到目标神经模型中，得到视频数据的处理结果。根据视频数据的处理结果，可以从一组动作中确定出视频数据中的对象执行的动作，例如，走向对方。
例如，以情感识别为例，文本数据(商品评价，可以是实际的产品，也可以是虚拟的服务等)中的句子之间具有先后顺序，可以认为是按照时间顺序进行排序的数据。将文本数据输入到目标神经模型中，得到文本数据的处理结果。根据文本数据的处理结果，可以从一组情感中确定出文本数据的情感倾向，例如，积极的(好评)、消极的(差评)等。
下面结合图2对本实施例中的上述数据处理方法进行说明。
在步骤S202中，获取目标序列数据，其中，目标序列数据包括按照时间顺序进行排序的多组数据。
服务器(或者，终端设备)可以用于执行目标任务，上述目标任务可以是：视频理解分类(例如，动作识别)、文本分析(情感分析)、对话系统中。服务器可以对与目标任务有关的目标序列数据进行分析，确定出目标任务的执行结果。
上述目标序列数据可以包括按照时间顺序进行排序的多个数据。目标序列数据按照时间顺序进行排序可以有多种，例如，对于视频数据，视频数据中的视频帧(图像)按照时间的先后顺序进行排序；对于文本数据，可以按照文本中的句子出现的先后顺序进行排序。
作为一种可选的实施方式，获取目标序列数据包括：获取目标视频数据，其中，目标视频数据用于执行识别目标视频数据中的目标对象所执行的动作。
作为一种可选的实施方式，获取目标序列数据包括：获取目标文本数据，其中，目标文本数据包括具有先后顺序的多个句子，目标文本数据用于执行识别目标文本数据所表达的情感类型。
通过本发明实施例的上述技术方案，通过针对不同类型的目标任务获取不同的目标序列数据，可以满足不同类型的任务需求，提高序列模型的适用性。
在获取到目标序列数据之后，可以对目标序列数据进行分组，可以按照时间顺序将目标序列数据划分为多组数据。
可选地，在本实施例中，在获取目标序列数据之后，使用目标滑动窗，按照目标步长在目标序列数据上进行滑动，得到多组数据。
为了保证序列模型的处理效率，可以将目标滑动窗的窗口大小设置为与目标步长相同。为了保证序列模型的处理精度，可以将目标滑动窗的窗口大小设置为大于目标步长。
对于不同类型的目标序列数据，或者，不同的目标序列数据，使用的目标滑动窗的窗口大小和目标步长可以相同，也可以不同。同一目标序列数据可以采用多种目标滑动窗口的窗口大小和目标步长进行采样。
可选地，目标序列数据的采集(目标滑动窗口的滑动)和使用目标神经网络模型进行数据处理的可以是依次进行的。目标滑动窗口滑动一次，获取到一组数据，使用目标神经网络模型对该组数据进行处理；在使用目标神经网络模型对改组数据进行处理之后，可以调整目标滑动窗口的窗口大小和目标步长(也可以不调整)，获取下一组数据，并使目标神经网络模型对该下一组数据进行处理，直到所有的目标序列数据均处理完成。
对于目标序列数据的最后一组数据，其包含的数据的数量可能会小于目标滑动窗口的大小，由于数据是依次输入到目标神经网络模型进行处理的，因此，最后一组数据包含的数据的数量不影响目标神经网络模型对数据的处理。
通过本发明实施例的上述技术方案，通过使用目标滑动窗，按照目标步长在目标序列数据上进行滑动，得到多组数据，可以方便对目标序列数据进行分组，提高目标序列数据的处理效率。
在步骤S204中，依次将多组数据中的每组数据中的每个数据输入到目标神经网络模型，其中，每组数据中的每个数据在输入到目标神经网络模型时被视为当前组数据中的当前数据，在目标神经网络模型对当前数据进行处理的过程中，根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据中的每个数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理。
在获取到多组数据(多组数据的全部或者部分)之后，可以将获取到的多组数据中的每组数据中的每个数据依次输入到目标神经网络模型，以使用目标神经网络模型对各个数据进行处理。
上述目标神经网络模型具有以下特性：依次对输入的各个数据进行处理，可以至少根据捕获的前一个数据的处理结果，对当前数据进行处理。上述目标神经网络模型可以是循环神经网络模型(递归神经网络模型)，所使用的循环神经网络可以包括以下至少之一：RNN、LSTM、高阶的RNN、高阶的LSTM。
对于多组数据中的第一组数据，可以将第一组数据中的当前数据依次输入到目标神经网络模型，并使用当前数据的前一个数据的处理结果(前一个处理结果)，对当前数据进行处理，得到当前数据的处理结果(当前处理结果)。
例如，目标神经网络模型包括RNN(如图3所示)的情况下，使用目标神经网络模型对第一组数据进行处理得到的处理结果，与使用目标神经网络模型包含的RNN对第一组数据进行处理得到的处理结果是相同的。
例如，在目标神经网络模型包括LSTM的情况下，使用目标神经网络模型对第一组数据进行处理得到的处理结果，与使用LSTM(如图4所示)对第一组数据进行处理得到的处理结果是相同的。
可选地，在本实施例中，依次将多组数据中的每组数据中的每个数据输入到目标神经网络模型可以包括：获取到前一组数据、前一组处理结果、以及前一个处理结果；将当前数据输入到目标神经网络模型，获取目标神经网络模型输出的、与当前数据对应的当前处理结果，其中，在目标神经网络模型对当前数据进行处理的过程中，根据前一组数据、前一组处理结果、以及前一个处理结果，对当前数据进行处理。
通过本发明实施例的上述技术方案，通过获取前一组数据、前一组处理结果(使用目标神经网络模型对前一组数据中的各数据进行处理得到的一组处理结果)和前一个处理结果(使用目标神经网络模型对前一个数据进行处理得到的处理结果)，并由目标神经网络模型根据前一组数据、前一组处理结果、以及前一个处理结果，对当前数据进行处理，得到与当前数据对应的处理结果，可以完成对当前数据的处理，进而完成目标神经网络模型的处理流程。
对于多组数据中除了第一组数据以外的其他组数据(当前组数据)，可以首先获取前组数据的前一组数据、使用目标神经网络模型对前一组数据中的每个数据进行处理得到的前一组处理结果(前一组数据中的每个数据与前一组处理结果的每个处理结果之间可以具有一一对应关系)，以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果。
前一组数据和前一组处理结果可以作为一个整体(例如，提取出前一组数据的高维特征信息)作用于目标神经网络模型：可以首先使用目标处理模型对前一组数据和前一组处理结果进行处理，得到目标特征信息(第一特征信息)。
上述目标特征信息可以依据前一组数据和前一组处理结果得到：可以将前一组数据、前一组处理结果输入到目标处理模型中的目标自注意力模型，获取目标自注意力模型输出的、与前一组数据对应的第二特征信息，第二特征信息可以作为目标特征信息进行输出。
由于目标特征信息的生成结合了前一组数据和前一组数据的处理结果，使得序列数据的信息可以在多个数据段之间流通，因此，可以捕获更长的时间依赖关系，进而对数据段之间进行全局交互上的建模。
除了第二特征信息以外，目标特征信息还可以根据前一组数据之前的一组或多组数据的处理结果获取的。
可选地，在本实施例中，将当前数据输入到目标神经网络模型，获取目标神经网络模型输出的、与当前数据对应的当前处理结果包括：获取目标处理模型输出的、与前一组数据对应的第一特征信息，以及前一个处理结果，其中，目标处理模型包括目标自注意力模型和第一门，第一特征信息由将第二特征信息和第三特征信息输入到第一门得到，第二特征信息由将前一组数据和前一组处理结果输入到目标自注意力模型得到，第三特征信息为目标处理模型输出的、与前一组数据的前一组数据对应的特征信息，第一门被设置为控制第二特征信息输出到第一特征信息的比例和第三特征信息输出到第一特征信息的比例；将当前数据输入到目标神经网络模型，获取当前处理结果，其中，在目标神经网络模型对当前数据进行处理的过程中，根据第一特征信息和前一个处理结果，对当前数据进行处理。
除了第二特征信息之外，目标特征信息还可以根据目标处理模型输出的、与前一组数据的前一组数据对应的特征信息生成(第三特征信息)。
例如，如图5所示，将前一组数据和前一组处理结果输入到目标处理模型中的目标自注意力模型，得到第二特征信息；并将使用目标处理模型对前一组数据的前一组数据进行处理得到的第三特征信息一起输入到第一门，由第一门控制第二特征信息和第三特征信息输出到第一特征信息的部分(由第一门控制保留什么信息，以及保留的程度，丢弃什么信息)，进而得到第一特征信息(目标特征信息)。
通过本发明实施例的上述技术方案，通过目标自注意力模型建模前一组数据和前一组处理结果之间的关系，以及前一组处理结果中的各处理结果之间的信息匹配程度，并使用第一门来控制序列数据段之间的信息流程，保证了长时间依赖关系建模的准确性。
在得到第一特征信息之后，可以将得到的第一特征信息依次作用于使用目标神经网络模型对当前组数据的每个数据的处理过程。
可选地，在本实施例中，在将当前数据输入到目标神经网络模型，获取当前处理结果的过程中，可以将第一特征信息和当前数据输入到第二门，获取目标参数，其中，第二门被设置为控制第一特征信息输出到目标参数的比例和当前数据输出到目标参数的比例；将目标参数输入到目标神经网络模型，以控制目标神经网络模型输出。
通过本发明实施例的上述技术方案，通过在目标神经网络中添加一个门(第二门)，引入目标特征信息用来更新当前的隐藏状态，从而使得当前时间步骤也能很好的捕获长距离的序列信息。
在步骤S206中，获取目标神经网络模型输出的数据处理结果。
在对目标序列数据中每个数据进行处理之后，可以将所述目标神经网络模型对最后一个数据的处理结果，作为对目标序列数据进行处理的最终结果输出。
在获取到目标神经网络模型输出的数据处理结果之后，可以对数据处理结果进行分析，得到目标任务的执行结果，上述目标任务可以包括但不限于：信息流推荐、视频理解、对话系统、情感分析等。
作为一种可选的实施方式，在获取目标神经网络模型输出的数据处理结果之后，可以根据数据处理结果，确定第一概率信息(可以有多个概率值，分别对应于参考动作集合中的各参考动作)，其中，第一概率信息用于表示目标对象所执行的动作分别为参考动作集合中的各参考动作的概率；根据第一概率信息，确定出目标对象所执行的动作为参考动作集合中的目标动作。
下面结合可选示例对上述数据处理方法进行说明。如图6所示，目标序列数据为一段视频数据，该视频数据中包含了多个视频帧。目标任务为识别视频片段中的人物的动作，本示例中的视频所示动作为“走向对方”。
按照滑动窗口大小将上述多个视频帧按照每N个为一组(例如，每5个、或者10个视频帧为一组)的方式划分为多个视频帧组。将多个视频帧组中的每个视频帧组中的每个视频帧依次输入到目标神经网络模型中。对于每个视频帧组，在最后一个视频帧处理完成之后，可以根据输入的视频帧(xi)和输出的处理结果(hi)得到第二特征信息，进而得到第一特征信息。在对所有视频帧处理完成之后，根据最后一个视频帧的处理结果，预测视频所示的动作为：走向对方。
由于两个人之间相对距离随时间的变化是识别行为的关键，目标神经网络模型可以成功地捕获两个人之间相对距离随时间的变化，因此，可以正确的识别出动作。对于是LSTM等模型，由于无法成功捕获两个人之间相对距离随时间的变化，因此，不能正确识别出动作，而将动作错误识别为“击打对方”。
作为另一种可选的实施方式，在获取目标神经网络模型输出的数据处理结果之后，可以根据数据处理结果，确定第二概率信息(可以有多个概率值，分别对应于参考情感类型集合中的各参考情感类型)，其中，第二概率信息用于表示目标文本数据所表达的情感类型分别为参考情感类型集合中的各参考情感类型的概率；根据第二概率信息，确定出目标文本数据所表达的情感类型为参考情感类型集合中的目标情感类型。
下面结合可选示例对上述数据处理方法进行说明。如图7所示，目标序列数据为一段评价，该评价中包含了多个句子。目标任务为识别特定评价中的情感类型，本示例的评价的情感类型为“消极的”。
按照滑动窗口大小将上述评价按照每N个句子为一组(例如，每2个或者3个句子为一组)的方式划分为多个句子组。将多个句子组中的每个句子组中的每个句子依次输入到目标神经网络模型中。对于每个句子组，在最后一个句子处理完成之后，可以根据输入的句子(xi)和输出的处理结果(hi)得到第二特征信息，进而得到第一特征信息。在对所有句子处理完成之后，根据最后一个句子的处理结果，预测评价中的情感类型为：消极的。
对于本评价，前几个句子(“我试图……没有头脑”)是差评倾向的重要线索，由于在最后一个时间步骤中容易被隐藏状态hT遗忘，所以很难被LSTM捕捉到，评价最后几个句子(“唯一值得注意的是……这有点好笑”)是好评倾向，会误导LSTM模型识别，因此，LSTM模型会识别评价的情感类型为：积极的。
通过本发明实施例的上述技术方案，通过针对不同类型的目标任务确定出目标任务的执行结果，可以满足不同类型的任务需求，提高序列模型的适用性。
通过本实施例，采用依次对目标序列数据中的每个数据输入到目标神经网络模型，由目标神经网络模型根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理；并获取目标神经网络模型输出的数据处理结果，解决了相关技术中的序列模型无法对长时间依赖关系进行建模的问题，实现了捕获长时间依赖关系，进而实现对长时间依赖关系建模。
下面结合可选示例对上述数据处理方法进行说明。针对当前序列建模算法对于长距离时间依赖关系无法处理的缺陷，本示例中的数据处理方法所使用的目标神经网络模型可以是基于局部循环记忆的LSTM模型。
目标神经网络模型可以在序列数据段内进行全阶建模以及在序列数据段间进行全局交互上的建模。如图8所示，目标神经网络模型主要包括两部分，非局部循环记忆单元(Memory)和序列模型(序列建模)，其中，
(1)非局部循环记忆单元(Memory)
非局部循环记忆单元可以学习每个序列数据段(记忆块)内不同时间步目标神经网络模型(例如，LSTM)隐藏状态之间的高阶相互作用。同时，通过门控循环的方式对记忆块之间的全局交互进行建模。而每个记忆块中学习到的记忆状态反过来又作用于未来的时间步中，用于调优目标神经网络模型(例如，LSTM)隐藏状态，得到更好的特征表示。
非局部循环记忆单元可以用来处理序列数据段内的全阶交互，提取数据段内的高维特征(例如，Mt-win，Mt，Mt+win)，以及实现数据段间的记忆流动(例如，Mt-win→Mt→Mt+win，Mt-win→Ct,Ct-1等)。
图8中示出的Mt-win、Mt、Mt+win为对应于不同输入数据组的非局部循环记忆单元，如图8所示，对于与前一组数据对应的记忆单元，可以作用于后一组数据中的每个数据的处理过程。
对于序列数据段内(数据组，如图8中示出的块大小)，考虑输入数据x和LSTM模型的输出h，非局部循环记忆单元可以采用自注意力机制(如图9所示)来隐式的建模输入x与LSTM输出h之前的关系，以及各个h与h之间的信息匹配程度，得到当前的高维特征同时利用记忆门来控制序列数据段之间的信息流通。
非局部循环记忆单元的结构可以如图9所示，非局部循环记忆单元可以分为两部分：自注意力模型，(Attention Module，也称为注意力模块，作用同前述目标自注意力模型)用于建模输入信息之间的关系并提纯特征；记忆门，(Memory Gate，作用同前述第一门)用于控制信息在不同时间步上的流动，避免信息冗余和过拟合。
如图9所示，非局部循环记忆单元获取与当前组数据(当前数据段，xt-s…xt…xt+s)对应的Mt的过程如下：
首先，将前一组数据(输入，inputs，xt-s…xt…xt+s)和前一组处理结果(输出，隐藏状态，hiddens，ht-s…ht…ht+s)输入到自注意力模型中，得到Mt。
对于自注意力模型，在获取到inputs(每个input可以表示为一个特征向量)和hiddens(每个hidden可以表示为一个特征向量)之后，可以将两者进行连接(Concat)，得到第一连接数据(AttentionMask，注意力矩阵，可以表示为特征向量矩阵)。
将第一连接数据进行自注意力处理，根据特征向量的重要性对第一连接数据(AttentionMask)进行处理，以进行特征向量之间的关联，可以包括：使用预定义的三个参数矩阵Wq、Wk和Wv对AttentionMask进行处理，得到Matt，其中，Matt为可视化记忆块的注意力权重矩阵。
在得到Matt之后，可以将Matt与AttentionMask进行相加和归一化(Add&Norm)，得到第二连接数据；对第二连接数据进行全连接处理(fully Connected)，得到第三连接数据；再将第二连接数据和第三连接数据进行相加和归一化处理(Add&Norm)，得到Mt。
然后，根据Mt，或者，Mt-win和Mt，得到Mt。
作为一种可选的是实施方式，在得到Mt之后，可以将Mt作为Mt输出。
现有技术序列模型针对相邻时间步骤进行处理，无法进行长距离时间跨度建模。通过本示例的上述技术方案，目标神经网络模型可以进行高阶信息的建模：能够对序列数据段内所有时间步骤之间的交互进行全阶建模，还能够对数据段之间进行全局交互上的建模。因此，目标神经网络模型可以捕获更长的时间依赖关系。
作为另一种可选的是实施方式，在得到Mt之后，可以将Mt-win和Mt输入到记忆门(作用同前述第一门)中，将记忆门的输出作为Mt。由记忆门控制序列数据段之间的信息流通。
通过本示例的上述技术方案，目标神经网络模型可以学习非相邻时间步长之间的高阶相互作用所包含的潜在高维特征，可以强化高维特征提取。
(2)序列模型(序列建模)
可以将非局部循环记忆单元嵌入当前序列数据处理模型中，如LSTM，提升当前序列数据处理模型的长序列数据建模能力。
非局部循环记忆单元(也称为非局部记忆单元)能够无缝集成到现有的递归结构的序列模型中，例如，RNN/GRU/LSTM等(如图8所示，图8示出了将非局部记忆单元嵌入到LSTM模型中得到的目标神经网络模型)，从而可以增强现有序列模型(例如，视频理解，对话系统等)中的序列建模能力，并且可以对集成后的模型进行端到端的训练，因而，非局部循环记忆单元能够有很好的迁移能力。
例如，非局部循环记忆单元可以无缝嵌入当前业务线上的模型(例如，LSTM)，最大限度降低二次开发的成本。如图10所示，以LSTM为例，通过修改LSTM的cell单元，直接在LSTM模型中添加一个门gm(作用同前述第二门)，引入Mt-win用来更新当前的隐藏状态，从而使得当前时间步骤也能很好的捕获长距离的序列信息。
对于每一次信息的更新，都会参考之前序列数据段的信息Mt-win，保证了信息能在序列数据段之间流通，即有能力捕获长距离序列上的关系，有效的提升模型性能。并且可以十分方便的嵌入当前的模型中，最大限度降低开发的成本。
另外，为避免过拟合和信息冗余，目标神经网络模型同样支持以不同的步长(stride)采样信息，同时支持动态(sliding window，滑动窗)的特征更新。
通过本示例的上述技术方案，通过非局部循环记忆网络，使得序列模型能够在一个序列数据段内以非局部操作的方式建模全阶交互，以及序列数据段间以门控方式更新信息以建模全局交互，可以捕获长时间依赖关系，还可以提纯出高阶交互所包含的潜在高维特征。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述数据处理方法的虚拟场景中的数据处理装置，如图11所示，该装置包括：
(1)第一获取模块1102，用于获取目标序列数据，其中，目标序列数据包括按照时间顺序进行排序的多组数据；
(2)输入模块1104，用于依次将多组数据中的每组数据中的每个数据输入到目标神经网络模型，其中，每组数据中的每个数据在输入到目标神经网络模型时被视为当前组数据中的当前数据，在目标神经网络模型对当前数据进行处理的过程中，根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据中的每个数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理；
(3)第二获取模块1106，用于获取目标神经网络模型输出的数据处理结果。
可选地，上述数据处理装置可以但不限于应用于使用目标神经网络执行目标任务的过程。上述目标任务可以是能够根据目标序列数据在时间序列上的信息确定执行目标任务执行结果。例如。上述目标任务可以是视频理解分类，异常动作检测，文本分析(例如，情感分类)，对话系统等。
可选地，第一获取模块1102可以用于执行上述步骤S202，输入模块1104可以用于执行上述步骤S204，第二获取模块1106可以用于执行上述步骤S206。
通过本实施例，采用依次对目标序列数据中的每个数据输入到目标神经网络模型，由目标神经网络模型根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理；并获取目标神经网络模型输出的数据处理结果，解决了相关技术中的序列模型无法对长时间依赖关系进行建模的问题，实现了捕获长时间依赖关系，进而实现对长时间依赖关系建模。
作为一种可选的实施方案，输入模块1104包括：
(1)第一获取单元，用于获取到前一组数据、前一组处理结果、以及前一个处理结果；
(2)第二获取单元，用于将当前数据输入到目标神经网络模型，获取目标神经网络模型输出的、与当前数据对应的当前处理结果，其中，在目标神经网络模型对当前数据进行处理的过程中，根据前一组数据、前一组处理结果、以及前一个处理结果，对当前数据进行处理。
通过本实施例，通过获取前一组数据、前一组处理结果和前一个处理结果，并由目标神经网络模型根据前一组数据、前一组处理结果、以及前一个处理结果，对当前数据进行处理，得到与当前数据对应的当前处理结果，可以完成对当前数据的处理，进而完成目标神经网络模型的处理流程。
作为一种可选的实施方案，第二获取单元包括：
(1)第一获取子单元，用于获取目标处理模型输出的、与前一组数据对应的第一特征信息，以及前一个处理结果，其中，目标处理模型包括目标自注意力模型和第一门，第一特征信息由将第二特征信息和第三特征信息输入到第一门得到，第二特征信息由将前一组数据和前一组处理结果输入到目标自注意力模型得到，第三特征信息为目标处理模型输出的、与前一组数据的前一组数据对应的特征信息，第一门被设置为控制第二特征信息输出到第一特征信息的比例和第三特征信息输出到第一特征信息的比例；
(2)第二获取子单元，用于将当前数据输入到目标神经网络模型，获取当前处理结果，其中，在目标神经网络模型对当前数据进行处理的过程中，根据第一特征信息和前一个处理结果，对当前数据进行处理。
通过本实施例，通过目标自注意力模型建模前一组数据和前一组处理结果之间的关系，以及前一组处理结果中的各处理结果之间的信息匹配程度，并使用第一门来控制序列数据段之间的信息流程，保证了长时间依赖关系建模的准确性。
作为一种可选的实施方案，上述装置还包括：第三获取模块，输入模块包括：输入单元，其中，
(1)第三获取模块，用于在将当前数据输入到目标神经网络模型，获取当前处理结果的过程中，将第一特征信息和当前数据输入到第二门，获取目标参数，其中，第二门被设置为控制第一特征信息输出到目标参数的比例和当前数据输出到目标参数的比例；
(2)输入单元，用于将目标参数输入到目标神经网络模型，以控制目标神经网络模型输出。
通过本实施例，通过在目标神经网络中添加一个门(第二门)，引入第一特征信息用来更新当前的隐藏状态，从而使得当前时间步骤也能很好的捕获长距离的序列信息。
作为一种可选的实施方案，上述装置还包括：
滑动窗模块，用于在获取目标序列数据之后，使用目标滑动窗，按照目标步长在目标序列数据上进行滑动，得到多组数据。
通过本实施例，通过使用目标滑动窗，按照目标步长在目标序列数据上进行滑动，得到多组数据，可以方便对目标序列数据进行分组，提高目标序列数据的处理效率。
作为一种可选的实施方案，上述装置还包括：第一确定模块，第一获取模块包括：第三获取单元，其中，
(1)第三获取单元，用于获取目标视频数据，其中，目标视频数据用于执行识别目标视频数据中的目标对象所执行的动作；
(2)第一确定模块，用于在获取目标神经网络模型输出的数据处理结果之后，根据数据处理结果，确定第一概率信息，其中，第一概率信息用于表示目标对象所执行的动作分别为参考动作集合中的各参考动作的概率；根据第一概率信息，确定出目标对象所执行的动作为参考动作集合中的目标动作。
作为一种可选的实施方案，上述装置还包括：第二确定模块，第一获取模块包括：第四获取单元，其中，
(1)第四获取单元，用于获取目标文本数据，其中，目标文本数据包括具有先后顺序的多个句子，目标文本数据用于执行识别目标文本数据所表达的情感类型；
(2)第二确定模块，用于在获取目标神经网络模型输出的数据处理结果之后，根据数据处理结果，确定第二概率信息，其中，第二概率信息用于表示目标文本数据所表达的情感类型分别为参考情感类型集合中的各参考情感类型的概率；根据第二概率信息，确定出目标文本数据所表达的情感类型为参考情感类型集合中的目标情感类型。
通过本实施例，通过针对不同类型的目标任务获取不同的目标序列数据，并针对不同类型的目标任务确定出目标任务的执行结果，可以满足不同类型的任务需求，提高序列模型的适用性。
根据本发明的实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取目标序列数据，其中，目标序列数据包括按照时间顺序进行排序的多组数据；
S2，依次将多组数据中的每组数据中的每个数据输入到目标神经网络模型，其中，每组数据中的每个数据在输入到目标神经网络模型时被视为当前组数据中的当前数据，在目标神经网络模型对当前数据进行处理的过程中，根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据中的每个数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理；
S3，获取目标神经网络模型输出的数据处理结果。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
根据本发明实施例的又一个方面，还提供了一种用于实施上述数据处理方法的电子装置，如图12所示，该电子装置包括：处理器1202、存储器1204、传输装置1206等。该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取目标序列数据，其中，目标序列数据包括按照时间顺序进行排序的多组数据；
S2，依次将多组数据中的每组数据中的每个数据输入到目标神经网络模型，其中，每组数据中的每个数据在输入到目标神经网络模型时被视为当前组数据中的当前数据，在目标神经网络模型对当前数据进行处理的过程中，根据当前组数据的前一组数据、使用目标神经网络模型对前一组数据中的每个数据进行处理得到的前一组处理结果、以及使用目标神经网络模型对当前数据的前一个数据进行处理得到的前一个处理结果，对当前数据进行处理；
S3，获取目标神经网络模型输出的数据处理结果。
可选地，本领域普通技术人员可以理解，图12所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图12其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图12中所示更多或者更少的组件(如网络接口等)，或者具有与图12所示不同的配置。
其中，存储器1204可用于存储软件程序以及模块，如本发明实施例中的数据处理方法和装置对应的程序指令/模块，处理器1202通过运行存储在存储器1204内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述数据处理方法。存储器1204可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1204可进一步包括相对于处理器1202远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1206包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1206为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种数据处理方法，其特征在于，包括：
获取目标序列数据，其中，所述目标序列数据包括按照时间顺序进行排序的多组数据；
依次将所述多组数据中的每组数据中的每个数据输入到目标神经网络模型，其中，每组数据中的每个数据在输入到所述目标神经网络模型时被视为当前组数据中的当前数据，在所述目标神经网络模型对所述当前数据进行处理的过程中，根据所述当前组数据的前一组数据、使用所述目标神经网络模型对所述前一组数据中的每个数据进行处理得到的前一组处理结果、以及使用所述目标神经网络模型对所述当前数据的前一个数据进行处理得到的前一个处理结果，对所述当前数据进行处理；
获取所述目标神经网络模型输出的数据处理结果。
2.根据权利要求1所述的方法，其特征在于，依次将所述多组数据中的每组数据中的每个数据输入到所述目标神经网络模型包括：
获取到所述前一组数据、所述前一组处理结果、以及所述前一个处理结果；
将所述当前数据输入到所述目标神经网络模型，获取所述目标神经网络模型输出的、与所述当前数据对应的当前处理结果，其中，在所述目标神经网络模型对所述当前数据进行处理的过程中，根据所述前一组数据、所述前一组处理结果、以及所述前一个处理结果，对所述当前数据进行处理。
3.根据权利要求2所述的方法，其特征在于，将所述当前数据输入到所述目标神经网络模型，获取所述目标神经网络模型输出的、与所述当前数据对应的所述当前处理结果包括：
获取目标处理模型输出的、与所述前一组数据对应的第一特征信息，以及所述前一个处理结果，其中，所述目标处理模型包括目标自注意力模型和第一门，所述第一特征信息由将第二特征信息和第三特征信息输入到所述第一门得到，所述第二特征信息由将所述前一组数据和所述前一组处理结果输入到所述目标自注意力模型得到，所述第三特征信息为所述目标处理模型输出的、与所述前一组数据的前一组数据对应的特征信息，所述第一门被设置为控制所述第二特征信息输出到所述第一特征信息的比例和所述第三特征信息输出到所述第一特征信息的比例；
将所述当前数据输入到所述目标神经网络模型，获取所述当前处理结果，其中，在所述目标神经网络模型对所述当前数据进行处理的过程中，根据所述第一特征信息和所述前一个处理结果，对所述当前数据进行处理。
4.根据权利要求3所述的方法，其特征在于，在将所述当前数据输入到所述目标神经网络模型，获取所述当前处理结果的过程中，所述方法还包括：
将所述第一特征信息和所述当前数据输入到第二门，获取目标参数，其中，所述第二门被设置为控制所述第一特征信息输出到所述目标参数的比例和所述当前数据输出到所述目标参数的比例；
将所述目标参数输入到所述目标神经网络模型，以控制所述目标神经网络模型输出。
5.根据权利要求1所述的方法，其特征在于，在获取所述目标序列数据之后，所述方法还包括：
使用目标滑动窗，按照目标步长在所述目标序列数据上进行滑动，得到所述多组数据。
6.根据权利要求1至5中任一项所述的方法，其特征在于，
获取所述目标序列数据包括：获取目标视频数据，其中，所述目标视频数据用于执行识别所述目标视频数据中的目标对象所执行的动作；
在获取所述目标神经网络模型输出的所述数据处理结果之后，所述方法还包括：根据所述数据处理结果，确定第一概率信息，其中，所述第一概率信息用于表示所述目标对象所执行的动作分别为参考动作集合中的各参考动作的概率；根据所述第一概率信息，确定出所述目标对象所执行的动作为所述参考动作集合中的目标动作。
7.根据权利要求1至5中任一项所述的方法，其特征在于，
获取所述目标序列数据包括：获取目标文本数据，其中，所述目标文本数据包括具有先后顺序的多个句子，所述目标文本数据用于执行识别所述目标文本数据所表达的情感类型；
在获取所述目标神经网络模型输出的所述数据处理结果之后，所述方法还包括：根据所述数据处理结果，确定第二概率信息，其中，所述第二概率信息用于表示所述目标文本数据所表达的情感类型分别为参考情感类型集合中的各参考情感类型的概率；根据所述第二概率信息，确定出所述目标文本数据所表达的情感类型为所述参考情感类型集合中的目标情感类型。
8.一种数据处理装置，其特征在于，包括：
第一获取模块，用于获取目标序列数据，其中，所述目标序列数据包括按照时间顺序进行排序的多组数据；
输入模块，用于依次将所述多组数据中的每组数据中的每个数据输入到目标神经网络模型，其中，每组数据中的每个数据在输入到所述目标神经网络模型时被视为当前组数据中的当前数据，在所述目标神经网络模型对所述当前数据进行处理的过程中，根据所述当前组数据的前一组数据、使用所述目标神经网络模型对所述前一组数据中的每个数据进行处理得到的前一组处理结果、以及使用所述目标神经网络模型对所述当前数据的前一个数据进行处理得到的前一个处理结果，对所述当前数据进行处理；
第二获取模块，用于获取所述目标神经网络模型输出的数据处理结果。
9.根据权利要求8所述的装置，其特征在于，所述输入模块包括：
第一获取单元，用于获取到所述前一组数据、所述前一组处理结果、以及所述前一个处理结果；
第二获取单元，用于将所述当前数据输入到所述目标神经网络模型，获取所述目标神经网络模型输出的、与所述当前数据对应的当前处理结果，其中，在所述目标神经网络模型对所述当前数据进行处理的过程中，根据所述前一组数据、所述前一组处理结果、以及所述前一个处理结果，对所述当前数据进行处理。
10.根据权利要求9所述的装置，其特征在于，所述第二获取单元包括：
第一获取子单元，用于获取目标处理模型输出的、与所述前一组数据对应的第一特征信息，以及所述前一个处理结果，其中，所述目标处理模型包括目标自注意力模型和第一门，所述第一特征信息由将第二特征信息和第三特征信息输入到所述第一门得到，所述第二特征信息由将所述前一组数据和所述前一组处理结果输入到所述目标自注意力模型得到，所述第三特征信息为所述目标处理模型输出的、与所述前一组数据的前一组数据对应的特征信息，所述第一门被设置为控制所述第二特征信息输出到所述第一特征信息的比例和所述第三特征信息输出到所述第一特征信息的比例；
第二获取子单元，用于将所述当前数据输入到所述目标神经网络模型，获取所述当前处理结果，其中，在所述目标神经网络模型对所述当前数据进行处理的过程中，根据所述第一特征信息和所述前一个处理结果，对所述当前数据进行处理。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：第三获取模块，所述输入模块包括：输入单元，其中，
所述第三获取模块，用于在将所述当前数据输入到所述目标神经网络模型，获取所述当前处理结果的过程中，将所述第一特征信息和所述当前数据输入到第二门，获取目标参数，其中，所述第二门被设置为控制所述第一特征信息输出到所述目标参数的比例和所述当前数据输出到所述目标参数的比例；
所述输入单元，用于将所述目标参数输入到所述目标神经网络模型，以控制所述目标神经网络模型输出。
12.根据权利要求8至11中任一项所述的装置，其特征在于，所述装置还包括：第一确定模块，第一获取模块包括：第三获取单元，其中，
所述第三获取单元，用于获取目标视频数据，其中，所述目标视频数据用于执行识别所述目标视频数据中的目标对象所执行的动作；
所述第一确定模块，用于在获取所述目标神经网络模型输出的所述数据处理结果之后，根据所述数据处理结果，确定第一概率信息，其中，所述第一概率信息用于表示所述目标对象所执行的动作分别为参考动作集合中的各参考动作的概率；根据所述第一概率信息，确定出所述目标对象所执行的动作为所述参考动作集合中的目标动作。
13.根据权利要求8至11中任一项所述的装置，其特征在于，所述装置还包括：第二确定模块，第一获取模块包括：第四获取单元，其中，
所述第四获取单元，用于获取目标文本数据，其中，所述目标文本数据包括具有先后顺序的多个句子，所述目标文本数据用于执行识别所述目标文本数据所表达的情感类型；
所述第二确定模块，用于在获取所述目标神经网络模型输出的所述数据处理结果之后，根据所述数据处理结果，确定第二概率信息，其中，所述第二概率信息用于表示所述目标文本数据所表达的情感类型分别为参考情感类型集合中的各参考情感类型的概率；根据所述第二概率信息，确定出所述目标文本数据所表达的情感类型为所述参考情感类型集合中的目标情感类型。
14.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN201910472128.0A 2019-05-31 2019-05-31 数据处理方法和装置、存储介质及电子装置 Active CN110263916B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910472128.0A CN110263916B (zh) 2019-05-31 2019-05-31 数据处理方法和装置、存储介质及电子装置
JP2021541499A JP7292657B2 (ja) 2019-05-31 2020-03-20 データ処理方法、データ処理装置、コンピュータプログラム及び電子装置
PCT/CN2020/080301 WO2020238353A1 (zh) 2019-05-31 2020-03-20 数据处理方法和装置、存储介质及电子装置
EP20814490.7A EP3979098A4 (en) 2019-05-31 2020-03-20 Data processing method and apparatus, storage medium, and electronic apparatus
US17/459,775 US20210390370A1 (en) 2019-05-31 2021-08-27 Data processing method and apparatus, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910472128.0A CN110263916B (zh) 2019-05-31 2019-05-31 数据处理方法和装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN110263916A true CN110263916A (zh) 2019-09-20
CN110263916B CN110263916B (zh) 2021-09-10

Family

ID=67916330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910472128.0A Active CN110263916B (zh) 2019-05-31 2019-05-31 数据处理方法和装置、存储介质及电子装置

Country Status (5)

Country Link
US (1) US20210390370A1 (zh)
EP (1) EP3979098A4 (zh)
JP (1) JP7292657B2 (zh)
CN (1) CN110263916B (zh)
WO (1) WO2020238353A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160484A (zh) * 2019-12-31 2020-05-15 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN111639548A (zh) * 2020-05-11 2020-09-08 华南理工大学 一种基于门的视频上下文多模态感知特征优化方法
CN111898698A (zh) * 2020-08-10 2020-11-06 腾讯科技（深圳）有限公司 对象的处理方法及装置、存储介质和电子设备
WO2020238353A1 (zh) * 2019-05-31 2020-12-03 腾讯科技（深圳）有限公司 数据处理方法和装置、存储介质及电子装置
CN115119044A (zh) * 2021-03-18 2022-09-27 阿里巴巴新加坡控股有限公司 视频处理方法、设备、系统及计算机存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB202003088D0 (en) * 2020-03-04 2020-04-15 Samsung Electronics Co Ltd Method and system for action recognition
CN112948709B (zh) * 2021-03-05 2022-03-25 桂林电子科技大学 一种影响力感知驱动的连续兴趣点实时推荐方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140079297A1 (en) * 2012-09-17 2014-03-20 Saied Tadayon Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities
CN107067413A (zh) * 2016-12-27 2017-08-18 南京理工大学 一种时空域统计匹配局部特征的运动目标检测方法
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法
CN107341462A (zh) * 2017-06-28 2017-11-10 电子科技大学 一种基于注意力机制的视频分类方法
CN107480642A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于时域分段网络的视频动作识别方法
CN107484017A (zh) * 2017-07-25 2017-12-15 天津大学 基于注意力模型的有监督视频摘要生成方法
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN107766447A (zh) * 2017-09-25 2018-03-06 浙江大学 一种使用多层注意力网络机制解决视频问答的方法
CN107818174A (zh) * 2017-11-15 2018-03-20 浙江大学 一种利用视频外表及动作上的渐进式优化注意力网络机制解决视频问答的方法
CN107944409A (zh) * 2017-11-30 2018-04-20 清华大学 视频分析方法及装置
CN108829756A (zh) * 2018-05-25 2018-11-16 杭州知智能科技有限公司 一种利用分层注意力上下文网络解决多轮视频问答的方法
CN109101896A (zh) * 2018-07-19 2018-12-28 电子科技大学 一种基于时空融合特征和注意力机制的视频行为识别方法
CN109389055A (zh) * 2018-09-21 2019-02-26 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN109409504A (zh) * 2018-10-10 2019-03-01 深圳乐信软件技术有限公司 一种数据处理方法、装置、计算机及存储介质
WO2019055957A1 (en) * 2017-09-18 2019-03-21 CS Disco, Inc. ASYNCHRONOUS AND INTERACTIVE AUTOMATIC LEARNING USING ATTENTION SELECTION TECHNIQUES FOR DATA CLASSIFICATION
CN109508644A (zh) * 2018-10-19 2019-03-22 陕西大智慧医疗科技股份有限公司 基于深度视频数据分析的面瘫等级评估系统
CN109754073A (zh) * 2018-12-29 2019-05-14 北京中科寒武纪科技有限公司 数据处理方法、装置、电子设备和可读存储介质
US10296793B2 (en) * 2016-04-06 2019-05-21 Nec Corporation Deep 3D attention long short-term memory for video-based action recognition
CN109815903A (zh) * 2019-01-24 2019-05-28 同济大学 一种基于自适应融合网络的视频情感分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129937A1 (en) * 2016-11-04 2018-05-10 Salesforce.Com, Inc. Quasi-recurrent neural network
CN108182260B (zh) * 2018-01-03 2021-06-08 华南理工大学 一种基于语义选择的多变量时间序列分类方法
CN109635079A (zh) * 2018-10-25 2019-04-16 北京中关村科金技术有限公司 一种用户意图的确定方法、装置、计算机设备和存储介质
CN110263916B (zh) * 2019-05-31 2021-09-10 腾讯科技（深圳）有限公司 数据处理方法和装置、存储介质及电子装置

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140079297A1 (en) * 2012-09-17 2014-03-20 Saied Tadayon Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities
US10296793B2 (en) * 2016-04-06 2019-05-21 Nec Corporation Deep 3D attention long short-term memory for video-based action recognition
CN107067413A (zh) * 2016-12-27 2017-08-18 南京理工大学 一种时空域统计匹配局部特征的运动目标检测方法
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN107341462A (zh) * 2017-06-28 2017-11-10 电子科技大学 一种基于注意力机制的视频分类方法
CN107484017A (zh) * 2017-07-25 2017-12-15 天津大学 基于注意力模型的有监督视频摘要生成方法
CN107480642A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于时域分段网络的视频动作识别方法
WO2019055957A1 (en) * 2017-09-18 2019-03-21 CS Disco, Inc. ASYNCHRONOUS AND INTERACTIVE AUTOMATIC LEARNING USING ATTENTION SELECTION TECHNIQUES FOR DATA CLASSIFICATION
CN107766447A (zh) * 2017-09-25 2018-03-06 浙江大学 一种使用多层注意力网络机制解决视频问答的方法
CN107818174A (zh) * 2017-11-15 2018-03-20 浙江大学 一种利用视频外表及动作上的渐进式优化注意力网络机制解决视频问答的方法
CN107944409A (zh) * 2017-11-30 2018-04-20 清华大学 视频分析方法及装置
CN108829756A (zh) * 2018-05-25 2018-11-16 杭州知智能科技有限公司 一种利用分层注意力上下文网络解决多轮视频问答的方法
CN109101896A (zh) * 2018-07-19 2018-12-28 电子科技大学 一种基于时空融合特征和注意力机制的视频行为识别方法
CN109389055A (zh) * 2018-09-21 2019-02-26 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN109409504A (zh) * 2018-10-10 2019-03-01 深圳乐信软件技术有限公司 一种数据处理方法、装置、计算机及存储介质
CN109508644A (zh) * 2018-10-19 2019-03-22 陕西大智慧医疗科技股份有限公司 基于深度视频数据分析的面瘫等级评估系统
CN109754073A (zh) * 2018-12-29 2019-05-14 北京中科寒武纪科技有限公司 数据处理方法、装置、电子设备和可读存储介质
CN109815903A (zh) * 2019-01-24 2019-05-28 同济大学 一种基于自适应融合网络的视频情感分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG Y等: "Attention-based LSTM for aspect-level sentiment classification", 《PROCEEDINGS OF THE 21ST CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING》 *
曾义夫等: "基于双记忆注意力的方面级别情感分类模型", 《计算机学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238353A1 (zh) * 2019-05-31 2020-12-03 腾讯科技（深圳）有限公司 数据处理方法和装置、存储介质及电子装置
CN111160484A (zh) * 2019-12-31 2020-05-15 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN111160484B (zh) * 2019-12-31 2023-08-29 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN111639548A (zh) * 2020-05-11 2020-09-08 华南理工大学 一种基于门的视频上下文多模态感知特征优化方法
CN111898698A (zh) * 2020-08-10 2020-11-06 腾讯科技（深圳）有限公司 对象的处理方法及装置、存储介质和电子设备
CN115119044A (zh) * 2021-03-18 2022-09-27 阿里巴巴新加坡控股有限公司 视频处理方法、设备、系统及计算机存储介质
CN115119044B (zh) * 2021-03-18 2024-01-05 阿里巴巴新加坡控股有限公司 视频处理方法、设备、系统及计算机存储介质

Also Published As

Publication number Publication date
US20210390370A1 (en) 2021-12-16
JP2022520000A (ja) 2022-03-28
WO2020238353A1 (zh) 2020-12-03
EP3979098A4 (en) 2022-06-29
JP7292657B2 (ja) 2023-06-19
EP3979098A1 (en) 2022-04-06
CN110263916B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN110263916A (zh) 数据处理方法和装置、存储介质及电子装置
Xiao et al. A federated learning system with enhanced feature extraction for human activity recognition
Mutegeki et al. A CNN-LSTM approach to human activity recognition
Baradel et al. Glimpse clouds: Human activity recognition from unstructured feature points
Shen et al. Bi-directional block self-attention for fast and memory-efficient sequence modeling
Lv et al. Generative adversarial networks for parallel transportation systems
Pigou et al. Sign language recognition using convolutional neural networks
CN109446927B (zh) 基于先验知识的双人交互行为识别方法
US9278255B2 (en) System and method for activity recognition
CN112085012B (zh) 项目名称和类别识别方法及装置
CN110084281A (zh) 图像生成方法、神经网络的压缩方法及相关装置、设备
CN107273782A (zh) 使用递归神经网络的在线动作检测
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN112418360B (zh) 卷积神经网络的训练方法、行人属性识别方法及相关设备
CN113408570A (zh) 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN110335592A (zh) 语音音素识别方法和装置、存储介质及电子装置
CN112052816B (zh) 基于自适应图卷积对抗网络的人体行为预测方法及系统
Li et al. Dating ancient paintings of Mogao Grottoes using deeply learnt visual codes
CN110059646A (zh) 训练动作规划模型的方法及目标搜索方法
Zheng et al. Meta-learning meets the Internet of Things: Graph prototypical models for sensor-based human activity recognition
CN110414581A (zh) 图片检测方法和装置、存储介质及电子装置
CN113516227A (zh) 一种基于联邦学习的神经网络训练方法及设备
WO2022063076A1 (zh) 对抗样本的识别方法及装置
Duan et al. A Multi-Task Deep Learning Approach for Sensor-based Human Activity Recognition and Segmentation
Barbhuiya et al. Gesture recognition from RGB images using convolutional neural network‐attention based system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant