CN112036546B - 序列处理方法及相关设备 - Google Patents

序列处理方法及相关设备 Download PDF

Info

Publication number
CN112036546B
CN112036546B CN202010857256.XA CN202010857256A CN112036546B CN 112036546 B CN112036546 B CN 112036546B CN 202010857256 A CN202010857256 A CN 202010857256A CN 112036546 B CN112036546 B CN 112036546B
Authority
CN
China
Prior art keywords
current
working
unit
vector
state vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010857256.XA
Other languages
English (en)
Other versions
CN112036546A (zh
Inventor
张子瑄
姜文浩
王子愉
严骏驰
黄征
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Tencent Technology Shenzhen Co Ltd
Original Assignee
Shanghai Jiaotong University
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, Tencent Technology Shenzhen Co Ltd filed Critical Shanghai Jiaotong University
Priority to CN202010857256.XA priority Critical patent/CN112036546B/zh
Publication of CN112036546A publication Critical patent/CN112036546A/zh
Application granted granted Critical
Publication of CN112036546B publication Critical patent/CN112036546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种序列处理方法及装置、计算机可读存储介质、电子设备。该方法包括：获取待处理序列在当前时间步的当前输入向量；利用循环神经网络模型中的控制单元对当前输入向量进行处理，获得控制单元在当前时间步的当前控制细胞状态向量；根据当前控制细胞状态向量，生成循环神经网络模型中各个工作单元在当前时间步的当前工作隐状态向量；根据各个工作单元的当前工作隐状态向量，获得待处理序列在当前时间步的当前输出向量。

Description

序列处理方法及相关设备
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种序列处理方法及装置、计算机可读存储介质、电子设备。
背景技术
循环神经网络(Recurrent Neural Network，RNN)是一类以序列(sequence)数据为输入，在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)。
循环神经网络具有记忆性、参数共享并且图灵完备(Turing completeness)，因此在对序列的非线性特征进行学习时具有一定优势。循环神经网络在自然语言处理(NaturalLanguage Processing，NLP)，例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。引入了卷积神经网络(Convolutional Neural Network，CNN)构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。
当前RNN模型的主要缺点在于，在当前时间步上处理信息不够专业化，不够高效。
因此，需要一种新的序列处理方法及装置、计算机可读存储介质、电子设备。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开实施例提供一种序列处理方法及装置、计算机可读存储介质、电子设备，能够解决上述相关技术中存在的RNN模型处理信息不够专业化，不够高效的技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
本公开实施例提供一种序列处理方法，所述方法包括：获取待处理序列在当前时间步的当前输入向量；利用循环神经网络模型中的控制单元对所述当前输入向量进行处理，获得所述控制单元在所述当前时间步的当前控制细胞状态向量；根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前工作隐状态向量；根据各个工作单元的当前工作隐状态向量，获得所述待处理序列在所述当前时间步的当前输出向量。
本公开实施例提供一种序列处理装置，所述装置包括：当前输入向量获取单元，用于获取待处理序列在当前时间步的当前输入向量；细胞状态向量获得单元，用于利用循环神经网络模型中的控制单元对所述当前输入向量进行处理，获得所述控制单元在所述当前时间步的当前控制细胞状态向量；工作隐状态向量获得单元，用于根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前工作隐状态向量；当前输出向量获得单元，用于根据各个工作单元的当前工作隐状态向量，获得所述待处理序列在所述当前时间步的当前输出向量。
在本公开的一些示例性实施例中，工作隐状态向量获得单元包括：当前门控向量生成单元，用于根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前门控向量；工作输入向量获得单元，用于根据各个工作单元的当前门控向量对所述当前输入向量进行处理，获得各个工作单元在所述当前时间步的当前工作输入向量；工作隐状态向量获取单元，用于根据各个工作单元的当前工作输入向量获得各个工作单元在所述当前时间步的当前工作隐状态向量。
在本公开的一些示例性实施例中，当前门控向量生成单元包括：历史工作隐状态向量获得单元，用于获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；当前门控向量获取单元，用于根据所述当前控制细胞状态向量和各个工作单元的历史工作隐状态向量，生成各个工作单元在所述当前时间步的当前门控向量。
在本公开的一些示例性实施例中，当前门控向量获取单元包括：当前门控向量获得单元，用于通过多层感知机对所述当前控制单元状态向量和各个工作单元的历史工作隐状态向量进行处理，获得各个工作单元的当前门控向量。
在本公开的一些示例性实施例中，工作隐状态向量获得单元包括：历史工作隐状态向量获得单元，用于获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；当前工作隐状态向量获得单元，用于根据各个工作单元的当前工作输入向量以及各个工作单元的历史工作隐状态向量，获得各个工作单元的当前工作隐状态向量。
在本公开的一些示例性实施例中，细胞状态向量获得单元包括：历史工作隐状态向量获得单元，用于获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；当前控制输入向量获得单元，用于拼接所述当前输入向量和各个工作单元的历史工作隐状态向量，获得所述控制单元在所述当前时间步的当前控制输入向量；控制细胞状态向量获得单元，用于根据所述当前控制输入向量、所述控制单元在所述前一时间步的历史控制隐状态向量和历史控制细胞状态向量，获得所述控制单元在所述当前时间步的当前控制隐状态向量和当前控制细胞状态向量。
在本公开的一些示例性实施例中，当前输出向量获得单元包括：向量拼接单元，用于拼接各个工作单元的当前工作隐状态向量，获得当前拼接工作隐状态向量；当前输出向量生成单元，用于通过所述循环神经网络模型的全连接层对所述当前拼接工作隐状态向量进行处理，获得所述待处理序列的当前输出向量。
在本公开的一些示例性实施例中，所述控制单元和各个工作单元均为循环神经网络。
在本公开的一些示例性实施例中，所述待处理序列中包括至少两个相互独立的子序列。
本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的序列处理方法。
本公开实施例提供了一种电子设备，包括：至少一个处理器；存储装置，配置为存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如上述实施例中所述的序列处理方法。
在本公开的一些实施例所提供的技术方案中，一方面，通过在循环神经网络模型中设计各个工作单元，专门用于待处理序列处理任务中的某个部分，并通过一个专门的控制单元来控制每个工作单元的输入信息，引入了中心化的布局，即通过控制单元和工作单元进行信息交换，由控制单元来决定工作单元需要哪些信息，并将对应的信息传输过去，提升了循环神经网络模型结构内部信息传递和处理的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的序列处理方法或序列处理装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的结构示意图；
图3示意性示出了根据本公开的一实施例的序列处理方法的流程图；
图4示意性示出了根据本公开的一实施例的序列处理方法的示意图；
图5示意性示出了根据本公开的一实施例的序列处理装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在至少一个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在至少一个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”和“第三”等仅作为标记使用，不是对其对象的数量限制。
下面结合附图对本公开示例实施方式进行详细说明。
图1示出了可以应用于本公开实施例的序列处理装置或序列处理方法的示例性系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
服务器105可以是独立的服务器，也可以是多个服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备101、102、103可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等，但并不局限于此。终端设备101、102、103以及服务器105可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
终端设备101、102、103上可以分别安装客户端，例如可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等中的任意一种或者多种，终端设备101、102、103可以用于向服务器105发送待处理序列，服务器105获取待处理序列在当前时间步的当前输入向量；利用循环神经网络模型中的控制单元对所述当前输入向量进行处理，获得所述控制单元在所述当前时间步的当前控制细胞状态向量；根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前工作隐状态向量；根据各个工作单元的当前工作隐状态向量，获得所述待处理序列在所述当前时间步的当前输出向量。服务器105可以将当前输出向量返回至终端设备101、102、103，并可以在终端设备101、102、103上进行显示。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，根据实际需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图2，其示出了适于用来实现本申请实施例提供的技术方案的电子设备200的结构示意图。电子设备可以是终端设备或服务器，图2以电子设备200为终端设备为例进行举例说明，不应对本申请实施例的功能和使用范围带来任何限制。
如图2所示，电子设备200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从储存部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统200操作所需的各种程序和数据。CPU 201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的储存部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入储存部分208。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有至少一个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读存储介质承载有至少一个程序，当上述至少一个程序被一个该设备执行时，使得该设备可实现功能包括：获取待处理序列在当前时间步的当前输入向量；利用循环神经网络模型中的控制单元对所述当前输入向量进行处理，获得所述控制单元在所述当前时间步的当前控制细胞状态向量；根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前工作隐状态向量；根据各个工作单元的当前工作隐状态向量，获得所述待处理序列在所述当前时间步的当前输出向量。
需要理解的是，在本公开附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-dimension，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
自然语言处理(NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉、自然语言处理、机器学习等技术，具体通过如下实施例进行说明：
基于上述相关技术中存在的技术问题，本公开实施例提出了一种序列处理方法，以用于至少部分解决上述问题。本公开各实施例提供的方法可以由任意的电子设备来执行，例如上述图1中的服务器105，或者终端设备101、102和103中的任意一者或者多者，或者服务器105与终端设备之间进行交互，本公开对此不做限定。
图3示意性示出了根据本公开的一实施例的序列处理方法的流程图。如图3所示，本公开实施例提供的方法可以包括以下步骤。本公开实施例提供的方法以由服务器来执行为例进行说明。
在步骤S310中，获取待处理序列在当前时间步t的当前输入向量xt。
其中，t是大于或等于1的正整数。即xt是一个dx维的向量，dx是大于或等于1的正整数。
在示例性实施例中，所述待处理序列中可以包括至少两个相互独立的子序列。
本公开实施例中的待处理序列指的是具有模块化序列结构的序列。其中，模块化序列结构指的是在现实生活中包含相对清晰的子结构的序列，这种序列的主要特征是，每一个序列可能会包括很多个近乎相互独立的子序列。
例如，一个描述若干个球体在光滑水平面运动和碰撞的视频中，每一个球体的运动基本上是相互独立的，只有在发生碰撞的时候不同的球体的运动规律才会发生影响和交互，在这个例子里面，每个球体的运动规律可以视为一个子序列，所有的子序列叠加在一起形成了整体的视频序列。
在步骤S320中，利用循环神经网络模型中的控制单元对所述当前输入向量xt进行处理，获得所述控制单元在所述当前时间步的当前控制细胞状态向量。
在示例性实施例中，循环神经网络模型可以包括控制单元(master cell)和工作单元(worker cells)。所述控制单元和各个工作单元可以均为循环神经网络。
其中，循环神经网络依靠隐向量迭代的方式实现对动态过程的建模。RNN网络由多个串联的隐含网络层构成，特别适用于通过深度学习处理基于时域的数据集。RNN网络的隐含层神经元的计算公式为：
st＝f(xtU+st-1W) (1)
其中U、W为RNN网络模型的参数，f表示激活函数。对于当前时间步t的隐含层神经元激活值st，使用当前时间步t的该隐含层神经元的当前输入向量xt和上一隐含层神经元(对应于上一时间步t-1)的激活值st-1进行计算获得。
本公开实施例中，控制单元和工作单元可以采用长短期记忆网络(Long Short-Term Memory networks，LSTM)、GRU(Gated Recurrent Unit，循环门单元)、双向循环神经网络(Bidirectional RNN，Bi-RNN)等中的任意一种或者多种的组合。
在传统RNN中，训练算法为BPTT(Back-propagation Through Time，通过时间反向传播)。但是，当时间段比较长时，BPTT导致RNN网络需要回传的残差会呈指数级下降，导致网络权重更新缓慢，无法体现出RNN的长期记忆的效果，因此需要一个存储单元来存储记忆。因此，提出LSTM种特殊的RNN网络模型，以解决RNN模型梯度弥散的问题。RNN与LSTM最大的区别在于，LSTM网络将RNN网络中的每个隐含网络层替换成具有记忆功能的单元(cell)，其它结构则保持与RNN网络相同。
在下面的实施例中，以控制单元和每个工作单元均采用LSTM为例进行举例说明，但本公开并不限定于此。本领域技术人员将理解，还可以采用其它类型的RNN网络。
在示例性实施例中，利用循环神经网络模型中的控制单元对所述当前输入向量xt进行处理，获得所述控制单元在所述当前时间步的当前控制细胞状态向量可以包括：获得各个工作单元在所述当前时间步的前一时间步t-1的历史工作隐状态向量；拼接所述当前输入向量和各个工作单元的历史工作隐状态向量，获得所述控制单元在所述当前时间步的当前控制输入向量/>根据所述当前控制输入向量/>所述控制单元在所述前一时间步的历史控制隐状态向量/>和历史控制细胞状态向量/>获得所述控制单元在所述当前时间步的当前控制隐状态向量/>和当前控制细胞状态向量/>
其中，若假设一共有Nw个工作单元，Nw为大于或等于1的正整数，则第i个工作单元的历史工作隐状态向量可以表示为其中，i为大于或等于1且小于或等于Nw的正整数，dw为大于或等于1的正整数。
在步骤S330中，根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前工作隐状态向量。
在示例性实施例中，根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前工作隐状态向量，可以包括：根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前门控向量；根据各个工作单元的当前门控向量对所述当前输入向量进行处理，获得各个工作单元在所述当前时间步的当前工作输入向量；根据各个工作单元的当前工作输入向量获得各个工作单元在所述当前时间步的当前工作隐状态向量。通过对各个工作单元生成对应的当前门控向量，即采用门控机制实现各个工作单元的信息分发，从而使得每个工作单元可以通过自己的当前门控向量从原始的当前输入向量中获取最适合各个工作单元的信息，更加简洁高效。
在示例性实施例中，根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前门控向量，可以包括：获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；根据所述当前控制细胞状态向量和各个工作单元的历史工作隐状态向量，生成各个工作单元在所述当前时间步的当前门控向量。
在示例性实施例中，根据所述当前控制细胞状态向量和各个工作单元的历史工作隐状态向量，生成各个工作单元在所述当前时间步的当前门控向量，可以包括：通过多层感知机(Multilayer Perceptron，MLP)对所述当前控制单元状态向量和各个工作单元的历史工作隐状态向量进行处理，获得各个工作单元的当前门控向量。
其中，第i个工作单元的当前门控向量可以表示为gi,t。
其中，多层感知机也叫人工神经网络(Artificial Neural Network，ANN)，除了输入输出层，它中间可以有多个隐层，多层感知机层与层之间是全连接(上一层的任何一个神经元与下一层的所有神经元都有连接)的，最简单的MLP只含一个隐层，即三层的结构，本公开实施例中可以采用任意一种结构的MLP，对此不做限定。
在示例性实施例中，根据各个工作单元的当前工作输入向量获得各个工作单元在所述当前时间步的当前工作隐状态向量，可以包括：获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；根据各个工作单元的当前工作输入向量以及各个工作单元的历史工作隐状态向量，获得各个工作单元的当前工作隐状态向量。
在步骤S340中，根据各个工作单元的当前工作隐状态向量，获得所述待处理序列在所述当前时间步的当前输出向量。
在示例性实施例中，根据各个工作单元的当前工作隐状态向量，获得所述待处理序列在所述当前时间步的当前输出向量，可以包括：拼接各个工作单元的当前工作隐状态向量，获得当前拼接工作隐状态向量；通过所述循环神经网络模型的全连接层对所述当前拼接工作隐状态向量进行处理，获得所述待处理序列的当前输出向量。
本公开实施例提出了一种新型的循环神经网络模型，通过引入多个具有独立更新规律的RNN单元，来建模现实世界中含有模块化序列结构的动态过程。本公开实施例提供的循环神经网络模型，一方面，使用了中心化的布局，即在这些RNN单元中，设定其中一个为控制单元，剩余的单元作为工作单元，提升了结构内部信息传递和处理的效率。控制单元的任务是预处理输入信息(例如待处理序列在当前时间步t的当前输入向量xt)，并在了解每个工作单元的状态(各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量)的同时进行合理的信息分发；工作单元的任务是将控制单元得到的信息进行处理，更新自身状态，并把处理结果返回给控制单元。另一方面，使用了门控机制对各个工作单元进行信息分发，为每个工作单元设置了一个当前门控向量，该当前门控向量由控制单元的当前控制细胞状态向量和对应的工作单元的状态决定，最终工作单元获得的信息是原始的当前输入向量通过对应的当前门控向量之后的结果。这种方式简洁高效，使每个工作单元能够获取最适合自己的信息。
本公开实施方式提供的序列处理方法，通过在循环神经网络模型中设计各个工作单元，专门用于待处理序列处理任务中的某个部分，并通过一个专门的控制单元来控制每个工作单元的输入信息，引入了中心化的布局，即通过控制单元和工作单元进行信息交换，由控制单元来决定工作单元需要哪些信息，并将对应的信息传输过去，提升了循环神经网络模型结构内部信息传递和处理的效率。
下面结合图4对本公开实施例提供的序列处理方法进行举例说明。
本公开实施例提供的循环神经网络模型，通过引入多个具有独立更新规律的RNN单元进行分工合作，并通过引入中心化的布局和门控机制的方式，实现了高效的序列建模，因此也可以称之为中心化RNN集群模型(centralized RNN group，CRG)。
如图4所示，本公开实施例提供的CRG模型假设包括Nw+1个具有独立运行机制的RNN单元，每一个单元均是一个小型的循环神经网络(例如LSTM或者GRU)，每一个单元均有自己的独立更新规律，不受其他单元的影响。这些RNN单元分为两类：一个控制单元和至少一个工作单元。假设第i个工作单元在当前时间步t的当前工作隐状态向量和当前细胞状态向量分别记作和/>(以LSTM网络为例进行说明)，/>dm为大于或等于1的正整数。
将当前时间步t的控制单元的当前控制隐状态向量和当前控制细胞状态向量分别记作和/>设定控制单元的任务是，在当前时间步t，将当前输入向量xt进行预处理后，进行合适的任务分配，将每一部分信息分配给最合适的工作单元进行处理。
因此，控制单元需要在当前时间步t了解各个工作单元的运行状态以便于任务分配。设定当前时间步t控制单元的当前控制输入向量为：当前输入向量xt和各个工作单元的前一时间步t-1的历史工作隐状态向量的拼接向量，即：
其中，[A:B]操作为向量的拼接操作，
于是，在当前时间步t，控制单元的更新规律为：
上述公式中，LSTMm(,,)为具体的LSTM在当前时间步t的更新函数，其中θm为该更新函数中的所有待优化参数。
在当前时间步t的LSTM网络层具有三个输入和两个输出。三个输入分别为上一时间步t-1的LSTM网络层的历史控制细胞状态向量和历史控制隐状态向量/>以及当前时间步t的当前控制输入变量/>当前时间步t的LSTM网络层的两个输出分别为在当前时间步t的LSTM网络层的当前控制隐状态向量/>和当前控制细胞状态向量/>当前控制隐状态向量/>表征了在当前时间步t的LSTM网络层的特征，/>表征在当前时间步t的当前输入向量xt、各个工作单元的历史工作隐状态向量拼接获得的特征对LSTM网络层的影响，当前控制细胞状态向量/>表征在LSTM网络中的长时记忆状态。/>为对多维度变量进行逐元素相加的运算符，×与⊙相同，为对多维度变量进行逐元素相乘(点乘)的运算符，σ为sigmoid激活函数，tanh为双曲正切函数。
LSTM网络层的整体函数表达如下：
其中，公式(4)中的分别为LSTM网络层的输入门，遗忘门，输出门和当前控制隐状态向量，其中用于记忆当前时间步t的当前控制输入向量/>的输入门用于选择忘记当前时间步t之前的信息的遗忘门/>和用于将当前控制隐状态向量/>输出到下一时间步t+1的输出门/>构成LSTM网络层的三个控制门。T为变换映射矩阵，T可以采用单位阵的特定形式以便于描述。公式(5)则表示记忆状态的传送，/>为当前时间步t的中间控制细胞状态向量，则该当前控制细胞状态向量/>的传送为上一时间步t-1的历史控制细胞状态向量与遗忘门ft m的点乘与当前时间步t的中间控制细胞状态向量/>与输入门/>的点乘的和，代表部分忘记当前时间步t之前的历史控制细胞状态向量，再根据当前时间步t的输入对记忆的影响获得更新后的当前控制细胞状态向量/>公式(6)则表示根据当前时间步t的当前控制细胞状态向量和输出门/>的点乘获得当前时间步t的当前控制隐状态向量/>
其中，遗忘门的信息处理过程，其函数式如下：
其中Wfx、Wfh、bf分别为遗忘门对当前时间步t的当前控制输入向量和上一时间步t-1的历史控制隐状态向量/>的网络权重参数和线性变换参数。
其中，输入门和中间控制细胞状态向量的信息处理过程，其函数式如下：
其中Wix、Wih、bi分别为输入门对当前时间步t的当控制输入向量和上一时间步t-1的历史控制隐状态向量/>的网络权重参数和线性变换参数，Wcx、Wch、bc分别为中间控制细胞状态向量对当前时间步t的输入/>和上一时间步t-1的历史控制隐状态向量/>的网络权重参数和线性变换参数。
当前控制细胞状态向量传送的过程，其函数式参见公式(5)。
其中，输出门和历史控制隐状态向量的信息处理过程，其函数式如下：
其中Wox、Woh、b0分别为输出门对当前时间步t的当前控制输入向量和上一时间步t-1的历史控制隐状态向量/>的网络权重参数和线性变换参数。
对于当前时间步t的当前控制隐状态向量，其函数式参见公式(6)。
本领域技术人员将理解，在实际应用中，RNN网络将不限于上文作为举例的LSTM网络。可以使用同样是RNN网络的GRU(Gated Recurrent Unit，控制门循环单元)网络。GRU网络仅有两个控制门(更新门和重置门)，其需要学习调整的模型参数更少，训练计算速度更快。
门控机制是用于循环神经网络中控制信息流通程度的机制，例如LSTM和GRU中用来控制模型选择“记忆”还是“遗忘”某些信息的程度。每一个门(gate)是一个向量，向量中的每一个元素都是一个处于[0,1]区间内的实数。这些元素越接近于1，代表越倾向于“记忆该信息”，越接近于0，代表模型越倾向于“遗忘该信息”。
在本公开实施例提供的CRG模型中，希望每一个工作单元可以从当前输入向量xt中获取自己最需要的那一部分进行处理，因此，采取这样的门控机制来实现这一目标。对每一个工作单元定义这样一个门，这个当前门控向量是控制单元的状态和对应工作单元的状态的函数，最终工作单元的当前工作输入向量是当前门控向量和CRG模型外部输入的当前输入向量xt的乘积。
给定每一个工作单元i，定义与工作单元的当前工作隐状态向量维度相同的当前门控向量gi,t。本公开实施例中通过一个多层感知机(MLP)由控制单元的当前控制细胞状态向量和工作单元的历史工作隐状态向量来生成该工作单元对应的当前门控向量，即gi,t可以通过下述方式生成：
上述公式中，函数G(·)为一个多层感知机，θG为其可优化参数。
获得各个工作单元的当前门控向量之后，每个工作单元在当前时间步的更新规律可以表示为：
其中，为工作单元i的LSTM在当前时间步t的更新函数，⊙代表向量之间的哈达玛乘积，⊙决定多少信息可以传送至对应的工作单元，当gi,t为0时，表示不传送，当gi,t为1时，表示全部传送，而当gi,t在0和1之间时，表示部分传送，其主要作用是让神经网络对当前输入向量xt进行内容过滤，自动学习决定输入的哪些内容是有用的从而需要保留，哪些内容是不需要的。θi,m代表工作单元i的LSTM在当前时间步t的更新函数包含的可优化参数。
CRG模型的当前输出向量ot为各个工作单元的当前工作隐状态向量的拼接，然后经过一个全连接层的处理：
其中FC(·)为一个包含可优化参数θFC的全连接层。
本公开实施例提供的CRG模型是一种新的RNN，是一种新型的更加高效的循环神经网络模型结构，因此，可以用于任何通过深度学习的方式进行序列建模与分析的问题中，可以用于所有RNN能够用到的领域，例如视频理解与预测、自然语言理解、自然语言建模，事件序列建模等。
例如，将本公开实施例提供的CRG模型应用于视频理解与预测场景时，可以尝试对某一段视频进行分析，可以将视频的每一帧图像经过编码后，作为CRG模型的每一个时间步的输入，之后，可以将CRG模型的每一个时间步的工作隐状态向量经过解码器后，输出每一个时间步的视频预测结果。
还可以将本公开实施例提供的CRG模型用于自然语言建模的场景。例如，对于某个自然语言句子，可以按顺序将每一个词的表示向量输入到CRG模型中，输出可以是每个词的文本标注，例如情感分类，命名实体识别等等。
还可以将本公开实施例提供的CRG模型用于序列分类任务(比如视频分类)。记输入的视频序列为[x0,x1,…xT]，使用CRG模型来作为encoder(编码器)编码整个视频序列，具体步骤为[Ht,Ct]＝CRG(xt,Ht-1,Ct-1)。其中，Ht可以包括和/>Ct可以包括/>和/>Ht-1可以包括和/>Ct-1可以包括/>和/>输出/>p是一个向量，pj表示属于第j类的概率，j为大于或等于1且小于或等于p的维度的正整数，p的维度等于待分类的类别数量，可以从中选择概率最大的类别作为最终识别的目标类别。
还可以将本公开实施例提供的CRG模型用于机器翻译。例如，首先将要翻译的句子编码，具体过程为[Ht,Ct]＝CRGen(xt,Ht-1,Ct-1)，CRGen表示将CRG模型作为编码器，其中xt是句子的tocken(令牌)的向量表示。然后使用解码器来产生翻译后的句子，具体为[Ht,Ct]＝CRGd(zt,Ht-1,Ct-1)，其中zt是前一个产生的句子的token的向量表示，那么下一个输出的token的概率为p＝softmax(FC(Ht))，pk是属于第k个token的概率，k为大于或等于1且小于或等于p的维度的正整数，p的维度等于token的数量，可以从中选择概率最大的token作为最终的翻译。
图5示意性示出了根据本公开的一实施例的序列处理装置的框图。如图5所示，本公开实施例提供的序列处理装置500可以包括当前输入向量获取单元510、细胞状态向量获得单元520、工作隐状态向量获得单元530以及当前输出向量获得单元540。
本公开实施例中，当前输入向量获取单元510可以用于获取待处理序列在当前时间步的当前输入向量。细胞状态向量获得单元520可以用于利用循环神经网络模型中的控制单元对所述当前输入向量进行处理，获得所述控制单元在所述当前时间步的当前控制细胞状态向量。工作隐状态向量获得单元530可以用于根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前工作隐状态向量。当前输出向量获得单元540可以用于根据各个工作单元的当前工作隐状态向量，获得所述待处理序列在所述当前时间步的当前输出向量。
本公开实施方式提供的序列处理装置，通过在循环神经网络模型中设计各个工作单元，专门用于待处理序列处理任务中的某个部分，并通过一个专门的控制单元来控制每个工作单元的输入信息，引入了中心化的布局，即通过控制单元和工作单元进行信息交换，由控制单元来决定工作单元需要哪些信息，并将对应的信息传输过去，提升了循环神经网络模型结构内部信息传递和处理的效率。
在示例性实施例中，工作隐状态向量获得单元530可以包括：当前门控向量生成单元，可以用于根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前门控向量；工作输入向量获得单元，可以用于根据各个工作单元的当前门控向量对所述当前输入向量进行处理，获得各个工作单元在所述当前时间步的当前工作输入向量；工作隐状态向量获取单元，可以用于根据各个工作单元的当前工作输入向量获得各个工作单元在所述当前时间步的当前工作隐状态向量。通过对各个工作单元生成对应的当前门控向量，即采用门控机制实现各个工作单元的信息分发，从而使得每个工作单元可以通过自己的当前门控向量从原始的当前输入向量中获取最适合各个工作单元的信息，更加简洁高效。
在示例性实施例中，当前门控向量生成单元可以包括：历史工作隐状态向量获得单元，可以用于获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；当前门控向量获取单元，可以用于根据所述当前控制细胞状态向量和各个工作单元的历史工作隐状态向量，生成各个工作单元在所述当前时间步的当前门控向量。
在示例性实施例中，当前门控向量获取单元可以包括：当前门控向量获得单元，可以用于通过多层感知机对所述当前控制单元状态向量和各个工作单元的历史工作隐状态向量进行处理，获得各个工作单元的当前门控向量。
在示例性实施例中，工作隐状态向量获得单元可以包括：历史工作隐状态向量获得单元，可以用于获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；当前工作隐状态向量获得单元，可以用于根据各个工作单元的当前工作输入向量以及各个工作单元的历史工作隐状态向量，获得各个工作单元的当前工作隐状态向量。
在示例性实施例中，细胞状态向量获得单元520可以包括：历史工作隐状态向量获得单元，可以用于获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；当前控制输入向量获得单元，可以用于拼接所述当前输入向量和各个工作单元的历史工作隐状态向量，获得所述控制单元在所述当前时间步的当前控制输入向量；控制细胞状态向量获得单元，可以用于根据所述当前控制输入向量、所述控制单元在所述前一时间步的历史控制隐状态向量和历史控制细胞状态向量，获得所述控制单元在所述当前时间步的当前控制隐状态向量和当前控制细胞状态向量。
在示例性实施例中，当前输出向量获得单元540可以包括：向量拼接单元，可以用于拼接各个工作单元的当前工作隐状态向量，获得当前拼接工作隐状态向量；当前输出向量生成单元，用于通过所述循环神经网络模型的全连接层对所述当前拼接工作隐状态向量进行处理，获得所述待处理序列的当前输出向量。
在示例性实施例中，所述控制单元和各个工作单元可以均为循环神经网络。
在示例性实施例中，所述待处理序列中可以包括至少两个相互独立的子序列。
本公开实施例的序列处理装置的其它内容可以参照上述实施例。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种序列处理方法，其特征在于，包括：
获取待处理序列在当前时间步的当前输入向量，所述待处理序列为视频序列或自然语言序列；
利用循环神经网络模型中的控制单元对所述当前输入向量进行处理，获得所述控制单元在所述当前时间步的当前控制细胞状态向量；
根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前工作隐状态向量，其包括：根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前门控向量；根据各个工作单元的当前门控向量对所述当前输入向量进行处理，获得各个工作单元在所述当前时间步的当前工作输入向量；根据各个工作单元的当前工作输入向量获得各个工作单元在所述当前时间步的当前工作隐状态向量；
根据各个工作单元的当前工作隐状态向量，获得所述待处理序列在所述当前时间步的当前输出向量。
2.根据权利要求1所述的方法，其特征在于，根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前门控向量，包括：
获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；
根据所述当前控制细胞状态向量和各个工作单元的历史工作隐状态向量，生成各个工作单元在所述当前时间步的当前门控向量。
3.根据权利要求2所述的方法，其特征在于，根据所述当前控制细胞状态向量和各个工作单元的历史工作隐状态向量，生成各个工作单元在所述当前时间步的当前门控向量，包括：
通过多层感知机对所述当前控制单元状态向量和各个工作单元的历史工作隐状态向量进行处理，获得各个工作单元的当前门控向量。
4.根据权利要求1所述的方法，其特征在于，根据各个工作单元的当前工作输入向量获得各个工作单元在所述当前时间步的当前工作隐状态向量，包括：
获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；
根据各个工作单元的当前工作输入向量以及各个工作单元的历史工作隐状态向量，获得各个工作单元的当前工作隐状态向量。
5.根据权利要求1所述的方法，其特征在于，利用循环神经网络模型中的控制单元对所述当前输入向量进行处理，获得所述控制单元在所述当前时间步的当前控制细胞状态向量，包括：
获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；
拼接所述当前输入向量和各个工作单元的历史工作隐状态向量，获得所述控制单元在所述当前时间步的当前控制输入向量；
根据所述当前控制输入向量、所述控制单元在所述前一时间步的历史控制隐状态向量和历史控制细胞状态向量，获得所述控制单元在所述当前时间步的当前控制隐状态向量和当前控制细胞状态向量。
6.根据权利要求1所述的方法，其特征在于，根据各个工作单元的当前工作隐状态向量，获得所述待处理序列在所述当前时间步的当前输出向量，包括：
拼接各个工作单元的当前工作隐状态向量，获得当前拼接工作隐状态向量；
通过所述循环神经网络模型的全连接层对所述当前拼接工作隐状态向量进行处理，获得所述待处理序列的当前输出向量。
7.根据权利要求1所述的方法，其特征在于，所述控制单元和各个工作单元均为循环神经网络。
8.根据权利要求1所述的方法，其特征在于，所述待处理序列中包括至少两个相互独立的子序列。
9.一种序列处理装置，其特征在于，包括：
当前输入向量获取单元，用于获取待处理序列在当前时间步的当前输入向量，所述待处理序列为视频序列或自然语言序列；
细胞状态向量获得单元，用于利用循环神经网络模型中的控制单元对所述当前输入向量进行处理，获得所述控制单元在所述当前时间步的当前控制细胞状态向量；
工作隐状态向量获得单元，用于根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前工作隐状态向量，所述工作隐状态向量获得单元包括：当前门控向量生成单元，用于根据所述当前控制细胞状态向量，生成所述循环神经网络模型中各个工作单元在所述当前时间步的当前门控向量；工作输入向量获得单元，用于根据各个工作单元的当前门控向量对所述当前输入向量进行处理，获得各个工作单元在所述当前时间步的当前工作输入向量；工作隐状态向量获取单元，用于根据各个工作单元的当前工作输入向量获得各个工作单元在所述当前时间步的当前工作隐状态向量；
当前输出向量获得单元，用于根据各个工作单元的当前工作隐状态向量，获得所述待处理序列在所述当前时间步的当前输出向量。
10.根据权利要求9所述的装置，其特征在于，所述当前门控向量生成单元包括：
历史工作隐状态向量获得单元，用于获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；
当前门控向量获取单元，用于根据所述当前控制细胞状态向量和各个工作单元的历史工作隐状态向量，生成各个工作单元在所述当前时间步的当前门控向量。
11.根据权利要求10所述的装置，其特征在于，所述当前门控向量获取单元包括：
当前门控向量获得单元，用于通过多层感知机对所述当前控制单元状态向量和各个工作单元的历史工作隐状态向量进行处理，获得各个工作单元的当前门控向量。
12.根据权利要求9所述的装置，其特征在于，所述工作隐状态向量获得单元包括：
历史工作隐状态向量获得单元，用于获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；
当前工作隐状态向量获得单元，用于根据各个工作单元的当前工作输入向量以及各个工作单元的历史工作隐状态向量，获得各个工作单元的当前工作隐状态向量。
13.根据权利要求9所述的装置，其特征在于，所述细胞状态向量获得单元包括：
历史工作隐状态向量获得单元，用于获得各个工作单元在所述当前时间步的前一时间步的历史工作隐状态向量；
当前控制输入向量获得单元，用于拼接所述当前输入向量和各个工作单元的历史工作隐状态向量，获得所述控制单元在所述当前时间步的当前控制输入向量；
控制细胞状态向量获得单元，用于根据所述当前控制输入向量、所述控制单元在所述前一时间步的历史控制隐状态向量和历史控制细胞状态向量，获得所述控制单元在所述当前时间步的当前控制隐状态向量和当前控制细胞状态向量。
14.根据权利要求9所述的装置，其特征在于，所述当前输出向量获得单元包括：
向量拼接单元，用于拼接各个工作单元的当前工作隐状态向量，获得当前拼接工作隐状态向量；
当前输出向量生成单元，用于通过所述循环神经网络模型的全连接层对所述当前拼接工作隐状态向量进行处理，获得所述待处理序列的当前输出向量。
15.根据权利要求9所述的装置，其特征在于，所述控制单元和各个工作单元均为循环神经网络。
16.根据权利要求9所述的装置，其特征在于，所述待处理序列中包括至少两个相互独立的子序列。
17.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至8任一项所述的方法。
18.一种电子设备，其特征在于，包括：
至少一个处理器；
存储装置，配置为存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如权利要求1至8中任一项所述的方法。
CN202010857256.XA 2020-08-24 2020-08-24 序列处理方法及相关设备 Active CN112036546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010857256.XA CN112036546B (zh) 2020-08-24 2020-08-24 序列处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010857256.XA CN112036546B (zh) 2020-08-24 2020-08-24 序列处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN112036546A CN112036546A (zh) 2020-12-04
CN112036546B true CN112036546B (zh) 2023-11-17

Family

ID=73580023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010857256.XA Active CN112036546B (zh) 2020-08-24 2020-08-24 序列处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN112036546B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011555B (zh) * 2021-02-09 2023-01-31 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265345A (ja) * 2006-03-30 2007-10-11 Sony Corp 情報処理装置および方法、学習装置および方法、並びにプログラム
CN105868829A (zh) * 2015-02-06 2016-08-17 谷歌公司 用于数据项生成的循环神经网络
CN108510065A (zh) * 2018-03-30 2018-09-07 中国科学院计算技术研究所 应用于长短时记忆神经网络的计算装置和计算方法
CN108776832A (zh) * 2018-06-05 2018-11-09 腾讯科技（深圳）有限公司 信息处理方法、装置、计算机设备和存储介质
CN110162783A (zh) * 2019-04-17 2019-08-23 腾讯科技（深圳）有限公司 用于语言处理的循环神经网络中隐状态的生成方法和装置
CN110913229A (zh) * 2018-09-18 2020-03-24 腾讯科技（深圳）有限公司 基于rnn的解码器隐状态确定方法、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138887A1 (en) * 2017-11-01 2019-05-09 Board Of Trustees Of Michigan State University Systems, methods, and media for gated recurrent neural networks with reduced parameter gating signals and/or memory-cell units
US20190325294A1 (en) * 2018-04-18 2019-10-24 Qualcomm Incorporated Recurrent neural network model compaction
US11694062B2 (en) * 2018-09-27 2023-07-04 Nec Corporation Recurrent neural networks having a probabilistic state component and state machines extracted from the recurrent neural networks
EP3671568A1 (en) * 2018-12-17 2020-06-24 IMEC vzw Binary recurrent neural network inference technique

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265345A (ja) * 2006-03-30 2007-10-11 Sony Corp 情報処理装置および方法、学習装置および方法、並びにプログラム
CN105868829A (zh) * 2015-02-06 2016-08-17 谷歌公司 用于数据项生成的循环神经网络
CN108510065A (zh) * 2018-03-30 2018-09-07 中国科学院计算技术研究所 应用于长短时记忆神经网络的计算装置和计算方法
CN108776832A (zh) * 2018-06-05 2018-11-09 腾讯科技（深圳）有限公司 信息处理方法、装置、计算机设备和存储介质
CN110913229A (zh) * 2018-09-18 2020-03-24 腾讯科技（深圳）有限公司 基于rnn的解码器隐状态确定方法、设备和存储介质
CN110162783A (zh) * 2019-04-17 2019-08-23 腾讯科技（深圳）有限公司 用于语言处理的循环神经网络中隐状态的生成方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Phased LSTM: Accelerating Recurrent Network Training for Long or Event-based Sequences";Daniel Neil et al.;arXiv;摘要，正文第1-2章 *
时频联合长时循环神经网络;庄连生;吕扬;杨健;李厚强;;计算机研究与发展(12);全文 *

Also Published As

Publication number Publication date
CN112036546A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN110377710B (zh) 一种基于多模态融合的视觉问答融合增强方法
CN111339255B (zh) 目标情感分析的方法、模型训练方法、介质和设备
WO2021159714A1 (zh) 一种数据处理方法及相关设备
CN112069302B (zh) 会话意图识别模型的训练方法、会话意图识别方法及装置
WO2022068627A1 (zh) 一种数据处理方法及相关设备
CN113254785B (zh) 推荐模型训练方法、推荐方法和相关设备
CN113761153B (zh) 基于图片的问答处理方法、装置、可读介质及电子设备
CN113392210A (zh) 文本分类方法、装置、电子设备及存储介质
CN111898636B (zh) 一种数据处理方法及装置
CN110795944A (zh) 推荐内容处理方法及装置、情感属性确定方法及装置
CN114818691A (zh) 文章内容的评价方法、装置、设备及介质
CN110825849A (zh) 文本信息情感分析方法、装置、介质及电子设备
CN116432019A (zh) 一种数据处理方法及相关设备
Lv et al. Cognitive robotics on 5G networks
CN112988851B (zh) 反事实预测模型数据处理方法、装置、设备及存储介质
Park et al. An effective 3D text recurrent voting generator for metaverse
CN112036546B (zh) 序列处理方法及相关设备
Yuan et al. Deep learning from a statistical perspective
CN116610218A (zh) Ai数字人的交互方法、装置及系统
Ali et al. Counterfactual explanation of Bayesian model uncertainty
CN113779244B (zh) 文档情感分类方法、装置、存储介质以及电子设备
CN116957006A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
Julian Deep learning with pytorch quick start guide: learn to train and deploy neural network models in Python
CN114298961A (zh) 图像处理方法、装置、设备及存储介质
Zheng et al. A knowledge-based task planning approach for robot multi-task manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant