CN109670158A - 一种用于根据资讯数据生成文本内容的方法与设备 - Google Patents
一种用于根据资讯数据生成文本内容的方法与设备 Download PDFInfo
- Publication number
- CN109670158A CN109670158A CN201811610174.4A CN201811610174A CN109670158A CN 109670158 A CN109670158 A CN 109670158A CN 201811610174 A CN201811610174 A CN 201811610174A CN 109670158 A CN109670158 A CN 109670158A
- Authority
- CN
- China
- Prior art keywords
- data
- corpus
- text
- matched
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 230000000306 recurrent effect Effects 0.000 claims abstract description 15
- 238000013499 data model Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 239000011159 matrix material Substances 0.000 description 37
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000003796 beauty Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Machine Translation (AREA)
Abstract
本申请的目的是提供一种用于根据资讯数据生成文本内容的方法和设备，对待处理的资讯数据进行特征提取，以确定对应的数据特征；将所述数据特征应用于匹配数据模型以匹配对应的语料，其中所述匹配数据模型包括一递归神经网络，所述递归神经网络包括一附加乘法单元层，所述附加乘法单元层设置于一对连续层之间；基于所述数据特征和所述数据特征所匹配的语料，生成相应的文本内容。本申请改进的时间结构解决了增加隐藏状态的维度对性能的提升有所帮助、但是每个参数的增益并不足以使该方法能与最新技术相抗衡的问题，相较于通常的RNN而言更适于中文建模应用。
Description
技术领域
本申请涉及计算机领域，尤其涉及一种用于根据资讯数据生成文本内容的技术。
背景技术
随着大数据技术的迅速发展，基于神经网络的自动文本生成算法也逐渐得到关注和应用。但是，现阶段的自动文本生成算法难以从文本中提取较高层次的造词、造句知识，且对生成的文本的长度有限制。
参考图1，递归神经网络是在标准神经网络上的一个变形，以允许它对连续数据进行建模。在每个时间步，RNN接收输入，更新其隐藏状态，并进行预测。虽然每个单元使用的非线性十分简单，但随着时间的推移，迭代的RNN单元会产生非常丰富的动态变化。递归神经网络是一个深度前馈神经网络，其隐藏状态(变量权重)随时间共享。RNN丰富的动态变化来源于隐藏单元所使用的非线性激活函数。
标准RNN的形式化如下：给定输入向量序列(x1,...,xT)，通过迭代下面的等式，RNN计算一系列隐藏状态(h1,...,hT)和一系列输出(o1,...,oT)。
从t＝1到t＝T:
ht＝tanh(Whxxt+Whh h(t-1)+bh) (1)
ot＝Woh ht+bo (2)
其中，Whx是输入到隐藏权重的权重矩阵，Whh是隐藏权重到下一个时间步的隐藏权重的权重矩阵，Woh是隐藏权重到输出的权重矩阵，矢量bh和bo是偏差变量。在时间步t＝1，Whh h(t-1)是未定义的，它被一个特殊初始化的偏差向量hinit代替。tanh是非线性激活函数。
对于采用递归神经网络(Recurrent Neural Network,RNN)以实现文本自动生成的情形而言，尽管RNN的梯度很容易通过由于RNN的参数具有很强的动态调整特性，因此参数之间的关系非常不稳定，最终导致梯度下降算法的使用效果不佳。另一方面，反向传播算法的梯度在某些情况下也会成倍增长，导致极大地增加了梯度的变化，使得模型训练非常的不稳定。由于梯度下降是一段时期内用于训练神经网络的主要算法，这些理论结果和训练RNN的经验导致了RNN研究的近乎停滞。
发明内容
本申请的一个目的是提供一种用于根据资讯数据生成文本内容的方法和设备。
根据本申请的一个方面，提供了一种用于根据资讯数据生成文本内容的方法，该方法包括以下步骤：
对待处理的资讯数据进行特征提取，以确定对应的数据特征；
将所述数据特征应用于匹配数据模型以匹配对应的语料，其中所述匹配数据模型包括一递归神经网络，所述递归神经网络包括一附加乘法单元层，所述附加乘法单元层设置于一对连续层之间；
基于所述数据特征和所述数据特征所匹配的语料，生成相应的文本内容。
根据本申请的另一个方面，提供了一种用于根据资讯数据生成文本内容的设备，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上所述方法的操作。
根据本申请的另一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统执行以上所述方法的操作。
与现有技术相比，本申请所提供的实施例在RNN中引入了乘法门连接，允许当前输入文字不仅改变RNN的隐藏状态，并且动态改变RNN单元的参数，使得不同的输入使用不同的RNN单元参数，从而定义了每个有联系的上下文预测过程的先验过程，在字段语言建模方面具有突破性成果，相较于通常的RNN而言更适于中文建模应用。本申请改进的时间结构解决了增加隐藏状态的维度对性能的提升有所帮助、但是每个参数的增益并不足以使该方法能与最新技术相抗衡的问题，非线性动态过程使得改进后的模型能够从文本中提取更高层次的造词和造句的“知识”，并且该模型对于文章的产生长度没有任何限制。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出一种递归神经网络模型的结构；
图2示出根据本申请一个实施例的一种用于根据资讯数据生成文本内容的方法流程图；
图3示出根据本申请一个实施例的一种改进的递归神经网络模型的结构；
图4示出根据本申请一个实施例的一种用于根据资讯数据生成文本内容的设备的功能模块；
图5示出本申请的一种示例性系统的功能模块。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
本申请公开了一种文本内容生成设备，用于根据资讯数据生成文本内容。以下基于该设备，对本申请所提供的用于根据资讯数据生成文本内容的方法进行详细阐述。
根据本申请的一个方面，提供了一种用于根据资讯数据生成文本内容的方法。参考图2，该方法包括步骤S10、步骤S20和步骤S30。
在步骤S10中，文本内容生成设备对待处理的资讯数据进行特征提取，以确定对应的数据特征。其中，在一些实施例中，上述数据特征既可包括结构化数据特征，又可包括非结构化数据特征。例如，对于股票数据而言，一种典型的资讯数据如下：
股票：xx钢铁
10:10 9.8元
10:11 9.7元
……
对上述资讯数据进行特征提取后，得到如下非结构化数据特征：
1.5分钟波幅超5％
2.盘中创历史最高价格
3.盘中停盘
4.开盘涨停，缓慢下探
……
随后，在步骤S20中，文本内容生成设备将所述数据特征应用于匹配数据模型以匹配对应的语料，其中所述匹配数据模型包括一递归神经网络，所述递归神经网络包括一附加乘法单元层，所述附加乘法单元层设置于一对连续层之间。例如，将上述数据特征向量化，并输入上述匹配数据模型中以获取所需语料。例如，在一些实施例中，该语料包括逻辑语料，在此，匹配得到的逻辑语料示例如下：“1.该股盘中出现短暂套利抛盘，随之主力资金进场，股价被直线拉升。”
其中，附加乘法单元层用于分解张量，具体解释如下。
RNN的隐藏状态依赖于时间步中上一个隐藏状态的当前时间步的矩阵输入。在一个标准的RNN中(等式1和2)，当前的输入xt首先通过可见到隐含的权重矩阵进行变换，然后与当前隐藏状态的输入进行相加。当前输入字符影响隐藏状态的一个更有效的方法是除了提供一个相加的偏差之外，还要决定隐藏的整个隐藏矩阵。使用这种方法的灵感来自于将RNN视为无界树的模型，其中每个节点是隐藏状态向量，并且每个被字符标记的边来决定父节点如何触发子节点。这种观点强调了RNN与马尔可夫模型的相似之处，该模型在树中存储熟悉的字符串，且节点的分布式表示允许不同的节点分享知识。例如，字段“丽”在“美”之后是很有可能的，同时也很有可能在“靓”之后。那么如果表示两个历史“美”和“靓”的隐藏状态由同一个向量表示，那么这个向量很有可能是一个表示美好的形容词。但同时需要在不同情况下对这个隐藏向量做不同的解析，那么我们需要另一个独立的矩阵与之相乘。为了实现这个目标，发明人改进了RNN，使下一个时间步的隐藏权重到隐藏权重的矩阵是当前时间步的输入矩阵xt的学习函数：
ht＝tanh(Whx xt+Whh (xt)h(t-1)+bh) (3)
ot＝Wohht+bo (4)
除了Whh被Whh (xt)代替以外，上述等式和等式1，2相同。Whh (xt)允许每个字符保存自己的隐藏权重到下一步隐藏权重的权重矩阵。最自然的是定义Whh (xt)为一个张量。如果我们保存M个矩阵，Whh (1),…,Whh (M)，其中M是xt的维度，可用下式定义Whh (xt)：
Whh (xt)＝Σxt (m)Whh (m),1≤m≤M (5)
其中xt (m)是第m个xt的坐标。当输入xt是m个字段中的一个字段的编码，不难看出每一个字段都有自己的权重矩阵Whh (xt)。
在上述方案的基础上，为了减小一般的三维向量的大小对系统的可扩展性的限制(比如使用记录大量数据的隐藏状态的RNN，即便xt的维度只是中等大小，张量Whh (xt)所需的存储可能已经不可接受)，可通过分解张量Whh (xt)实现。
在此，引入三个矩阵Wfx、Whf和W_fh，通过下式对矩阵Whh (xt)重新参数化：
Whh (xt)＝Whf·diag(Wfx xt)·wfh (6)
如果由F决定的矢量Wfxxt的维度足够大，则分解的算法与原始张量具有一样的表现力。如果F较小，那么只需要较少的参数就能表示，但我们同时希望它能够保留大部分与原始张量一样的表达能力。通过在等式3中带入等式6来分解张量RNN。通过迭代计算下列方程来计算隐藏状态序列(h1,...,hT)，附加的“因子状态序列”(f1,...,fT)和输出序列(o1,...,oT):
ft＝diag(Wfx xt)·Wfh h(t-1) (7)
ht＝tanh(Whf ft)+Whx xt (8)
ot＝Woh ht+bo (9)
它们实现了图3所示的神经网络。
张量等式的分解(等式6)由每对连续层之间的附加乘法单元层表示，即图3中的三角形。因此对于每个输入时间步，实际上在其隐藏状态下具有两个非线性处理步骤。每个乘法单元输出等式7的数值ft是两个线性滤波器的输出的乘积，这两个线性滤波器将乘法单元连接到之前的隐藏状态和输入。在一些实施例中，继续参考图3，所述匹配模型包括多对连续层，其中每对连续层之间均分别设置有一附加乘法单元层。
在一些实施例中，每个附加乘法单元层包括多个附加乘法单元；每个附加乘法单元分别具有两个输入点和一个输出点，所述两个输入点分别包括线性滤波器，其中该两个输入点所对应线性滤波器输出的乘积加权连接至连接所述输出点的所有其他附加乘法单元。继续参考图3，每个三角形符号代表一个因子，在其两个输入顶点的每一个上使用学习过的线性滤波器。这两个线性滤波器输出的乘积通过加权连接发送到连接到三角形的第三个顶点的所有单元。因此，每个输入都可以通过确定所有因素的增益来合成它自己隐藏的权重矩阵，每个因子表示一个隐藏权重矩阵的一级隐藏权重矩阵，由它的输入和输出权向量的外积定义到隐藏单元。合成的权重矩阵共享“结构”，因为它们都是通过混合相同的一组矩阵形成的。相反，无约束张量模型确保每个输入具有完全独立的权重矩阵。
在步骤S30中，文本内容生成设备基于所述数据特征和所述数据特征所匹配的语料，生成相应的文本内容，例如将相应地语料和数据填充至预设的动态模板中，以生成相应的文本内容。
在一些实施例中，上述语料包括逻辑语料。上述方法还包括步骤S40(未示出)。在步骤S40中，文本内容生成设备获取所述语料所对应的内容结构；随后在步骤S30中，文本内容生成设备基于所述内容结构、所述数据特征，以及所述数据特征所匹配的逻辑语料，生成相应的文本内容。在一些实施例中，进一步地，为了充实相应的文本内容以提高用户的阅读效率、提升用户使用体验，上述语料还可进一步包括知识语料(例如，对应于相应概念的背景知识)，相应地，在步骤S30中，文本内容生成设备基于所述内容结构、所述数据特征和所述数据特征所匹配的逻辑语料，并基于所述内容结构以及所述数据特征所匹配的知识语料，生成相应的文本内容。以下举例说明。
仍以股票数据为例，在获取所需企业的背景知识、获取所需的动态模板以及上述匹配的语料之后，模板生成模块在动态模板的基础上添加匹配语料，生成简报模板；随后系统将数据处理模块生成的标签过的数据填入上述模板以生成简报。接上例，简报模板如下：
“8月16日消息，<股票>开盘报<股票价格>元，该股盘中出现短暂套利抛盘，随之主力资金进场，股价被直线拉升。截至发稿时该股报<股票价格>元。
“截止2017年3月31日，xxxx营业收入xx.xx亿元，同比去年下降60％。归属于……
“xxxx有限公司是以跨地区、跨行业、多元化经营为模式的大型企业集团，集团业务涵盖了xx制品、……领先水平。”
将相应数据填充至该模板，得到简报如下：
“8月16日消息，xxxx(股票代码:xxxx)开盘报14.15元，该股盘中出现短暂套利抛盘，随之主力资金进场，股价被直线拉升。截至发稿时该股报15.2元。
“截止2017年3月31日，xxxx营业收入xx.xx亿元，同比去年下降60％。归属于……
“xxxx有限公司是以跨地区、跨行业、多元化经营为模式的大型企业集团，集团业务涵盖了xx制品、……领先水平。”
基于以上所述，通过在RNN中引入乘法门连接，上述方案允许当前输入文字不仅改变RNN的隐藏状态，并且动态改变RNN单元的参数，使得不同的输入使用不同的RNN单元参数。
在一些实施例中，所述匹配数据模型基于幂等性分布架构。由于简报系统需要对大大量数据进行实时处理，需要针对高并发访问和海量数据处理设计稳定的并行处理架构，并可采用1:1热备份，当模块发生问题时备份系统将接入服务用户，从而提高系统的可靠性。另外，基于幂等处理的架构承载于RabbitMQ并行处理架构之上，可动态调整服务器处理能力。
根据本申请的另一个方面，提供了一种用于根据资讯数据生成文本内容的文本内容生成设备。参考图4，该设备包括第一模块10、第二模块20和第三模块30。
第一模块10对待处理的资讯数据进行特征提取，以确定对应的数据特征。其中，在一些实施例中，上述数据特征既可包括结构化数据特征，又可包括非结构化数据特征。例如，对于股票数据而言，一种典型的资讯数据如下：
股票：xx钢铁
10:10 9.8元
10:11 9.7元
……
对上述资讯数据进行特征提取后，得到如下非结构化数据特征：
1.5分钟波幅超5％
2.盘中创历史最高价格
3.盘中停盘
4.开盘涨停，缓慢下探
……
随后，第二模块20将所述数据特征应用于匹配数据模型以匹配对应的语料，其中所述匹配数据模型包括一递归神经网络，所述递归神经网络包括一附加乘法单元层，所述附加乘法单元层设置于一对连续层之间。例如，将上述数据特征向量化，并输入上述匹配数据模型中以获取所需语料。例如，在一些实施例中，该语料包括逻辑语料，在此，匹配得到的逻辑语料示例如下：“1.该股盘中出现短暂套利抛盘，随之主力资金进场，股价被直线拉升。”
其中，附加乘法单元层用于分解张量，具体解释如下。
RNN的隐藏状态依赖于时间步中上一个隐藏状态的当前时间步的矩阵输入。在一个标准的RNN中(等式1和2)，当前的输入xt首先通过可见到隐含的权重矩阵进行变换，然后与当前隐藏状态的输入进行相加。当前输入字符影响隐藏状态的一个更有效的方法是除了提供一个相加的偏差之外，还要决定隐藏的整个隐藏矩阵。使用这种方法的灵感来自于将RNN视为无界树的模型，其中每个节点是隐藏状态向量，并且每个被字符标记的边来决定父节点如何触发子节点。这种观点强调了RNN与马尔可夫模型的相似之处，该模型在树中存储熟悉的字符串，且节点的分布式表示允许不同的节点分享知识。例如，字段“丽”在“美”之后是很有可能的，同时也很有可能在“靓”之后。那么如果表示两个历史“美”和“靓”的隐藏状态由同一个向量表示，那么这个向量很有可能是一个表示美好的形容词。但同时需要在不同情况下对这个隐藏向量做不同的解析，那么我们需要另一个独立的矩阵与之相乘。为了实现这个目标，发明人改进了RNN，使下一个时间步的隐藏权重到隐藏权重的矩阵是当前时间步的输入矩阵xt的学习函数：
ht＝tanh(Whx xt+Whh (xt)h(t-1)+bh) (3)
ot＝Wohht+bo (4)
除了Whh被Whh (xt)代替以外，上述等式和等式1，2相同。Whh (xt)允许每个字符保存自己的隐藏权重到下一步隐藏权重的权重矩阵。最自然的是定义Whh (xt)为一个张量。如果我们保存M个矩阵，Whh (1),…,Whh (M)，其中M是xt的维度，可用下式定义Whh (xt)：
Whh (xt)＝Σxt (m)Whh (m),1≤m≤M (5)
其中xt (m)是第m个xt的坐标。当输入xt是m个字段中的一个字段的编码，不难看出每一个字段都有自己的权重矩阵Whh (xt)。
在上述方案的基础上，为了减小一般的三维向量的大小对系统的可扩展性的限制(比如使用记录大量数据的隐藏状态的RNN，即便xt的维度只是中等大小，张量Whh (xt)所需的存储可能已经不可接受)，可通过分解张量Whh (xt)实现。
在此，引入三个矩阵Wfx、Whf和W_fh，通过下式对矩阵Whh (xt)重新参数化：
Whh (xt)＝Whf·diag(Wfx xt)·wfh (6)
如果由F决定的矢量Wfxxt的维度足够大，则分解的算法与原始张量具有一样的表现力。如果F较小，那么只需要较少的参数就能表示，但我们同时希望它能够保留大部分与原始张量一样的表达能力。通过在等式3中带入等式6来分解张量RNN。通过迭代计算下列方程来计算隐藏状态序列(h1,...,hT)，附加的“因子状态序列”(f1,...,fT)和输出序列(o1,...,oT):
ft＝diag(Wfx xt)·Wfh h(t-1) (7)
ht＝tanh(Whf ft)+Whx xt (8)
ot＝Woh ht+bo (9)
它们实现了图3所示的神经网络。
张量等式的分解(等式6)由每对连续层之间的附加乘法单元层表示，即图3中的三角形。因此对于每个输入时间步，实际上在其隐藏状态下具有两个非线性处理步骤。每个乘法单元输出等式7的数值ft是两个线性滤波器的输出的乘积，这两个线性滤波器将乘法单元连接到之前的隐藏状态和输入。在一些实施例中，继续参考图3，所述匹配模型包括多对连续层，其中每对连续层之间均分别设置有一附加乘法单元层。
在一些实施例中，每个附加乘法单元层包括多个附加乘法单元；每个附加乘法单元分别具有两个输入点和一个输出点，所述两个输入点分别包括线性滤波器，其中该两个输入点所对应线性滤波器输出的乘积加权连接至连接所述输出点的所有其他附加乘法单元。继续参考图3，每个三角形符号代表一个因子，在其两个输入顶点的每一个上使用学习过的线性滤波器。这两个线性滤波器输出的乘积通过加权连接发送到连接到三角形的第三个顶点的所有单元。因此，每个输入都可以通过确定所有因素的增益来合成它自己隐藏的权重矩阵，每个因子表示一个隐藏权重矩阵的一级隐藏权重矩阵，由它的输入和输出权向量的外积定义到隐藏单元。合成的权重矩阵共享“结构”，因为它们都是通过混合相同的一组矩阵形成的。相反，无约束张量模型确保每个输入具有完全独立的权重矩阵。
第三模块30基于所述数据特征和所述数据特征所匹配的语料，生成相应的文本内容，例如将相应地语料和数据填充至预设的动态模板中，以生成相应的文本内容。
在一些实施例中，上述语料包括逻辑语料。上述设备还包括第四模块40(未示出)。第四模块40获取所述语料所对应的内容结构；随后在步骤S30中，文本内容生成设备基于所述内容结构、所述数据特征，以及所述数据特征所匹配的逻辑语料，生成相应的文本内容。在一些实施例中，进一步地，为了充实相应的文本内容以提高用户的阅读效率、提升用户使用体验，上述语料还可进一步包括知识语料(例如，对应于相应概念的背景知识)，相应地，第三模块30基于所述内容结构、所述数据特征和所述数据特征所匹配的逻辑语料，并基于所述内容结构以及所述数据特征所匹配的知识语料，生成相应的文本内容。以下举例说明。
仍以股票数据为例，在获取所需企业的背景知识、获取所需的动态模板以及上述匹配的语料之后，模板生成模块在动态模板的基础上添加匹配语料，生成简报模板；随后系统将数据处理模块生成的标签过的数据填入上述模板以生成简报。接上例，简报模板如下：
“8月16日消息，<股票>开盘报<股票价格>元，该股盘中出现短暂套利抛盘，随之主力资金进场，股价被直线拉升。截至发稿时该股报<股票价格>元。
“截止2017年3月31日，xxxx营业收入xx.xx亿元，同比去年下降60％。归属于……
“xxxx有限公司是以跨地区、跨行业、多元化经营为模式的大型企业集团，集团业务涵盖了xx制品、……领先水平。”
将相应数据填充至该模板，得到简报如下：
“8月16日消息，xxxx(股票代码:xxxx)开盘报14.15元，该股盘中出现短暂套利抛盘，随之主力资金进场，股价被直线拉升。截至发稿时该股报15.2元。
“截止2017年3月31日，xxxx营业收入xx.xx亿元，同比去年下降60％。归属于……
“xxxx有限公司是以跨地区、跨行业、多元化经营为模式的大型企业集团，集团业务涵盖了xx制品、……领先水平。”
基于以上所述，通过在RNN中引入乘法门连接，上述方案允许当前输入文字不仅改变RNN的隐藏状态，并且动态改变RNN单元的参数，使得不同的输入使用不同的RNN单元参数。
在一些实施例中，所述匹配数据模型基于幂等性分布架构。由于简报系统需要对大大量数据进行实时处理，需要针对高并发访问和海量数据处理设计稳定的并行处理架构，并可采用1:1热备份，当模块发生问题时备份系统将接入服务用户，从而提高系统的可靠性。另外，基于幂等处理的架构承载于RabbitMQ并行处理架构之上，可动态调整服务器处理能力。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图5示出了可被用于实施本申请中所述的各个实施例的示例性系统。
如图5所示，在一些实施例中，系统100能够作为各所述实施例中的任意一个文本内容生成设备。在一些实施例中，系统100可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备120)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器105)。
对于一个实施例，系统控制模块110可包括任意适当的接口控制器，以向(一个或多个)处理器105中的至少一个和/或与系统控制模块110通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块110可包括存储器控制器模块130，以向系统存储器115提供接口。存储器控制器模块130可以是硬件模块、软件模块和/或固件模块。
系统存储器115可被用于例如为系统100加载和存储数据和/或指令。对于一个实施例，系统存储器115可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器115可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块110可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备120及(一个或多个)通信接口125提供接口。
例如，NVM/存储设备120可被用于存储数据和/或指令。NVM/存储设备120可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备120可包括在物理上作为系统100被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备120可通过网络经由(一个或多个)通信接口125进行访问。
(一个或多个)通信接口125可为系统100提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统100可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器(例如，存储器控制器模块130)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统100可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统100可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统100包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (10)
1.一种用于根据资讯数据生成文本内容的方法，其中，该方法包括以下步骤：
a对待处理的资讯数据进行特征提取，以确定对应的数据特征；
b将所述数据特征应用于匹配数据模型以匹配对应的语料，其中所述匹配数据模型包括一递归神经网络，所述递归神经网络包括一附加乘法单元层，所述附加乘法单元层设置于一对连续层之间；
c基于所述数据特征和所述数据特征所匹配的语料，生成相应的文本内容。
2.根据权利要求1所述的方法，其中，所述数据特征包括以下至少任一项：
结构化数据特征；
非结构化数据特征。
3.根据权利要求1所述的方法，其中，所述匹配模型包括多对连续层，其中每对连续层之间均分别设置有一附加乘法单元层。
4.根据权利要求3所述的方法，其中，每个附加乘法单元层包括多个附加乘法单元；每个附加乘法单元分别具有两个输入点和一个输出点，所述两个输入点分别包括线性滤波器，其中该两个输入点所对应线性滤波器输出的乘积加权连接至连接所述输出点的所有其他附加乘法单元。
5.根据权利要求1所述的方法，其中，所述语料包括逻辑语料；
所述方法还包括：
获取所述语料所对应的内容结构；
所述步骤c包括：
基于所述内容结构、所述数据特征，以及所述数据特征所匹配的逻辑语料，生成相应的文本内容。
6.根据权利要求5所述的方法，其中，所述语料还包括知识语料，所述步骤c还包括：
基于所述内容结构、所述数据特征和所述数据特征所匹配的逻辑语料，并基于所述内容结构以及所述数据特征所匹配的知识语料，生成相应的文本内容。
7.根据权利要求1所述的方法，其中，所述匹配数据模型基于幂等性分布架构。
8.根据权利要求7所述的方法，其中，所述幂等性分布架构承载于并行处理架构。
9.一种用于根据资讯数据生成文本内容的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至8中任一项所述方法的操作。
10.一种存储指令的计算机可读介质，所述指令在被执行时使得系统执行根据权利要求1至8中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811610174.4A CN109670158B (zh) | 2018-12-27 | 2018-12-27 | 一种用于根据资讯数据生成文本内容的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811610174.4A CN109670158B (zh) | 2018-12-27 | 2018-12-27 | 一种用于根据资讯数据生成文本内容的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109670158A true CN109670158A (zh) | 2019-04-23 |
| CN109670158B CN109670158B (zh) | 2023-09-29 |
Family
ID=66147286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811610174.4A Active CN109670158B (zh) | 2018-12-27 | 2018-12-27 | 一种用于根据资讯数据生成文本内容的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109670158B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110331A (zh) * | 2019-04-30 | 2019-08-09 | 清华大学 | 文本生成方法、装置、介质和计算设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485323A (zh) * | 2015-10-08 | 2017-03-08 | 上海兆芯集成电路有限公司 | 具有输出缓冲器反馈以执行时间递归神经网络计算的神经网络单元 |
| CN106775599A (zh) * | 2017-01-09 | 2017-05-31 | 南京工业大学 | 递归神经网络的多计算单元粗粒度可重构系统及方法 |
| CN107038476A (zh) * | 2016-02-03 | 2017-08-11 | 谷歌公司 | 经压缩的递归神经网络模型 |
| CN107798385A (zh) * | 2017-12-08 | 2018-03-13 | 电子科技大学 | 基于块张量分解的循环神经网络稀疏连接方法 |
| CN107818367A (zh) * | 2017-10-30 | 2018-03-20 | 中国科学院计算技术研究所 | 用于神经网络的处理系统和处理方法 |
| US20180121786A1 (en) * | 2016-10-27 | 2018-05-03 | Google Llc | Neural network instruction set architecture |
| US20180181857A1 (en) * | 2016-12-27 | 2018-06-28 | Texas Instruments Incorporated | Reduced Complexity Convolution for Convolutional Neural Networks |
| US20180349767A1 (en) * | 2017-06-02 | 2018-12-06 | Xerox Corporation | Symbolic priors for recurrent neural network based semantic parsing |
| US20180349765A1 (en) * | 2017-05-30 | 2018-12-06 | Xerox Corporation | Log-linear recurrent neural network |
-
2018
- 2018-12-27 CN CN201811610174.4A patent/CN109670158B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485323A (zh) * | 2015-10-08 | 2017-03-08 | 上海兆芯集成电路有限公司 | 具有输出缓冲器反馈以执行时间递归神经网络计算的神经网络单元 |
| CN107038476A (zh) * | 2016-02-03 | 2017-08-11 | 谷歌公司 | 经压缩的递归神经网络模型 |
| US20180121786A1 (en) * | 2016-10-27 | 2018-05-03 | Google Llc | Neural network instruction set architecture |
| US20180181857A1 (en) * | 2016-12-27 | 2018-06-28 | Texas Instruments Incorporated | Reduced Complexity Convolution for Convolutional Neural Networks |
| CN106775599A (zh) * | 2017-01-09 | 2017-05-31 | 南京工业大学 | 递归神经网络的多计算单元粗粒度可重构系统及方法 |
| US20180349765A1 (en) * | 2017-05-30 | 2018-12-06 | Xerox Corporation | Log-linear recurrent neural network |
| US20180349767A1 (en) * | 2017-06-02 | 2018-12-06 | Xerox Corporation | Symbolic priors for recurrent neural network based semantic parsing |
| CN107818367A (zh) * | 2017-10-30 | 2018-03-20 | 中国科学院计算技术研究所 | 用于神经网络的处理系统和处理方法 |
| CN107798385A (zh) * | 2017-12-08 | 2018-03-13 | 电子科技大学 | 基于块张量分解的循环神经网络稀疏连接方法 |
Non-Patent Citations (4)
| Title |
|---|
| 周佳逸: "基于张量递归神经网络的英文语义关系分类方法研究", 《现代计算机》 * |
| 周佳逸: "基于张量递归神经网络的英文语义关系分类方法研究", 《现代计算机》, 15 April 2015 (2015-04-15) * |
| 张丹丹: "时滞四元数递归神经网络的稳定性分析", 《中国优秀硕士学位论文全文数据库基础科学辑》 * |
| 张丹丹: "时滞四元数递归神经网络的稳定性分析", 《中国优秀硕士学位论文全文数据库基础科学辑》, 15 June 2018 (2018-06-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110331A (zh) * | 2019-04-30 | 2019-08-09 | 清华大学 | 文本生成方法、装置、介质和计算设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109670158B (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9916394B2 (en) | Vectorized graph processing | |
| US20230023520A1 (en) | Training Method, Apparatus, and Device for Federated Neural Network Model, Computer Program Product, and Computer-Readable Storage Medium | |
| Ruszkowski et al. | Global simulations of galactic winds including cosmic-ray streaming | |
| Smith et al. | Social tipping intervention strategies for rapid decarbonization need to consider how change happens | |
| US9501778B2 (en) | Delivering personalized recommendations that relate to transactions on display | |
| Frembs et al. | Contextuality as a resource for measurement-based quantum computation beyond qubits | |
| TW201939917A (zh) | 圖結構模型訓練、垃圾帳戶識別方法、裝置以及設備 | |
| Jahnke | Recent developments in the holographic description of quantum chaos | |
| Giddings | Modulated Hawking radiation and a nonviolent channel for information release | |
| CN103049383A (zh) | 一种开发测试云系统 | |
| Sweke et al. | Lieb–Robinson bounds for open quantum systems with long-ranged interactions | |
| JP7297038B2 (ja) | ニューラルネットワークモデルの事前トレーニング方法、装置、電子機器及び媒体 | |
| EP4131083A2 (en) | Method and apparatus for generating federated learning model | |
| CN107370835A (zh) | 一种基于sdn和nfv技术的云计算中心网络架构 | |
| CN110335140A (zh) | 基于社交关系预测贷款黑中介的方法、装置、电子设备 | |
| Tornow et al. | Non-equilibrium dynamics of a dissipative two-site Hubbard model simulated on IBM quantum computers | |
| Kasim et al. | Dual unitary circuits in random geometries | |
| CN113836235A (zh) | 基于数据中台的数据处理方法及其相关设备 | |
| Tracy | Software: A Technical History | |
| Akter et al. | Collisional Solitons Described by Two‐Sided Beta Time Fractional Korteweg‐de Vries Equations in Fluid‐Filled Elastic Tubes | |
| CN109670158A (zh) | 一种用于根据资讯数据生成文本内容的方法与设备 | |
| CN106383738B (zh) | 任务处理方法和分布式计算框架 | |
| CN109960836A (zh) | 一种湍流尾流仿真的方法、装置及终端设备 | |
| Wang et al. | GPU‐accelerated finite‐difference time‐domain method for dielectric media based on CUDA | |
| CN107037945A (zh) | 一种焦点处理方法、装置和智能终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 6013, building 14, 785 Hutai Road, Jing'an District, Shanghai Applicant after: DANHAN INTELLIGENT TECHNOLOGY (SHANGHAI) Co.,Ltd. Address before: Room 118, Building 20, No. 83 Lane 1-42, Hongxiang North Road, Wanxiang Town, Pudong New Area, Shanghai Applicant before: DANHAN INTELLIGENT TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230825 Address after: No. 3243, Room 101, 9th Floor, Building 19, Zone 16, No. 188 South Fourth Ring West Road, Fengtai District, Beijing, 100071 Applicant after: Beijing Jike Technology Co.,Ltd. Address before: 200000 room 6013, building 14, No. 785, Hutai Road, Jing'an District, Shanghai (centralized registration place) Applicant before: DANHAN INTELLIGENT TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No. 3243, Room 101, 9th Floor, Building 19, Zone 16, No. 188 South Fourth Ring West Road, Fengtai District, Beijing, 100071 Patentee after: Free Experience Ape (Beijing) Technology Co.,Ltd. Country or region after: China Address before: No. 3243, Room 101, 9th Floor, Building 19, Zone 16, No. 188 South Fourth Ring West Road, Fengtai District, Beijing, 100071 Patentee before: Beijing Jike Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |