CN109993057A - 语义识别方法、装置、设备及计算机可读存储介质 - Google Patents

语义识别方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109993057A
CN109993057A CN201910137315.3A CN201910137315A CN109993057A CN 109993057 A CN109993057 A CN 109993057A CN 201910137315 A CN201910137315 A CN 201910137315A CN 109993057 A CN109993057 A CN 109993057A
Authority
CN
China
Prior art keywords
text
identified
neural network
network model
convolution loop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910137315.3A
Other languages
English (en)
Inventor
周罡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910137315.3A priority Critical patent/CN109993057A/zh
Publication of CN109993057A publication Critical patent/CN109993057A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G06V40/33—Writer recognition; Reading and verifying signatures based only on signature image, e.g. static signature recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)

Abstract

本发明属于语义解析技术领域，提供一种语义识别方法、装置、设备及计算机可读存储介质，该方法包括：获取待识别手写文本行图像；将所述待识别手写文本行图像输入至训练好的卷积循环神经网络模型中进行分析，得到训练好的卷积循环神经网络模型输出的，所述待识别手写文本行图像中每个待识别文字对应的备选文字概率分布；根据每个待识别文字对应的所述备选文字概率分布，确定每个待识别文字对应的目标备选文字集合；通过预设的词向量word2vec模型，对每个待识别文字对应的所述目标备选文字集合进行语义分析，以确定语义分析结果。本发明能够提高对手写文本行图像的识别精确度。

Description

语义识别方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及语义解析技术领域，尤其涉及一种语义识别方法、装置、设备及计算机可读存储介质。
背景技术
传统的语义识别模型仅对标准的、书写简单且规范的句子有较好准确度的识别，但是对于手写句子，由于每个人的书写习惯不同，写出的每个字并不是由标准的横竖撇捺组成，加大了识别难度，导致识别的精确度不高。
发明内容
本发明的主要目的在于提供一种语义识别方法、装置、设备及计算机可读存储介质，旨在解决传统的语义识别模型对手写句子的识别精确度不高的技术问题。
为实现上述目的，本发明提供一种语义识别方法，所述语义识别方法包括以下步骤：
获取待识别手写文本行图像；
将所述待识别手写文本行图像输入至训练好的卷积循环神经网络模型中进行分析，得到训练好的卷积循环神经网络模型输出的，所述待识别手写文本行图像中每个待识别文字对应的备选文字概率分布；
根据每个待识别文字对应的所述备选文字概率分布，确定每个待识别文字对应的目标备选文字集合；
通过预设的词向量word2vec模型，对每个待识别文字对应的所述目标备选文字集合进行语义分析，以确定语义分析结果。
可选地，所述根据每个待识别文字对应的所述备选文字概率分布，确定每个待识别文字对应的目标备选文字集合的步骤包括：
根据每个待识别文字对应的所述备选文字概率分布，分别选取概率值排序靠前的预设数量的备选文字，构成每个待识别文字对应的目标备选文字集合。
可选地，所述通过预设的word2vec模型，对每个待识别文字对应的所述目标备选文字集合进行语义分析，以确定语义分析结果的步骤包括：
将每个待识别文字对应的所述目标备选文字集合输入至所述word2vec模型中进行语义匹配，得到所述word2vec模型输出的，每个待识别文字对应的目标备选文字概率分布；
选取概率值最大的目标备选文字，作为每个待识别文字对应的识别文字，形成语义分析结果。
可选地，所述获取待识别手写文本行图像的步骤包括：
获取待识别手写文本页图像；
通过预设的文本检测模型对所述待识别手写文本页图像进行文本行检测，以从所述待识别手写文本页图像中划分出所述待识别手写文本行图像。
可选地，所述获取待识别手写文本行图像的步骤之前，包括：
创建卷积循环神经网络模型；
对所述卷积循环神经网络模型进行训练，得到训练好的卷积循环神经网络模型。
可选地，所述对所述卷积循环神经网络模型进行训练，得到训练好的卷积循环神经网络模型的步骤包括：
初始化所述卷积循环神经网络模型的参数；
将预设的文字图像训练样本输入至所述卷积循环神经网络模型中，根据公式获取所述卷积循环神经网络模型的前向输出，其中，a(t,u)表示第t时刻第u个文字的前向输出，表示t时刻输出为空格的概率，l'u表示文字图像和空格的总长度，a(t-1,i)表示t-1时刻第i个文字的前向输出；以及，
根据公式获取所述卷积循环神经网络模型的后向输出，其中，b(t,u)表示第t时刻第u个文字的后向输出，表示t+1时刻输出为空格的概率，b(t+1,i)表示t+1时刻第i个文字的后向输出；
根据所述前向输出和后向输出更新所述卷积循环神经网络模型的参数，得到训练好的卷积循环神经网络模型。
可选地，所述对所述卷积循环神经网络模型进行训练，得到训练好的卷积循环神经网络模型的步骤之后，包括：
根据预设成熟度计算公式mature＝ε*rate计算训练好的卷积循环神经网络模型的成熟度，其中，mature表示训练好的卷积循环神经网络模型的成熟度，rate表示训练好的卷积循环神经网络模型的准确率，ε表示所述计算公式中的因子权重；
判断计算的成熟度是否达到预设成熟度阈值；
若计算的成熟度达到预设成熟度阈值，则执行步骤：获取待识别手写文本行图像。
此外，为实现上述目的，本发明还提供语义识别装置，所述语义识别装置包括：
获取模块，用于获取待识别手写文本行图像；
输入模块，用于将所述待识别手写文本行图像输入至训练好的卷积循环神经网络模型中进行分析，得到训练好的卷积循环神经网络模型输出的，所述待识别手写文本行图像中每个待识别文字对应的备选文字概率分布；
确定模块，用于根据每个待识别文字对应的所述备选文字概率分布，确定每个待识别文字对应的目标备选文字集合；
分析模块，用于通过预设的word2vec模型，对每个待识别文字对应的所述目标备选文字集合进行语义分析，以确定语义分析结果。
此外，为实现上述目的，本发明还提供一种语义识别设备，所述语义识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的语义识别程序，其中所述语义识别程序被所述处理器执行时，实现如上述的语义识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有语义识别程序，其中所述语义识别程序被处理器执行时，实现如上述的语义识别方法的步骤。
本发明提供一种语义识别方法，首先获取待识别手写文本行图像，然后将待识别手写文本行图像输入至训练好的卷积循环神经网络模型中进行分析，得到训练好的卷积循环神经网络模型输出的，待识别手写文本行图像中每个待识别文字对应的备选文字概率分布，之后，根据每个待识别文字对应的备选文字概率分布，确定每个待识别文字对应的目标备选文字集合，再通过预设的word2vec模型，对每个待识别文字对应的目标备选文字集合进行语义分析，从而确定语义分析结果，本发明结合卷积循环神经网络模型和word2vec模型，从卷积循环神经网络模型的输出结果中选出准确率较高的结果，由word2vec模型进行进一步地语义分析，大大提高了对手写文本行图像的识别精确度。
附图说明
图1为本发明实施例方案中涉及的语义识别设备的硬件结构示意图；
图2为本发明语义识别方法第一实施例的流程示意图；
图3为本发明语义识别方法涉及的示例手写文本行图像；
图4为本发明语义识别方法第二实施例的流程示意图；
图5为本发明语义识别装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例涉及的语义识别方法主要应用于语义识别设备，该语义识别设备可以是个人计算机(personal computer，PC)、服务器等具有数据处理功能的设备。
参照图1，图1为本发明实施例方案中涉及的语义识别设备的硬件结构示意图。本发明实施例中，语义识别设备可以包括处理器1001(例如中央处理器Central ProcessingUnit，CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WI-FI接口)；存储器1005可以是高速随机存取存储器(random accessmemory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块以及语义识别程序。在图1中，处理器1001可以调用存储器1005中存储的语义识别程序，并执行本发明各实施例提供的语义识别方法。
本发明实施例提供了一种语义识别方法。
参照图2，图2为本发明语义识别方法第一实施例的流程示意图。
本实施例中，所述语义识别方法包括以下步骤：
步骤S10，获取待识别手写文本行图像；
本实施例中的语义识别方法可以由PC或服务器等具有数据处理功能的设备实现，本实施例以服务器为例进行说明。
在本实施例中，服务器首先获取待识别手写文本行图像，该待识别手写文本行图像是服务器通过CTPN模型从待识别手写文本页图像中提取的，CTPN模型是一种文本检测模型，具有文字定位功能，CTPN模型的结构包括VGG16(卷积神经网络)、LSTM(Long Short-Term Memory,长短期记忆网络)、全连接层等，通过CTPN模型可以对待识别手写文本页图像进行文本行检测，从待识别手写文本页图像中划分出待识别文本行图像的区域并进行提取。
步骤S20，将所述待识别手写文本行图像输入至训练好的卷积循环神经网络模型中进行分析，得到训练好的卷积循环神经网络模型输出的，所述待识别手写文本行图像中每个待识别文字对应的备选文字概率分布；
在获取到待识别手写文本行图像之后，将待识别手写文字行图像输入训练好的卷积循环神经网络模型-CRNN(Convolutional-Recurrent Neural Networks)模型中进行分析，其中，训练好的CRNN模型由卷积神经网络和循环神经网络组成的，训练好的CRNN模型可以基于待识别文字的形状输出识别出的文字概率分布，需要说明的是，训练好的CRNN模型输出的文字概率分布，是按照概率值的大小排序的，概率值越大，概率值及其对应的文字排序越靠前，对应的文字的识别准确率越高。那么，将待识别手写文本行图像输入至训练好的CRNN模型中进行分析，即可获得训练好的CRNN模型输出的，待识别手写文本行图像中每个待识别文字对应的备选文字概率分布，每个待识别文字对应的备选文字概率分布包括至少10个备选文字及其对应的概率。以图3所示的手写文本行图像为例(该示例中的手写文字为“空山不见人”)，将其输入至训练好的CRNN模型中进行分析，得到训练好的CRNN模型输出的该示例中每个待识别文字对应的备选文字概率分布，其中，
“空”对应的备选文字概率分布如下表所示：
备选文字 空 变 主 这 童 全 重 实 豆 望 穷 …
概率 92％ 90％ 87％ 85％ 83％ 81％ 80％ 79％ 76％ 73％ 69％ …
“山”对应的备选文字概率分布如下表所示：
备选文字 山 小 出 么 仙 none 此 凶 由 屮 凵 …
概率 98％ 95％ 93％ 91％ 89％ 87％ 76％ 60％ 59％ 56％ 55％ …
“不”对应的备选文字概率分布如下表所示：
备选文字 下 不 平 还 none 飞 在 将 杯 必 丕 …
概率 93％ 90％ 89％ 85％ 83％ 80％ 78％ 70％ 68％ 65％ 60％ …
“见”对应的备选文字概率分布如下表所示：
备选文字 兄 见 贝 包 忽 则 冗 思 己 瓦 纪 …
概率 97％ 95％ 94％ 88％ 85％ 81％ 80％ 79％ 76％ 68％ 65％ …
“人”对应的备选文字概率分布如下表所示：
备选文字 人 认 入 上 任 工 从 了 以 么 八 …
概率 98％ 94％ 92％ 89％ 86％ 84％ 80％ 78％ 75％ 69％ 64％ …
步骤S30，根据每个待识别文字对应的所述备选文字概率分布，确定每个待识别文字对应的目标备选文字集合；
之后，服务器根据每个待识别文字对应的备选文字概率分布，确定每个待识别文字对应的目标备选文字集合，具体地，分别选取概率值排序靠前的预设数量的备选文字，构成每个待识别文字对应的目标备选文字集合，在本实施例中，对备选文字的选取遵循top10原则，即，预设数量等于10，也就是说，选出概率值排在前十位的备选文字，作为每个待识别文字对应的目标备选文字，还是以图3的示例为例进行说明，该示例中每个待识别文字对应的目标备选文字集合如下所示：
“空”：{空，变，主，这，童，全，重，实，豆，望}
“山”：{山，小，出，么，仙，None，此，凶，由，屮}
“不”：{下，不，平，还，None，飞，在，将，杯，必}
“见”：{兄，见，贝，包，忽，则，冗，思，己，瓦}
“人”：{人，认，入，上，任，工，从，了，以，么}
从示例结果可以看出，“不”字和“见”字并不是排在第一位，如果依据top1原则，仅仅将最大概率值对应的备选文字作为识别结果，那么识别结果即为“空山下兄人”，并不够准确，但是也可以看出，正确的识别结果存在于概率值排在前十位的备选文字中。
步骤S40,通过预设的word2vec模型，对每个待识别文字对应的所述目标备选文字集合进行语义分析，以确定语义分析结果。
对此，可以通过word2vec模型对概率排在前十位的备选文字进行分析，其中，word2vec模型作为Google的开源词向量工具，其可以利用词语间的语义关系将词语转化为词向量，然后利用词向量之间的语义距离关系识别出词语。具体地，分别将每个待识别文字对应的目标备选文字集合输入至word2vec模型中进行语义匹配，word2vec模型会利用每个待识别文字对应的目标备选文字集合中，每个目标备选文字之间的语义关系进行语义匹配，从而输出每个待识别文字对应的目标备选文字概率分布，每个待识别文字对应的目标备选文字概率分布包括10个目标备选文字及其对应的概率。应当理解，每个待识别文字对应的目标备选文字概率分布是在CRNN模型的输出结果的基础上得到的，因此，每个待识别文字对应的目标备选文字概率分布，与前述每个待识别文字对应的备选文字概率分布中的top10相比是有所区别的，更加准确。之后，选取概率值最大的目标备选文字，作为每个待识别文字对应的识别文字，形成语义分析结果。也就是说，word2vec模型经过语义分析，可以从每个待识别文字对应的前十位概率的备选文字中，确定出每个待识别文字对应的语义概率最高的文字，作为每个待识别文字对应的识别文字，从而得到识别文本行图像的语义识别结果。
本实施例提供一种语义识别方法，首先获取待识别手写文本行图像，然后将待识别手写文本行图像输入至训练好的卷积循环神经网络模型中进行分析，得到训练好的卷积循环神经网络模型输出的，待识别手写文本行图像中每个待识别文字对应的备选文字概率分布，之后，根据每个待识别文字对应的备选文字概率分布，确定每个待识别文字对应的目标备选文字集合，再通过预设的word2vec模型，对每个待识别文字对应的目标备选文字集合进行语义分析，从而确定语义分析结果，本实施例结合卷积循环神经网络模型和word2vec模型，从卷积循环神经网络模型的输出结果中选出准确率较高的结果，由word2vec模型进行进一步地语义分析，大大提高了对手写文本行图像的识别精确度。
进一步地，基于第一实施例提出本发明语义识别方法的第二实施例。语义识别方法的第二实施例与语义识别方法的第一实施例的区别在于，参照图4，所述步骤10之前，可以包括：
步骤S50，创建卷积循环神经网络模型；
步骤S60，对所述卷积循环神经网络模型进行训练，得到训练好的卷积循环神经网络模型。
应当理解，在本实施例中，在获取待识别手写文本行图像的步骤之前，需预先训练CRNN模型，训练CRNN模型的过程包括：创建CRNN模型，初始化创建的CRNN模型的参数，其中，该参数包括权重值和偏重值，然后将预设的文字图像训练样本(该预设的文字图像训练样本中包括多个用于训练的手写字图像)输入至创建的CRNN模型中进行训练，获取创建的CRNN模型的前向输出和后向输出(前向输出指按照时间顺序输出的第u个手写字的概率，后向输出是按照时间逆顺序输出的第u个手写字的概率)，可以根据公式获取创建的卷积循环神经网络模型的前向输出，其中，a(t,u)表示第t时刻第u个手写字的前向输出，表示t时刻输出为空格的概率，l'u表示手写字图像和空格的总长度，a(t-1,i)表示t-1时刻第i个手写字的前向输出；以及，根据公式获取创建的卷积循环神经网络模型的后向输出，其中，b(t,u)表示第t时刻第u个手写字的后向输出，表示t+1时刻输出为空格的概率，b(t+1,i)表示t+1时刻第i个手写字的后向输出。之后，基于前向输出和后向输出计算目标输出，基于该目标输出构建损失函数，再根据该损失函数，采用基于连续时间分类算法的反向传播算法对参数更新，从而得到训练好的CRNN模型。
进一步地，基于第一实施例或第二实施例提出本发明语义识别方法的第三实施例。语义识别方法的第三实施例与语义识别方法的第一实施例或第二实施例的区别在于，所述步骤S60之后，可以包括：
步骤A1，根据预设成熟度计算公式mature＝ε*rate计算训练好的卷积循环神经网络模型的成熟度，其中，mature表示训练好的卷积循环神经网络模型的成熟度，rate表示训练好的卷积循环神经网络模型的准确率，ε表示所述计算公式中的因子权重；
即，CRNN模型训练好的后，并不立即投入使用，而是先检测训练好的CRNN模型的成熟度。具体地，首先获取预设的手写字图像测试样本，该预设的手写字图像测试样本中包括多个用于测试的手写字图像，然后将该手写字图像测试样本中的各个手写字图像，依次输入到训练好的CRNN模型中，得到训练好的CRNN模型输出的识别文字，根据手写字图像对应的识别汉字和标签汉字判断训练好的CRNN模型对手写字图像的识别是否准确，若准确，则将识别准确数量加1，然后根据公式：识别准确率＝识别准确数量/测试样本手写字图像的数量，计算训练好的CRNN模型的识别准确率。进一步地，通过成熟度计算公式mature＝ε*rate计算得到CRNN模型的成熟度，其中，mature表示训练好的卷积循环神经网络模型的成熟度，rate表示训练好的卷积循环神经网络模型的准确率，ε表示式中的因子权重，ε可以根据实际进行灵活设置。
步骤A2，判断计算的成熟度是否达到预设成熟度阈值；
之后，将训练好的CRNN模型的成熟度与预设成熟度阈值进行比对，其中，该成熟度阈值是根据原始需要预先设定的，比如80％。
步骤A3，若计算的成熟度达到预设成熟度阈值，则执行步骤：获取待识别手写文本行图像。
如果训练好的CRNN模型的成熟度大于预设成熟度阈值，则判定训练好的CRNN模型的成熟度满足条件，可以投入使用，即可获取待识别手写文本行图像。
在本实施例中，CRNN模型训练好后需先检测其成熟度，当训练好的CRNN模型的成熟度满足条件时才用于分析待识别手写文本行图像，从而提高了分析的准确度。
此外，本发明实施例还提供一种语义识别装置。
参照图5，图5为本发明语义识别装置第一实施例的功能模块示意图。
本实施例中，所述语义识别装置包括：
获取模块10，用于获取待识别手写文本行图像；
输入模块20，用于将所述待识别手写文本行图像输入至训练好的卷积循环神经网络模型中进行分析，得到训练好的卷积循环神经网络模型输出的，所述待识别手写文本行图像中每个待识别文字对应的备选文字概率分布；
确定模块30，用于根据每个待识别文字对应的所述备选文字概率分布，确定每个待识别文字对应的目标备选文字集合；
分析模块40，用于通过预设的word2vec模型，对每个待识别文字对应的所述目标备选文字集合进行语义分析，以确定语义分析结果。
其中，上述语义识别装置的各虚拟功能模块存储于图1所示语义识别设备的存储器1005中，用于实现语义识别程序的所有功能；各模块被处理器1001执行时，大大提高了对手写文本行图像的识别精确度。
进一步的，所述确定模块30包括：
第一选取单元，用于根据每个待识别文字对应的所述备选文字概率分布，分别选取概率值排序靠前的预设数量的备选文字，构成每个待识别文字对应的目标备选文字集合。
进一步的，所述分析模块40包括：
输入单元，用于将每个待识别文字对应的所述目标备选文字集合输入至所述word2vec模型中进行语义匹配，得到所述word2vec模型输出的，每个待识别文字对应的目标备选文字概率分布；
第二选取单元，用于选取概率值最大的目标备选文字，作为每个待识别文字对应的识别文字，形成语义分析结果。
进一步的，所述获取模块10包括：
获取单元，用于获取待识别手写文本页图像；
检测单元，用于通过预设的文本检测模型对所述待识别手写文本页图像进行文本行检测，以从所述待识别手写文本页图像中划分出所述待识别手写文本行图像。
进一步的，所述语义识别装置还包括：
创建模块，用于创建卷积循环神经网络模型；
训练模块，用于对所述卷积循环神经网络模型进行训练，得到训练好的卷积循环神经网络模型。
进一步的，所述训练模块包括：
初始化单元，用于初始化所述卷积循环神经网络模型的参数；
前向输出和后向输出获取单元，用于将预设的文字图像训练样本输入至所述卷积循环神经网络模型中，根据公式获取所述卷积循环神经网络模型的前向输出，其中，a(t,u)表示第t时刻第u个文字的前向输出，表示t时刻输出为空格的概率，l'u表示文字图像和空格的总长度，a(t-1,i)表示t-1时刻第i个文字的前向输出；以及，
根据公式获取所述卷积循环神经网络模型的后向输出，其中，b(t,u)表示第t时刻第u个文字的后向输出，表示t+1时刻输出为空格的概率，b(t+1,i)表示t+1时刻第i个文字的后向输出；
更新单元，用于根据所述前向输出和后向输出更新所述卷积循环神经网络模型的参数，得到训练好的卷积循环神经网络模型。
进一步的，所述语义识别装置还包括：
计算模块，用于根据预设成熟度计算公式mature＝ε*rate计算训练好的卷积循环神经网络模型的成熟度，其中，mature表示训练好的卷积循环神经网络模型的成熟度，rate表示训练好的卷积循环神经网络模型的准确率，ε表示所述计算公式中的因子权重；
判断模块，用于判断计算的成熟度是否达到预设成熟度阈值；
判定获取模块，用于若计算的成熟度达到预设成熟度阈值，则执行步骤：获取待识别手写文本行图像。
其中，上述语义识别装置中各个模块的功能实现与上述语义识别方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
此外，本发明实施例还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有语义识别程序，其中所述语义识别程序被处理器执行时，实现如上述的语义识别方法的步骤。
其中，语义识别程序被执行时所实现的方法可参照本发明语义识别方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种语义识别方法，其特征在于，所述语义识别方法包括以下步骤：
获取待识别手写文本行图像；
将所述待识别手写文本行图像输入至训练好的卷积循环神经网络模型中进行分析，得到训练好的卷积循环神经网络模型输出的，所述待识别手写文本行图像中每个待识别文字对应的备选文字概率分布；
根据每个待识别文字对应的所述备选文字概率分布，确定每个待识别文字对应的目标备选文字集合；
通过预设的词向量word2vec模型，对每个待识别文字对应的所述目标备选文字集合进行语义分析，以确定语义分析结果。
2.如权利要求1所述的语义识别方法，其特征在于，所述根据每个待识别文字对应的所述备选文字概率分布，确定每个待识别文字对应的目标备选文字集合的步骤包括：
根据每个待识别文字对应的所述备选文字概率分布，分别选取概率值排序靠前的预设数量的备选文字，构成每个待识别文字对应的目标备选文字集合。
3.如权利要求2所述的语义识别方法，其特征在于，所述通过预设的word2vec模型，对每个待识别文字对应的所述目标备选文字集合进行语义分析，以确定语义分析结果的步骤包括：
将每个待识别文字对应的所述目标备选文字集合输入至所述word2vec模型中进行语义匹配，得到所述word2vec模型输出的，每个待识别文字对应的目标备选文字概率分布；
选取概率值最大的目标备选文字，作为每个待识别文字对应的识别文字，形成语义分析结果。
4.如权利要求1所述的语义识别方法，其特征在于，所述获取待识别手写文本行图像的步骤包括：
获取待识别手写文本页图像；
通过预设的文本检测模型对所述待识别手写文本页图像进行文本行检测，以从所述待识别手写文本页图像中划分出所述待识别手写文本行图像。
5.如权利要求1所述的语义识别方法，其特征在于，所述获取待识别手写文本行图像的步骤之前，包括：
创建卷积循环神经网络模型；
对所述卷积循环神经网络模型进行训练，得到训练好的卷积循环神经网络模型。
6.如权利要求5所述的语义识别方法，其特征在于，所述对所述卷积循环神经网络模型进行训练，得到训练好的卷积循环神经网络模型的步骤包括：
初始化所述卷积循环神经网络模型的参数；
将预设的文字图像训练样本输入至所述卷积循环神经网络模型中，根据公式获取所述卷积循环神经网络模型的前向输出，其中，a(t,u)表示第t时刻第u个文字的前向输出，表示t时刻输出为空格的概率，l'u表示文字图像和空格的总长度，a(t-1,i)表示t-1时刻第i个文字的前向输出；以及，
根据公式获取所述卷积循环神经网络模型的后向输出，其中，b(t,u)表示第t时刻第u个文字的后向输出，表示t+1时刻输出为空格的概率，b(t+1,i)表示t+1时刻第i个文字的后向输出；
根据所述前向输出和后向输出更新所述卷积循环神经网络模型的参数，得到训练好的卷积循环神经网络模型。
7.如权利要求6所述的语义识别方法，其特征在于，所述对所述卷积循环神经网络模型进行训练，得到训练好的卷积循环神经网络模型的步骤之后，包括：
根据预设成熟度计算公式mature＝ε*rate计算训练好的卷积循环神经网络模型的成熟度，其中，mature表示训练好的卷积循环神经网络模型的成熟度，rate表示训练好的卷积循环神经网络模型的准确率，ε表示所述计算公式中的因子权重；
判断计算的成熟度是否达到预设成熟度阈值；
若计算的成熟度达到预设成熟度阈值，则执行步骤：获取待识别手写文本行图像。
8.一种语义识别装置，其特征在于，所述语义识别装置包括：
获取模块，用于获取待识别手写文本行图像；
输入模块，用于将所述待识别手写文本行图像输入至训练好的卷积循环神经网络模型中进行分析，得到训练好的卷积循环神经网络模型输出的，所述待识别手写文本行图像中每个待识别文字对应的备选文字概率分布；
确定模块，用于根据每个待识别文字对应的所述备选文字概率分布，确定每个待识别文字对应的目标备选文字集合；
分析模块，用于通过预设的word2vec模型，对每个待识别文字对应的所述目标备选文字集合进行语义分析，以确定语义分析结果。
9.一种语义识别设备，其特征在于，所述语义识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的语义识别程序，其中所述语义识别程序被所述处理器执行时，实现如权利要求1至7中任一项所述的语义识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有语义识别程序，其中所述语义识别程序被处理器执行时，实现如权利要求1至7中任一项所述的语义识别方法的步骤。
CN201910137315.3A 2019-02-25 2019-02-25 语义识别方法、装置、设备及计算机可读存储介质 Pending CN109993057A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910137315.3A CN109993057A (zh) 2019-02-25 2019-02-25 语义识别方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910137315.3A CN109993057A (zh) 2019-02-25 2019-02-25 语义识别方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109993057A true CN109993057A (zh) 2019-07-09

Family

ID=67130038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910137315.3A Pending CN109993057A (zh) 2019-02-25 2019-02-25 语义识别方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109993057A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144127A (zh) * 2019-12-25 2020-05-12 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN111209613A (zh) * 2020-01-10 2020-05-29 杭州涂鸦信息技术有限公司 一种智能产品的快速设计方法及系统
CN111444905A (zh) * 2020-03-24 2020-07-24 腾讯科技（深圳）有限公司 基于人工智能的图像识别方法和相关装置
CN111444906A (zh) * 2020-03-24 2020-07-24 腾讯科技（深圳）有限公司 基于人工智能的图像识别方法和相关装置
CN111582241A (zh) * 2020-06-01 2020-08-25 腾讯科技（深圳）有限公司 视频字幕识别方法、装置、设备及存储介质
CN111737548A (zh) * 2020-05-06 2020-10-02 苏宁金融科技(南京)有限公司 点选验证码识别方法、装置、计算机设备和存储介质
CN112990175A (zh) * 2021-04-01 2021-06-18 深圳思谋信息科技有限公司 手写中文字符的识别方法、装置、计算机设备和存储介质
CN114187586A (zh) * 2022-02-16 2022-03-15 中航信移动科技有限公司 一种行程单识别方法、装置、电子设备及存储介质
CN114663878A (zh) * 2022-05-25 2022-06-24 成都飞机工业（集团）有限责任公司 一种成品软件版本检查方法、装置、设备及介质

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144127B (zh) * 2019-12-25 2023-07-25 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN111144127A (zh) * 2019-12-25 2020-05-12 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN111209613B (zh) * 2020-01-10 2023-05-12 杭州涂鸦信息技术有限公司 一种智能产品的快速设计方法及系统
CN111209613A (zh) * 2020-01-10 2020-05-29 杭州涂鸦信息技术有限公司 一种智能产品的快速设计方法及系统
CN111444905A (zh) * 2020-03-24 2020-07-24 腾讯科技（深圳）有限公司 基于人工智能的图像识别方法和相关装置
CN111444906A (zh) * 2020-03-24 2020-07-24 腾讯科技（深圳）有限公司 基于人工智能的图像识别方法和相关装置
CN111444906B (zh) * 2020-03-24 2023-09-29 腾讯科技（深圳）有限公司 基于人工智能的图像识别方法和相关装置
CN111444905B (zh) * 2020-03-24 2023-09-22 腾讯科技（深圳）有限公司 基于人工智能的图像识别方法和相关装置
CN111737548A (zh) * 2020-05-06 2020-10-02 苏宁金融科技(南京)有限公司 点选验证码识别方法、装置、计算机设备和存储介质
CN111582241A (zh) * 2020-06-01 2020-08-25 腾讯科技（深圳）有限公司 视频字幕识别方法、装置、设备及存储介质
CN111582241B (zh) * 2020-06-01 2022-12-09 腾讯科技（深圳）有限公司 视频字幕识别方法、装置、设备及存储介质
CN112990175B (zh) * 2021-04-01 2023-05-30 深圳思谋信息科技有限公司 手写中文字符的识别方法、装置、计算机设备和存储介质
CN112990175A (zh) * 2021-04-01 2021-06-18 深圳思谋信息科技有限公司 手写中文字符的识别方法、装置、计算机设备和存储介质
CN114187586B (zh) * 2022-02-16 2022-05-06 中航信移动科技有限公司 一种行程单识别方法、装置、电子设备及存储介质
CN114187586A (zh) * 2022-02-16 2022-03-15 中航信移动科技有限公司 一种行程单识别方法、装置、电子设备及存储介质
CN114663878A (zh) * 2022-05-25 2022-06-24 成都飞机工业（集团）有限责任公司 一种成品软件版本检查方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN109993057A (zh) 语义识别方法、装置、设备及计算机可读存储介质
CN108960409B (zh) 标注数据生成方法、设备及计算机可读存储介质
CN109766540B (zh) 通用文本信息提取方法、装置、计算机设备和存储介质
CN107391760B (zh) 用户兴趣识别方法、装置及计算机可读存储介质
CN107122375B (zh) 基于图像特征的图像主体的识别方法
CN107943784B (zh) 基于生成对抗网络的关系抽取方法
CN109446927B (zh) 基于先验知识的双人交互行为识别方法
CN109831572A (zh) 聊天图片控制方法、装置、计算机设备及存储介质
CN107704495A (zh) 主题分类器的训练方法、装置及计算机可读存储介质
CN111475613A (zh) 案件分类方法、装置、计算机设备及存储介质
CN111159404B (zh) 文本的分类方法及装置
CN104517097A (zh) 一种基于kinect的运动人体姿态识别方法
CN109918501A (zh) 新闻文章分类的方法、装置、设备及存储介质
CN109829478B (zh) 一种基于变分自编码器的问题分类方法和装置
CN107590478A (zh) 一种基于深度学习的年龄估计方法
CN110287311B (zh) 文本分类方法及装置、存储介质、计算机设备
CN109977394A (zh) 文本模型训练方法、文本分析方法、装置、设备及介质
CN107291825A (zh) 一种视频中同款商品的检索方法和系统
CN108038208A (zh) 上下文信息识别模型的训练方法、装置和存储介质
CN109213853A (zh) 一种基于cca算法的中文社区问答跨模态检索方法
CN110427819A (zh) 一种识别图像中ppt边框的方法及相关设备
CN108734159A (zh) 一种图像中敏感信息的检测方法及系统
CN110008853A (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN112100377A (zh) 文本分类方法、装置、计算机设备和存储介质
CN109993187A (zh) 一种用于识别物体类别的建模方法、机器人及存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination