CN108536669A - 文字信息处理方法、装置及终端 - Google Patents

文字信息处理方法、装置及终端 Download PDF

Info

Publication number
CN108536669A
CN108536669A CN201810162656.1A CN201810162656A CN108536669A CN 108536669 A CN108536669 A CN 108536669A CN 201810162656 A CN201810162656 A CN 201810162656A CN 108536669 A CN108536669 A CN 108536669A
Authority
CN
China
Prior art keywords
string
character string
phonetic
elements
assemble
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810162656.1A
Other languages
English (en)
Other versions
CN108536669B (zh
Inventor
张志伟
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201810162656.1A priority Critical patent/CN108536669B/zh
Publication of CN108536669A publication Critical patent/CN108536669A/zh
Priority to PCT/CN2018/122698 priority patent/WO2019165832A1/zh
Application granted granted Critical
Publication of CN108536669B publication Critical patent/CN108536669B/zh
Priority to US17/004,720 priority patent/US20200394356A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G06F40/129—Handling non-Latin characters, e.g. kana-to-kanji conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Power Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本发明实施例提供了一种文字信息处理方法、装置及终端，其中，所述方法包括：确定待处理文字信息对应的拼音字符串；采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的字符串集合；确定所述字符串集合中各字符串元素，在字符串总集合中的索引位置和出现次数；依据各所述字符串元素对应的索引位置和出现次数，生成所述待处理文字信息对应的拼音哈希向量；通过嵌入神经网络对所述拼音哈希向量进行处理，得到待处理文字信息对应的连续特征。由于本发明实施例中采样拼音哈希空间表征词库中的单词，对于未出现在词库中的单词具有良好的鲁棒性。

Description

文字信息处理方法、装置及终端
技术领域
本发明涉及文字信息处理技术领域，特别是涉及一种文字信息处理方法、装置及终端。
背景技术
近来，深度学习在自然语言处理、文本翻译等相关领域得到了广泛应用。在处理文字信息时，大部分情况下需要将文本这样的离散数据转化成可以输入到深度网络的连续特征。目前普遍使用的方法为One-hotEmbedding，该种方法是将文本在词库中的位置进行编码，虽然这种方法可以实现端到端地训练深度神经网络，但是仍然存在下面两个缺点：
缺陷一、在互联网环境中，一般字典集合非常大，用于表征单词在词库中位置的嵌入矩阵特别巨大，若词库中新增单词，则需要重新创建嵌入矩阵可扩展性差。
缺陷二、当待处理的单词未出现在词库中时，通过这种方法将无法查找到待处理单词在词库中的位置，由于找不到单词对应的位置，最终将导致网络无法识别该单词。
发明内容
本发明实施例提供一种文字信息处理方法、装置及终端，以解决现有技术中存在的可扩展性差和无法识别词库中未出现单词的问题。
依据本发明的一个方面，提供了一种文字信息处理方法，其中所述方法包括：确定待处理文字信息对应的拼音字符串；采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的字符串集合；确定所述字符串集合中各字符串元素，在字符串总集合中的索引位置和出现次数；依据各所述字符串元素对应的索引位置和出现次数，生成所述待处理文字信息对应的拼音哈希向量；通过嵌入神经网络对所述拼音哈希向量进行处理，得到待处理文字信息对应的连续特征。
可选地，所述采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的字符串集合的步骤，包括：从所述拼音字符串的首字符起，按照预设步长和窗口尺寸对所述拼音字符串进行滑窗处理，得到包含多个字符串元素的字符串集合。
可选地，所述字符串总集合通过如下方式生成：将词库中的各单词分别转换成拼音字符串；分别为各单词对应的拼音字符串前后添加占位符，生成字符串元素；其中，各单词对应的字符串元素组成第一字符串集合；针对所述第一字符串集合中的各字符串元素，采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的第二字符串集合；将第二字符串集合求并集，得到字符串总集合。
可选地，所述依据各所述字符串元素对应的索引位置和出现次数，生成所述待处理文字信息对应的拼音哈希向量的步骤，包括：生成一个与所述字符串总集合等维度的全零向量；针对每个索引位置，确定所述索引位置在所述全零向量中对应的维度，将所述维度的数值调整为所述索引位置对应的出现次数，生成所述待处理文字信息对应的拼音哈希向量。
依据本发明的另一方面，提供了一种文字信息处理装置，其中，所述装置包括：确定模块，被配置为确定待处理文字信息对应的拼音字符串；转化模块，被配置为采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的字符串集合；参数确定模块，被配置为确定所述字符串集合中各字符串元素，在字符串总集合中的索引位置和出现次数；生成模块，被配置为依据各所述字符串元素对应的索引位置和出现次数，生成所述待处理文字信息对应的拼音哈希向量；处理结果确定模块，被配置为通过嵌入神经网络对所述拼音哈希向量进行处理，得到待处理文字信息对应的连续特征。
可选地，所述转化模块具体被配置为：从所述拼音字符串的首字符起，按照预设步长和窗口尺寸对所述拼音字符串进行滑窗处理，得到包含多个字符串元素的字符串集合。
可选地，所述装置还包括：字符串总集合生成模块，被配置为：将词库中的各单词分别转换成拼音字符串；分别为各单词对应的拼音字符串前后添加占位符，生成字符串元素；其中，各单词对应的字符串元素组成第一字符串集合；针对所述第一字符串集合中的各字符串元素，采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的第二字符串集合；将第二字符串集合求并集，得到字符串总集合。
可选地，所述生成模块包括：向量生成子模块，被配置为生成一个与所述字符串总集合等维度的全零向量；调整子模块，被配置为针对每个索引位置，确定所述索引位置在所述全零向量中对应的维度，将所述维度的数值调整为所述索引位置对应的出现次数，生成所述待处理文字信息对应的拼音哈希向量。
根据本发明的再一方面，提供了一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像分类程序，所述图像分类程序被所述处理器执行时实现本发明中所述的任意一种文字信息处理方法的步骤。
根据本发明的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像分类程序，所述图像分类程序被处理器执行时实现本发明中所述的任意一种文字信息处理方法的步骤。
与现有技术相比，本发明具有以下优点：
本发明实施例提供的文字信息处理方案，将词库中的单词转化为拼音字符串，采用N元组算法对各拼音字符串进行处理得到字符串总集合对应的拼音哈希空间。在将待处理文字信息转化成拼音字符串，基于所构建的拼音哈希空间确定该拼音字符串对应的拼音哈希向量，最终通过嵌入神经网络对确定的拼音哈希向量进行处理，即可得到待处理文字信息对应的连续特征。由于本发明实施例中采样拼音哈希空间表征词库中的单词，对于未出现在词库中的单词具有良好的鲁棒性，此外，由于拼音哈希空间大小恒定，因此即便词库中新增单词时，也不会影响所构建的拼音哈希空间的整体构造，只需添加新增单词对应的拼音字符串集合即可，可扩展性强。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是根据本发明实施例一的一种文字信息处理方法的步骤流程图；
图2是根据本发明实施例二的一种文字信息处理方法的步骤流程图；
图3是根据本发明实施例三的一种文字信息处理装置的结构框图；
图4是根据本发明实施例四的一种终端的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
参照图1，示出了本发明实施例一的一种文字信息处理方法的步骤流程图。
本发明实施例的文字信息处理方法可以包括以下步骤：
步骤101：确定待处理文字信息对应的拼音字符串。
待处理文字信息可以为一个单词也可以为包含多个单词的文本，当待处理文字信息中包含多个单词时，可以将相邻单词间使用空格隔开，并在各单词前后分别添加占位符，其中，占位符可以为“#”当然并不限于此占位符也可以为其他任意适当的符合。本发明实施例中，以待处理文字信息为一个单词为例进行说明。
将文字信息转化成拼音字符串的具体转换方式，参照相关技术即可，本发明实施例中对此不作具体限定。例如：文本信息为“中国”，转化后拼音字符串可以为“#zhongguo#”。
步骤102：采用N元组算法将拼音字词串，转化成包含多个字符串元素的字符串集合。
N元组算法即N-gram算法，该算法可通过滑窗方式按照预设步长以及窗口尺寸，将拼音字符串分成多个子字符串，构成字符串集合，每个子字符串则为字符串集合中的字符串元素。
步骤103：确定字符串集合中各字符串元素，在字符串总集合中的索引位置和出现次数。
字符串总集合为对词库中各单词使用N-gram算法转化后得到，字符串总集合中包含多个字符串元素，每个字符串元素在字符串总集合中对应一个索引位置。
通过步骤102已将拼音字符串转化成多个字符串元素，在本步骤中需确定各字符串元素在字符串总集合中的索引位置和出现次数。例如：转化后得到的字符串元素之一为zho”，则查询字符串总集合中该字符串元素对应的索引位置即具体位于第几行第几列，然后统计该字符串元素在字符串总集合中的出现次数。
步骤104：依据各字符串元素对应的索引位置和出现次数，生成待处理文字信息对应的拼音哈希向量。
拼音哈希向量包含多个维度，每个维度对应一个索引位置，每个索引位置对应一个字符串元素。在确定某字符串元素对应的索引位置和出现次数后，确定该索引位置对应的维度，并将该维度的数值设置为该出现次数，对于出现次数为0字符串元素的索引位置对应的维度，将该类维度的数值设置为0，最终生成拼音哈希向量。
步骤105：通过嵌入神经网络对拼音哈希向量进行处理，得到待处理文字信息对应的连续特征。
嵌入神经网络对向量进行处理，得到连续特征的具体处理方式，参照现有相关技术即可，本发明实施例中对此不做具体限制。
本发明实施例提供的文字信息处理方法，将词库中的单词转化为拼音字符串，采用N元组算法对各拼音字符串进行处理得到字符串总集合对应的拼音哈希空间。在将待处理文字信息转化成拼音字符串，基于所构建的拼音哈希空间确定该拼音字符串对应的拼音哈希向量，最终通过嵌入神经网络对确定的拼音哈希向量进行处理，即可得到待处理文字信息对应的连续特征。由于本发明实施例中采样拼音哈希空间表征词库中的单词，对于未出现在词库中的单词具有良好的鲁棒性，此外，由于拼音哈希空间大小恒定，因此即便词库中新增单词时，也不会影响所构建的拼音哈希空间的整体构造，只需添加新增单词对应的拼音字符串集合即可，可扩展性强。
实施例二
参照图2，示出了本发明实施例二的一种文字信息处理方法的步骤流程图。
本发明实施例的文字信息处理方法可以包括以下步骤：
步骤201：确定待处理文字信息对应的拼音字符串。
待处理文字信息可以为一个单词，在将其转化为拼音字符串时可以在该单词的前后均可以添加占位符。例如：待处理文字信息为“动物”，则转化后的拼音字符串为“#dongwu#”。
步骤202：从拼音字符串的首字符起，按照预设步长和窗口尺寸对拼音字符串进行滑窗处理，得到包含多个字符串元素的字符串集合。
其中，预设步长的具体数值可以由本领域技术人员根据实际需求进行设置，本发明实施例中对此不做具体限制。例如：预设步长可以设置为1个字符、2个字符或3个字符。窗口尺寸也可以由本领域技术人员根据实际需求适应性调整，例如：设置为2、3或4等。
例如预设步长为1，窗口尺寸为3，则在对拼音字符串为“#dongwu#”进行滑窗处理后所得字符串集合如下：{‘#do’‘don’‘ong’‘ngw’‘gw’‘wu#’}。
步骤203：确定字符串集合中各字符串元素，在字符串总集合中的索引位置和出现次数。
一种优选地生成字符串总集合的方式如下：
首先，将词库中的各单词分别转换成拼音字符串。
其次，分别为各单词对应的拼音字符串前后添加占位符，生成字符串元素。
其中，各单词对应的字符串元素组成第一字符串集合。
对于词库中的单词集合Sh，将集合Sh中的每一个单词转化成拼音字符串，每个单词之间使用空格隔开，并在各单词前后添加占位符“#”，得到单词拼音集合Sp即第一字符串集合。
再次，针对第一字符串集合中的各字符串元素，采用N元组算法将拼音字词串，转化成包含多个字符串元素的第二字符串集合。
采用N元组算法对拼音字词串进行转化时，可以由本领域技术人员根据实际需求设置滑窗处理时的预设步长和窗口尺寸。
例如：词库中的一个单词为“中国”，转化成拼音字符串之后为“#zhongguo#”。采用N-gram算法是对该拼音字符串从头开始，以窗口尺寸为3个字符，步长为1个字符进行滑窗处理，滑窗得到一个集合Sw即第二字符串集合。Sw＝{‘#zh’‘zho’‘hon’‘ong’‘ngg’‘ggu’‘guo’‘uo#’}。
分别对Sp中的各拼音字符串进行处理，得到到各拼音字词串对应的Sw。
最后，将第二字符串集合求并集，得到字符串总集合。
其中，字符串总集合可以用Sn表示。
步骤204：依据各字符串元素对应的索引位置和出现次数，生成待处理文字信息对应的拼音哈希向量。
一种优选地生成待处理文字信息对应的拼音哈希向量的方式如下：
首先，生成一个与字符串总集合等维度的全零向量；
其次，针对每个索引位置，确定所述索引位置在全零向量中对应的维度，将维度的数值调整为所述索引位置对应的出现次数，生成待处理文字信息对应的拼音哈希向量。
步骤205：通过嵌入神经网络对拼音哈希向量进行处理，得到待处理文字信息对应的连续特征。
嵌入神经网络对向量进行处理，得到连续特征的具体处理方式，参照现有相关技术即可，本发明实施例中对此不做具体限制。在得到待处理文字信息对应的连续特征后，可依据连续特征对待处理文字的语义进行分析归类。
本发明实施例提供的文字信息处理方法，除具有实施例一中所示的此外，生成字符串总集合过程中采用N元组算法对词库中各单词转换后的拼音字符串进行处理时，滑窗步长以及窗口尺寸均可以由本领域技术人员根据实际需求进行设置，灵活性强且能够满足不同用户的需求。
实施例三
参照图3，示出了本发明实施例三的一种文字信息处理装置的结构框图。
本发明实施例的文字信息处理装置可以包括：确定模块301，被配置为确定待处理文字信息对应的拼音字符串；转化模块302，被配置为采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的字符串集合；参数确定模块303，被配置为确定所述字符串集合中各字符串元素，在字符串总集合中的索引位置和出现次数；生成模块304，被配置为依据各所述字符串元素对应的索引位置和出现次数，生成所述待处理文字信息对应的拼音哈希向量；处理结果确定模块305，被配置为通过嵌入神经网络对所述拼音哈希向量进行处理，得到待处理文字信息对应的连续特征。
优选地，所述转化模块302具体被配置为：从所述拼音字符串的首字符起，按照预设步长和窗口尺寸对所述拼音字符串进行滑窗处理，得到包含多个字符串元素的字符串集合。
优选地，所述装置还包括：字符串总集合生成模块306，被配置为：将词库中的各单词分别转换成拼音字符串；分别为各单词对应的拼音字符串前后添加占位符，生成字符串元素；其中，各单词对应的字符串元素组成第一字符串集合；针对所述第一字符串集合中的各字符串元素，采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的第二字符串集合；将第二字符串集合求并集，得到字符串总集合。
优选地，所述生成模块304可以包括：向量生成子模块3041，被配置为生成一个与所述字符串总集合等维度的全零向量；调整子模块3042，被配置为针对每个索引位置，确定所述索引位置在所述全零向量中对应的维度，将所述维度的数值调整为所述索引位置对应的出现次数，生成所述待处理文字信息对应的拼音哈希向量。
本发明实施例的文字信息处理装置用于实现前述实施例一、实施例二中相应的文字信息处理方法，并具有与方法实施例相应的有益效果，在此不再赘述。
实施例四
参照图4，示出了本发明实施例四的一种用于文字信息处理的终端的结构框图。
本发明实施例的终端可以包括：存储器、处理器及存储在存储器上并可在处理器上运行的文字信息处理程序，图像标签确定程序被处理器执行时实现本发明中所述的任意一种文字信息处理方法的步骤。
图4是根据一示例性实施例示出的一种图像分类终端600的框图。例如，终端600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，终端600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理部件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在终端600的操作。这些数据的示例包括用于在终端600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件606为终端600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为终端600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述终端600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当终端600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当终端600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为终端600提供各个方面的状态评估。例如，传感器组件614可以检测到终端600的打开/关闭状态，组件的相对定位，例如所述组件为终端600的显示器和小键盘，传感器组件614还可以检测终端600或终端600一个组件的位置改变，用户与终端600接触的存在或不存在，装置600方位或加速/减速和终端600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于终端600和其他设备之间有线或无线方式的通信。终端600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，终端600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行文字信息处理方法，在一种可选的实施方式中文字信息处理方法包括：确定待处理文字信息对应的拼音字符串；采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的字符串集合；确定所述字符串集合中各字符串元素，在字符串总集合中的索引位置和出现次数；依据各所述字符串元素对应的索引位置和出现次数，生成所述待处理文字信息对应的拼音哈希向量；通过嵌入神经网络对所述拼音哈希向量进行处理，得到待处理文字信息对应的连续特征。
优选地，所述采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的字符串集合的步骤，包括：从所述拼音字符串的首字符起，按照预设步长和窗口尺寸对所述拼音字符串进行滑窗处理，得到包含多个字符串元素的字符串集合。
优选地，所述字符串总集合通过如下方式生成：将词库中的各单词分别转换成拼音字符串；分别为各单词对应的拼音字符串前后添加占位符，生成字符串元素；其中，各单词对应的字符串元素组成第一字符串集合；针对所述第一字符串集合中的各字符串元素，采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的第二字符串集合；将第二字符串集合求并集，得到字符串总集合。
优选地，所述依据各所述字符串元素对应的索引位置和出现次数，生成所述待处理文字信息对应的拼音哈希向量的步骤，包括：生成一个与所述字符串总集合等维度的全零向量；针对每个索引位置，确定所述索引位置在所述全零向量中对应的维度，将所述维度的数值调整为所述索引位置对应的出现次数，生成所述待处理文字信息对应的拼音哈希向量在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由终端600的处理器620执行以完成上述文字信息处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端的处理器执行时，使得终端能够执行本发明中所述的任意一种文字信息处理方法的步骤。
本发明实施例提供的终端将词库中的单词转化为拼音字符串，采用N元组算法对各拼音字符串进行处理得到字符串总集合对应的拼音哈希空间。在将待处理文字信息转化成拼音字符串，基于所构建的拼音哈希空间确定该拼音字符串对应的拼音哈希向量，最终通过嵌入神经网络对确定的拼音哈希向量进行处理，即可得到待处理文字信息对应的连续特征。由于本发明实施例中采样拼音哈希空间表征词库中的单词，对于未出现在词库中的单词具有良好的鲁棒性，此外，由于拼音哈希空间大小恒定，因此即便词库中新增单词时，也不会影响所构建的拼音哈希空间的整体构造，只需添加新增单词对应的拼音字符串集合即可，可扩展性强。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的文字信息处理方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的文字信息处理方案中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种文字信息处理方法，其特征在于，所述方法包括：
确定待处理文字信息对应的拼音字符串；
采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的字符串集合；
确定所述字符串集合中各字符串元素，在字符串总集合中的索引位置和出现次数；
依据各所述字符串元素对应的索引位置和出现次数，生成所述待处理文字信息对应的拼音哈希向量；
通过嵌入神经网络对所述拼音哈希向量进行处理，得到待处理文字信息对应的连续特征。
2.根据权利要求1所述的方法，其特征在于，所述采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的字符串集合的步骤，包括：
从所述拼音字符串的首字符起，按照预设步长和窗口尺寸对所述拼音字符串进行滑窗处理，得到包含多个字符串元素的字符串集合。
3.根据权利要求1所述的方法，其特征在于，所述字符串总集合通过如下方式生成：
将词库中的各单词分别转换成拼音字符串；
分别为各单词对应的拼音字符串前后添加占位符，生成字符串元素；其中，各单词对应的字符串元素组成第一字符串集合；
针对所述第一字符串集合中的各字符串元素，采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的第二字符串集合；
将第二字符串集合求并集，得到字符串总集合。
4.根据权利要求1所述的方法，其特征在于，所述依据各所述字符串元素对应的索引位置和出现次数，生成所述待处理文字信息对应的拼音哈希向量的步骤，包括：
生成一个与所述字符串总集合等维度的全零向量；
针对每个索引位置，确定所述索引位置在所述全零向量中对应的维度，将所述维度的数值调整为所述索引位置对应的出现次数，生成所述待处理文字信息对应的拼音哈希向量。
5.一种文字信息处理装置，其特征在于，所述装置包括：
确定模块，被配置为确定待处理文字信息对应的拼音字符串；
转化模块，被配置为采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的字符串集合；
参数确定模块，被配置为确定所述字符串集合中各字符串元素，在字符串总集合中的索引位置和出现次数；
生成模块，被配置为依据各所述字符串元素对应的索引位置和出现次数，生成所述待处理文字信息对应的拼音哈希向量；
处理结果确定模块，被配置为通过嵌入神经网络对所述拼音哈希向量进行处理，得到待处理文字信息对应的连续特征。
6.根据权利要求5所述的装置，其特征在于，所述转化模块具体被配置为：
从所述拼音字符串的首字符起，按照预设步长和窗口尺寸对所述拼音字符串进行滑窗处理，得到包含多个字符串元素的字符串集合。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括：字符串总集合生成模块，被配置为：
将词库中的各单词分别转换成拼音字符串；
分别为各单词对应的拼音字符串前后添加占位符，生成字符串元素；其中，各单词对应的字符串元素组成第一字符串集合；
针对所述第一字符串集合中的各字符串元素，采用N元组算法将所述拼音字词串，转化成包含多个字符串元素的第二字符串集合；
将第二字符串集合求并集，得到字符串总集合。
8.根据权利要求5所述的装置，其特征在于，所述生成模块包括：
向量生成子模块，被配置为生成一个与所述字符串总集合等维度的全零向量；
调整子模块，被配置为针对每个索引位置，确定所述索引位置在所述全零向量中对应的维度，将所述维度的数值调整为所述索引位置对应的出现次数，生成所述待处理文字信息对应的拼音哈希向量。
9.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像分类程序，所述图像分类程序被所述处理器执行时实现如权利要求1至4中任一项所述的文字信息处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像分类程序，所述图像分类程序被处理器执行时实现如权利要求1至4中任一项所述的文字信息处理方法的步骤。
CN201810162656.1A 2018-02-27 2018-02-27 文字信息处理方法、装置及终端 Active CN108536669B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810162656.1A CN108536669B (zh) 2018-02-27 2018-02-27 文字信息处理方法、装置及终端
PCT/CN2018/122698 WO2019165832A1 (zh) 2018-02-27 2018-12-21 文字信息处理方法、装置及终端
US17/004,720 US20200394356A1 (en) 2018-02-27 2020-08-27 Text information processing method, device and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810162656.1A CN108536669B (zh) 2018-02-27 2018-02-27 文字信息处理方法、装置及终端

Publications (2)

Publication Number Publication Date
CN108536669A true CN108536669A (zh) 2018-09-14
CN108536669B CN108536669B (zh) 2019-10-22

Family

ID=63486347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810162656.1A Active CN108536669B (zh) 2018-02-27 2018-02-27 文字信息处理方法、装置及终端

Country Status (3)

Country Link
US (1) US20200394356A1 (zh)
CN (1) CN108536669B (zh)
WO (1) WO2019165832A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657229A (zh) * 2018-10-31 2019-04-19 北京奇艺世纪科技有限公司 一种意图识别模型生成方法、意图识别方法及装置
WO2019165832A1 (zh) * 2018-02-27 2019-09-06 北京达佳互联信息技术有限公司 文字信息处理方法、装置及终端
CN111179937A (zh) * 2019-12-24 2020-05-19 上海眼控科技股份有限公司 文本处理的方法、设备和计算机可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958241B (zh) * 2019-11-27 2021-08-24 腾讯科技（深圳）有限公司 网络数据检测方法、装置、计算机设备以及存储介质
CN112906904B (zh) * 2021-02-03 2024-03-26 华控清交信息科技(北京)有限公司 一种数据处理方法、装置和用于数据处理的装置
CN112951204B (zh) * 2021-03-29 2023-06-13 北京大米科技有限公司 语音合成方法和装置
US20220382973A1 (en) * 2021-05-28 2022-12-01 Microsoft Technology Licensing, Llc Word Prediction Using Alternative N-gram Contexts
CN114398888B (zh) * 2022-01-07 2024-06-18 北京明略软件系统有限公司 生成声母韵母向量的方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678272A (zh) * 2012-09-17 2014-03-26 北京信息科技大学 汉语依存树库中未登录词的处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605694A (zh) * 2013-11-04 2014-02-26 北京奇虎科技有限公司 一种相似文本检测装置和方法
CN104657350B (zh) * 2015-03-04 2017-06-09 中国科学院自动化研究所 融合隐式语义特征的短文本哈希学习方法
CN107220343B (zh) * 2017-05-26 2020-09-01 福州大学 基于局部敏感哈希的中文多关键词模糊排序密文搜索方法
CN108536669B (zh) * 2018-02-27 2019-10-22 北京达佳互联信息技术有限公司 文字信息处理方法、装置及终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678272A (zh) * 2012-09-17 2014-03-26 北京信息科技大学 汉语依存树库中未登录词的处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何浩等: "一种基于N-Gram技术的中文文献自动分类方法", 《情报学报》 *
胡浩等: "基于汉字固有属性的中文字向量方法研究", 《中文信息学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019165832A1 (zh) * 2018-02-27 2019-09-06 北京达佳互联信息技术有限公司 文字信息处理方法、装置及终端
CN109657229A (zh) * 2018-10-31 2019-04-19 北京奇艺世纪科技有限公司 一种意图识别模型生成方法、意图识别方法及装置
CN111179937A (zh) * 2019-12-24 2020-05-19 上海眼控科技股份有限公司 文本处理的方法、设备和计算机可读存储介质

Also Published As

Publication number Publication date
WO2019165832A1 (zh) 2019-09-06
US20200394356A1 (en) 2020-12-17
CN108536669B (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN108536669B (zh) 文字信息处理方法、装置及终端
KR102603466B1 (ko) 성문 추출 모델 훈련 방법 및 성문 인식 방법, 이의 장치 및 매체, 프로그램
CN101772753B (zh) 使用偏移连接元素辅助数据输入的方法、装置和计算机程序产品
CN107102746A (zh) 候选词生成方法、装置以及用于候选词生成的装置
CN108256549B (zh) 图像分类方法、装置及终端
EP3133532A1 (en) Method and device for training classifier and recognizing a type of information
CN107247519A (zh) 一种输入方法及装置
CN110413756A (zh) 自然语言处理的方法、装置及设备
CN107436691A (zh) 一种输入法进行纠错的方法、客户端、服务器及装置
CN107221330A (zh) 标点添加方法和装置、用于标点添加的装置
CN108121736A (zh) 一种主题词确定模型的建立方法、装置及电子设备
CN108595497A (zh) 数据筛选方法、装置及终端
CN109871843A (zh) 字符识别方法和装置、用于字符识别的装置
WO2021046958A1 (zh) 语音信息处理方法、装置及存储介质
CN109002184A (zh) 一种输入法候选词的联想方法和装置
CN108563683A (zh) 标签添加方法、装置及终端
JP2022510660A (ja) データ処理方法及びその装置、電子機器、並びに記憶媒体
CN108829686A (zh) 翻译信息显示方法、装置、设备及存储介质
CN107092424A (zh) 一种纠错项的显示方法、装置和用于纠错项的显示的装置
CN108334526A (zh) 搜索结果项的展示方法和装置
CN108133217B (zh) 图像特征确定方法、装置及终端
CN108073293A (zh) 一种目标词组的确定方法和装置
CN107861637A (zh) 文字输入方法、装置及计算机可读存储介质
CN107360322A (zh) 信息提示方法及装置
CN103995844B (zh) 信息搜索方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant