CN112800722A - 基于语义理解的文字组织编码算法 - Google Patents
基于语义理解的文字组织编码算法 Download PDFInfo
- Publication number
- CN112800722A CN112800722A CN202110176556.6A CN202110176556A CN112800722A CN 112800722 A CN112800722 A CN 112800722A CN 202110176556 A CN202110176556 A CN 202110176556A CN 112800722 A CN112800722 A CN 112800722A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- characters
- going
- organizing
- codes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008520 organization Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
一种基于语义理解的文字组织编码算法，包括以下步骤：（一）将文本拆分成单个字符；（二）将单个字符转换成对应的Unicode编码；（三）组织编码，将相邻字符的编码两两组合，寻找有经验的优先进行组织存储，再与剩下的编码一起继续进行两两组合，重复寻找两两组合有经验的优先进行组织，最终得到一个可能有经验的知识编码，用于系统保存或者关联其它有用编码信息。本发明用于语义理解系统里对语句的分析、理解，将文字数据化的方式，不仅传递方便而且还可以通过ID查询到所有相关信息，更方便系统识别。
Description
技术领域
本发明涉及计算机自然语言处理技术领域，特别涉及一种基于语义理解的文字组织编码算法。
背景技术
目前对于计算机与人工智能的融合，已在多领域进行应用，最为广泛的即NLP（Natural Language Processing，自然语言处理，是研究人与计算机交互的语言问题的一门学科），而现有技术对于传统文本分类的处理大致分为文本预处理、文本特征提取和分类模型构建等，在对文本处理时通常通过大数据来统计，按照概率值进行分词，或者通过提前设置好的词典来分词。但该处理方式还存在以下不足之处：
1．容易引起维度灾难问题，语料库太大，字典的大小为每个词的维度，高维度导致计算困难，若每个文档包含的词语数少于词典的总词语数，则又导致文档稀疏；
2．仅仅考虑词语出现的次数，没有考虑句子词语之间的顺序信息，即语义信息未考虑。
发明内容
本发明要解决的技术问题是：提供一种将文本的语义信息具体化、数据化，变为计算机可以存储的数据信息的基于语义理解的文字组织编码算法，以克服已有技术所存在的上述不足。
本发明采取的技术方案是：一种基于语义理解的文字组织编码算法，包括以下步骤：
（一）拆分文本
（1）将文本拆分成段落；
（2）将段落拆分成整句；
（3）将整句拆分成子句；
（4）将子句拆分成单个字符；
（二）编码转换
将单个字符转换成对应的Unicode编码，每个字符均用16位二进制数来表示；
（三）组织编码
（1）将相邻字符的Unicode编码两两组合；
（2）寻找有经验的组合，优先进行组织、存储；
（3）再与剩下的编码一起继续进行两两组合，重复寻找两两组合有经验的优先进行组织；
（4）持续组织，最终得到一个可能有经验的知识编码，用于系统保存或者关联其它有用编码信息。
其进一步的技术方案是：所述步骤（二）具体包括以下步骤：
（1）将单个字符里的数字部分进行数字转码，即将数字保存到id1，系统标识符-数字保存到id0；
（2）将单个字符里的非数字部分进行非数字转码，其中窄字符（ASCII）转换为宽字符（Unicode），获取对应的Unicode编码，文字则直接转成Unicode编码。
进一步：所述步骤（三）具体包括以下步骤：
s1．组织开始；
s2．将相邻字符的Unicode编码按顺序两两组合成知识ID；
s3．判断知识ID个数是否大于等于3，若是，进入步骤s4，若否，进入步骤s13；
s4．判断计数器是否都小于阈值，若是，进入步骤s5，若否，进入步骤s8；
s5．判断知识ID是否满足固定句式条件，若是，进入步骤s6，若否，进入步骤s7；
s6．优先处理固定句式未知部分，返回步骤s2；
s7．按顺序进行组合、存储，返回步骤s2；
s8．判断计数器是否都大于阈值，若是，进入步骤s9，若否，进入步骤s11；
s9．判断知识ID是否都有抽象ID，即是否有经验，若是，进入步骤s10，若否，进入步骤s12；
s10．有抽象ID的两种组合都尝试进行组织、存储，返回步骤s2；
s11．优先组织计数器大的知识ID，返回步骤s2；
s12．优先组织有抽象ID的知识ID，返回步骤s2；
s13．按顺序依次进行组织，最终组织成一个知识ID；
s14．组织结束。
由于采用上述技术方案，本发明之基于语义理解的文字组织编码算法具有如下有益效果：
本发明通过将文本逐步拆分成单个字符，转换成Unicode编码，后再对每个字符进行两两组合，寻找有经验的组合优先进行组织，直到把所有的知识组织起来，得到一个有经验的可以表达更多意思的知识编码，用于语义理解系统里对语句的分析、理解，如此将文字数据化的方式，不仅传递方便而且还可以通过ID查询到所有相关信息，更方便系统识别。
下面结合附图和实施例对本发明之基于语义理解的文字组织编码算法的技术特征作进一步的说明。
附图说明
图1：本发明之组织编码算法流程图。
文中英文及缩略语说明：
ASCII：美国信息交换标准代码；
Unicode：为了解决传统的字符编码方案（ASCII）的局限而产生的代码，Unicode如一本很厚的字典，记录着世界上所有字符对应的一个数字。
具体实施方式
实施例
一种基于语义理解的文字组织编码算法，包括以下步骤：
（一）拆分文本
（1）将文本拆分成段落；
（2）将段落拆分成整句；
（3）将整句拆分成子句；
（4）将子句拆分成单个字符；
如此按照段落、整句一层层来组织、分析，要理解一个段落必须把句给理解，而句又需要拆分出单个字符，字符可能是中文字符、英文字符、阿拉伯数字或者标点符号等，这些字符都是用来描述句子意思的信息。
（二）编码转换
将单个字符转换成对应的Unicode编码，每个字符均用16位二进制数来表示；
步骤（一）中所述字符在ASCII码表中都有对应的编号，一个字节由 8 位二进制表示，可表达的范围为0～256，而ASCII 码表中一共有127个编码，即可表示完所有的大写和小写字母、数字 0～9、标点符号以及在美式英语中使用的特殊控制字符，但ASCII 码表中没有中文对应的编号，因此需要把ASCII 码表中的窄字符（ASCII）转换为宽字符（Unicode）后再获取对应Unicode 编码；在Unicode表中，一般使用两个字节表示一个字符，字符不仅包含ASCII 码表的所有字符，同时也包含中文字符以及其它国家的字符的编码；一个宽字符用 16 位二进制数表示，其范围为0～65535，在这个范围内的所有编码都已经被定义了具体的字符或者意义，例如“语义”字符 2 个字的值分别为：语35821、义20041，将它们转为二进制即为：语1000101111101101、义100111001001001。
（三）组织编码
（1）根据字符转成Unicode编码后，将相邻字符的Unicode编码进行规定的两两组合；
（2）在数据库中检索，看是否保存有两两组合的编码，寻找有经验的组合，优先选择有经验的其中一组组合起来，即将2 个值合并到系统里，系统生成没有被使用的 ID 值作为新的 32 位二进制值ID（例如80001）的结构中，当前编码数量减少一位，将每两个编码组合成为一个 32 位二进制值的编码，剩下的编码继续这样的操作，组织、存储；
（3）再与剩下的编码一起继续进行两两组合，重复尝试寻找两两组合有经验的优先进行组织；
（4）持续组织，最终得到一个可能有经验的且可以表达更多意思的知识编码，用于语义系统保存或者关联其它有用编码信息。
例如：将“语义理解系统”这句话转成 6 个 Unicode 编码后，分别为“语 35821，义20041，理290702，解35299，系31995，统32479”，进行相邻两两组合，首先把“语 35821”和“义20041”两两组合后得到一个 ID，再查询这个 ID 结构的抽象字段、词性字段、出现次数的值，作为优先组织的依据，在查询到“语义”、“理解”、“系统”都分别有词性或者抽象后，则该三个词会被优先两两组织成：80001 表示“语义”，80002 表示“理解”，80003 表示“系统”，然后尝试两两组织这三个 ID，若80001 和 80002 组织后它们的出现次数比 80002和 80003 组织后的大，就优先组织 80001 和 80002成为 80004，最后只剩下 80004 和80003两个编码，则直接组织成80005，在语义系统里 80005 便代表字符串“语义理解系统”；
当文本出现都没有词性和抽象时，会尝试运用猜实体名词方法，把组织后不能组织的部分“语、义、理解系统”和曾经根据经验生成的猜分类句式“事物、理解、系统”对比出“语、义”和“事物”应该为同一类，就可以优先组织“语、义”。
所述步骤（二）具体包括以下步骤：
（1）字符转编码分为两种转码：数字转码与非数字转码，将单个字符里的数字部分进行数字转码，即将数字保存到id1，系统标识符-数字保存到id0；
（2）将单个字符里的非数字部分进行非数字转码，其中窄字符（ASCII）转换为宽字符（Unicode），获取对应的Unicode编码，文字则直接转成Unicode编码。
如图1所示，所述步骤（三）具体包括以下步骤：
s1．组织开始；
s2．将相邻字符的Unicode编码按顺序两两组合成知识ID；
s3．判断知识ID个数是否大于等于3，若是，进入步骤s4，若否，进入步骤s13；
s4．判断计数器是否都小于阈值，若是，进入步骤s5，若否，进入步骤s8；
s5．判断知识ID是否满足固定句式条件，若是，进入步骤s6，若否，进入步骤s7；
s6．优先处理固定句式未知部分，返回步骤s2；
s7．按顺序进行组合、存储，返回步骤s2；
s8．判断计数器是否都大于阈值，若是，进入步骤s9，若否，进入步骤s11；
s9．判断知识ID是否都有抽象ID，即是否有经验，若是，进入步骤s10，若否，进入步骤s12；
s10．有抽象ID的两种组合都尝试进行组织、存储，返回步骤s2；
s11．优先组织计数器大的知识ID，返回步骤s2；
s12．优先组织有抽象ID的知识ID，返回步骤s2；
s13．按顺序依次进行组织，最终组织成一个知识ID；
s14．组织结束。
以上实施例仅为本发明的较佳实施例，本发明的方法并不限于上述实施例列举的形式，凡在本发明的精神和原则之内所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于语义理解的文字组织编码算法，其特征在于：包括以下步骤：
（一）拆分文本
（1）将文本拆分成段落；
（2）将段落拆分成整句；
（3）将整句拆分成子句；
（4）将子句拆分成单个字符；
（二）编码转换
将单个字符转换成对应的Unicode编码，每个字符均用16位二进制数来表示；
（三）组织编码
（1）将相邻字符的Unicode编码两两组合；
（2）寻找有经验的组合，优先进行组织、存储；
（3）再与剩下的编码一起继续进行两两组合，重复寻找两两组合有经验的优先进行组织；
（4）持续组织，最终得到一个可能有经验的知识编码，用于系统保存或者关联其它有用编码信息。
2.根据权利要求1所述的基于语义理解的文字组织编码算法，其特征在于：所述步骤（二）具体包括以下步骤：
（1）将单个字符里的数字部分进行数字转码，即将数字保存到id1，系统标识符-数字保存到id0；
（2）将单个字符里的非数字部分进行非数字转码，其中窄字符（ASCII）转换为宽字符（Unicode），获取对应的Unicode编码，文字则直接转成Unicode编码。
3.根据权利要求1所述的基于语义理解的文字组织编码算法，其特征在于：所述步骤（三）具体包括以下步骤：
s1．组织开始；
s2．将相邻字符的Unicode编码按顺序两两组合成知识ID；
s3．判断知识ID个数是否大于等于3，若是，进入步骤s4，若否，进入步骤s13；
s4．判断计数器是否都小于阈值，若是，进入步骤s5，若否，进入步骤s8；
s5．判断知识ID是否满足固定句式条件，若是，进入步骤s6，若否，进入步骤s7；
s6．优先处理固定句式未知部分，返回步骤s2；
s7．按顺序进行组合、存储，返回步骤s2；
s8．判断计数器是否都大于阈值，若是，进入步骤s9，若否，进入步骤s11；
s9．判断知识ID是否都有抽象ID，即是否有经验，若是，进入步骤s10，若否，进入步骤s12；
s10．有抽象ID的两种组合都尝试进行组织、存储，返回步骤s2；
s11．优先组织计数器大的知识ID，返回步骤s2；
s12．优先组织有抽象ID的知识ID，返回步骤s2；
s13．按顺序依次进行组织，最终组织成一个知识ID；
s14．组织结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110176556.6A CN112800722B (zh) | 2021-02-09 | 2021-02-09 | 基于语义理解的文字组织编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110176556.6A CN112800722B (zh) | 2021-02-09 | 2021-02-09 | 基于语义理解的文字组织编码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112800722A true CN112800722A (zh) | 2021-05-14 |
| CN112800722B CN112800722B (zh) | 2024-04-26 |
Family
ID=75814895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110176556.6A Active CN112800722B (zh) | 2021-02-09 | 2021-02-09 | 基于语义理解的文字组织编码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112800722B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5793381A (en) * | 1995-09-13 | 1998-08-11 | Apple Computer, Inc. | Unicode converter |
| CN101013420A (zh) * | 2006-12-31 | 2007-08-08 | 中国科学院计算技术研究所 | 一种识别中文文本编码形式的方法 |
| JP2008148322A (ja) * | 2006-12-08 | 2008-06-26 | Fujitsu Ltd | 文字符号化処理方法及びシステム |
| CN101350624A (zh) * | 2008-09-11 | 2009-01-21 | 中国科学院计算技术研究所 | 一种支持ansi编码的中文文本的压缩方法 |
| CN102799600A (zh) * | 2012-04-10 | 2012-11-28 | 成都网安科技发展有限公司 | 一种基于编码关联的多模式匹配算法及系统 |
| US20170337388A1 (en) * | 2016-05-18 | 2017-11-23 | Blackberry Limited | Data security using alternative encoding |
| US20180026650A1 (en) * | 2016-07-25 | 2018-01-25 | Fujitsu Limited | Encoding device, encoding method and search method |
| CN112200286A (zh) * | 2020-08-25 | 2021-01-08 | 中国物品编码中心 | 字符串编码的方法和装置 |
-
2021
- 2021-02-09 CN CN202110176556.6A patent/CN112800722B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5793381A (en) * | 1995-09-13 | 1998-08-11 | Apple Computer, Inc. | Unicode converter |
| JP2008148322A (ja) * | 2006-12-08 | 2008-06-26 | Fujitsu Ltd | 文字符号化処理方法及びシステム |
| CN101013420A (zh) * | 2006-12-31 | 2007-08-08 | 中国科学院计算技术研究所 | 一种识别中文文本编码形式的方法 |
| CN101350624A (zh) * | 2008-09-11 | 2009-01-21 | 中国科学院计算技术研究所 | 一种支持ansi编码的中文文本的压缩方法 |
| CN102799600A (zh) * | 2012-04-10 | 2012-11-28 | 成都网安科技发展有限公司 | 一种基于编码关联的多模式匹配算法及系统 |
| US20170337388A1 (en) * | 2016-05-18 | 2017-11-23 | Blackberry Limited | Data security using alternative encoding |
| US20180026650A1 (en) * | 2016-07-25 | 2018-01-25 | Fujitsu Limited | Encoding device, encoding method and search method |
| CN112200286A (zh) * | 2020-08-25 | 2021-01-08 | 中国物品编码中心 | 字符串编码的方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| SHERRY EMI;: "文字编码综述", 中文信息, no. 11, 1 November 2002 (2002-11-01), pages 51 - 53 * |
| 小尼玛扎西;: "在通用字符集UCS中藏文编码模式的应用分析", 西藏大学学报(自然科学版), no. 01, 15 May 2008 (2008-05-15), pages 16 - 20 * |
| 李培峰;朱巧明;钱培德;: "基于语义的多文种编码方案SemaCode", 计算机应用研究, no. 06, 15 June 2008 (2008-06-15), pages 1652 - 1656 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112800722B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107451153B (zh) | 输出结构化查询语句的方法和装置 | |
| US8745077B2 (en) | Searching and matching of data | |
| CN113011189A (zh) | 开放式实体关系的抽取方法、装置、设备及存储介质 | |
| CN106610951A (zh) | 改进的基于语义分析的文本相似度求解算法 | |
| WO2009046612A1 (fr) | Système de cognition artificielle d'information sémantique complète et applications correspondantes | |
| CN106383814B (zh) | 一种英文社交媒体短文本分词方法 | |
| JPS6211932A (ja) | 情報検索方法 | |
| KR20070094984A (ko) | 로우메모리 결정트리 | |
| CN111061882A (zh) | 一种知识图谱构建方法 | |
| Kumar et al. | A study of spell checking techniques for indian languages | |
| CN115618883A (zh) | 一种业务语义识别方法及装置 | |
| CN115712731A (zh) | 一种基于ernie和多特征融合的多模态情感分析方法 | |
| CN115759119A (zh) | 一种金融文本情感分析方法、系统、介质和设备 | |
| Zhang et al. | Design and implementation of Chinese Common Braille translation system integrating Braille word segmentation and concatenation rules | |
| CN115098673A (zh) | 基于变体注意力及层次结构的业务文书信息抽取方法 | |
| CN113065349A (zh) | 基于条件随机场的命名实体识别方法 | |
| CN112800722B (zh) | 基于语义理解的文字组织编码方法 | |
| Šantić et al. | Automatic diacritics restoration in Croatian texts | |
| KR101359039B1 (ko) | 복합명사 분석장치 및 복합명사 분석 방법 | |
| CN112560466B (zh) | 链接实体关联方法、装置、电子设备和存储介质 | |
| JPH1185790A (ja) | 文書情報格納装置及び文書情報格納方法並びに文書情報検索装置及び文書情報検索方法並びに文書情報格納プログラムを記録した記録媒体及び文書情報検索プログラムを記録した記録媒体 | |
| Maheswari et al. | Rule based morphological variation removable stemming algorithm | |
| Seresangtakul et al. | Thai-Isarn dialect parallel corpus construction for machine translation | |
| CN113449038A (zh) | 一种基于自编码器的矿山智能问答系统及方法 | |
| JP6784084B2 (ja) | 符号化プログラム、符号化装置、符号化方法、及び検索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |