CN111523328B - 一种智能客服语义处理方法 - Google Patents

一种智能客服语义处理方法 Download PDF

Info

Publication number
CN111523328B
CN111523328B CN202010284743.1A CN202010284743A CN111523328B CN 111523328 B CN111523328 B CN 111523328B CN 202010284743 A CN202010284743 A CN 202010284743A CN 111523328 B CN111523328 B CN 111523328B
Authority
CN
China
Prior art keywords
dssm
customer service
training
semantic
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010284743.1A
Other languages
English (en)
Other versions
CN111523328A (zh
Inventor
费春勇
黄峰
余敏
王定军
张继康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongbo Information Technology Research Institute Co ltd
Original Assignee
Zhongbo Information Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongbo Information Technology Research Institute Co ltd filed Critical Zhongbo Information Technology Research Institute Co ltd
Priority to CN202010284743.1A priority Critical patent/CN111523328B/zh
Publication of CN111523328A publication Critical patent/CN111523328A/zh
Application granted granted Critical
Publication of CN111523328B publication Critical patent/CN111523328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/216Parsing using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281Customer communication at a business location, e.g. providing product or service information, consulting
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种智能客服语义处理方法,属于人工智能自然语言里技术领域,建立客服客户端、样本数据采样模块和云服务器,在云服务器中建立DSSM语义相似度模型模块和TF‑IDF模型模块,基于样本数据训练DSSM语义相似度模型,基于海量数据训练TF‑IDF模型,构建TF‑IDF模型语义相似度计算方法,采用语义相似度的排序算法能够很好的平衡准确度与效率,采用人工客服的日常运维提供大量的对话知识库,以深度学习技术为算法核心的语义理解方法,为办公领域智能客服提供了快速准确的语义匹配,提高了办公效率。

Description

一种智能客服语义处理方法
技术领域
本发明属于人工智能自然语言处理技术领域,涉及一种智能客服语义处理方法。
背景技术
近年来,智能客服已经成功运用于各行各业咨询服务业务中,为企业以及用户提供了快捷方便的解决路径,同样类似于中国电信等大型企业在办公管理过程中也会遇到各种咨询问题,而仅仅通过询问人工客服不仅效率低下,而且要求人工客服详细了解办公系统中各个部门的精细工作。通过将日常办公领域涉及到的散而细的业务问题整理成问答对形式的知识库,通过对咨询问题的语义理解,来匹配出语义最相似答案,这种方式的智能客服不仅降低了工作量,将人工客服员从大量重复、机械的工作中解放出来,着重用于解决办公中一些复杂的问题上,有效进行资源分配,降低成本;而且时刻在线,提高办公效率。
传统的智能客服的语义理解方法主要是以自定义模板匹配以及关键字匹配来解析用户问题,缺点在于模板问法相对单一,限制用户问题必须包含在模板中或者是带有相同的关键词,遇到相似表达语义的问法就难以被匹配到。
发明内容
本发明的目的是提供一种智能客服语义处理方法,解决了传统技术的不足的技术问题。
为实现上述目的,本发明采用如下技术方案:
一种智能客服语义处理方法,包括如下步骤:
步骤1:建立客服客户端、样本数据采样模块和云服务器,客服客户端、样本数据采样数据库和云服务器之间通过互联网相互通信;
在云服务器中建立DSSM语义相似度模型模块和TF-IDF模型模块;
在样本数据采样模块中建立领域外开源样本数据库和领域内样本数据库;
步骤2:在DSSM语义相似度模型模块中建立DSSM语义相似度模型;
DSSM语义相似度模型模块调取领域外开源样本数据库中的数据对DSSM语义相似度模型进行训练;
步骤3:对领域内样本数据库中的数据进行标注处理,其标注方法采用问题+答案的方式;
步骤4:在样本数据采样模块中添加开放领域知识丰富训练数据库;
步骤5:根据开放领域知识丰富训练数据库中的数据,建立领域专用字典;
步骤6:基于word2vec将专用字典中的所有字均生成对应的字向量T;
步骤7:根据以下方法以DSSM为算法核心,选定Transformer特征提取网络,对标注好的数据进行训练,得到DSSM语义相似度模型:
步骤S1:以Transformer-DSSM深度网络为主要框架,输入字向量T经过双向GRU提取特征后输出256维向量;
步骤S2:将步骤S1的结果再输入到Transformer层,经提取特征后输出512维向量F=((t11,t12,t13,...t1,512),...(tc1,tc2,tc3,...,tc,512));其中,c代表知识库文本的数量;
步骤S3:设定问题向量为Fq,答案向量为Fa,计算问题向量Fq与答案向量Fa之间的余弦距离:R(q,a)=cosine(Fq,Fa);
步骤S4:通过softmax函数将余弦距离R(q,a)转化为一个后验概率:
其中γ为softmax的平滑因子,a+为答案中的正样本,a-为随机负采样的负样本,a为整个答案下的样本空间;
步骤S5:通过极大似然估计,最小化损失函数进行训练,得到相似度模型M;
步骤8:将开放领域知识丰富训练数据库和领域内样本数据库中的数据作为训练数据,对训练数据进行文本的分词和去除停用词的处理,基于gensim模块训练TF-IDF模型,得到模型矩阵,根据模型矩阵计算相似度。
优选的,所述开放领域知识库包括日常聊天和百度百科。
优选的,在执行步骤6时,在字向量模型中,参与对DSSM语义相似度模型进行训练的数据T表示为:T=((t11,t12,t13,...t1l),...(tc1,tc2,tc3,...,tcl)),其中l代表词向量的长度。
本发明所述的一种智能客服语义处理方法,采用语义相似度的排序算法能够很好的平衡准确度与效率,采用人工客服的日常运维提供大量的对话知识库,以深度学习技术为算法核心的语义理解方法,为办公领域智能客服提供了快速准确的语义匹配,提高了办公效率。
附图说明
图1是本发明的流程图;
图2是本发明的Transformer-DSSM语义相似度模型的结构图。
具体实施方式
如图1-图2所示的一种智能客服语义处理方法,包括如下步骤:
步骤1:建立客服客户端、样本数据采样模块和云服务器,客服客户端、样本数据采样数据库和云服务器之间通过互联网相互通信;
在云服务器中建立DSSM语义相似度模型模块和TF-IDF模型模块;
在样本数据采样模块中建立领域外开源样本数据库和领域内样本数据库;
步骤2:在DSSM语义相似度模型模块中建立DSSM语义相似度模型;
DSSM语义相似度模型模块调取领域外开源样本数据库中的数据对DSSM语义相似度模型进行训练;
步骤3:对领域内样本数据库中的数据进行标注处理,其标注方法采用问题+答案的方式;
步骤4:在样本数据采样模块中添加开放领域知识丰富训练数据库;
步骤5:根据开放领域知识丰富训练数据库中的数据,建立领域专用字典;
步骤6:基于word2vec将专用字典中的所有字均生成对应的字向量T;
步骤7:根据以下方法以DSSM为算法核心,选定Transformer特征提取网络,对标注好的数据进行训练,得到相似度模型:
步骤S1:以Transformer-DSSM深度网络为主要框架,输入字向量T经过双向GRU提取特征后输出256维向量;
步骤S2:将步骤S1的结果再输入到Transformer层,经提取特征后输出512维向量F=((t11,t12,t13,...t1,512),...(tc1,tc2,tc3,...,tc,512)),其中,t代表向量每个维度的值,向量是c×512维的矩阵,t是其中的一个值,其下标是对应的位置。
步骤S3:设定问题向量为Fq,答案向量为Fa,计算问题向量Fq与答案向量Fa之间的余弦距离:R(q,a)=cosine(Fq,Fa);
步骤S4:通过softmax函数将余弦距离R(q,a)转化为一个后验概率:
其中γ为softmax的平滑因子,a+为答案中的正样本,a-为随机负采样的负样本,a为整个答案下的样本空间;
步骤S5:通过极大似然估计,最小化损失函数进行训练,得到相似度模型M;
本发明主要包括两个语义相似度模型:一个是基于深层语义的Transformer-DSSM语义相似度模型,另一个是基于关键词的TF-IDF语义相似度模型(这个模型是用于补充Transformer-DSSM语义相似度模型出现短板的情况,以及用于冷启动),tensorflow-serving是模型部署的平台,在本实施例中只有Transformer-DSSM模型部署在上面,TF-IDF模型直接放在本地的。
步骤8:将开放领域知识丰富训练数据库和领域内样本数据库中的数据作为训练数据,对训练数据进行文本的分词和去除停用词的处理,基于gensim模块训练TF-IDF模型,得到模型矩阵,根据模型矩阵计算相似度。
优选的,所述开放领域知识库包括日常聊天和百度百科。
优选的,在执行步骤6时,在字向量模型中,参与对DSSM语义相似度模型进行训练的数据T表示为:T=((t11,t12,t13,...t1l),...(tc1,tc2,tc3,...,tcl)),其中l代表词向量的长度。
本实施例中,在实际应用时,客服客户端采用以下方法进行交互:
步骤A1:在云服务器中设置语义相似度阈值,并启动DSSM语义相似度模型;
步骤A2:客服客户端向云服务器发送用户输入的文本信息,如“员工医药费怎么报销”;
步骤A3:对用户输入的文本信息进行去除停用词的处理,生成输入文本,在本实施例中,“员工医药费怎么报销”被处理为“员工医药费报销”;
本实施例中,停用词为预设词,预先存储在云服务器中;
步骤A4:对输入文本通过word2vec进行向量化,在本实施例中,“员工医药费报销”向量化后是512维的向量,其形式为:
(0.005723613314330578,
0.0025994055904448032,
0.008887916803359985,
0.004160900600254536,
…,
-0.0010276343673467636);
步骤A5:将向量化后的输入文本输入到训练好的DSSM语义相似度模型中,计算语义相似度,返回大于阈值的前五个知识库问题,
步骤A6:通过TF-IDF模型对输入文本进行向量化,在本实施例中,输入文本分词列表为[“员工”,”医药费”,”报销”],向量化后输出为一下元组:
[(772,0.44722405954187794),
(790,0.5561475246628701),
(2416,0.7004930915992285)];
其中第一个数是当前词在字典中的位置,第二个数是对应的TF-IDF值。
输入文本向量化可表示为
(0.44722405954187794,
0.5561475246628701,
0.7004930915992285);
步骤A7:将向量后的用户输入文本通过余弦距离计算与知识库问题的语义相似度,返回top-5知识库问题序号,
步骤A8:将五个知识库问题检索对应的应答,返回给客服客户端,a=q(index),客服客户端根据结果,可选择跳转人工客服。
图2中,embedding表示问题“Q1Q2Q3”、答案“A1A2A3”经过word2vec自嵌入得到的向量,向量再经过双向GRU提取特征,进一步输入到Transformer层进行最后的特征提取,最后将问题特征向量和答案特征向量进行Cosine计算,结果由softmax排序输出。
BiGRU表示双向的GRU(gate recurrent unit)循环神经网络,Transformer表示由encoder(编码组件)和decoder(解码组件)构成的特征提取网络;
本发明所述的一种智能客服语义处理方法,解决了传统技术的不足的技术问题,本发明采用语义相似度的排序算法能够很好的平衡准确度与效率,采用人工客服的日常运维提供大量的对话知识库,以深度学习技术为算法核心的语义理解方法,为办公领域智能客服提供了快速准确的语义匹配,提高了办公效率。

Claims (3)

1.一种智能客服语义处理方法,其特征在于:包括如下步骤:
步骤1:建立客服客户端、样本数据采样模块和云服务器,客服客户端、样本数据采样数据库和云服务器之间通过互联网相互通信;
在云服务器中建立DSSM语义相似度模型模块和TF-IDF模型模块;
在样本数据采样模块中建立领域外开源样本数据库和领域内样本数据库;
步骤2:在DSSM语义相似度模型模块中建立DSSM语义相似度模型;
DSSM语义相似度模型模块调取领域外开源样本数据库中的数据对DSSM语义相似度模型进行训练;
步骤3:对领域内样本数据库中的数据进行标注处理,其标注方法采用问题+答案的方式;
步骤4:在样本数据采样模块中添加开放领域知识丰富训练数据库;
步骤5:根据开放领域知识丰富训练数据库中的数据,建立领域专用字典;
步骤6:基于word2vec将专用字典中的所有字均生成对应的字向量T;
步骤7:根据以下方法以DSSM为算法核心,选定Transformer特征提取网络,对标注好的数据进行训练,得到DSSM语义相似度模型:
步骤S1:以Transformer-DSSM深度网络为主要框架,输入字向量T经过双向GRU提取特征后输出256维向量;
步骤S2:将步骤S1的结果再输入到Transformer层,经提取特征后输出512维向量F=((t11,t12,t13,...t1,512),...(tc1,tc2,tc3,...,tc,512));其中,c代表知识库文本的数量;
步骤S3:设定问题向量为Fq,答案向量为Fa,计算问题向量Fq与答案向量Fa之间的余弦距离:R(q,a)=cosine(Fq,Fa);
步骤S4:通过softmax函数将余弦距离R(q,a)转化为一个后验概率:
其中γ为softmax的平滑因子,a+为答案中的正样本,a-为随机负采样的负样本,a为整个答案下的样本空间;
步骤S5:通过极大似然估计,最小化损失函数进行训练,得到相似度模型M;
步骤8:将开放领域知识丰富训练数据库和领域内样本数据库中的数据作为训练数据,对训练数据进行文本的分词和去除停用词的处理,基于gensim模块训练TF-IDF模型,得到模型矩阵,根据模型矩阵计算相似度。
2.如权利要求1所述的一种智能客服语义处理方法,其特征在于:所述开放领域知识丰富训练数据库包括日常聊天和百度百科。
3.如权利要求1所述的一种智能客服语义处理方法,其特征在于:在执行步骤6时,在字向量模型中,参与对DSSM语义相似度模型进行训练的数据T表示为:T=((t11,t12,t13,...t1l),...(tc1,tc2,tc3,...,tcl)),其中l代表词向量的长度。
CN202010284743.1A 2020-04-13 2020-04-13 一种智能客服语义处理方法 Active CN111523328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010284743.1A CN111523328B (zh) 2020-04-13 2020-04-13 一种智能客服语义处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010284743.1A CN111523328B (zh) 2020-04-13 2020-04-13 一种智能客服语义处理方法

Publications (2)

Publication Number Publication Date
CN111523328A CN111523328A (zh) 2020-08-11
CN111523328B true CN111523328B (zh) 2023-09-05

Family

ID=71902012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010284743.1A Active CN111523328B (zh) 2020-04-13 2020-04-13 一种智能客服语义处理方法

Country Status (1)

Country Link
CN (1) CN111523328B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257431A (zh) * 2020-10-30 2021-01-22 中电万维信息技术有限责任公司 一种基于nlp的短文本数据加工的方法
CN113239157B (zh) * 2021-03-31 2022-02-25 北京百度网讯科技有限公司 对话模型的训练方法、装置、设备和存储介质
CN117273821B (zh) * 2023-11-20 2024-03-01 阿里健康科技(杭州)有限公司 电子权益凭证的发放方法、训练方法以及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032632A (zh) * 2019-04-04 2019-07-19 平安科技(深圳)有限公司 基于文本相似度的智能客服问答方法、装置及存储介质
CN110826337A (zh) * 2019-10-08 2020-02-21 西安建筑科技大学 一种短文本语义训练模型获取方法及相似度匹配算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832131B2 (en) * 2017-07-25 2020-11-10 Microsoft Technology Licensing, Llc Semantic similarity for machine learned job posting result ranking model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032632A (zh) * 2019-04-04 2019-07-19 平安科技(深圳)有限公司 基于文本相似度的智能客服问答方法、装置及存储介质
CN110826337A (zh) * 2019-10-08 2020-02-21 西安建筑科技大学 一种短文本语义训练模型获取方法及相似度匹配算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张乐.基于深度学习的客服问题相似度识别.《中国优秀硕士学位论文全文数据库(电子期刊)》.2020, I138-2477. *

Also Published As

Publication number Publication date
CN111523328A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN106997375B (zh) 基于深度学习的客服回复推荐方法
WO2023273170A1 (zh) 一种迎宾机器人对话方法
CN106570708B (zh) 一种智能客服知识库的管理方法及系统
CN111523328B (zh) 一种智能客服语义处理方法
CN110717018A (zh) 一种基于知识图谱的工业设备故障维修问答系统
CN112000791A (zh) 一种电机故障知识抽取系统及方法
CN110413783B (zh) 一种基于注意力机制的司法文本分类方法及系统
CN109460457A (zh) 文本语句相似度计算方法、智能政务辅助解答系统及其工作方法
CN109992669B (zh) 一种基于语言模型和强化学习的关键词问答方法
US20230394247A1 (en) Human-machine collaborative conversation interaction system and method
CN110390049B (zh) 一种面向软件开发问题的答案自动生成方法
CN111046155A (zh) 一种基于fsm多轮问答的语义相似度计算方法
CN115470338B (zh) 一种基于多路召回的多场景智能问答方法和系统
CN116127095A (zh) 一种序列模型与知识图谱结合的问答方法
CN114297399A (zh) 知识图谱生成方法、系统、存储介质及电子设备
CN117493513A (zh) 一种基于向量和大语言模型的问答系统及方法
CN116166688A (zh) 基于自然语言交互的业务数据检索方法、系统及处理设备
CN113486174B (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
CN112349294B (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN117312509A (zh) 一种海量信息下基于大语言模型的知识库问答方法及装置
CN115310429B (zh) 一种多轮倾听对话模型中的数据压缩与高性能计算方法
CN116306653A (zh) 一种正则化领域知识辅助的命名实体识别方法
Karpagam et al. Deep learning approaches for answer selection in question answering system for conversation agents
CN111488448B (zh) 一种机器阅读标注数据的生成方法和装置
CN110287396A (zh) 文本匹配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An Intelligent Customer Service Semantic Processing Method

Effective date of registration: 20231229

Granted publication date: 20230905

Pledgee: China Merchants Bank Co.,Ltd. Nanjing Branch

Pledgor: Zhongbo Information Technology Research Institute Co.,Ltd.

Registration number: Y2023980075251