CN107135247B - 一种人与人工智能协同工作的服务系统及方法 - Google Patents
一种人与人工智能协同工作的服务系统及方法 Download PDFInfo
- Publication number
- CN107135247B CN107135247B CN201710084774.0A CN201710084774A CN107135247B CN 107135247 B CN107135247 B CN 107135247B CN 201710084774 A CN201710084774 A CN 201710084774A CN 107135247 B CN107135247 B CN 107135247B
- Authority
- CN
- China
- Prior art keywords
- robot
- customer service
- client
- module
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000007726 management method Methods 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 24
- 210000002445 nipple Anatomy 0.000 claims description 15
- 230000000875 corresponding effect Effects 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- VDBFSWDFTQMVDA-BBRLRVDQSA-N 2-[[2-[[(2S)-2-[[2-[[(2S)-1-[(2S)-2-[[(2S)-2-[[(2S)-6-amino-2-[[2-[[(2S)-1-[(2S)-2-[[2-[[(2S)-6-amino-2-[[(2S)-6-amino-2-[[2-[[(2S)-2-[[(2S)-1-[6-amino-2-[[2-[[(2S)-2-[[2-[[2-[[(2S)-2-[[(2S)-2-[[2-[[2-[[(2S)-2-[[(2S)-2-amino-3-hydroxypropanoyl]amino]-3-(4-hydroxyphenyl)propanoyl]amino]-3-hydroxypropanoyl]amino]-4-methylsulfanylbutanoyl]amino]-4-carboxybutanoyl]amino]-3-(1H-imidazol-4-yl)propanoyl]amino]-3-phenylpropanoyl]amino]-5-carbamimidamidopentanoyl]amino]-3-(1H-indol-3-yl)propanoyl]amino]acetyl]amino]hexanoyl]pyrrolidine-2-carbonyl]amino]-3-methylbutanoyl]amino]acetyl]amino]hexanoyl]amino]hexanoyl]amino]-5-carbamimidamidopentanoyl]amino]-5-carbamimidamidopentanoyl]pyrrolidine-2-carbonyl]amino]-3-methylbutanoyl]amino]hexanoyl]amino]-3-methylbutanoyl]amino]-3-(4-hydroxyphenyl)propanoyl]pyrrolidine-2-carbonyl]amino]-3-carboxypropanoyl]amino]propanoyl]amino]acetyl]amino]pentanedioic acid Chemical compound CSCCC(NC(=O)C(CO)NC(=O)[C@H](Cc1ccc(O)cc1)NC(=O)[C@@H](N)CO)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](Cc1c[nH]cn1)C(=O)NC(Cc1ccccc1)C(=O)NC(CCCNC(N)=N)C(=O)N[C@@H](Cc1c[nH]c2ccccc12)C(=O)NCC(=O)NC(CCCCN)C(=O)N1CCC[C@H]1C(=O)N[C@@H](C(C)C)C(=O)NCC(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CCCCN)C(=O)NC(CCCNC(N)=N)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N1CCC[C@H]1C(=O)NC(C(C)C)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](C(C)C)C(=O)N[C@@H](Cc1ccc(O)cc1)C(=O)N1CCC[C@H]1C(=O)NC(CC(O)=O)C(=O)N[C@@H](C)C(=O)NCC(=O)NC(CCC(O)=O)C(O)=O VDBFSWDFTQMVDA-BBRLRVDQSA-N 0.000 claims description 6
- 108010052328 actid Proteins 0.000 claims description 6
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000002618 waking effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 238000005086 pumping Methods 0.000 claims 1
- 238000003466 welding Methods 0.000 claims 1
- 230000007812 deficiency Effects 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 5
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 235000021167 banquet Nutrition 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000009223 counseling Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000855 fermentation Methods 0.000 description 1
- 230000004151 fermentation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种人与人工智能协同工作的服务系统及方法，包括机器人集群、客服座席端、服务器，所述机器人集群包括一个以上的机器人，服务器将一个客服座席端关联一个以上的机器人。机器人部署在客户使用现场，为客户提供业务咨询服务。客服座席端部署在客服的工作电脑上，客服通过使用客服座席端连接服务器，进而连接机器人。本发明在人机交互、环境感知以及运动控制等方面，采用客服人员和服务机器人协同工作的方式提供服务，用客服人员去弥补人工智能处理复杂问题的不足，用人工智能去弥补客服的记忆能力的不足，提高客服的复用率，以提供更好的服务，提升用户体验。同时为企业节省客服人员的使用量，以节省成本。
Description
技术领域
本发明涉及一种人与人工智能协同工作的服务系统及方法，属于机器人技术领域。
背景技术
近年来，机器人，特别是服务机器人市场正在快速发酵。但近期，相关调查数据却显示，国内服务机器人产业很热，整体需求很大，但出货量很小，且多是样品展示使用，出现这种现象的主要原因之一就是感知和认知技术上的瓶颈使用户体验差。
感知技术涉及到图像识别、语音识别、环境识别、多传感器融合技术、自动检测技术等，认知技术包括语义理解、知识表示、联想推理、自主学习等，这些都是实现人工智能的核心技术，能让机器人更为自然的与人类进行沟通交流，从而理解帮助人类。可是技术上的瓶颈导致用户体验差强人意、难以引起消费者购买欲望。就语音交互而言，目前机器人语音交互能力还比较弱，对话只限于比较简单、逻辑清晰的字句，还达不到自然顺畅交流的程度，远远不能满足用户需求。
人工智能技术未能很好的解决以上问题的主要原因分析：
1、服务机器人的知识库体系未能建设完善，无论是数据类别还是规模不足以支持人工智能技术的应用需求；
2、人工智能算法的缺陷，人工智能算法上很难处理信息缺失的表述，或是上下文隐含的表达，又或者是有歧义的表达。
3、计算能力瓶颈，由于机器人的本体的计算能力的有限，当知识库的规模达到一定量级以后，机器人的本体的应答耗时可能会不如人快速。
基于以上原因，服务型机器人还不能完全代替人提供服务。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种人与人工智能协同工作的服务系统及方法，在人机交互、环境感知以及运动控制等方面，采用客服人员和服务机器人协同工作的方式提供服务，用客服人员去弥补人工智能处理复杂问题的不足，用人工智能去弥补客服的记忆能力的不足，提高客服的复用率，以提供更好的服务，提升用户体验。同时为企业节省客服人员的使用量，以节省成本。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种人与人工智能协同工作的服务系统，包括机器人集群、客服座席端、服务器，所述机器人集群、服务器、客服座席端依次连接，所述机器人集群包括一个以上的机器人，其中：
机器人部署在客户使用现场，为客户提供业务咨询服务，机器人包括语音输入模块、自然语言理解模块、语音输出模块、知识库模块、语音模式管理模块、场景状态管理模块、音视频采集模块：
语音输入模块：用于接收客户的语音输入，并将客户输入的语音转成文本，同时将转成的文本推送给自然语言理解模块。
自然语言理解模块：用于将语音输入模块的输出文本进行语义理解，得到客户的意图，根据客户的意图在知识库中检索答案，同时将检索到答案的情形以及客户意图推送给场景状态管理模块。若检索到答案，将检索到的答案推送给语音输出模块。
语音输出模块：将检索到的答案进行语音播报。或者接收客服座席端传输的语音数据，进行播报。
知识库模块：用于存储结构化的知识，其包括闲聊场景内容和业务场景内容。
语音模式管理模块：用于机器人智能语音模式和人工语音模式两种模式的管理，且使得机器人只能处于一个模式。
场景状态管理模块：智能语音模式下根据客户意图对客户的问题进行闲聊场景和业务场景分类。如果对客户的语义理解连续2次以上为闲聊问题，主动询问客户办理的业务。如果对客户的语义理解到连续2次以上无答案，则向服务器发送请求客服座席端接管的消息。
音视频采集模块：实时采集机器人工作现场的图像和声音并传输给服务器。
运动控制模块：用于根据服务器发送的控制指令控制机器人动作。
客服座席端部署在客服的工作电脑上，客服通过使用客服座席端连接服务器，进而连接机器人。所述客服座席端包括登陆登出模块、机器人状态预览模块、语音采集模块、语音传输模块、机器人运动控制模块。
登陆登出模块：用于客服通过账号密码发出登陆登出请求。
机器人状态预览模块：用于客服登陆服务器后预览所有跟本账号关联的所有机器人的状态，分为三种状态：待机、唤醒、请求接管。听到机器人现场的声音，看到机器人现场的视频图像。
语音采集模块：用于采集客服的声音。
语音传输模块：用于将采集到的客服声音传输至服务器。
机器人运动控制模块：用于客服在接管机器人后，向服务器发出机器人的运动控制指令。
服务器包括登陆登出管理模块、接管管理模块、语音转发模块、机器人状态管理模块、流媒体模块。
登陆登出管理模块：根据客服座席端发送的登陆登出请求管理客服座席端的登录登出，实现客服座席端在服务器上的登陆登出。
接管管理模块：用于对机器人的接管状态进行管理，机器人被客服座席端语音接管，且同时只能被一个客服接管。
语音转发模块：用于将客服的语音通过流媒体模块转发给机器人。
机器人状态管理模块：用于机器人的语音模式管理。
流媒体模块：实时传输机器人现场的声音图像给客服座席端，并将客服座席端采集到的客服声音实时传输给机器人。
优选的：自然语言理解模块的语义理解如下：将文字进行关键字抽取，去除停用词，去除虚词，对知识库中所有知识进行语义相似度评分，取最高得分的知识。
优选的：所述智能语音模式是指当客服不接管时，机器人智能语音自主回答客户的问题。所述人工语音模式是指在客服接管下，客服处理客户的问题，播放客服传送过来的声音。
一种人与人工智能协同工作的方法，包括机器人集群、客服座席端、服务器，所述机器人集群、服务器、客服座席端依次连接，所述机器人集群包括一个以上的机器人，服务器将一个客服座席端关联一个以上的机器人。机器人部署在客户使用现场，为客户提供业务咨询服务。客服座席端部署在客服的工作电脑上，客服通过使用客服座席端连接服务器，进而连接机器人。具体包括以下步骤：
步骤1，机器人接收客户的语音输入，并将客户输入的语音转成文本。实时采集机器人工作现场的图像和声音并传输给服务器。
步骤2，机器人对步骤1得到的文本进行语义理解，获取客户的意图，根据客户的意图在知识库中检索答案。如果对客户的语义理解到连续2次以上无答案，则向服务器发送请求客服座席端接管的消息。
步骤3，服务器根据步骤2中机器人请求客服座席端接管的消息对机器人的接管状态进行管理，并将请求客服座席端接管的消息发送给对应客服座席端。
步骤4，客服座席端根据请求客服座席端接管的消息接管对应的机器人，并向服务器反馈。服务器接到反馈信息后，将机器人实时采集工作现场的图像和声音、以及客户的声音通过流媒体的形式发送给客服座席端。客服通过客服座席端语音回答客户的问题，而服务器将客服的语音回答内容通过流媒体的形式转发给相应的机器人。
客服根据采集工作现场的图像和声音，向服务器发送动作指令，服务器向机器人发送动作指令，机器人根据动作指令进行相应动作。
步骤5，机器人将步骤2检索到的答案进行语音播报。或者将步骤4接收到的客服座席端传输的语音数据进行播报。
步骤6，当客服回答完用户的问题，按下释放按钮，通过服务器向机器人端发送释放接管命令，机器人端收到此命令，恢复智能语音工作模式，并发送回执到客服座席端。客服座席端收到回执，则将客服的声音停止传输。
优选的：机器人具有唤醒、待机、请求接管三种状态，在步骤2中机器人在检索答案前需要对机器人进行唤醒，唤醒方法如下：预设唤醒词，当识别到唤醒词时就触发机器人从待机中唤醒。同时通过语音输出模块输出询问客户需要办理的业务。然后通过服务器通知客服座席端机器人被唤醒。
机器人进入待机的方法：当一段时间内，机器人没有接收到用户的语音输入，进行待机场景。并通过服务器通知客服座席端机器人进入待机。
优选的：根据客户意图对客户的问题进行闲聊场景内容和业务场景内容分类，如果对客户的语义理解连续2次以上为闲聊场景内容，主动询问客户办理什么业务。
优选的：步骤1中采用麦克风阵列来接收客户的语音输入。
优选的：步骤1中将客户输入的语音转成文本时；获取机器人所在城市名，然后通过所在城市，查询城市方言映射表，得到机器人服务的方言，然后将机器人语音识别切换至该方言模式，在方言模式中，通过方言与客户交流。
优选的：所述步骤2中对步骤1得到的文本进行语义理解，获取客户的意图，根据客户的意图在知识库中检索答案的方法，包括以下步骤：
步骤21，确定样本，使用LTP对样本中的所有问题进行分析，得到每个问题的关键词，并记录每个关键词出现的频率，将所有问题的所有关键词的出现的频率进行统计排序；存储在知识库中，语义理解模块在检索时按照这个排序来进行检索；
步骤22，然后按照排序取前几位的关键词，创建话题，再把包含该关键词的问答归到该话题下；
步骤23，将知识库为分为三层的树形结构，自顶而下依次为场景、话题、QA，QA表示问题的答案，其中：
场景采用场景表结构(id1,Name1,enter,end)表示，id1表示场景序号，Name1表示场景名，enter表示进入动作，end表示离开动作；
话题采用话题表结构(id2,Name2,stageId)表示，id2表示话题序号，Name2表示话题名，stageId表示所属场景序号id1；
QA是最基本的知识单元，QA用QA表结构(id3,Context,Condition,nextStep,topicId,expId,actId,orderfield)表示，id3表示答案序号，Context表示QA的答案，Condition表示QA触发的条件，nextStep表示下一步QA，topicId所属话题ID，expId表示需要显示的表情ID，actId表示需要执行的动作ID，orderfield是否是叶子；
QA触发的条件Condition条件表结构(id4,Name4,messageId,value)表示，id4表示QA触发的条件序号，Name4表示QA触发的条件名，messageId表示条件类型，value表示条件值范围，即问题；
步骤23中对问题采用自动扩展问法，根据哈工大同义词林，获取每个关键词的同义词序列；对于一个问题中的所有关键词连同同义词，进行组合生成若干个不同问法；将所得到的所有问题存入到步骤22中的条件值范围内；
步骤24，对步骤1得到的文本进行语义分析，然后去除停用词、去除虚词进行关键字抽取，获取关键词序列；
步骤25，根据步骤24获取的关键词序列，遍历判断步骤23所建立的知识库中所有场景的所有话题，提取每个话题名，看是否包含在客户问题的关键词序列中，确定客户问的问题属于哪个场景下的哪个话题；
步骤26，如果不属于任何话题，则为无答案；如果属于某一话题，或某几个话题，则根据话题在场景中的顺序，判定问题属于顺序靠前的话题；
步骤27，根据确定后的话题，遍历该话题的所有子节点即QA，对每个QA的条件ID进行查询得到QA的问题的文本，然后进行语义相似度评分；在遍历的过程中如果得分达到某个阈值，则判定这个QA的答案部分就是正确答案；
所述语义相似度算法如下：
式中，Score(Q,d)表示相似度评分，Q表示问题，d表示一个搜索结果文档，Wi表示关键词qi的权重，R(qi,d)表示语素qi与文档d的相关性得分；
关键词qi的权重公式如下：
α表示调节因子，dis(qi)表示关键词距离根节点的距离，其中根节点指核心谓语动词；
步骤28，取最高分的为答案反馈给客户，若最高得分的QA超过1个，则优先取这几个候选QA中为上次QA的下一步QA的那一个，若都不是，则随机选择一个；若没有一个得分大于0，则为无答案。
优选的：调节因子α取0.2。
本发明相比现有技术，具有以下有益效果：
1.由于有客服的参与，可以处理复杂的用户问题，提高回答问题的准确性和速度。
2.由于机器人可以处理大量的问题，可以减少客服的工作量。
3.由于一个座席端账号可以关联多个机器人，可以提升客服的复用率。
4.由于可以多个座席端账号形成的客服组可以关联相同的机器人群，可以实现客服工作量的负载均衡。
5.由于有客服的参与，能够弥补机器人环境感知能力的不足，能够有效的进行运动控制，以及合理的避障。
附图说明
图1为本发明的系统框图；
图2为机器人框图；
图3为客服座席端框图；
图4为服务器框图；
图5为系统状态示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种人与人工智能协同工作的服务系统，如图1所示，包括机器人集群、客服座席端、服务器(系统控制及流媒体服务器)，所述机器人集群、服务器、客服座席端依次连接，所述机器人集群包括一个以上的机器人，其中：
机器人部署在客户使用现场，为客户提供业务咨询服务。如图2所示，机器人包括语音输入模块、自然语言理解模块、语音输出模块、知识库模块、语音模式管理模块、场景状态管理模块、音视频采集模块：
语音输入模块：用于接收客户的语音输入，并将客户输入的语音转成文本，同时将转成的文本推送给自然语言理解模块。
为了提高识别率，本方案进行了一些优化：
1.常规的单麦克风无法进行消噪，回声抑制，因此在有效拾音距离，识别率上都达不到实际应用的需求，因此我们这里采用麦克风阵列来进行语音采集。
2.我们使用的是成熟的语音识别方案，提供多种方言的识别。
为了让机器人在不同的地区能自动切换至对应地区的方言识别模式，机器人会在开机初始化时通过因特网上的位置服务获取自身所在位置。
例如百度的位置服务的结果：{"address":"CN|安徽|马鞍山|None|CHINANET|0|0","content":{"address_detail":{"province":"安徽省","city":"马鞍山市","district":"","street":"","street_number":"","city_code":358},"address":"安徽省马鞍山市","point":{"y":"3699842.31","x":"13193271.17"}},"status":0}。
可以获取机器人所在城市名，然后通过所在城市，查询一个城市方言映射表，得到机器人服务的方言，然后将机器人语音识别切换至该方言模式，有助于提高识别率。
为了处理特殊情况，比如在河南的机器人要为说粤语的客户服务，客服可以通过坐席端手动切换机器人至粤语识别模式。这样比较灵活。
3.对于特定的应用行业，例如银行，有些专有名词可能用现有的语音识别方案识别不出来，例如网银，汇兑等，我们将这些词收集起来制成词典，添加到语音识别方案的词库中，例如科大讯飞的语音识别就提供了添加词典的功能。这样语音识别就能识别出来这些专有名词。
自然语言理解模块：用于将语音输入模块的输出文本进行语义理解，得到客户的意图，根据客户的意图在知识库中检索答案，同时将检索到答案的情形以及客户意图推送给场景状态管理模块。若检索到答案，将检索到的答案推送给语音输出模块。
语义理解方法如下：将文字进行语义分析，目前的中文自然语言理解主流的工具：word2vec,LTP,NLPIR,FUDANNLP,HowNet。我们这里使用的是LTP，提供的功能包括分词和词性标注，句法依存分析，然后进行关键字抽取，即去除停用词(停用词是指对判断问句意图无意义的词，例如这，吗。在系统中预设停用词表)，去除虚词(根据词性判断是否为动词，名词，形容词，其余皆虚词)，对知识库中所有知识进行语义相似度评分，取最高得分的知识。如果得分没有一个是大于0分的，即为无答案。
语义相似度算法：
BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对问题文本进行语素解析，生成关键词序列；然后，对于每个搜索结果d，计算每个关键词qi与d的相关性得分，最后，将qi相对于d的相关性得分进行加权求和，从而得到问题与d的相关性得分。
BM25算法的一般性公式如下：
式中，Score(Q,d)表示相似度评分，Q表示问题，d表示一个搜索结果文档，Wi表示关键词qi的权重，R(qi,d)表示语素qi与文档d的相关性得分。
关键词权重计算方法：
利用句法依存关系对文本进行分析，然后得到每个词距离根节点的距离，距离越近权重越高，公式如下：
α表示调节因子，α取0.2，dis(qi)表示关键词距离根节点的距离，其中根节点指核心谓语动词，
知识库检索以及评分完整的步骤：
1.根据语义理解的结果，即关键词序列。即遍历判断所有场景的所有话题，提取每个话题名，看是否包含在客户问题的关键词序列中，确定客户问的问题属于哪个场景下的哪个话题。
2.如果不属于任何话题，则为无答案。
3.如果属于某一话题，或某几个话题，则根据话题在场景中的顺序，判定问题属于顺序靠前的话题。
4.根据确定后的话题，遍历该话题的所有子节点即QA，对每个QA的条件ID进行查询得到QA的问题的文本，然后进行语义相似度评分。在遍历的过程中如果得分达到某个阈值，则判定这个QA的答案部分就是正确答案。
5.取最高分的为答案，若最高得分的QA超过1个，则优先取这几个候选QA中为上次QA的下一步QA的那一个，若都不是，则随机选择一个。
6.若没有一个得分大于0，则为无答案。
为了提高语义理解正确率，我们进行了优化：
1.otcws是ltp分词模型的训练套件，用户可以使用otcws训练获得ltp的分词模型。otpos是ltp分词模型的训练套件，用户可以使用otpos训练获得ltp的分词模型。otner是ltp命名实体识别模型的训练套件，用户可以使用otner训练获得ltp的命名实体识别模型。nndepparser是ltp神经网络依存句法分析模型的训练套件，用户可以使用nndepparser训练获得ltp的依存句法分析模型。上述专有名词同时也要添加到语义分析工具的模型中，使用LTP的训练工具进行训练，这样语义分析时就能够正确的进行分词，词性标注等。
为了提高语义理解的效率，我们进行了优化：
1.当语义相关性得分达到某个阈值时则停止本次检索，直接推送出答案给语音输出模块。
2.在机器人上电初始化时，将知识库从数据库加载到内存当中，这样检索的效率会大大提升。
知识库模块：用于存储结构化的知识，在这里我们使用的是SQLite来存储知识。我们的知识库为分为三层的树形结构(自顶而下分别为场景，话题，QA)，QA表示问题的答案。
场景是对生活情景的抽象与分解，生活由一个个场景组成，一个场景包含了对场景的描述，进入场景的条件，进入场景需要调整的状态，场景包含一个个话题，话题间可以切换；及退出场景时，需要调整的状态，处理逻辑等。
场景采用场景表结构(id1,Name1,enter,end)表示，id1表示场景序号，Name1表示场景名，enter表示进入动作，end表示离开动作：
话题是场景的组成部分，是一组彼此逻辑紧密的QA组成，话题间可以切换，QA间也可切换。机器人同时只处于一个场景中，同时只执行一个话题中的一个QA。
话题采用话题表结构(id2,Name2,stageId)表示，id2表示话题序号，Name2表示话题名，stageId表示所属场景序号id1。
QA是最基本的知识单元，包含条件ID和答案，以及下一步QA。QA用QA表结构(id3,Context,Condition,nextStep,topicId,expId,actId,orderfield)表示，id3表示答案序号，Context表示QA的答案，Condition表示QA触发的条件，nextStep表示下一步QA，topicId所属话题ID，expId表示需要显示的表情ID，actId表示需要执行的动作ID，orderfield是否是叶子。
QA触发的条件Condition条件表结构(id4,Name4,messageId,value)表示，id4表示QA触发的条件序号，Name4表示QA触发的条件名，messageId表示条件类型，value表示条件值范围，即问题。
实际应用的知识库包括闲聊场景内容和业务场景内容，在知识库中对闲聊的知识和业务的知识进行标注。便于语义理解模块区分问句属于哪个场景哪个话题。
为了提高语义理解的速度，我们对知识库进行了优化：
1.我们将问答按照先验的被问到的频率进行排序，存储在知识库中，语义理解模块在检索时按照这个排序来进行检索。
2.我们的知识库为分为三层的树形结构(自顶而下分别为场景，话题，QA)，场景下分若干个话题，话题下分若干个QA，当语义理解模块进行检索时会根据关键词和场景名，话题名来比较，先确定客户问的问题属于哪个场景，哪个话题，这样可以有效的缩小检索范围以提高效率。
知识库的产生步骤：
1.甲方提供基础业务知识，作为样本。
2.我方对基础业务知识进行分类，目前的分类话题：信用卡，金卡，借记卡，银行卡，取款，存款，网银，外币，手机银行，贷款，保险，理财，电话银行，对账，其他。
3.然后对每个问答的问题进行扩展问法。
4.最后导入知识库中，发布更新。
为了提高知识库生成的效率，我们也进行了优化：
1.将知识人工分类标注的工作，改为自动分类标注，根据语义分析对基础问答库进行根据聚类，并且人工可以进行修改。
自动分类的方法：
1)使用LTP对所有问题进行分析，得到每个问题的名词，并记录每个名词出现的频率，将所有问题的所有名词的出现的频率进行统计排序。
2)然后按照排序取前几位的名词，创建话题，再把包含包含该名词的问答归到该话题下。
2.对于某些问题，可能有多种问法，本方案会进行自动扩展问法。
自动扩展问法的方法：
1)对所有问题进行关键词提取
2)本方案会根据哈工大同义词林，获取每个关键词的同义词序列。
3)对于一个问题中的所有关键词连同同义词，进行组合生成若干个不同问法。
例如：问题的关键词序列为q1,q2,q3
Q1自身连同同义词序列：q1,q1a,q1b
Q2自身连同同义词序列：q2,q2a,q2b,q2c
Q3自身连同同义词序列：q3,q3a,q3b,q3c
则扩展后会产生3X4X4＝48种扩展问法。这样的好处就是一个问题，甲方只需要提供一种问法，在知识库种就会自动扩展出所有的相同语义的问法。进而语义理解模块能够自动理解所有相同问法。
语音输出模块：将检索到的答案进行语音播报。或者接收客服座席端传输的语音数据，进行播报。
语音模式管理模块：用于机器人智能语音模式和人工语音模式两种模式的管理，且使得机器人只能处于一个模式。
所述智能语音模式是指当客服不接管时，机器人智能语音自主回答客户的问题。智能语音模式下，智能语音自主回答用户的问题。当客服不接管时即处于智能语音模式。
所述人工语音模式是指在客服接管下，客服处理客户的问题，播放客服传送过来的声音。人工语音模式下，播放客服传送过来的声音。当客服接管时即处于人工语音模式。
场景状态管理模块：智能语音模式下根据客户意图对客户的问题进行闲聊场景和业务场景分类。
闲聊场景就是日常聊天问答的一些内容。业务场景的内容是根据应用领域的不同而不同。这两个场景下的内容全部存储在知识库中。
如果对客户的语义理解连续2次以上为闲聊问题，主动询问客户办理的业务。如果对客户的语义理解到连续2次以上无答案，则向服务器发送请求客服座席端接管的消息。
音视频采集模块：实时采集机器人工作现场的图像和声音并传输给服务器。
运动控制模块：用于根据服务器发送的控制指令控制机器人动作。可以控制机器人脖子转向，底盘转向，前进后退。
客服座席端部署在客服的工作电脑上，客服通过使用客服座席端连接服务器，进而连接机器人。如图3所示，所述客服座席端包括登陆登出模块、机器人状态预览模块、语音采集模块、语音传输模块、机器人运动控制模块。
登陆登出模块：用于客服通过账号密码发出登陆登出请求。每个客服凭借自己的账号密码通过坐席端登陆登出系统。
机器人状态预览模块：用于客服登陆服务器后预览所有跟本账号关联的所有机器人的状态，分为三种状态：待机、唤醒、请求接管(待机状态用无灯表示，唤醒用黄灯表示，请求接管用红灯)。可以听到机器人现场的声音，看到机器人现场的视频图像。
语音采集模块：用于采集客服的声音。
语音传输模块：用于将采集到的客服声音传输至服务器。
机器人运动控制模块：用于客服在接管机器人后，向服务器发出机器人的运动控制指令。客服可以在接管机器人后，对机器人进行运动控制。
服务器为系统控制及流媒体服务器，如图4所示，包括登陆登出管理模块、接管管理模块、语音转发模块、机器人状态管理模块、流媒体模块。
登陆登出管理模块：根据客服座席端发送的登陆登出请求管理客服座席端的登录登出，实现客服座席端在服务器上的登陆登出。
接管管理模块：用于对机器人的接管状态进行管理，机器人被客服座席端语音接管，且同时只能被一个客服接管。
语音转发模块：用于将客服的语音通过流媒体模块转发给机器人。
机器人状态管理模块：用于机器人的语音模式管理。
流媒体模块：实时传输机器人现场的声音图像给客服座席端，并将客服座席端采集到的客服声音实时传输给机器人。
一种人与人工智能协同工作的方法，包括机器人集群、客服座席端、服务器，所述机器人集群、服务器、客服座席端依次连接，所述机器人集群包括一个以上的机器人，服务器将一个客服座席端关联一个以上的机器人。机器人部署在客户使用现场，为客户提供业务咨询服务。客服座席端部署在客服的工作电脑上，客服通过使用客服座席端连接服务器，进而连接机器人。具体包括以下步骤：
步骤1，机器人接收客户的语音输入，并将客户输入的语音转成文本。实时采集机器人工作现场的图像和声音并传输给服务器。
步骤2，机器人对步骤1得到的文本进行语义理解，获取客户的意图，根据客户的意图在知识库中检索答案。如果对客户的语义理解到连续2次以上无答案，则向服务器发送请求客服座席端接管的消息。
机器人具有唤醒、待机、请求接管三种状态，在步骤2中机器人在检索答案前需要对机器人进行唤醒，唤醒方法如下：预设唤醒词，当识别到唤醒词时就触发机器人从待机中唤醒。同时通过语音输出模块输出询问客户需要办理的业务。然后通过服务器通知客服座席端机器人被唤醒。
机器人进入待机的方法：当一段时间内，机器人没有接收到用户的语音输入，进行待机场景。并通过服务器通知客服座席端机器人进入待机。
根据客户意图对客户的问题进行闲聊场景内容和业务场景内容分类，如果对客户的语义理解连续2次以上为闲聊场景内容，主动询问客户办理什么业务。
步骤3，服务器根据步骤2中机器人请求客服座席端接管的消息对机器人的接管状态进行管理，并将请求客服座席端接管的消息发送给对应客服座席端。
步骤4，客服座席端根据请求客服座席端接管的消息接管对应的机器人，并向服务器反馈。服务器接到反馈信息后，将机器人实时采集工作现场的图像和声音、以及客户的声音通过流媒体的形式发送给客服座席端。客服通过客服座席端语音回答客户的问题，而服务器将客服的语音回答内容通过流媒体的形式转发给相应的机器人。
客服根据采集工作现场的图像和声音，向服务器发送动作指令，服务器向机器人发送动作指令，机器人根据动作指令进行相应动作。
步骤5，机器人将步骤2检索到的答案进行语音播报。或者将步骤4接收到的客服座席端传输的语音数据进行播报。
步骤6，当客服回答完用户的问题，按下释放按钮，通过服务器向机器人端发送释放接管命令，机器人端收到此命令，恢复智能语音工作模式，并发送回执到客服座席端。客服座席端收到回执，则将客服的声音停止传输。
本系统根据不同的情形有不同的流程：
1.智能语音模式下待机唤醒流程：
●可以预设定多个唤醒词。
●当识别到唤醒词时就触发机器人从待机中唤醒。
●唤醒的同时语音输出模块输出“您好，请问有什么业务需要我办理的？”
●通知坐席端机器人被唤醒，座席端机器人状态亮起黄灯。
2.智能语音模式下进入待机的流程：
●当长达1分钟没有接收到用户的语音输入时，即进行待机场景。
●通知座席端机器人进入待机，座席端机器人状态灯灭。
3.智能语音模式下的工作流程：
●将用户输入的语音转成文字
●将文字进行理解，进行关键字抽取，去除停用词，去除虚词，对知识库中所有知识进行语义相似度评分，取最高得分的知识。
●将语义理解得出的答案交给语音输出模块进行语音输出。
●其中如果语义理解到连续3次为闲聊问题，主动询问用户“你有什么业务需要办理？”。
●其中如果语义理解到连续3次无答案则语音输出“我请专家来回答您的问题”。并向座席端发送请求接管的消息，座席端收到此消息亮起红灯，表示机器人请求客服接管回答问题。
4.智能语音模式切换到人工语音的工作流程
●当客服在座席端按下接管按钮，即向机器人端发送接管命令。
●机器人端收到此命令，即切换至人工语音工作模式，此时语音输入模块不工作。然后机器人端向坐席端发送回执，表示自己已经切换工作模式。
●座席端收到回执，就会开始采集座席端的声音，传输到服务器。
●服务器将客服的声音转发到机器人端，机器人端将客服的通过语音输出模块输出出来，这样客服回答问题，用户就可以听的到。
5.人工语音模式下的工作流程
●此模式下，机器人的智能语音被暂停。
●用户的声音可以通过机器人传送到座席端。
●客服回答的声音通过座席端，服务器，最后到达机器人端播放出来。
6.人工语音模式切换到智能语音模式的工作流程
●当客服回答完用户的问题，可以按下释放按钮，即向机器人端发送释放接管命令。
●机器人端收到此命令，即恢复智能语音工作模式，并发送回执到座席端。
●座席端收到回执，则将客服的声音停止传输。
7.人工控制机器人运动的工作流程：
●接管机器人。
●根据机器人现场的视频，控制机器人行走，转向，并视情况进行控制转向避障。
机器人收到运动控制指令执行命令。
本发明所述方法可以使用C/C++/JAVA等语言进行实现。
座席端可以采用C/C++/JAVA/.Net等语言实现。
座席端，机器人端与服务器采用HTTP协议进行通讯。
机器人端知识库可以采用本体语言(OWL)描述，也可以采用SQLITE等数据库的表进行描述。
机器人端可以采用C/C++/JAVA语言实现。
机器人端语义理解的分词和词性标注,句法依存分析采用成熟的技术例如LTP，FUDANNLP,NLPIR。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种人与人工智能协同工作的服务系统，其特征在于：包括机器人集群、客服座席端、服务器，所述机器人集群、服务器、客服座席端依次连接，所述机器人集群包括一个以上的机器人，其中：
机器人部署在客户使用现场，为客户提供业务咨询服务，机器人包括语音输入模块、自然语言理解模块、语音输出模块、知识库模块、语音模式管理模块、场景状态管理模块、音视频采集模块：
语音输入模块：用于接收客户的语音输入，并将客户输入的语音转成文本，同时将转成的文本推送给自然语言理解模块；
自然语言理解模块：用于将语音输入模块的输出文本进行语义理解，得到客户的意图，根据客户的意图在知识库中检索答案，同时将检索到答案的情形以及客户意图推送给场景状态管理模块；若检索到答案，将检索到的答案推送给语音输出模块；
语音输出模块：将检索到的答案进行语音播报；或者接收客服座席端传输的语音数据，进行播报；
知识库模块：用于存储结构化的知识，其包括闲聊场景内容和业务场景内容；
语音模式管理模块：用于机器人智能语音模式和人工语音模式两种模式的管理，且使得机器人只能处于一个模式；
场景状态管理模块：智能语音模式下根据客户意图对客户的问题进行闲聊场景和业务场景分类；如果对客户的语义理解连续2次以上为闲聊问题，主动询问客户办理的业务；如果对客户的语义理解到连续2次以上无答案，则向服务器发送请求客服座席端接管的消息；
音视频采集模块：实时采集机器人工作现场的图像和声音并传输给服务器；
运动控制模块：用于根据服务器发送的控制指令控制机器人动作；
客服座席端部署在客服的工作电脑上，客服通过使用客服座席端连接服务器，进而连接机器人；所述客服座席端包括登陆登出模块、机器人状态预览模块、语音采集模块、语音传输模块、机器人运动控制模块；
登陆登出模块：用于客服通过账号密码发出登陆登出请求；
机器人状态预览模块：用于客服登陆服务器后预览所有跟本账号关联的所有机器人的状态，分为三种状态：待机、唤醒、请求接管；听到机器人现场的声音，看到机器人现场的视频图像；
语音采集模块：用于采集客服的声音；
语音传输模块：用于将采集到的客服声音传输至服务器；
机器人运动控制模块：用于客服在接管机器人后，向服务器发出机器人的运动控制指令；
服务器包括登陆登出管理模块、接管管理模块、语音转发模块、机器人状态管理模块、流媒体模块；
登陆登出管理模块：根据客服座席端发送的登陆登出请求管理客服座席端的登录登出，实现客服座席端在服务器上的登陆登出；
接管管理模块：用于对机器人的接管状态进行管理，机器人被客服座席端语音接管，且同时只能被一个客服接管；
语音转发模块：用于将客服的语音通过流媒体模块转发给机器人；
机器人状态管理模块：用于机器人的语音模式管理；
流媒体模块：实时传输机器人现场的声音图像给客服座席端，并将客服座席端采集到的客服声音实时传输给机器人。
2.根据权利要求1所述人与人工智能协同工作的服务系统，其特征在于：自然语言理解模块的语义理解如下：将文字进行关键字抽取，去除停用词，去除虚词，对知识库中所有知识进行语义相似度评分，取最高得分的知识。
3.根据权利要求1所述人与人工智能协同工作的服务系统，其特征在于：所述智能语音模式是指当客服不接管时，机器人智能语音自主回答客户的问题；所述人工语音模式是指在客服接管下，客服处理客户的问题，播放客服传送过来的声音。
4.一种人与人工智能协同工作的方法，其特征在于：包括机器人集群、客服座席端、服务器，所述机器人集群、服务器、客服座席端依次连接，所述机器人集群包括一个以上的机器人，服务器将一个客服座席端关联一个以上的机器人；机器人部署在客户使用现场，为客户提供业务咨询服务；客服座席端部署在客服的工作电脑上，客服通过使用客服座席端连接服务器，进而连接机器人；具体包括以下步骤：
步骤1，机器人接收客户的语音输入，并将客户输入的语音转成文本；实时采集机器人工作现场的图像和声音并传输给服务器；
步骤2，机器人对步骤1得到的文本进行语义理解，获取客户的意图，根据客户的意图在知识库中检索答案；如果对客户的语义理解到连续2次以上无答案，则向服务器发送请求客服座席端接管的消息；
步骤3，服务器根据步骤2中机器人请求客服座席端接管的消息对机器人的接管状态进行管理，并将请求客服座席端接管的消息发送给对应客服座席端；
步骤4，客服座席端根据请求客服座席端接管的消息接管对应的机器人，并向服务器反馈；服务器接到反馈信息后，将机器人实时采集工作现场的图像和声音、以及客户的声音通过流媒体的形式发送给客服座席端；客服通过客服座席端语音回答客户的问题，而服务器将客服的语音回答内容通过流媒体的形式转发给相应的机器人；
客服根据采集工作现场的图像和声音，向服务器发送动作指令，服务器向机器人发送动作指令，机器人根据动作指令进行相应动作；
步骤5，机器人将步骤2检索到的答案进行语音播报；或者将步骤4接收到的客服座席端传输的语音数据进行播报；
步骤6，当客服回答完用户的问题，按下释放按钮，通过服务器向机器人端发送释放接管命令，机器人端收到此命令，恢复智能语音工作模式，并发送回执到客服座席端；客服座席端收到回执，则将客服的声音停止传输。
5.根据权利要求4所述人与人工智能协同工作的方法，其特征在于：机器人具有唤醒、待机、请求接管三种状态，在步骤2中机器人在检索答案前需要对机器人进行唤醒，唤醒方法如下：预设唤醒词，当识别到唤醒词时就触发机器人从待机中唤醒；同时通过语音输出模块输出询问客户需要办理的业务；然后通过服务器通知客服座席端机器人被唤醒；
机器人进入待机的方法：当一段时间内，机器人没有接收到用户的语音输入，进行待机场景；并通过服务器通知客服座席端机器人进入待机。
6.根据权利要求4所述人与人工智能协同工作的方法，其特征在于：根据客户意图对客户的问题进行闲聊场景内容和业务场景内容分类，如果对客户的语义理解连续2次以上为闲聊场景内容，主动询问客户办理什么业务。
7.根据权利要求4所述人与人工智能协同工作的方法，其特征在于：步骤1中采用麦克风阵列来接收客户的语音输入。
8.根据权利要求4所述人与人工智能协同工作的方法，其特征在于：步骤1中将客户输入的语音转成文本时；获取机器人所在城市名，然后通过所在城市，查询城市方言映射表，得到机器人服务的方言，然后将机器人语音识别切换至该方言模式，在方言模式中，通过方言与客户交流。
9.根据权利要求4所述人与人工智能协同工作的方法，其特征在于：所述步骤2中对步骤1得到的文本进行语义理解，获取客户的意图，根据客户的意图在知识库中检索答案的方法，包括以下步骤：
步骤21，确定样本，使用LTP对样本中的所有问题进行分析，得到每个问题的关键词，并记录每个关键词出现的频率，将所有问题的所有关键词的出现的频率进行统计排序；存储在知识库中，语义理解模块在检索时按照这个排序来进行检索；
步骤22，然后按照排序取前几位的关键词，创建话题，再把包含该关键词的问答归到该话题下；
步骤23，将知识库为分为三层的树形结构，自顶而下依次为场景、话题、QA，QA表示问题的答案，其中：
场景采用场景表结构(id1,Name1,enter,end)表示，id1表示场景序号，Name1表示场景名，enter表示进入动作，end表示离开动作；
话题采用话题表结构(id2,Name2,stageId)表示，id2表示话题序号，Name2表示话题名，stageId表示所属场景序号id1；
QA是最基本的知识单元，QA用QA表结构(id3,Context,Condition,nextStep,topicId,expId,actId,orderfield)表示，id3表示答案序号，Context表示QA的答案，Condition表示QA触发的条件，nextStep表示下一步QA，topicId表示所属话题ID，expId表示需要显示的表情ID，actId表示需要执行的动作ID，orderfield是否是叶子；
QA触发的条件Condition的条件表结构表示为(id4,Name4,messageId,value)，id4表示QA触发的条件序号，Name4表示QA触发的条件名，messageId表示条件类型，value表示条件值范围，即问题；
步骤23中对问题采用自动扩展问法，根据哈工大同义词林，获取每个关键词的同义词序列；对于一个问题中的所有关键词连同同义词，进行组合生成若干个不同问法；将所得到的所有问题存入到步骤22中的条件值范围内；
步骤24，对步骤1得到的文本进行语义分析，然后去除停用词、去除虚词进行关键字抽取，获取关键词序列；
步骤25，根据步骤24获取的关键词序列，遍历判断步骤23所建立的知识库中所有场景的所有话题，提取每个话题名，看是否包含在客户问题的关键词序列中，确定客户问的问题属于哪个场景下的哪个话题；
步骤26，如果不属于任何话题，则为无答案；如果属于某一话题，或某几个话题，则根据话题在场景中的顺序，判定问题属于顺序靠前的话题；
步骤27，根据确定后的话题，遍历该话题的所有子节点即QA，对每个QA的条件ID进行查询得到QA的问题的文本，然后进行语义相似度评分；在遍历的过程中如果得分达到某个阈值，则判定这个QA的答案部分就是正确答案；
所述语义相似度算法如下：
式中，Score(Q,d)表示相似度评分，Q表示问题，d表示一个搜索结果文档，Wi表示关键词qi的权重，R(qi,d)表示语素qi与文档d的相关性得分；
关键词qi的权重公式如下：
α表示调节因子，dis(qi)表示关键词距离根节点的距离，其中根节点指核心谓语动词；
步骤28，取最高分的为答案反馈给客户，若最高得分的QA超过1个，则优先取这几个最高得分的QA中上次QA的下一步QA，若都不是，则随机选择一个；若没有一个得分大于0，则为无答案。
10.根据权利要求4所述人与人工智能协同工作的方法，其特征在于：调节因子α取0.2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710084774.0A CN107135247B (zh) | 2017-02-16 | 2017-02-16 | 一种人与人工智能协同工作的服务系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710084774.0A CN107135247B (zh) | 2017-02-16 | 2017-02-16 | 一种人与人工智能协同工作的服务系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107135247A CN107135247A (zh) | 2017-09-05 |
| CN107135247B true CN107135247B (zh) | 2019-11-29 |
Family
ID=59721642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710084774.0A Active CN107135247B (zh) | 2017-02-16 | 2017-02-16 | 一种人与人工智能协同工作的服务系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107135247B (zh) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109587358A (zh) * | 2017-09-29 | 2019-04-05 | 吴杰 | 人工智能客服转人工客服呼叫方法 |
| CN109697226A (zh) * | 2017-10-24 | 2019-04-30 | 上海易谷网络科技股份有限公司 | 文本静默座席监控机器人人机对话方法 |
| CN109840534B (zh) * | 2017-11-29 | 2021-10-01 | 北京京东尚科信息技术有限公司 | 处理事件的方法和装置 |
| CN108418981B (zh) * | 2018-03-16 | 2019-10-29 | 苏州思必驰信息科技有限公司 | 为客户提供对话服务的方法及装置 |
| CN110300234A (zh) * | 2018-03-21 | 2019-10-01 | 上海易谷网络科技股份有限公司 | Ivr智能语音导航静默座席技术 |
| JP2019197977A (ja) * | 2018-05-08 | 2019-11-14 | シャープ株式会社 | 問い合わせ処理方法、システム、端末、自動音声対話装置、表示処理方法、通話制御方法、及び、プログラム |
| CN108712583B (zh) * | 2018-06-05 | 2021-03-23 | 上海智蕙林医疗科技有限公司 | 一种基于机器人的人工服务方法及系统 |
| CN108769440A (zh) * | 2018-06-06 | 2018-11-06 | 北京京东尚科信息技术有限公司 | 前置分流方法和装置 |
| CN109040484A (zh) * | 2018-07-16 | 2018-12-18 | 安徽信尔联信息科技有限公司 | 一种自动匹配客服人员方法 |
| CN109086026B (zh) * | 2018-07-17 | 2020-07-03 | 阿里巴巴集团控股有限公司 | 播报语音的确定方法、装置和设备 |
| CN109120513A (zh) * | 2018-08-16 | 2019-01-01 | 湖南畅远信息技术有限公司 | 基于智能机器人应答的全媒体系统及实现方法 |
| CN108965620A (zh) * | 2018-08-24 | 2018-12-07 | 杭州数心网络科技有限公司 | 一种人工智能呼叫中心系统 |
| CN110875039B (zh) * | 2018-08-30 | 2023-12-01 | 阿里巴巴集团控股有限公司 | 语音识别方法和设备 |
| CN109450770A (zh) * | 2018-09-26 | 2019-03-08 | 深圳壹账通智能科技有限公司 | 服务执行方法、装置、计算机设备及存储介质 |
| CN109202908B (zh) * | 2018-10-19 | 2021-01-29 | 和美（深圳）信息技术股份有限公司 | 机器人的控制方法、装置、设备、系统和存储介质 |
| CN109348077A (zh) * | 2018-11-23 | 2019-02-15 | 杭州简丽信息技术有限公司 | 一种人工与机器人切换的电话系统及使用方法 |
| CN109685673A (zh) * | 2018-12-19 | 2019-04-26 | 前海企保科技（深圳）有限公司 | 一种基于人工智能的保险人机耦合客服系统及方法 |
| CN109842546B (zh) * | 2018-12-25 | 2021-09-28 | 创新先进技术有限公司 | 会话表情处理方法以及装置 |
| CN111477231B (zh) * | 2019-01-24 | 2023-12-01 | 科沃斯商用机器人有限公司 | 人机交互方法、装置和存储介质 |
| CN110136721A (zh) * | 2019-04-09 | 2019-08-16 | 北京大米科技有限公司 | 一种评分生成方法、装置、存储介质及电子设备 |
| CN111831921B (zh) * | 2019-04-16 | 2024-04-12 | 阿里巴巴集团控股有限公司 | 一种信息协同处理方法、装置及系统 |
| CN112911073B (zh) * | 2019-04-30 | 2023-04-25 | 五竹科技(北京)有限公司 | 外呼流程对话内容的智能化知识图谱构建方法及装置 |
| CN110321415A (zh) * | 2019-05-10 | 2019-10-11 | 福建微码信息科技有限公司 | 一种电话套接式电话机器人系统 |
| CN110191242A (zh) * | 2019-05-21 | 2019-08-30 | 辽宁聆智科技有限公司 | 人工智能与人工客服相结合的基于电话网络的交互系统 |
| CN110171005A (zh) * | 2019-06-10 | 2019-08-27 | 杭州任你说智能科技有限公司 | 一种基于智能音箱的旅游机器人系统 |
| CN110166643A (zh) * | 2019-06-18 | 2019-08-23 | 深圳市一号互联科技有限公司 | 人机耦合的坐席控制方法、系统及语音机器人 |
| CN110248032B (zh) * | 2019-06-19 | 2021-08-27 | 北京智合大方科技有限公司 | 一种高效率电话呼叫系统 |
| CN110457698A (zh) * | 2019-08-06 | 2019-11-15 | 赵瑞 | 餐厅请求服务方法、服务器及客户端 |
| CN110442701B (zh) * | 2019-08-15 | 2022-08-05 | 思必驰科技股份有限公司 | 语音对话处理方法及装置 |
| CN114303132B (zh) | 2019-08-22 | 2024-03-01 | 三星电子株式会社 | 在虚拟个人助手中使用唤醒词进行上下文关联和个性化的方法和系统 |
| CN110519469A (zh) * | 2019-08-23 | 2019-11-29 | 上海科技发展有限公司 | 应用于电话服务平台的智能语音交互方法、系统、介质及装置 |
| CN110675871B (zh) * | 2019-09-25 | 2021-03-05 | 北京蓦然认知科技有限公司 | 一种语音识别方法及装置 |
| US11019207B1 (en) | 2019-11-07 | 2021-05-25 | Hithink Royalflush Information Network Co., Ltd. | Systems and methods for smart dialogue communication |
| CN110795551A (zh) * | 2019-11-07 | 2020-02-14 | 浙江同花顺智能科技有限公司 | 一种智能对话方法、装置以及相关设备 |
| CN111048084B (zh) * | 2019-12-18 | 2022-05-31 | 上海智勘科技有限公司 | 在智能语音交互过程中推送信息的方法及系统 |
| CN111613226B (zh) * | 2020-06-04 | 2023-03-31 | 中国银行股份有限公司 | 语音交互方法、装置及测试机器人 |
| CN111775165A (zh) * | 2020-07-13 | 2020-10-16 | 南京硅基智能科技有限公司 | 一种实现移动式智能客服机器人的系统、机器人终端以及后端处理模块 |
| CN112133306B (zh) * | 2020-08-03 | 2023-10-03 | 浙江百世技术有限公司 | 一种基于快递用户的应答方法、装置和计算机设备 |
| CN112307164A (zh) * | 2020-10-15 | 2021-02-02 | 江苏常熟农村商业银行股份有限公司 | 信息推荐方法、装置、计算机设备和存储介质 |
| CN113067952B (zh) * | 2021-03-31 | 2023-04-14 | 中国工商银行股份有限公司 | 用于多台机器人的人机协同无感控制方法和装置 |
| CN115412523B (zh) * | 2021-05-28 | 2024-02-06 | 阿里巴巴新加坡控股有限公司 | 消息处理方法及装置 |
| CN113409789B (zh) * | 2021-08-03 | 2021-10-29 | 深圳市一号互联科技有限公司 | 智能语音通话方法、装置及系统 |
| CN113593577A (zh) * | 2021-09-06 | 2021-11-02 | 四川易海天科技有限公司 | 一种基于大数据的车载人工智能语音交互系统 |
| CN114422647A (zh) * | 2021-12-24 | 2022-04-29 | 上海浦东发展银行股份有限公司 | 基于数字人的坐席服务方法、装置、设备、介质和产品 |
| CN115022292B (zh) * | 2022-05-06 | 2024-03-26 | 创视未来科技（深圳）有限公司 | 基于访客扫码语音推拉流实时呼叫电话方法和系统 |
| CN116414955B (zh) * | 2022-12-26 | 2023-11-07 | 杭州数令集科技有限公司 | 基于客户意向与意图的智能排队方法、装置、设备及介质 |
| CN115914466B (zh) * | 2023-01-06 | 2023-06-23 | 北京水滴科技集团有限公司 | 一种基于语音流机器人的语音交互方法及装置、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101193071A (zh) * | 2007-03-28 | 2008-06-04 | 腾讯科技（深圳）有限公司 | 一种基于即时通信的客服方法、系统及设备 |
| CN102194005A (zh) * | 2011-05-26 | 2011-09-21 | 卢玉敏 | 聊天机器人系统及自动聊天方法 |
| CN105117388A (zh) * | 2015-09-21 | 2015-12-02 | 上海智臻智能网络科技股份有限公司 | 一种智能机器人交互系统 |
| CN105513593A (zh) * | 2015-11-24 | 2016-04-20 | 南京师范大学 | 一种语音驱动的智能人机交互方法 |
| CN106202301A (zh) * | 2016-07-01 | 2016-12-07 | 武汉泰迪智慧科技有限公司 | 一种基于深度学习的智能应答系统 |
-
2017
- 2017-02-16 CN CN201710084774.0A patent/CN107135247B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101193071A (zh) * | 2007-03-28 | 2008-06-04 | 腾讯科技（深圳）有限公司 | 一种基于即时通信的客服方法、系统及设备 |
| CN102194005A (zh) * | 2011-05-26 | 2011-09-21 | 卢玉敏 | 聊天机器人系统及自动聊天方法 |
| CN105117388A (zh) * | 2015-09-21 | 2015-12-02 | 上海智臻智能网络科技股份有限公司 | 一种智能机器人交互系统 |
| CN105513593A (zh) * | 2015-11-24 | 2016-04-20 | 南京师范大学 | 一种语音驱动的智能人机交互方法 |
| CN106202301A (zh) * | 2016-07-01 | 2016-12-07 | 武汉泰迪智慧科技有限公司 | 一种基于深度学习的智能应答系统 |
Non-Patent Citations (1)
| Title |
|---|
| Heading toward Artificail intelligence 2.0;Yunhe Pan;《Chinese Academy of Engineering》;20160430;第2卷(第4期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107135247A (zh) | 2017-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107135247B (zh) | 一种人与人工智能协同工作的服务系统及方法 | |
| CN107943998B (zh) | 一种基于知识图谱的人机对话控制系统及方法 | |
| Welivita et al. | A taxonomy of empathetic response intents in human social conversations | |
| CN108000526B (zh) | 用于智能机器人的对话交互方法及系统 | |
| Lam et al. | Context-aware deep learning for multi-modal depression detection | |
| Mathews et al. | Senticap: Generating image descriptions with sentiments | |
| WO2023273170A1 (zh) | 一种迎宾机器人对话方法 | |
| CN110209897B (zh) | 智能对话方法、装置、存储介质及设备 | |
| KR102030078B1 (ko) | 대화형 상호작용 시스템에서 서치 입력에서의 사용자 의도를 추론하는 방법 및 이를 위한 시스템 | |
| WO2019184103A1 (zh) | 基于人物ip的人机交互方法、系统、介质及设备 | |
| JP2017511922A (ja) | スマート質問回答の実現方法、システム、および記憶媒体 | |
| WO2008128423A1 (fr) | Système de dialogue intelligent et son procédé de réalisation | |
| WO2020253064A1 (zh) | 语音的识别方法及装置、计算机设备、存储介质 | |
| CN114691852B (zh) | 人机对话系统及方法 | |
| CN110489527A (zh) | 基于语音交互的银行业务智能咨询以及办理方法和系统 | |
| CN108427746A (zh) | 一种生产管理智能语音交互系统及方法 | |
| Hijjawi et al. | ArabChat: An arabic conversational agent | |
| CN109271459A (zh) | 基于Lucene和文法网络的聊天机器人及其实现方法 | |
| CN110059177A (zh) | 一种基于用户画像的活动推荐方法及装置 | |
| CN115495568B (zh) | 一种对话模型的训练方法及装置、对话响应方法及装置 | |
| CN110019691A (zh) | 会话消息处理方法和装置 | |
| KR101916174B1 (ko) | 기계 학습 기반으로 언어를 처리하는 방법 및 장치 | |
| CN108304561B (zh) | 一种基于有限数据的语义理解方法、设备及机器人 | |
| KR20190103504A (ko) | 대화시나리오 자동 수집 및 온톨로지 대화 관계망을 이용한 연속 대화 방법 및 시스템 | |
| Huang et al. | Developing context-aware dialoguing services for a cloud-based robotic system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Human and artificial intelligence cooperative working service system and method Effective date of registration: 20200328 Granted publication date: 20191129 Pledgee: Nanjing Branch of Jiangsu Bank Co., Ltd. Pledgor: JIANGSU PROVINCE NANJING UNIVERSITY OF SCIENCE AND TECHNOLOGY ELECTRONIC INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2020980001148 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20200509 Granted publication date: 20191129 Pledgee: Nanjing Branch of Jiangsu Bank Co., Ltd. Pledgor: JIANGSU PROVINCE NANJING UNIVERSITY OF SCIENCE AND TECHNOLOGY ELECTRONIC INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2020980001148 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Human and artificial intelligence cooperative working service system and method Effective date of registration: 20200511 Granted publication date: 20191129 Pledgee: Nanjing Branch of Jiangsu Bank Co., Ltd. Pledgor: JIANGSU PROVINCE NANJING UNIVERSITY OF SCIENCE AND TECHNOLOGY ELECTRONIC INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2020980002113 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20210525 Granted publication date: 20191129 Pledgee: Nanjing Branch of Jiangsu Bank Co.,Ltd. Pledgor: JIANGSU PROVINCE NANJING UNIVERSITY OF SCIENCE AND TECHNOLOGY ELECTRONIC INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2020980002113 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A service system and method of human and artificial intelligence cooperative work Effective date of registration: 20210526 Granted publication date: 20191129 Pledgee: Nanjing Jiangning Development Zone sub branch of Bank of Jiangsu Co.,Ltd. Pledgor: JIANGSU PROVINCE NANJING UNIVERSITY OF SCIENCE AND TECHNOLOGY ELECTRONIC INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2021980004023 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |