CN114742230A - 信息处理系统、信息处理方法及信息处理装置 - Google Patents

信息处理系统、信息处理方法及信息处理装置 Download PDF

Info

Publication number
CN114742230A
CN114742230A CN202111588796.3A CN202111588796A CN114742230A CN 114742230 A CN114742230 A CN 114742230A CN 202111588796 A CN202111588796 A CN 202111588796A CN 114742230 A CN114742230 A CN 114742230A
Authority
CN
China
Prior art keywords
data
learning
learning model
mechanical
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111588796.3A
Other languages
English (en)
Inventor
阮世明
阿部宪幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lotte Group Co ltd
Original Assignee
Lotte Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lotte Group Co ltd filed Critical Lotte Group Co ltd
Publication of CN114742230A publication Critical patent/CN114742230A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明的课题在于，使用来确保机械学习模型的性能的学习数据的集合的准备变得容易。本发明涉及一种信息处理系统、信息处理方法及信息处理装置。信息处理系统获取包含输入数据、及作为针对该输入数据的教学数据的标签的学习数据的集合，通过学习数据的集合，使机械学习模型学习，向通过学习数据的集合而学习后的机械学习模型输入测试数据，并基于被输入了测试数据的机械学习模型的输出，评估机械学习模型的性能是否满足指定条件，在评估为机械学习模型的性能不满足指定条件的情况下，更新学习数据的集合，并通过更新后的学习数据的集合，使机械学习模型再学习。信息处理系统根据评估，重复数据集的更新、再学习、评估。

Description

信息处理系统、信息处理方法及信息处理装置
技术领域
本发明涉及一种信息处理系统、信息处理方法及信息处理装置。
背景技术
近年来，人们一直在开发例如被称作聊天机器人(chatbot)、使询问的应答自动化的系统。在该系统中，输入询问后，会对该询问与预先设定的多个标签中的哪一个对应进行判定，然后将与所判定出的标签对应的回答输出。近年来，在这种根据询问文而判定对应标签的NLU(Natural Language Understanding，自然语言理解)的处理中，广泛使用机械学习模型。
日本专利特开2004-5648号公报中揭示有一种方法，其支援对用来训练自然语言理解系统的训练数据标附注释。
发明内容
[发明要解决的问题]
已知，学习后的机械学习模型的性能会因供机械学习模型学习的学习数据的集合的构成而发生变化。因此，制作学习数据的集合时，管理员必须对该学习数据的集合是否存在问题进行调查并加以整理。对于管理员来说，解析学习数据的集合成为了沉重的负担。
本发明鉴于所述问题而完成，其目的在于提供一种技术，以使用来确保机械学习模型的性能的学习数据的集合的准备变得容易。
[解决问题的技术手段]
为了解决所述问题，本发明的信息处理系统包含：学习服务器，通过包含输入数据、及作为针对该输入数据的教学数据的标签的学习数据的集合，使机械学习模型学习；及应答服务器，向所述学习后的机械学习模型输入由用户输入的输入数据，并基于通过该机械学习模型而输出的标签，输出应答数据；且包含：初始数据获取机构，获取所述学习数据的集合；学习机构，通过所述学习数据的集合，使所述机械学习模型学习；评估机构，向通过所述学习数据的集合而学习后的所述机械学习模型输入测试数据，并基于被输入了所述测试数据的机械学习模型的输出，评估所述机械学习模型的性能是否满足指定条件；展开机构，在评估为所述机械学习模型的性能满足所述指定条件的情况下，将所述学习后的机械学习模型展开于所述应答服务器；数据更新机构，在评估为所述机械学习模型的性能不满足所述指定条件的情况下，更新所述学习数据的集合；及再学习机构，通过所述更新后的学习数据的集合，使所述机械学习模型再学习；且根据所述评估机构的评估，重复所述数据更新机构、所述再学习机构、所述评估机构的处理。
另外，本发明的信息处理方法包含如下步骤：获取包含输入数据与标签的学习数据的集合，该标签是针对该输入数据的教学数据，用于制作应答数据；通过所述学习数据的集合，使机械学习模型学习；向通过所述学习数据的集合而学习后的所述机械学习模型输入测试数据，并基于被输入了所述测试数据的机械学习模型的输出，评估所述机械学习模型的性能是否满足指定条件；在评估为所述机械学习模型的性能满足所述指定条件的情况下，将所述性能经过评估的机械学习模型展开于应答服务器，该应答服务器向所述学习后的机械学习模型输入由用户输入的输入数据，并基于通过该机械学习模型而输出的标签，输出应答数据；在评估为所述机械学习模型的性能不满足所述指定条件的情况下，更新所述学习数据的集合；及通过所述更新后的学习数据的集合，使所述机械学习模型再学习；且根据所述评估，重复更新所述学习数据的集合的步骤、使所述机械学习模型再学习的步骤、及评估所述机械学习模型的性能的步骤。
另外，本发明的信息处理装置包含：初始数据获取机构，获取包含输入数据与标签的学习数据的集合，该标签是针对该输入数据的教学数据，用于制作应答数据；学习机构，通过所述学习数据的集合，使机械学习模型学习；评估机构，向通过所述学习数据的集合而学习后的所述机械学习模型输入测试数据，并基于被输入了所述测试数据的机械学习模型的输出，评估所述机械学习模型的性能是否满足指定条件；展开机构，在评估为所述机械学习模型的性能满足所述指定条件的情况下，将所述性能经过评估的机械学习模型展开于应答服务器，该应答服务器向所述学习后的机械学习模型输入由用户输入的输入数据，并基于通过该机械学习模型而输出的标签，输出应答数据；数据更新机构，在评估为所述机械学习模型的性能不满足所述指定条件的情况下，更新所述学习数据的集合；及再学习机构，通过所述更新后的学习数据的集合，使所述机械学习模型再学习；且根据所述评估机构的评估，重复所述数据更新机构、所述再学习机构、所述评估机构的处理。
在本发明的一形态中，信息处理系统也可还包含检测机构，该检测机构在评估为所述机械学习模型的性能不满足所述指定条件的情况下，对所述学习数据的集合是否满足检测条件进行判定；在判定为满足所述检测条件的情况下，所述数据更新机构更新所述学习数据的集合。
在本发明的一形态中，也可为所述检测机构对所述学习数据的集合中的每个标签各自的输入数据的数量是否满足检测条件进行判定，在判定为满足所述检测条件的情况下，所述数据更新机构更新所述学习数据的集合。
在本发明的一形态中，可为在评估为所述机械学习模型的性能不满足所述指定条件的情况下，所述数据更新机构基于改善参数，更新所述学习数据的集合，且信息处理系统还包含根据所述学习数据的集合的更新而更新所述改善参数的参数更新机构。
在本发明的一形态中，信息处理系统可还包含日志机构，该日志机构在由所述用户输入了输入数据的情况下，使所述输入数据存储至日志储存器；且所述检测机构对关于所述学习数据的集合是否存在输入数据的数量不足的标签进行判定，在判定为存在所述输入数据的数量不足的标签的情况下，所述数据更新机构从所述日志储存器中储存的输入数据中，抽出与该标签对应的输入数据，并向所述学习数据的集合追加包含所述被抽出的输入数据与该标签的学习数据。
在本发明的一形态中，可为在判定为存在所述输入数据的数量不足的标签的情况下，所述数据更新机构基于所述学习数据的集合中与该标签对应的输入数据、及所述日志储存器中储存的输入数据，从所述日志储存器中储存的输入数据中，抽出与该标签对应的输入数据。
在本发明的一形态中，信息处理系统可还包含：日志机构，在由所述用户输入了输入数据的情况下，使所述输入数据存储至日志储存器；及测试数据追加机构，从所述日志储存器中储存的输入数据中，抽出与任一标签对应的输入数据，并向所述学习数据追加所述被抽出的输入数据与该标签的集合。
[发明的效果]
通过本发明，用来确保机械学习模型的性能的学习数据的集合的准备变得容易。
附图说明
图1是表示本发明的实施方式的信息处理系统的一例的图。
图2是表示信息处理系统所实现的功能的框图。
图3是表示学习数据集的一例的图。
图4是表示询问回答部的功能性构成的框图。
图5是概略性地表示信息处理系统中与机械学习模型的学习相关的处理的流程图。
图6是说明问题检测部的处理及数据变更部的处理的图。
图7是表示与数据解析相关的处理的一例的流程图。
图8是说明学习数据集的样本数的调整的图。
图9是表示询问回答部的处理的一例的流程图。
图10是表示询问日志的一例的图。
图11是表示数据追加的处理的一例的流程图。
图12是对相似度与用户询问的抽出这两者的关系进行说明的图。
具体实施方式
以下，基于附图对本发明的实施方式进行说明。对于被标注了相同符号的构成，省略重复的说明。本实施方式中，对如聊天机器人般受理来自用户的询问，对该询问与预先设定的多个标签中的哪一个对应进行判定，然后将与所判定出的标签对应的回答输出的信息处理系统进行说明。
以下将对询问以文本的形式输入的情况进行说明，但其实询问也能以语音的形式输入。另外，该信息处理系统使用了用来实现自然语言理解(NLU)的机械学习模型，信息处理系统通过学习数据的集合，使机械学习模型学习，经过学习的机械学习模型用于对来自用户的询问进行分析。
图1是表示本发明的实施方式的信息处理系统的一例的图。信息处理系统包含学习管理服务器1与查询应对服务器2。学习管理服务器1与查询应对服务器2经由网络而连接，查询应对服务器2经由网络与多个用户终端3连接。用户终端3是信息处理系统所提供的服务的使用者，由要进行询问的用户操作。用户终端3例如为智能手机或个人计算机等。
学习管理服务器1包含处理器11、存储部12、通信部13、输入输出部14。此外，学习管理服务器1是服务器计算机。这里，虽未图示，但查询应对服务器2其实也是服务器计算机，与学习管理服务器1同样地，包含处理器11、存储部12、通信部13、输入输出部14。以下所要说明的学习管理服务器1及查询应对服务器2各自的功能也可通过多个服务器计算机来实现。
处理器11按照存储部12中储存的程序而动作。另外，处理器11控制通信部13、输入输出部14。此外，所述程序可为经由因特网等而提供者，也可为储存于闪速存储器或DVD(Digital Versatile Disc，数字多功能光盘)-ROM(Read Only Memory，只读存储器)等可利用计算机加以读取的存储媒体中而提供者。
存储部12包含RAM(Random Access Memory，随机存取存储器)及闪速存储器等存储器构件、以及诸如硬盘驱动器的外部存储装置。存储部12储存所述程序。另外，存储部12储存从处理器11、通信部13、输入输出部14输入的信息及运算结果。
通信部13是实现与其他装置通信的功能者，例如包含实现无线LAN(Local AreaNetwork，局域网络)、有线LAN的集成电路等。通信部13基于处理器11的控制，将从其他装置接收到的信息输入至处理器11或存储部12，并向其他装置发送信息。
输入输出部14包含控制显示输出元件的视频控制器、及获取来自输入元件的数据的控制器等。作为输入元件，有键盘、鼠标、触控面板等。输入输出部14基于处理器11的控制，向显示输出元件输出显示数据，获取通过用户操作输入元件而输入的数据。显示输出元件例如为连接于外部的显示装置。
其次，对信息处理系统所提供的功能进行说明。图2是表示信息处理系统所实现的功能的框图。信息处理系统从功能上来说，包含初始数据决定部51、学习部52、性能评估部53、问题检测部54、数据变更部55、模型展开部56、学习控制部57、询问回答部58。初始数据决定部51、学习部52、性能评估部53、问题检测部54、数据变更部55、模型展开部56、学习控制部57的功能通过学习管理服务器1中包含的处理器11执行存储部12中储存的程序，控制通信部13等而实现。询问回答部58通过查询应对服务器2中包含的处理器11执行存储部12中储存的程序，控制通信部13等而实现。
另外，信息处理系统还包含学习数据集61及询问日志62作为数据。它们可主要储存于存储部12中，也可储存于由其他服务器实现的数据库或储存器中。
初始数据决定部51获取初始的学习数据集61。学习数据集61包含多个学习数据。学习数据各自包含询问数据、及作为针对该询问数据的教学数据的标签。
图3是表示学习数据集61的一例的图。询问数据例如为如图3所示的询问的文本，是表示以自然语言输入的询问的数据。询问数据也可为通过采用词素解析等解析询问的文本而生成的解析结果。学习时，学习部52也可采用词素解析，将由询问的文本构成的询问数据转换成由词群构成的询问数据，然后将转换后的询问数据输入至机械学习模型。学习数据中储存的标签是预先设定的多个标签中的任一个。标签是表示输入询问的用户的意图的信息，以下也称作“intent”。包含某标签的学习数据的数量有多个，为了易于说明，将包含某标签的学习数据的询问数据(询问文本)记述为属于某标签的询问数据(询问文本)。
学习部52通过学习数据集61，使机械学习模型学习。另外，更新学习数据后，学习部52会通过更新后的学习数据集61，使机械学习模型再学习。
机械学习模型构成为在被输入询问数据后会输出多个标签中的任一个。本实施方式中，作为机械学习模型，例如可使用CNN(Convolutional Neural Network，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)、BERT(Bidirectional EncoderRepresentations from Transformers，基于转换器的双向编码表征)等所谓的深度学习(Deep Learning)，构建供输入通过词素解析而分割出的词的机械学习模型，也可构建供输入由从经词素解析所得的词中抽出的特征性的词构成的向量、安装有随机森林或支持向量机(SVM)等机械学习的机械学习模型。另外，机械学习模型也可为由外部的系统提供、处理详情不明者。
性能评估部53向通过学习数据集61而学习后的机械学习模型输入测试数据，并基于被输入了该测试数据的机械学习模型的输出，评估所述机械学习模型的性能是否满足指定条件。测试数据包含多个记录，各记录包含询问数据、及作为对该询问数据的回答的标签。例如，性能评估部53可逐个标签地统计正确率，并根据是否存在正确率低于指定阈值的标签，评估性能是否满足指定条件。
在评估为性能不满足指定条件的情况下，问题检测部54对学习数据集61是否满足预先设定的问题的检测条件进行判定。
在判定为满足问题的检测条件的情况下，数据变更部55更新学习数据集61。有关问题的检测及更新的具体方法将在下文加以叙述。
在判定为性能满足指定条件的情况下，模型展开部56将经过学习的机械学习模型展开于对实际来自用户的询问予以回答的查询应对服务器2。机械学习模型的展开可通过将经过学习的机械学习模型的参数复制至查询应对服务器2而进行，也可通过将包含经过学习的机械学习模型的虚拟环境复制至查询应对服务器2而进行。另外，还可通过以向构建于云上的经过学习的机械学习模型输入实际来自用户的查询的询问数据的方式切换询问数据的输入地址而展开。
学习控制部57控制初始数据决定部51、学习部52、性能评估部53、问题检测部54、数据变更部55，控制学习数据集61的备置及机械学习模型的学习。另外，在通过性能评估部53而判定为性能满足指定条件的情况下，指示模型展开部56展开经过学习的机械学习模型。
询问回答部58获取由用户从用户终端3输入的询问，然后输出对该询问的回答。另外，使表示所输入的询问的信息储存至询问日志62。
图4是表示询问回答部58的功能性构成的框图。询问回答部58从功能上来说，包含自然语言处理部71、对话管理部72、回答生成部73。这些功能通过查询应对服务器2中包含的处理器11执行存储部12中储存的程序，控制通信部13等而实现。
自然语言处理部71是实现所谓的自然语言理解(NLU)的功能。自然语言处理部71进行词素解析，自然语言处理部71包含供输入通过词素解析而由询问的文本生成的询问数据，并输出标签的机械学习模型。自然语言处理部71也可向通过其他服务器而实现的自然语言理解功能发送询问的文本或询问数据，并获取其结果。此外，询问回答部58也可还包含对通过用户的语音而输入的询问语音进行解析的ASR(Automatic Speech Recognition，自动语音识别)/STT(Speech to Text，语音-文本转换)功能，其输出输入至自然语言处理部71。
对话管理部72基于从自然语言处理部71输出的标签，从回答生成部73获取对询问的回答的文本，并将回答文本发送至用户终端3。此外，询问回答部58也可还包含将回答文本转换成语音的TTS(Text to Speech，文本-语音转换)功能，从而询问回答部58以转换所得的语音取代回答文本而向用户终端3输出。
这里，将来自用户的询问及对该询问的回答设为1轮(turn)，查询应对服务器2可构成为通过一连多轮而输出用户最终期望的回答。更具体来说，对话管理部72可基于针对某询问文本或询问数据而输出的标签，管理状态的变迁，使回答生成部73生成与该变迁后的状态相应的回答。例如，在针对第1轮中的用户的询问文本“忘记密码”而输出了标签“forget_password”的情况下，对话管理部72使回答生成部73生成“知道邮箱地址吗？(是/否)”作为回答，在针对接下来的用户的询问文本“是，知道。”而输出了标签“yes”的情况下，对话管理部72使对话管理部73生成与从“forget_password”到“yes”的标签的状态变迁相应的回答“请通过以下链接重设密码。”。
另外，对话管理部72将询问文本或询问数据、表示是否已判定出标签的信息、所判定出的标签、用户对回答的反馈储存至询问日志62。
回答生成部73通过对话管理部72的控制，生成与所判定出的标签相应的回答文本。此外，有关自然语言处理部71、对话管理部72、回答生成部73的处理的详情将在下文加以叙述。
以下，进一步对通过初始数据决定部51、学习部52、性能评估部53、问题检测部54、数据变更部55、模型展开部56及学习控制部57实施的机械学习模型的学习以及学习数据集61的准备进行说明。图5是概略性地表示信息处理系统中与机械学习模型的学习相关的处理的流程图。
首先，初始数据决定部51基于学习控制部57的指示，获取初始的学习数据集61及测试数据的集合(以下记述为测试数据集)(步骤S101)。测试数据集包含多个测试数据，测试数据包含询问数据、及针对该询问数据所应输出的标签。
其次，学习控制部57使学习部52开始处理，学习部52利用学习数据集61，使机械学习模型学习(步骤S102)。学习部52通过最初执行步骤S102时由初始数据决定部51获取到的学习数据集61，使机械学习模型学习。
使机械学习模型学习后，学习控制部57使性能评估部53开始处理，性能评估部53对经过学习的机械学习模型是否满足性能条件进行判定(步骤S104)。更具体来说，性能评估部53针对多个测试数据，分别向经过学习的机械学习模型输入测试数据中包含的询问数据，并对其输出是否与测试数据中包含的标签相同(是否正确)进行判定。然后，性能评估部53针对学习数据的每个标签分别算出其正确的比率，并对是否存在所算出的比率低于判定阈值的标签进行判定。于不存在所算出的比率低于判定阈值的标签的情况下，性能评估部53判定为满足性能条件，于并非如此的情况下，判定为不满足性能条件。此外，性能评估部53也可针对通过机械学习模型而输出的每个标签分别求出其正确的比率，并基于该比率，判定是否满足性能条件。
在判定为经过学习的机械学习模型不满足性能条件的情况下(步骤S104为“否”)，学习控制部57调整改善策略(步骤S105)。然后，学习控制部57使问题检测部54开始处理，问题检测部54检测学习数据集61的问题点(步骤S106)。学习控制部57可基于改善策略，将改善参数递交给问题检测部54，从而问题检测部54基于该改善参数，检测学习数据集61的问题点。有关改善策略及改善参数的详情将在下文加以叙述。
问题检测部54进行处理后，学习控制部57使数据变更部55开始处理，数据变更部55根据所检测出的问题点，更新学习数据集61(步骤S107)。然后，返回步骤S102，学习控制部57使学习部52开始处理，学习部52利用更新后的学习数据集61，使机械学习模型再学习。第2次以后的步骤S103以后的处理与第1次相同，因此省略说明。
另一方面，当在步骤S104中判定为经过学习的机械学习模型满足性能条件的情况下(步骤S104为“是”)，学习控制部57使模型展开部56开始处理，模型展开部56将经过学习的机械学习模型展开于查询应对服务器2(步骤S108)。
问题检测部54检测问题点的检测方法的数量、及数据变更部55更新数据的更新方法的数量均为多个。图6是说明问题检测部54的处理及数据变更部55的处理的图。检测处理栏表示问题检测部54检测学习数据集61的问题的方法的种类，问题栏表示所被检测出的问题的种类，数据变更处理表示用来改善所检测出的问题的学习数据集61的更新方法的种类。关于图6所示的方法及该方法中所进行的处理的详情将在下文加以记述。
首先，对“Data statistics”(数据解析)进行记述。图7是表示与数据解析相关的处理的一例的流程图。图7所示的处理是从步骤S105、S106、S107的处理的详情中提取出与数据解析相关的处理而得出的。
在图7所示的处理中，首先，学习控制部57决定作为改善策略中包含的改善参数的数据件数的上限值及下限值(步骤S201)。数据件数的上限值及下限值可决定为与以前所使用的上限值及下限值不同的值。另外，在变更了关于其他问题检测方法的改善参数的情况下，也可不变更上次的上限值及下限值而直接加以使用。上限值及下限值可通过从预先设定的候补值中任选一个而决定。
学习控制部57将上限值及下限值作为引数(argument)，从问题检测部54中调出数据解析的API(Application Programming Interface，应用程序编程接口)，问题检测部54针对学习数据集61中包含的学习数据，逐个标签地统计学习数据的件数(步骤S202)。
上限值及下限值也可不为调出数据解析的API时的参数。例如，也可为数据解析的API逐个标签地统计学习数据的件数，学习控制部57根据每个标签各自的学习数据的件数，决定上限值及下限值。例如，也可为学习控制部57获取每个标签各自的学习数据的件数的最大值及最小值，将比该最大值小指定值的值设为上限值，将比最小值大指定值的值设为下限值。
统计数据的件数后，学习控制部57对是否存在所统计出的件数超过上限值的标签进行判定(步骤S203)。
于存在件数超过上限值的标签的情况下(步骤S203为“是”)，学习控制部57视为检测出了“Too many samples”(学习数据太多)的问题，而将件数超过上限值的标签及上限值作为引数，从数据变更部55中调出“Sample Reduction”(学习数据删减)的处理的API。然后，数据变更部55针对件数超过上限值的标签，删减学习数据的件数(步骤S204)。数据变更部55也可针对包含超过上限值的标签的多个学习数据，分别算出它与包含相同标签的询问数据的相似度的和，基于通过该和而编排出的顺位，决定所要删除的学习数据。例如可删除预先设定的顺位的学习数据。另外，也可只是随机地决定要被删除的学习数据。于不存在件数超过上限值的标签的情况下，跳过步骤S204的处理。
另一方面，于存在件数低于下限值的标签的情况下(步骤S205为“是”)，学习控制部57视为检测出了“Lack of samples”(学习数据缺乏)的问题，而将低于下限值的标签及下限值作为引数，从数据变更部55中调出“New sample collection”(学习数据获取)的处理的API。在学习数据获取的处理中，数据变更部55从询问日志62抽出与该标签对应的询问数据，并向学习数据集61追加包含所抽出的询问数据与该标签的学习数据。另外，作为追加对象的询问数据是基于学习数据集61中与该标签对应的询问数据、及询问日志62中储存的询问数据，从询问日志62抽出的。有关这些处理的详情将在下文加以叙述。
图8是说明学习数据集61的件数的调整的图。图8中记载有3个曲线图，各曲线图的纵轴是学习数据的件数，逐个标签地示出了学习数据的件数。在图8中，Nmax表示件数的上限值，Nmin表示件数的下限值。
图8上面的曲线图表示数据解析中所求出的每个标签各自的学习数据件数。在该例中，有2个标签的学习数据的件数超过了上限值，因此针对该2个标签执行“SampleReduction”(学习数据删减)的处理，以使学习数据的数量成为上限值以下的方式变更学习数据集61(参照图8中间的曲线图左侧的2个标签)。另外，在该例中，有4个标签的学习数据的件数低于下限值，因此针对该4个标签执行“New sample collection”(数据追加)的处理，以使学习数据的数量成为下限值以上的方式变更学习数据集61(参照图8下面的曲线图右侧的4个标签)。
在不同标签的学习数据件数的差异较大的情况下，机械学习模型存在不必要地输出件数较多的标签的倾向。通过如此调整学习数据的件数，能确保机械学习模型的精度。
这里，对展开机械学习模型后的查询应对服务器2的询问回答部58的处理、及询问日志62进行说明。图9是表示询问回答部58的处理的一例的流程图。首先，询问回答部58的自然语言处理部71基于来自用户的输入，获取询问数据(步骤S501)。自然语言处理部71可将由用户输入的询问文本原封不动地作为询问数据而获取，也可对询问文本进行词素解析而获取询问数据。
自然语言处理部71将所获取到的询问数据输入至经过学习的机械学习模型(步骤S502)。然后，在机械学习模型未决定出标签的情况下(步骤S503为“否”)，对话管理部72向用户发送意为无法回答询问的讯息，并将表示询问数据的信息与意为未检测出对应标签的消息一起储存至询问日志62(步骤S504)。
在机械学习模型已决定出标签的情况下(步骤S503为“是”)，对话管理部72将所决定出的标签递交给回答生成部73，回答生成部73生成对所决定出的标签的回答(步骤S505)。回答生成部73可只是通过获取与标签相关联而存储的回答的文本来生成回答，回答生成部73也可利用与用户或作为询问对象的组织相关联而记录的信息来动态地生成回答。
对话管理部72将所生成的回答向用户终端3输出(步骤S506)。这里，用户终端3将回答、及供输入该回答对询问来说是否合适的画面等一起输出，并将来自用户的输入发送至查询应对服务器2。对话管理部72从用户终端3获取表示回答是否合适的反馈信息(步骤S507)。在获取到表示回答不合适的信息的情况下(步骤S507为“否”)，对话管理部72将表示询问数据的信息、所决定出的标签、意为回答不合适的消息储存至询问日志62(步骤S509)。在获取到表示回答合适的信息的情况下(步骤S507为“是”)，对话管理部72将表示询问数据的信息、所决定出的标签、意为回答合适的消息储存至询问日志62(步骤S510)。
图10是表示询问日志62的一例的图。“用户询问”是表示询问数据的信息，为由用户输入的询问的文本。“对应标签检测”是表示机械学习模型是否已决定出标签的信息，关于其值，“Yes”表示已决定出标签，“No”表示未决定出标签。“所推测出的标签”是通过机械学习模型所决定出的标签。“回答合适性”是来自用户的表示回答是否合适的反馈，关于其值，“Yes”表示回答合适，“No”表示回答不合适。
询问日志62中储存的这些信息在以下所要说明的问题检测部54及数据变更部55的处理的一部分中加以使用。询问日志62是在机械学习模型展开后生成的，例如在根据状况的变化等而要使该机械学习模型重新学习的情况下，可进行使用询问日志62的处理。
以下，更详细地对“New sample collection”(数据追加)的处理进行说明。图11是表示数据追加的处理的一例的流程图。图11的处理是针对学习数据集61中被认为件数较少的每个标签分别执行的。
数据变更部55从学习数据集61中，选择包含作为处理对象的标签的学习数据(步骤S301)。然后，数据变更部55针对所选择的学习数据，分别算出询问日志62中包含的多个用户询问各自与所选择的学习数据中包含的询问数据的相似度(步骤S302)。此外，可针对所选择的学习数据其中之一与多个用户询问其中之一的所有组合而算出相似度。
数据变更部55可利用通过词素解析等而从用户询问的文本中抽出的关键字、或询问数据中包含的关键字，生成文章向量，并算出所生成的文章向量的相似度，由此算出用户询问与询问数据的相似度。另外，也可通过所谓的深度学习，预先构建将文本直接转换成文章向量的机械学习模型，数据变更部55向该机械学习模型输入用户询问的文本与询问数据的文本，并算出所输出的文章向量的相似度。
算出相似度后，数据变更部55从多个用户询问中，抽出被算出大于第1相似阈值(例如0.9)的相似度的学习数据的数量为N(例如3)以上者(步骤S303：第1方法)。这是将与较多学习数据相似的询问抽出的处理。
其次，数据变更部55从多个用户询问中，抽出被算出大于第1相似阈值的相似度的学习数据的数量为M(例如1)以下者(步骤S304：第2方法)。这是将与较少学习数据相似的询问抽出的处理。
其次，数据变更部55从多个用户询问中，抽出被算出大于第2相似阈值(例如0.6)且小于第1相似阈值的相似度的学习数据的数量为1以上者(步骤S305：第3方法)。这是将用来扩大与学习数据中的标签对应的询问的范围的询问抽出的处理。
数据变更部55向学习数据集61追加学习数据，该学习数据包含基于通过步骤S303至S305的处理而抽出的用户询问的询问数据、及作为处理对象的标签(步骤S306)。
此外，在步骤S306中所抽出的用户询问的数量大于下限值减去作为处理对象的标签的学习数据的件数所得的值(追加预定数量)的情况下，数据变更部55可从所抽出的用户询问中，选择追加预定数量的用户询问，并针对所选择的用户询问追加学习数据。数据变更部55在该处理中，可随机选择用户询问，也可针对第1至第3方法分别预先设定基准比率，将第1至第3方法中各自所抽出的用户询问的数量除以所抽出的所有用户询问的数量而算出的比率超过基准比率从而被抽出的用户询问删减，由此选择追加预定数量的用户询问。
图12是对相似度与用户询问的抽出这两者的关系进行说明的图。在图12的例子中，将学习数据的记录与询问日志62的记录相连的实线表示根据这些记录而算出的相似度为第1相似阈值以上，虚线表示根据这些记录而算出的相似度为第2相似阈值以上且小于第1相似阈值。没有线的情况表示未算出第2相似阈值以上的相似度。
若N为3，M为1，则图12所示的询问日志62中包含的4个用户询问中，第1个用户询问与3个(N以上)询问文本的相似度为第1相似阈值以上，因此通过第1方法而抽出。第2个用户询问与1个(M以下)询问文本的相似度为第1相似阈值以上，因此通过第2方法而抽出。第3个用户询问与1个询问文本的相似度为第2相似阈值以上，因此通过第3方法而抽出。并非只抽出与较多学习数据的询问文本的相似度较高的用户询问，也抽出其他用户询问，由此能防止偏重于与标签对应的询问而导致精度下降。
“New sample collection”的处理也可用于测试数据集的备置。例如，也可就测试数据集中包含的测试数据而特定出数据件数较少的标签，针对该标签执行“New samplecollection”的处理。该情况下，所有处理中皆可使用测试数据集取代学习数据集61。
用户询问的抽出也可采用其他方法而进行。例如，也可使用学习数据集61，学习算出表示用户询问是否与指定对象的标签对应的得分的评估用机械学习模型，数据变更部55基于向该评估用机械学习模型输入询问日志62的用户询问后所输出的得分是否超过阈值，抽出用户询问。
另外，可通过所谓的深度学习，构建被输入询问文本后抽出文章向量的机械学习模型，数据变更部55向该机械学习模型输入包含于学习数据集61中、与作为处理对象的标签一起作为学习数据而储存的询问文本，并取得所输出的文章向量的平均值。进而，数据变更部55也可向该机械学习模型输入询问日志62中的用户询问，并基于所输出的文章向量与平均值的相似度是否超过阈值，抽出用户询问。
其次，对用来解决“Overlapped samples”(学习数据重叠)的问题的“Overlapdetection”(重叠检测)及“Overlap resolution”(重叠消解)的处理进行说明。问题检测部54调出“Overlap detection”的API后，检测询问数据彼此相似但被设定了不同标签的学习数据。更具体来说，问题检测部54针对属于通过性能评估部53而被判定为正确率低于阈值的标签(对象标签)的询问文(记述为对象询问文)，分别执行以下2个处理。第1个处理是算出表示属于对象标签的其他询问文与对象询问文的相似性的第1指标的处理。第2个处理是算出表示属于其他标签的询问文各自与对象询问文的相似性的第2指标的处理。
然后，在关于对象询问文，第2指标表示与属于其他标签的任一询问文相似，第1指标表示与属于对象标签的其他询问文的相似度低于基准状态的情况下，调出“Overlapresolution”的API后的数据变更部55将包含该对象询问文的学习数据从学习数据集61删除。
在图3所示的学习数据集61中，就第4个学习数据与第6个学习数据来说，询问的含义非常接近，但却被赋予了不同的标签。该情况下，机械学习模型无法顺利学习，所输出的标签的正确性下降。该情况下，通过删除学习数据中不合适的学习数据，能提高机械学习模型的精度。
对用来解决“Lack of intents”(标签缺乏)的问题的“Out-of-scope”(超出范围)及“Create intent”(标签创建)的处理进行说明。调出“Out-of-scope”的API后的问题检测部54对询问日志62中未决定出标签的用户询问的数量是否超过阈值进行判定。在超过阈值的情况下，有可能与询问对应的标签不足。
然后，调出“Create intent”的API后的数据变更部55将未决定出标签的多个用户询问的文本集结，于存在所属的用户询问的件数超过指定值的群集的情况下，将属于该群集的用户询问作为标签候补向学习管理服务器1的管理员输出。管理员输入基于所输出的候补而予以追加的标签、及所输出的用户询问中与所追加的标签对应的用户询问。数据变更部55追加包含所输入的用户询问与标签的学习数据。
就图10所示的询问日志62中的第4个数据来说，机械学习模型未能判定出对应的标签。于存在大量此类案例的情况下，通过“Out-of-scope”及“Create intent”的处理能更容易地追加学习数据。
对用来解决“Misunderstanding”(误解)的问题的“Prediction failure”(失误率预测)的处理进行说明。调出“Prediction failure”的API后的问题检测部54逐个标签地统计询问日志62中被认为回答不合适的用户询问的数量、及用户询问的总数。然后，逐个标签地判定通过使回答不合适的用户询问的数量除以总数而求出的指标值是否超过指定阈值。在超过阈值的情况下，表示针对该标签误判较多。
于存在超过阈值的标签的情况下，调出“New sample collection”的API，数据变更部44从询问日志62中抽出用户询问，并向学习数据集61追加包含用户询问的学习数据，以使该标签的学习数据件数多于当前件数。
就图10所示的询问日志62中的第5个数据来说，机械学习模型所输出的标签不合适。于存在大量此类案例的情况下，通过“Prediction failure”及“New samplecollection”的处理而调整学习数据集61，能容易地提高机械学习模型的精度。
如至此所说明般，在统一管制的环境下进行机械学习模型的评估、根据该评估而实施的学习数据集61的问题的检测、及学习数据集61的变更，由此管理员能更容易地准备学习数据集61以确保机械学习模型的性能。另外，机械学习模型学习所需的时间缩短，因此易于根据环境的变化而改良使用机械学习模型的询问应对。

Claims (9)

1.一种信息处理系统，包含：
学习服务器，通过包含输入数据、及作为针对该输入数据的教学数据的标签的学习数据的集合，使机械学习模型学习；及应答服务器，向所述学习后的机械学习模型输入由用户输入的输入数据，并基于通过该机械学习模型而输出的标签，输出应答数据；且
包含：
初始数据获取机构，获取所述学习数据的集合；
学习机构，通过所述学习数据的集合，使所述机械学习模型学习；
评估机构，向通过所述学习数据的集合而学习后的所述机械学习模型输入测试数据，并基于被输入了所述测试数据的机械学习模型的输出，评估所述机械学习模型的性能是否满足指定条件；
展开机构，在评估为所述机械学习模型的性能满足所述指定条件的情况下，将所述学习后的机械学习模型展开于所述应答服务器；
数据更新机构，在评估为所述机械学习模型的性能不满足所述指定条件的情况下，更新所述学习数据的集合；及
再学习机构，通过所述更新后的学习数据的集合，使所述机械学习模型再学习；且
根据所述评估机构的评估，重复所述数据更新机构、所述再学习机构、所述评估机构的处理。
2.根据权利要求1所述的信息处理系统，其中
还包含检测机构，该检测机构在评估为所述机械学习模型的性能不满足所述指定条件的情况下，对所述学习数据的集合是否满足检测条件进行判定；
在判定为满足所述检测条件的情况下，所述数据更新机构更新所述学习数据的集合。
3.根据权利要求2所述的信息处理系统，其中
所述检测机构对所述学习数据的集合中的每个标签各自的输入数据的数量是否满足检测条件进行判定，
在判定为满足所述检测条件的情况下，所述数据更新机构更新所述学习数据的集合。
4.根据权利要求1所述的信息处理系统，其中
在评估为所述机械学习模型的性能不满足所述指定条件的情况下，所述数据更新机构基于改善参数，更新所述学习数据的集合，且
该信息处理系统还包含根据所述学习数据的集合的更新而更新所述改善参数的参数更新机构。
5.根据权利要求2所述的信息处理系统，其中
还包含日志机构，该日志机构在由所述用户输入了输入数据的情况下，使所述输入数据存储至日志储存器；且
所述检测机构对关于所述学习数据的集合是否存在输入数据的数量不足的标签进行判定，
在判定为存在所述输入数据的数量不足的标签的情况下，所述数据更新机构从所述日志储存器中储存的输入数据中，抽出与该标签对应的输入数据，并向所述学习数据的集合追加包含所述被抽出的输入数据与该标签的学习数据。
6.根据权利要求5所述的信息处理系统，其中
在判定为存在所述输入数据的数量不足的标签的情况下，所述数据更新机构基于所述学习数据的集合中与该标签对应的输入数据、及所述日志储存器中储存的输入数据，从所述日志储存器中储存的输入数据中，抽出与该标签对应的输入数据。
7.根据权利要求1至4中任一项所述的信息处理系统，其中
还包含：
日志机构，在由所述用户输入了输入数据的情况下，使所述输入数据存储至日志储存器；及
测试数据追加机构，从所述日志储存器中储存的输入数据中，抽出与任一标签对应的输入数据，并向所述学习数据追加所述被抽出的输入数据与该标签的集合。
8.一种信息处理方法，包含如下步骤：
获取包含输入数据与标签的学习数据的集合，该标签是针对该输入数据的教学数据，用于制作应答数据；
通过所述学习数据的集合，使机械学习模型学习；
向通过所述学习数据的集合而学习后的所述机械学习模型输入测试数据，并基于被输入了所述测试数据的机械学习模型的输出，评估所述机械学习模型的性能是否满足指定条件；
在评估为所述机械学习模型的性能满足所述指定条件的情况下，将所述性能经过评估的机械学习模型展开于应答服务器，该应答服务器向所述学习后的机械学习模型输入由用户输入的输入数据，并基于通过该机械学习模型而输出的标签，输出应答数据；
在评估为所述机械学习模型的性能不满足所述指定条件的情况下，更新所述学习数据的集合；及
通过所述更新后的学习数据的集合，使所述机械学习模型再学习；且
根据所述评估，重复更新所述学习数据的集合的步骤、使所述机械学习模型再学习的步骤、及评估所述机械学习模型的性能的步骤。
9.一种信息处理装置，包含：
初始数据获取机构，获取包含输入数据与标签的学习数据的集合，该标签是针对该输入数据的教学数据，用于制作应答数据；
学习机构，通过所述学习数据的集合，使机械学习模型学习；
评估机构，向通过所述学习数据的集合而学习后的所述机械学习模型输入测试数据，并基于被输入了所述测试数据的机械学习模型的输出，评估所述机械学习模型的性能是否满足指定条件；
展开机构，在评估为所述机械学习模型的性能满足所述指定条件的情况下，将所述性能经过评估的机械学习模型展开于应答服务器，该应答服务器向所述学习后的机械学习模型输入由用户输入的输入数据，并基于通过该机械学习模型而输出的标签，输出应答数据；
数据更新机构，在评估为所述机械学习模型的性能不满足所述指定条件的情况下，更新所述学习数据的集合；及
再学习机构，通过所述更新后的学习数据的集合，使所述机械学习模型再学习；且
根据所述评估机构的评估，重复所述数据更新机构、所述再学习机构、所述评估机构的处理。
CN202111588796.3A 2020-12-23 2021-12-23 信息处理系统、信息处理方法及信息处理装置 Pending CN114742230A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020213626A JP7101752B2 (ja) 2020-12-23 2020-12-23 情報処理システム、情報処理方法および情報処理装置
JP2020-213626 2020-12-23

Publications (1)

Publication Number Publication Date
CN114742230A true CN114742230A (zh) 2022-07-12

Family

ID=79024698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111588796.3A Pending CN114742230A (zh) 2020-12-23 2021-12-23 信息处理系统、信息处理方法及信息处理装置

Country Status (4)

Country Link
US (1) US20220198337A1 (zh)
EP (1) EP4020339A1 (zh)
JP (2) JP7101752B2 (zh)
CN (1) CN114742230A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220215393A1 (en) * 2021-01-04 2022-07-07 Capital One Services, Llc Real-time updating of a security model
WO2024005313A1 (ko) * 2022-06-30 2024-01-04 삼성전자 주식회사 전자 장치의 학습 모델을 갱신하는 서버 및 그의 동작 방법
WO2024089064A1 (en) 2022-10-25 2024-05-02 Continental Automotive Technologies GmbH Method and wireless communication system for gnb-ue two side control of artificial intelligence/machine learning model
CN117596087A (zh) * 2024-01-19 2024-02-23 深圳市安络科技有限公司 一种服务模拟方法、装置、计算机设备及存储介质
JP7492188B1 (ja) 2024-03-25 2024-05-29 日本製鉄株式会社 学習システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548847B2 (en) 2002-05-10 2009-06-16 Microsoft Corporation System for automatically annotating training data for a natural language understanding system
JP5408380B1 (ja) 2013-06-17 2014-02-05 富士ゼロックス株式会社 情報処理プログラム及び情報処理装置
US10614373B1 (en) 2013-12-23 2020-04-07 Groupon, Inc. Processing dynamic data within an adaptive oracle-trained learning system using curated training data for incremental re-training of a predictive model
JP6441980B2 (ja) 2017-03-29 2018-12-19 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム
JP6693938B2 (ja) 2017-11-17 2020-05-13 ファナック株式会社 外観検査装置
JP2019212073A (ja) 2018-06-06 2019-12-12 アズビル株式会社 画像判別装置および方法

Also Published As

Publication number Publication date
US20220198337A1 (en) 2022-06-23
JP2022099685A (ja) 2022-07-05
JP7402277B2 (ja) 2023-12-20
JP7101752B2 (ja) 2022-07-15
EP4020339A1 (en) 2022-06-29
JP2022125222A (ja) 2022-08-26

Similar Documents

Publication Publication Date Title
CN114742230A (zh) 信息处理系统、信息处理方法及信息处理装置
CN111046152B (zh) Faq问答对自动构建方法、装置、计算机设备及存储介质
US10515155B2 (en) Conversational agent
US20190103111A1 (en) Natural Language Processing Systems and Methods
US10460029B2 (en) Reply information recommendation method and apparatus
US8924330B2 (en) Method and computer program product for providing a response to a statement of a user
KR20190046623A (ko) 자기-학습 자연 언어 이해를 갖는 다이얼로그 시스템
WO2019124647A1 (ko) 대화형 ai 에이전트 시스템을 위한 계층적 대화 흐름 관리 모델을 자동으로 구축 또는 갱신하는 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체
CN113360622B (zh) 用户对话信息的处理方法、装置及计算机设备
KR101891498B1 (ko) 대화형 ai 에이전트 시스템에서 멀티 도메인 인텐트의 혼재성을 해소하는 멀티 도메인 서비스를 제공하는 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체
US20210073596A1 (en) Method and system for determining response for digital task executed in computer-implemented crowd-sourced environment
KR101959292B1 (ko) 문맥 기반으로 음성 인식의 성능을 향상하기 위한 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체
CN110234018A (zh) 多媒体内容描述生成方法、训练方法、装置、设备及介质
KR20190075277A (ko) 콘텐트 검색을 위한 방법 및 그 전자 장치
CN111858898A (zh) 基于人工智能的文本处理方法、装置及电子设备
CN112905755A (zh) 一种回复文本预测方法、装置、设备及存储介质
EP3525107A1 (en) Conversational agent
KR102562692B1 (ko) 문장 구두점 제공 시스템 및 방법
CN117271779A (zh) 大模型结合知识图谱的故障分析方法及相关设备
CN112069803A (zh) 文本备份方法、装置、设备及计算机可读存储介质
WO2024004076A1 (ja) 情報処理システム、情報処理方法およびプログラム
CN109388695B (zh) 用户意图识别方法、设备及计算机可读存储介质
KR101970899B1 (ko) 문맥 기반으로 음성 인식의 성능을 향상하기 위한 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체
EP3893143A1 (en) Corpus processing method, apparatus and storage medium
CN117560337A (zh) 内容交互方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination