CN114817659A - 信息处理装置、问答系统、信息处理方法、存储介质 - Google Patents

信息处理装置、问答系统、信息处理方法、存储介质 Download PDF

Info

Publication number
CN114817659A
CN114817659A CN202210057148.3A CN202210057148A CN114817659A CN 114817659 A CN114817659 A CN 114817659A CN 202210057148 A CN202210057148 A CN 202210057148A CN 114817659 A CN114817659 A CN 114817659A
Authority
CN
China
Prior art keywords
information
question
information processing
answer
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210057148.3A
Other languages
English (en)
Inventor
川村晋太郎
井口慎也
岛田敦子
内藤昭一
中村真弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN114817659A publication Critical patent/CN114817659A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2425—Iterative querying; Query formulation based on the results of a preceding query
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及信息处理装置、问答系统、信息处理方法、存储介质，其针对现有技术中利用通过深度学习导出的回答对提问作出答复时没有考虑到基于与提问内容相关的文本及图像等多个信息来生成回答所造成的回答精度低的课题，信息处理装置(3)参考知识源(300)制作于提问内容相对应的回答文或追加提问(步骤S23)，作为回应输入装置(2)的答复，发送提问的回答文，或追加内容请求信息(步骤S24)，表示用于进一步锁定提问回答所需要的追加内容的输入请求。

Description

信息处理装置、问答系统、信息处理方法、存储介质
技术领域
本发明涉及信息处理装置、问答系统、信息处理方法、存储介质。
背景技术
近年来，深度学习作为机器学习的方法之一被用于各种场合。这种深度学习中中存在一种将给予的既有数据的输入输出关系的法则性作为分散表现的网络进行学习，自动建构模型，基于该模型，输出对新输入数据的预测的架构。在自然语言处理方面，也出现了以BERT(Bidirectional Encoder Representation from Transformers)为代表、能够得到考虑语境的分散表现的深度学习基础模型，在关于自然语言处理的所有任务中都获得了最高水平的性能。作为BERT的应用例，有SNS(Social Networking Service)中的发言内容的分类、EC(Electronic Commerce)网站的VOC(Voiceof Customer；感情)分析、文件的摘要以及生成等，其用途正在不断扩大。
进而，现有技术，如专利文献1(JP特开2004-302660号公报)公开了一种可以根据用自然语言的问句推定应该利用的回答介质(文本、图像、影像、声音)，通过推定的回答介质输出对问句的回答的技术方案。
但是，在以往的技术中，用通过深度学习导出的回答对给出的提问内容作出答复时，没有考虑到根据包括与提问内容相关的文本及图像的多个信息来生成回答，存在对提问内容的回答精度低的课题。
发明内容
为了解决上述问题，本发明提供一种信息处理装置，用来对输入提问的输入装置所发送的所述提问的回答作出应答，其特征在于，具备接收部，用于接收由所述输入装置发送的所述提问；提取部，用于提取回答源信息，该回答源信息用于制作通过深度学习与预先给予的自然语言信息、所述自然语言信息以外的非语言信息、以及构成所述非语言信息的构成信息关联起来的、针对收到的所述提问的回答；以及发送部，用于向所述输入装置发送根据所述回答源信息制作的、针对所述提问的回答内容信息，或者用来请求针对所述提问输入追加内容的追加内容请求信息。
上述本发明的效果在于，能够改善提问内容的回答精度。
附图说明
图1是本实施方式涉及的问答系统的整体构成示意图。
图2是本实施方式涉及的输入装置及信息处理装置的一例硬件结构框图。
图3是本实施方式涉及的问答系统的一例功能结构框图。
图4是本实施方式涉及的一例提取对象管理表的示意图。
图5中，(A)是本实施方式涉及的一例图像信息管理表的示意图，(B)是本实施方式涉及的一例产品结构管理表的示意图。
图6是本实施方式涉及的一例知识源形态的模型图。
图7是本实施方式涉及的一例知识源生成处理及提问应答处理的时序图。
图8是本实施方式涉及的用于受理输入提问的画面的示意图。
图9是本实施方式涉及的一例回答及追加提问制作处理的流程图。
图10是本实施方式涉及的一例推论过程内容画面的示意图。
图11是本实施方式涉及的一例处理说明内容画面的示意图。
图12是本实施方式涉及的一例追加信息输入画面的示意图。
具体实施方式
以下利用附图说明实施发明的方式。在附图的说明中，对相同要素赋予相同符号，并省略说明重复部分。
[实施方式]
以下用图1至图12说明本实施方式。
[问答系统1的整体构成]
图1是本实施方式涉及的问答系统的一例整体构成示意图。图1所示的问答系统1是一个将信息处理装置3生成的回答提供给向信息处理装置3提问的输入装置2的例子。问答系统1是能够对基于比如输入装置2收集的音频信息所生成的提问，执行回答生成，该回答生成是用信息处理装置3所生成的知识源300的自然语言处理任务之一。如图1所示，问答系统1包括输入装置2和信息处理装置3，输入装置2是输入提问的用户所拥有的装置，信息处理装置3用于与输入装置2进行通信，处理输入装置2发送的提问的内容并对输入装置2作出回答。输入装置2和信息处理装置3分别通过通信网络100相互连接。在此，通信网络100通过互联网、移动体通信网、LAN(Local Area Network)等构建。通信网络100不仅包括有线通信，还可以包括基于3G(3rdGeneration)、4G(4thGeneration)、5G(5thGeneration)、WiMAX(Worldwide Interoperability for Microwave Access)或LTE(Long Term Evolution)等无线通信的网络。
<输入装置>
输入装置2由搭载一般OS的信息处理装置(计算机系统)来实现。输入装置2输入通过麦克风得到的人发出的声音(自然语言)或机械产生的声音等的音频信息，将音频信息转换为文本信息，通过通信网络100发送给信息处理装置3。进而，输入装置2收到信息处理装置3发送的文本信息，将文本信息转换为音频信息，通过扬声器输出到外部。输入装置2还将收到的文本信息转换为用于在显示装置上显示的画面信息，将画面信息显示在显示装置上。输入装置2可以是智能电话、平板终端、PDA(Personal Digital Assistant)、可穿戴PC(太阳镜型、手表型等)等具有通信功能的通信终端。进而，输入装置2也可以是一般的PC(Personal Computer)。即，可以使用能够运行浏览器软件等软件的终端作为输入装置2。
<信息处理装置>
信息处理装置3由搭载一般OS、并具备服务器功能的信息处理装置(计算机系统)实现。信息处理装置3与输入装置2通过通信网络100进行通信，将输入装置2发送的关于提问内容的数据，通过机械学习(以下，使用机械学习的一个例子即深度学习)进行处理，生成关于提问内容的回答(应答)信息以及用来接受追加提问内容的信息，送往输入装置2。在本实施方式中，信息处理装置3还使用通过深度学习而相关联的自然语言信息和非语言信息(图像、构成信息等)，生成“知识源300”，知识源300表示用于制作提问回答的回答源信息。信息处理装置3用生成的知识源300，对用户提出的提问内容生成演绎性的回答。另外，一般的PC只要可以生成上述知识源300，也可以作为信息处理装置。
●关于用语●
在本实施方式中使用的“提问应答”是指使用深度学习来解读给出的提问，将想要的信息精准地提供给提问的用户(提问者)。另一方面，所谓“检索”是指通过自己选择关键词进行检索，读取该检索结果，取出所需信息。
[硬件结构]
<输入装置及信息处理装置的硬件结构>
接下来说明实施方式涉及的各装置的硬件结构。图2是本实施方式涉及的输入装置及信息处理装置的一例硬件结构框图。如图2所示，输入装置2具备包括CPU201、ROM202、RAM203、HD204、HDD控制器205、显示器206、外设连接I/F208、网络I/F209、键盘211、指示设备212、CDRW(Digital Versatile Disk-Rewritable)驱动器214、介质I/F216、麦克风218、扬声器219、声音输入输出I/F217以及总线210在内的硬件资源。
其中，CPU201控制输入装置2整体的动作。ROM202保存用于驱动CPU201的程序。RAM203被用作CPU201的工作区。HD204保存程序等各种数据。HDD控制器205按照CPU201的控制，控制HD204中各种数据的读写。显示器206显示光标、菜单、窗口、文字、数字键、执行键或图像等各种信息。显示器206是一例显示装置。外设连接I/F208是用于连接各种外部设备的接口。这种情况下的外设是例如USB存储器或USB设备。总线210是用于电连接CPU201等各构成要素的地址总线或数据总线等。
网络I/F209是用于利用通信网络100进行数据通信的接口。键盘211是具备用来输入文字、数值、各种指示等的多个键的一种输入装置。定点设备212是进行各种指示的选择或者执行、处理对象的选择、或者光标的移动等的一种输入装置。输入装置不仅可以是键盘211及定点设备212，也可以是触摸屏或声音输入装置等。DVD-RW驱动器214控制作为一例可装卸记录介质的DVD-RW213中各种数据的读写。除了DVD-RW，也可以是DVD-R或Blu-ray(注册商标)Disc(蓝光光盘)等。介质I/F216控制闪存等记录介质215中的数据读写。麦克风218是输入声音和周围声音(声音信号)的一种声音输入装置。扬声器219是输出变换输入声音信号而得到的输出用声音信号的一种声音输出装置。声音输入输出I/F217是在CPU201的控制下，处理麦克风218和扬声器219之间的声音信号输入输出的电路。
信息处理装置3由计算机构建，如图2所示，具备包括CPU301、ROM302、RAM303、HD(HardDisk)304、HDD控制器305、显示器306、外设连接I/F308、网络I/F309、键盘311、定点设备312、介质I/F316以及总线310在内的硬件资源。
从CPU301到指示设备312，具有与输入装置2的CPU201至定点设备212的各硬件资源相同的构成，因此省略详述。介质I/F316控制对闪存等记录介质315的数据读写。在此，如果信息处理装置3是一般的PC，也可以具备与输入装置2具备的DVD-RW驱动器214相当的硬件资源。
图2所示的计算机是一个示例，也可以是HUD(Head Up Display)装置、产业机械、网络家电、移动电话、智能电话、平板终端、游戏机、PDA(Personal Digital Assistant)等。
上述各种程序既可以是可安装形式或可执行形式的文件，记录在计算机可读的记录介质中，也可以通过网络下载流通。关于记录介质的例子，可以举出CDR(Compact DiscRecordable)、DVD、Blu-ray(注册商标)Disc、SD卡、USB存储器等。记录介质可以作为程序产品(Program Product)向国内外提供。例如，信息处理装置3通过执行根据本发明的程序来实现本发明涉及的信息处理方法。
[问答系统的功能结构]
接着用图3至图6说明实施方式涉及的各装置的功能结构。图3是本实施方式涉及的问答系统的一例功能结构框图。
<输入装置的功能结构>
如图3所示，输入装置2具有收发部21、操作受理部22、声音输入输出部23、显示控制部24、变换制作部27以及存储读取部29。这些功能部是通过图2所示的各硬件资源中的任意一个硬件，通过按照从ROM202和HD204的至少其中之一读取展开到RAM203上的输入装置2用程序运行的CPU201所发出的指令动作而实现的功能或装置。输入装置2具有以图2所示的ROM202或HD204构筑的存储部2000。存储部2000中保存供输入装置2执行的输入处理程序。进而，存储部2000中保管用于与信息处理装置3进行通信的通信应用程序。
《输入装置的各功能构成》
以下详细说明输入装置2的各项功能构成。图3所示的输入装置2的收发部21主要通过对图2所示的外设连接I/F208及网络I/F209的CPU201的处理实现，经由通信网络100与信息处理装置3进行各种数据(或信息)的收发。在本实施方式中，收发部21作为发送部及接收部的示例具有功能或具有发挥功能的装置。
操作受理部22主要通过CPU201对图2所示的键盘211及定点设备212的处理实现，接受来自用户的各种操作及选择的输入。除了键盘211和定点设备212以外，也可以使用其他的输入装置，如操作按钮(具有可按动或轻击的UI(User Interface))等。在本实施方式中，操作受理部22作为一例操作受理部具有功能或具有发挥功能的装置。
声音输入输出部23主要通过CPU201对图2所示的麦克风218及声音输入输出I/F217进行处理来实现，向输入装置2输入由用户或机器发出的声音。声音输入输出部23还主要通过CPU201对图2所示的扬声器219及声音输入输出I/F217的处理来实现，将关于信息处理装置3发送的应答的信息变换为音频信号，经由扬声器219输出声音。在本实施方式中，声音输入输出部23作为一例声音输入输出部，具有功能或具有发挥功能的装置。进而，在本实施方式中，上述的操作受理部22和声音输入输出部23作为一例输入部具有功能或具有发挥功能的装置。
显示控制部24主要通过CPU201对图2所示的显示器206的处理来实现，进行用于在显示器206上显示各种图像、文字、代码信息等的控制。在本实施方式中，显示控制部24作为一例显示控制部具有功能或具有发挥功能的装置。
变换制作部27主要通过图中所示的CPU201的处理来实现，将声音输入输出部23输入的自然语言等的声音信息变换为文本(文字)信息，制作提问句。在本实施方式中，变换制作部27作为一例变换制作部具有功能或具有发挥功能的装置。
存储读取部29主要通过CPU201对图2所示的ROM202及HD204中的至少一个进行处理来实现，把各种数据(或信息)保存在存储部2000中，或从存储部2000读出各种数据(或信息)。在本实施方式中，存储读取部29作为存储读取装置，具有功能或具有发挥功能的装置。
如图3所示，信息处理装置3具有收发部31、解析部32、提取创建部33、判断部35、回答制作部36以及存储读取部39。这些功能部是通过图3所示的各个硬件资源中的任意一个硬件，按照来自遵循从ROM302和HD304中的至少一个展开到RAM303上的信息处理装置3用程序的CPU301的指令动作来实现的功能或装置。信息处理装置3具有由图3所示的ROM302和HD304中至少一个构建的存储部3000。存储部3000中保存供信息处理装置3执行的信息处理程序。进而，存储部3000中还保管用于与输入装置2进行通信的通信应用程序。
●提取对象管理表●
图4是本实施方式涉及的提取对象管理表的一例示意图。在存储部3000中构建了由如图4所示的提取对象管理表构成的提取对象管理DB3001。提取对象管理表按照状态识别信息，将故障现象、应对方法以及场所的各项目关联起来保管。其中，故障现象是预先提取的维修对象的管理对象装置中所发生的故障的现象。在此，管理对象装置是指以MFP(Multifunction Peripheral/Product/Printer)、工作机械等为例，需要定期维修的装置、机械的总称。关于故障现象，例如给出“破损”、“变形”、“异常声音”、“劣化”等进行管理。这些故障现象例如是由维修管理对象装置的维修负责人员从管理管理对象装置的呼叫中心等预先获得，根据获得的信息输入到提取对象管理表中的信息。
处理方法是提取在维修对象的管理对象装置中进行怎样的应对处理。关于处理方法，例如用“更换组件”、“更换零件”、“修理”等进行管理。
部位是提取在维修对象的管理对象装置中什么部位发生故障。可以用例如“元件A”、“元件B”等进行管理。提取对象管理表中受到管理的各种数据(故障现象、处理方法、部位)也可以用固有表现提取方法、谓语项构造解析等自动提取。另一方面，也可以不讲上述各种数据作为图表数据进行管理，而在后述的知识源300的制作过程中用固有表达提取方法、谓语项结构解析等自动提取。
●图像信息管理表●
图5的(A)是本实施方式涉及的图像信息管理表的一例示意图。在存储部3000中构建了由图5的(A)所示的图像信息管理表构成的图像信息管理DB3002。该图像信息管理表按照每个图像识别信息，将构成管理对象装置的零件、组件等的部位、图像以及表示这些图像的形象的图像图标关联起来保管。其中，图像识别信息表示用于识别构成管理对象装置的零件、组件等的识别信息，如用IID001、IID002等进行管理。但是，管理对象装置的具体示例不限于上述MFP、机床。
如在提取对象管理表(提取对象管理DB3001，参见图4)中说明的那样，部位是提取故障发生的部位。例如用“零件A”、“零件B”等进行管理。
图像表示构成管理对象装置的零件、组件等的图像，例如，通过给出“图像A”、“图像B”等进行管理。图像图标表示与图像对应的图标，用各图标的图像文件格式(例如.bmp、.jpg等)进行管理。
●产品结构管理表●
图5的(B)是本实施方式涉及的产品结构管理表的一例示意图。在存储部3000中构建了由如图5的(B)所示的产品结构管理表构成的产品结构管理DB3003。在该产品结构管理表中按照每个结构识别信息将第一层、第二层、第三层关联起来保管。其中，结构识别信息表示用于识别构成管理对象装置的元件、组件等各阶层的结构对象的识别信息，例如用SID001、SID002等进行管理。
第一层是在构成管理对象装置的零件、组件等用CAD数据表示的情况下位于最上位的层，例如以“组件A”等进行管理。第二层是位于构成第一层的组件A的下一位的层，例如用“转动部”、“搬运部”等管理。第三阶层是位于构成第二层的零件等的下一位的层，例如，用“零件A”、“零件B”等管理。
产品结构管理表的构成要素也可以是二层以内，或四层以上，不一定到第三层为止。
另外，上述的提取对象管理表(提取对象管理DB3001)、图像信息管理表(图像信息管理DB3002)、以及产品结构管理表(产品结构管理DB3003)也可以是用存储部3000的各规定区域分别管理的数据，而不是图表数据。
《信息处理装置的各项功能构成》
接下来详细说明信息处理装置3的各项功能构成。图3所示的信息处理装置3的收发部31主要通过CPU301对图2所示的网络I/F309的处理来实现，经由通信网络100与输入装置2之间进行各种数据(或信息)的收发。收发部31以自然文接收来自用户的提问，并输入到信息处理装置3。作为界面，其形态没有特别限制，如聊天机器人和Web浏览器上的文本输入框等。进而，收发部31除了回答用户的提问外，还将相关的图像信息一并发送给输入装置2。关于用户的提问，除了自然文之外，也可以包括基于机器输出的声音的提问。在本实施方式中，收发部31作为发送部和接收部的一个例子具有功能或具有发挥功能的装置。
解析部32通过图2所示的CPU301的处理来实现，解析输入的问句，提取经过结构化的结构化信息。例如，解析部32可以用谓语项解析器、深度学习等解析管理对象装置的零件名称、组件名称等的固有表达以及关系(部位-动作)，提取结构化信息。在本实施方式中，解析部32作为一例解析部具有该功能或发挥该功能的装置。
提取创建部33主要通过图2所示的CPU301的处理来实现，从作为一例多模式数据群的自然语言数据群以及结构化/非结构化数据群中，提取并制作“知识源300”，“知识源300”表示回答支援信息，用于支援用户提问回答的制作。在本实施方式中，提取创建部33作为一例提取部具有功能或具有发挥功能的装置。
判断部35主要通过图2所示的CPU301的处理来实现，进行信息处理装置3中的各种判断。在本实施方式中，判断部35作为一例判断部具有功能或具有发挥功能的装置。
回答制作部36主要通过图2所示的CPU301的处理来实现，将通过解析部32得到的结构化信息与通过提取创建部33提取并创建的知识源300进行对照。回答制作部36还根据图表构造对照和近年来通过将图表网络映射到共通的向量空间而求出的类似性进行判断，制作回答。另外，回答制作部36通过利用经过提取创建部33结构化的知识源300，除了制作提问的回答外，还制作推断过程。进而，回答制作部36通过提取创建部33将构成管理对象装置的零件、组件等和其图像信息相关联，除了提问内容的回答外，还制作与回答相关联的图像信息。在本实施方式中，回答制作部36作为一例制作部具有该功能或具有发挥该功能的手段。
存储读取部39主要通过CPU301对图2所示的ROM302及HD304中的至少一个的处理来实现，在存储部3000中保存各种数据(或信息)，或从存储部3000读出各种数据(或信息)。在本实施方式中，存储读取部39作为一例存储读取部具有功能或具有发挥功能的装置。
<知识源的形态>
接下来说明本实施方式中使用的知识源300。图6是本实施方式涉及的一例知识源形态的模式图。如图6所示，知识源300例如作为多模式的一种形态，从自然语言数据群中提取的信息以及与图像数据和CAD数据相关联的信息通过深度学习引导，构建成相互关联的模型图。知识源300的形态有经过结构化的知识图表和关系数据库(Relational DataBase:RDB)。
知识源300是从如下所示的预先给予的自然语言数据群以及结构化/非结构化数据群中提取并生成的。本实施方式把自然语言数据群当作一例自然语言信息来处理，把结构化/非结构化数据群当作除自然语言信息以外的一例非语言信息来处理。自然语言数据库是指比如，作为由问答系统维护、管理的管理对象装置的提供者即制造商所持有的有关自然语言的数据库。作为一例自然语言信息的自然语言数据群，其包括设计规格书、说明手册、维护报告、以及零件信息。另一方面，作为一例非语言信息的结构化/非结构化数据群，其是自然语言数据群以外的数据群的一个例子。在结构化/非结构化数据群中，例如CAD数据、3DCAD数据(产品的机构/结构信息)、零件清单等是结构化数据，CAD图像、文档内图像等是非结构化数据。作为知识源300的形态，例如有结构化的知识图表、关系型数据库(RDB)等。
关于上述的知识源300，以利用输入装置2的用户或者维护管理对象装置的负责人员(以下为了方便，记为“用户或者维护负责人员”)使用输入装置2搜索管理对象装置中发生的故障的处理方法为例进行说明。具体处理可以分为(1)从自然语言数据群中提取信息，(2)从自然语言以外的数据群中提取信息，以及与从(1)和(2)中得到的结果相关联。(1)关于从自然语言数据群中提取信息作为自然语言数据群的例子，例如以提供管理对象装置的制造商所持有的数据为例，有设计规格书、说明手册、维护报告、零件信息等。用固有表现提取方法以及谓语项结构解析中的至少一个方法，自动从这些当中提取表示零件、组件等被配置在产品的什么部位的部位信息，以及表示零件、组件等中发生的现象的现象信息(故障现象、处理等)。图7所示的示例虽然是RDB形式，但是也可以用图表网络结构来表示。
用图4所示的提取对象管理表(提取对象管理DB3001，参见图4)作为从自然语言数据群中提取信息的具体示例进行说明。在提取对象管理表中，按照每个状态识别信息，将故障对象、处理方法以及部位的各个项目关联起来保管。例如根据“零件A发现破损，因此更换零件进行了处理”之类的报告等前阶段的事实，将这些表格数据化。也就是说，把基于过去的现象及处理内容进行表格数据化的信息作为从自然语言数据群中的提取信息。(2)从CAD数据中获取产品的层级结构信息作为从自然语言以外的数据群中提取信息。另外，也可以同时使用BOM(Bill of Material:BOM)。作为图像数据的CAD内图像以及文档内图像与自然语言资料(图6中以“部位”管理的信息)的关联，例如可以通过应用Image Captioning(以图像为输入，输出其说明文本)的深度学习方法进行接近来实现。而后，经过相关联的图像数据的各图像和自然语言数据，如图6所示，例如，通过用虚线和实线箭头连接起来进行管理，以了解它们是相关联的。同样，经过关联的CAD数据的各构成中的产品结构和自然语言数据的集合体(用中括号表示的地方)，如图6所示，例如，通过用实线箭头连接起来管理，以了解它们是相关联的。例如表示自然语言数据群中的部位：“零件A”、“零件B”及“零件C”与CAD数据的“转动部”相关联(构成“转动部”的零件是“零件A”、“零件B”及“零件C”)。如上所述，在例如结构化数据为CAD数据的情况下，信息处理装置3(提取创建部33)也可以通过利用机械零件的分层结构(部分整体关系)信息生成知识源。由此，通过将仅靠自然语言数据群无法掌握的管理对象装置的CAD数据作为机构信息导入，能够提高问题回答的精度。
用图6所示的知识源300中的“部位”的信息所管理的“零件A”和“零件C”，实际上是指同一个零件，但在设计规格书等文档中被标记为不同的零件。为此，很难根据语言表达判断是否相同或是否相似。对此，根据与这些词语相关联的图像(插图、相片等)的相似性，判断“零件A”是“零件C”的换一种方式的表述(“零件C”是“零件A”的换一种方式的表述)。根据这样的方法，在图7所示的知识源300中，由于“图像A”和“图像C”是相似图像，因此知识源300可以给出“零件A”＝“零件C”的信息。
[实施方式的处理或运作]
接着用图7至图12，说明本实施方式涉及的问答系统的运作及各种处理。
<知识源的生成处理>
图7是本实施方式涉及的知识源生成处理及问答处理的一例时序图。如图7所示，信息处理装置3的提取创建部33通过检索由提取对象管理表(提取对象管理DB3001，参见图4)、图像信息管理表(图像信息管理DB3002，参见图5的(A))以及产品结构管理表(产品结构管理DB3003，参见图5的(B))所管理的各个项目(故障现象、处理方法、部位、图像、图像图标、构成产品的各层)，提取图7所示的知识源300(步骤S11)。此时，提取创建部33根据包含在自然语言信息中的单词以及包含在非语言信息中的图像的相似性，提取该单词换一种方式的表述。具体而言，提取创建部33将由图像信息管理表(图像信息管理DB3002，参见图5的(A))所管理的图像A和图像C数值化，将相似的图像作为相似图像(同一个图像)来提取。之后，提取创建部33把与图像A和图像C相关联的(对应的)零件A和零件C设为同一个零件来提取。也就是说，提取创建部33将零件A和零件C作为相互之间换一种方式表述的零件来提取。由此，如果图像A和图像C是相似图像，则零件A和零件C为同一个零件。
此外，提取创建部33也可以根据提取对象管理表(提取对象管理DB3001，参见图4)、图像信息管理表(图像信息管理DB3002，参见图5的(A))以及产品结构管理表(产品构成管理DB3003，参见图5的(B))的更新频度，或者预先设定的时间、期间等，设定更新知识源300的时间或频度。
<提问输入处理>
接下来说明输入装置2执行的提问输入处理以及信息处理装置3执行的问答处理。如图8所示，输入装置2的声音输入输出部23接受并输入由用户或维护负责人员通过发言给出的、针对管理对象装置的提问(步骤S21)。此时，用户或维护负责人员为了搜索管理对象装置的故障处理方法，例如给出“请教△△△□□□异常声音的处理方法”这样的发言，向输入装置2输入提问。由此，输入装置2的声音输入输出部23受理通过用户或维护负责人员发言而提出的对于管理对象装置的具体提问。之后，变换制作部27将通过声音输入输出部23输入的自然语言等的声音信息变换为文本(文字)信息，制作提问句。输入装置2的操作受理部22也可以通过用户或维护负责人员的文本输入等，对输入装置2输入提问。在这种情况下，输入装置2的操作受理部22可以接受用户或维护负责人员通过文本输入对管理对象装置的具体提问。
●画面显示例1●
图8是本实施方式涉及的提问输入受理画面的显示例。如图8所示，在用户或维护负责人员准备好提问后，显示控制部24在显示器206上显示包括以下内容的提问受理画面2101。提问受理画面2101上显示“提问受理画面”以及要求用户输入提问的指定信息。提问受理画面2101上还包括被用户或维护负责人员当作为麦克风使用的“麦克风”按钮2111(以下称为麦克风按钮2111)、以及在说完提问内容后操作的“停止”按钮2112(以下称为停止按钮2112)。由此，用户可以在确认了提问受理画面2101所显示的内容后，操作(按下或点击等)麦克风按钮2111，说完上述提问内容后，操作停止按钮2112，转移到其他的画面。
<提问应答处理>
返回到图7，收发部21向信息处理装置3发送经变换制作部27变换的提问请求(步骤S22)。由此，信息处理装置3的收发部31接收输入装置2发送的提问请求。此时，提问要求中包括提问内容信息，提问内容信息表示用户或维护负责人员输入的提问内容。
<回答及追加提问的制作处理>
收到提问请求后，信息处理装置3执行针对提问内容信息所表示的提问的回答文或追加提问的制作处理(步骤S23)。具体而言，回答制作部36参考知识源300，制作与给出的提问内容相对应的回答文，或者制作以追加内容要求信息所表示的追加提问，用于提出进一步锁定对提问做出回答所需要的追加内容的输入请求。
图9是本实施方式涉及的回答及追加提问制作处理的一例流程图。如图9所示，信息处理装置3的解析部32解析收到的提问内容信息(步骤S23-1)，提问内容信息中包括诸如“请教△△△□□□异常声音的处理方法”这样的内容。
接着，回答制作部36用提取创建部33创建的知识源300，制作提问回答候补的回答候补群(步骤S23-2)。具体而言，回答制作部36根据解析的内容，制作包括“异常声音”的“部位”:“零件B”、“处理方法”:“更换零件”、以及“部位”:“零件D”、“处理方法”:“修理”的两个成为故障现象回答源的信息。
接着，判断部35判断用回答候补群制作的回答是否唯一决定(步骤S23-3)，当判断部35判断用回答候补群制作的回答唯一决定时(步骤S23-3；是)，回答制作部36根据制作的回答候补群的内容，制作提问的回答句(步骤S23-4)，从而结束该流程。
而如果判断部35判断用回答候补群制作的回答没有唯一决定时(步骤S23-3；否)，回答制作部36为了得到用来唯一决定提问的回答的信息，制作对提问的追加提问句(步骤S23-5)，而后结束该流程。在步骤S23-2的例子中，回答制作部36制作了两个成为回答源的信息，因此回答不是唯一决定的。为此，回答制作部36执行上述步骤S23-5的处理，而后结束该流程。此时的追加提问，也就是用来回答提问所需要的追加内容，例如“发生异常声音的部位是“转动部”还是“运送部”？”之类的内容。
返回图7，收发部31向输入装置2发送由回答制作部36制作的提问应答(步骤S24)。由此，输入装置2的收发部21收到信息处理装置3发送的提问应答。此时，提问应答中包括作为提问的回答内容信息的回答句，或者追加内容请求信息，为进一步锁定提问回答提出所需要的追加内容的输入。
收到提问应答后，存储读取部29将收到的提问应答暂时保存在存储部2000的指定区域中(步骤S25)。
而后，显示控制部24与存储读取部29协作，从存储部2000读出表示一时性保存的回答的回答信息，或者请求输入追加内容的信息，并在显示器206上显示(步骤S26)。另外，在执行步骤S26的处理之后，当从用户或管理对象装置接受了追加的提问时，输入装置2转移到步骤S21的处理，反复进行以后的处理。
返回步骤S22，当用户或维护负责人员给出了新的信息(提问)时，回答制作部36根据给出的信息再次执行步骤S23-1至S23-4或S23-5的处理，反复进行处理，直到回答被确定为唯一为止。
●画面显示例2●
图10是本实施方式涉及的推断过程内容的一例画面显示。如图10所示，显示控制部24收到由信息处理装置3发送的提问应答后，在显示器206上显示包括以下内容的应答通知画面2102。应答通知画面2102上显示“应答通知画面”以及作为针对提问回应用户或维护负责人员的回答内容。此时，回答制作部36制作的回答内容包括，比如发生的故障、被认定为发生源的部位、以及处理方法的信息是经过怎样的推论而导出的等内容。输入装置2从信息处理装置3收到关于上述回答内容的回答内容信息，显示在显示器206上。这样，信息处理装置3可以通过输入装置2向用户或维护负责人员示出如何对提问内容导出应该答复的回答内容的过程。即，当用户或维护负责人提出提问时，信息处理装置3可以向用户或维护负责人示出有关于该应答的具体根据。为此，问答系统1可以保证用户或维护负责人员利用深度学习时的可靠性。
应答通知画面2102上还包括“确定”按钮2113(以下记为确定按钮2113)。这样，用户或维护负责人员在确定应答通知画面2102上显示的内容后，通过操作确定按钮2113(按动、点击等)，可以移动到其他画面。
图10所示的应答通知画面2102是收到的由信息处理装置3发送的邮件的画面，输入装置2的显示控制部24也可以显示由输入装置2前往信息处理装置3取得某种信息所得到的画面。也就是说，也可以不用邮件接收画面，而是将利用浏览器等得到的画面信息显示在显示器206上。
●画面显示例3●
图11是本实施方式涉及的处理说明内容的一例画面显示。如图11所示，当收到由信息处理装置3发送的提问应答后，显示控制部24在显示器206上显示包括以下内容的应答通知画面2103。应答通知画面2103上显示“应答通知画面”以及作为应答送往用户或维护负责人员的针对提问的回答内容。此时，回答制作部36制作的回答内容包括比如说明故障在哪个部位发生的句子、故障内容及处理方法，是从这些导出的结果的说明，以及处理过的零件的图像信息。输入装置2从信息处理装置3接收关于上述回答内容的回答内容信息，显示在显示器206上。这样，信息处理装置3可以通过输入装置2向用户或维护负责人员示出针对提问内容应该给出的回答内容信息的具体内容，以及得到该回答的经过(说明过程)。即，当由用户或维护负责人员提出提问时，信息处理装置3可以包含具体的视觉信息进行应答。因此，问答系统1可以对用户或维护负责人员保证利用深度学习时的说明性，提高修理作业等的效率。进而，通过同样地取出故障现象的原因等，也能够示出在管理对象装置中发生的故障现象的根本原因。
应答通知画面2103上还包括“确定”按钮2114(以下记为确定按钮2114)。这样，用户或维护负责人员在确定应答通知画面2103上显示的内容后，通过操作确定按钮2114(按动、点击等)，可以移动到其他画面。
图11所示的应答通知画面2103是收到的由信息处理装置3发送的邮件的画面，输入装置2的显示控制部24也可以显示输入装置2前往信息处理装置3取得某种信息所得到的画面。也就是说，也可以用邮件接收画面，而是将利用浏览器等得到的画面信息显示在显示器206上。
进而，显示控制部24也可以在显示器206上显示对图10所示的提问的回答的推断过程、以及对图11所示的提问的回答的说明过程中的至少其中之一。即，显示控制部24也可以在显示器206上同时显示对提问的回答的推断过程和说明过程。
●画面显示例4●
图12是本实施方式涉及的接受追加信息输入的画面显示例。如图12所示，显示控制部24接受步骤S24的处理，在显示器206显示包括以下内容的追加信息受理画面2104。追加信息受理画面2104上显示“追加信息受理画面”以及请求输入追加信息的指定信息。追加信息受理画面2104上还包括被用户或维护负责人员作为麦克风使用的“麦克风”按钮2115(以下称为麦克风按钮2115)、以及说完追加信息的内容后操作的“停止”按钮2116(以下称为停止按钮2116)。这样，用户或维护负责人员可以在确认了追加信息受理画面2104所显示的内容后，操作(按动、点击等)麦克风按钮2115，说完必要的内容后，通过操作停止按钮2116，转移到其他画面。具体而言，显示控制部24在追加信息受理画面2104上显示步骤S23-5中例示的“发生异常声音的部位是“转动部”还是“运送部”？”之类的内容，示出用来接受来自用户或维护负责人的新信息(提问)的画面。而后，当用户或维护负责人员给出了新的信息(提问)时，制作部36根据给出的信息再次执行步骤S23-1至S23-4或S23-5的处理，在唯一决定回答之前反复进行处理。由此，信息处理装置3可以通过输入装置2提高对用户或维护负责人提问内容的回答(应答)精度。也就是说，当用户或维护负责人员给出提问时，信息处理装置3能够尽可能排除模糊回答的可能性，最终提供用户或维护负责人员需要的回答。为此，问答系统1可以保证用户或维护人员在利用深度学习时的准确性。
上述画面显示例示出了用户或维护负责人员为了寻求管理对象装置的故障处理方法，根据例如“请教△△△□□□这种异常声音的处理方法”之类的发声所生成的回答。另一方面，当用户或维护负责人员为了搜索管理对象装置的故障处理方法，例如说出“马达好像破损了，请教处理方法”时，回答制作部36在步骤S23-5中，制作其他的追加提问。例如，回答制作部36可能制作出“马达破损的部位是“零件A”和“零件C”的其中之一。知道是哪一处破损吗？”之类内容的追加提问句。而且，在这种情况下，在知识源300中，“零件A”和“零件C”被作为同一零件管理。因此，输入装置2的显示控制部24也可以在显示器206上显示信息处理装置3在步骤S24中发送的“图像A”和“图像C”双方的图像图标，让用户或者维护负责人员选择。
本实施方式涉及的问答系统在执行比如上述步骤S22和S24的处理时，在输入装置2和信息处理装置3之间可以存在其它装置等。也就是说，在输入装置2和信息处理装置3之间收发的各种信息(数据)也可以经由其他装置收发。该构成及处理方法也适用于输入装置2和信息处理装置3之间的其他处理步骤中也适用。
另外，在本实施方式中，将利用者或维护负责人员统一称为用户。用户除了维护负责人员以外，还包括管理管理对象装置所提供的各种服务的服务负责人员、修理管理对象装置的修理负责人员等。
[实施方式的主要效果]
如上所述，根据本实施方式，信息处理装置3参考知识源300，制作与被给出的提问内容相对应的回答文或追加提问(步骤S23)，发送提问的回答文或追加内容要求信息作为对输入装置2的提问的应答(步骤S24)。在此，追加内容要求信息是为制作提问的回答所需要的追加内容。由此，信息处理装置3可以向输入装置提出用于制作提问回答的新信息的请求，从而具有提高对给出的提问内容的回答精度的效果。
进而，针对由用户给出的提问内容，为了得到所需要的信息，信息处理装置3用形式横断解析信息，将图像和语言信息结合起来进行探索，生成回答。具体而言，信息处理装置3对于提问内容，向用户示出参考知识源300推断回答内容的过程(推断过程)以及得出回答的经过(说明过程)。由此，信息处理装置3还起到能够提高用户信赖性和用户作业效率的效果。
[实施方式的补充]
上述实施方式的功能可以通过汇编程序、C、C++、C#、Java(注册商标)等的传统方式的编程语言或者对象指向编程语言等记述的计算机可执行程序来实现，用于执行各实施方式的功能的程序，可以通过电通信线路发布。
用于执行实施方式的功能的程序也可以保存在ROM、EEPROM(ElectricallyErasable Programmable Read-Only Memory)、EPROM(Erasable Programmable Read-OnlyMemory)、闪存、软盘、CD(Compact Disc)-ROM、CD-RW(Re-Writable)、DVD-ROM、DVD-RAM、DVD-RW、蓝光光盘、SD卡、MO(Magneto-Optical disc)等记录介质中发布。
实施方式的功能的一部分或全部可以安装在例如ASIC(Application SpecificIntegrated Circuit)、DSP(数字信号处理器)、FPGA(Field Programmable Gate Array)、SOC(System on a chip)、GPU(Graphics Processing Unit)等可编程设备(PD)中，为了在PD上实现各实施方式的功能，可以作为通过下载到PD的电路构成信息(比特流信息)、用于生成电路构成信息的HDL(Hardware Description Language)、VHDL(Very High SpeedIntegrated Circuits Hardware Description Language)、Verilog-HDL等记述的信息通过记录介质发布。
通过上述实施方式得到的文本及各种表格，可以根据机器学习的学习效果而生成，也可以不使用表格，而通过机器学习对关联的各项目的数据进行分类。在此所说的机器学习是指，让计算机获得像人一样的学习能力的技术，由计算机根据事先取得的学习数据自律性地生成数据识别等判断所需要的算法，将该算法用于对新的数据进行预测的技术。机器学习的学习方式可以是有教师学习、非监督式学习、半教师学习、强化学习、深度学习中的任意一种学习，进而，机器学习的学习方式也可以是将这些学习方式组合起来的学习方式，对学习方法没有限制。
进而，实施方式例示的输入装置中也可以具有信息处理装置的各个功能及装置，作为输入应答装置发挥作用。在这种情况下，输入装置包括以知识源、以及提取和生成知识源的提取生成部为首的各个功能部。
至此说明了根据本发明实施方式涉及的信息处理装置、问答系统、信息处理法以及程序，但是本发明并不限于上述实施方式，也可以在本领域显而易见的范围内改变上述实施方式，或增加、更改或者删除等形成其他实施方式，无论如何，只要具有本发明的作用效果，该实施方式就数据本发明范畴。
符号说明
1问答系统，2输入装置，3信息处理装置，21收发部(一例接收部、一例发送部)，22操作接受部(一例操作接受部、一例输入部)，23声音输入输出部(一例声音输入输出部、一例输入部)，31收发部(一例接收部、一例发送部)，32解析部，33提取生成部(一例提取部)，35判断部，36回答制作部(一例制作部)

Claims (11)

1.一种信息处理装置，用来对输入提问的输入装置所发送的所述提问的回答作出应答，其特征在于，具备
接收部，用于接收由所述输入装置发送的所述提问；
提取部，用于提取回答源信息，该回答源信息用于制作通过深度学习与预先给予的自然语言信息、所述自然语言信息以外的非语言信息、以及构成所述非语言信息的构成信息关联起来的、针对收到的所述提问的回答；以及
发送部，用于向所述输入装置发送根据所述回答源信息制作的、针对所述提问的回答内容信息，或者用来请求针对所述提问输入追加内容的追加内容请求信息。
2.根据权利要求1所述的信息处理装置，其特征在于，所述发送部把用于进一步锁定对所述提问的回答的内容作为所述追加内容请求信息，发送给所述输入装置。
3.根据权利要求1或2所述的信息处理装置，其特征在于，所述提取部根据所述自然语言信息中包括的单词以及所述非语言信息中包括的图像的相似性，提取所述单词的换一种方式的表述。
4.根据权利要求1至3中任意一项所述的信息处理装置，其特征在于，所述提取部根据包括作为所述自然语言信息的设计规格书、说明书、维护报告以及零件信息在内的信息，以及包括作为所述非语言信息的CAD数据、零件清单、CAD图像以及文档内图像在内的信息，提取所述回答源信息。
5.根据权利要求1至4的任意一项所述的信息处理装置，其特征在于，
进一步具有制作部，用于根据所述回答源信息，制作对所述提问的回答内容信息，或者用来请求针对所述提问输入追加内容的追加内容要求信息，
所述制作部制作的内容包括制作所述回答时的推断过程和表示制作所述回答的经过的说明过程的至少一方，作为对所述提问的所述回答内容信息。
6.一种问答系统，其特征在于，包括输入提问的输入装置和权利要求5所述的信息处理装置，所述输入装置具有显示控制装置，用于在显示装置上显示包括所述推断过程和所述说明过程的至少一方的画面信息。
7.根据权利要求6所述的问答系统，其特征在于，所述输入装置还包括输入部，用于通过声音或文本数据输入所述提问。
8.一种供用来对输入提问的输入装置所发送的所述提问的回答作出应答的信息处理装置执行的信息处理方法，其特征在于，包括以下步骤，
接收步骤，接收由所述输入装置发送的所述提问；
提取步骤，提取回答源信息，该回答源信息用于制作通过深度学习与预先给予的自然语言信息、所述自然语言信息以外的非语言信息、以及构成所述非语言信息的构成信息关联起来、且针对收到的所述提问的回答；以及
发送步骤，向所述输入装置发送根据所述回答源信息制作、且针对所述提问的回答内容信息，或者用来请求针对所述提问输入追加内容的追加内容请求信息。
9.一种程序，其可供计算机具有权利要求1至5中任意一项所述的各个功能。
10.一种计算机可读的存储介质，其特征在于，其中保存了可供计算机具有权利要求1至5中任意一项所述的各个功能的程序。
11.一种计算机装置，其中具有处理器和保存了程序的内存，所述处理器执行所述程序，所述计算机装置可以具有权利要求1至5中任意一项所述的各个功能。
CN202210057148.3A 2021-01-22 2022-01-17 信息处理装置、问答系统、信息处理方法、存储介质 Pending CN114817659A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021008362A JP2022112541A (ja) 2021-01-22 2021-01-22 情報処理装置、質問応答システム、情報処理方法及びプログラム
JP2021-008362 2021-01-22

Publications (1)

Publication Number Publication Date
CN114817659A true CN114817659A (zh) 2022-07-29

Family

ID=79230688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210057148.3A Pending CN114817659A (zh) 2021-01-22 2022-01-17 信息处理装置、问答系统、信息处理方法、存储介质

Country Status (4)

Country Link
US (1) US20220237385A1 (zh)
EP (1) EP4033377A1 (zh)
JP (1) JP2022112541A (zh)
CN (1) CN114817659A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230251646A1 (en) * 2022-02-10 2023-08-10 International Business Machines Corporation Anomaly detection of complex industrial systems and processes

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302660A (ja) 2003-03-28 2004-10-28 Toshiba Corp 質問応答システム、質問応答方法及びプログラム
US7698332B2 (en) * 2006-03-13 2010-04-13 Microsoft Corporation Projecting queries and images into a similarity space
US8457416B2 (en) * 2007-09-13 2013-06-04 Microsoft Corporation Estimating word correlations from images
US9092673B2 (en) * 2009-05-07 2015-07-28 Microsoft Technology Licensing, Llc Computing visual and textual summaries for tagged image collections
US9436891B2 (en) * 2013-07-30 2016-09-06 GlobalFoundries, Inc. Discriminating synonymous expressions using images
US10706098B1 (en) * 2016-03-29 2020-07-07 A9.Com, Inc. Methods to present search keywords for image-based queries
US10599129B2 (en) * 2017-08-04 2020-03-24 Duro Labs, Inc. Method for data normalization
US10747559B2 (en) * 2017-08-14 2020-08-18 T-Mobile Usa, Inc. Automated troubleshoot and diagnostics tool
US20200007380A1 (en) * 2018-06-28 2020-01-02 Microsoft Technology Licensing, Llc Context-aware option selection in virtual agent
US11005786B2 (en) * 2018-06-28 2021-05-11 Microsoft Technology Licensing, Llc Knowledge-driven dialog support conversation system
JP6927932B2 (ja) * 2018-08-31 2021-09-01 ファナック株式会社 知識提供プログラム、知識提供装置及び販売管理システム
EP3664100A1 (en) * 2018-12-05 2020-06-10 Koninklijke Philips N.V. Associating non-verbal communication content with verbal communication content
US11295213B2 (en) * 2019-01-08 2022-04-05 International Business Machines Corporation Conversational system management
US20200356592A1 (en) * 2019-05-09 2020-11-12 Microsoft Technology Licensing, Llc Plural-Mode Image-Based Search
US11687385B2 (en) * 2020-05-21 2023-06-27 International Business Machines Corporation Unsupervised event extraction

Also Published As

Publication number Publication date
JP2022112541A (ja) 2022-08-03
US20220237385A1 (en) 2022-07-28
EP4033377A1 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
US10777194B2 (en) Automatic performance of user interaction operations on a computing device
US9171539B2 (en) Transforming components of a web page to voice prompts
US20180322396A1 (en) Knowledge Process Modeling and Automation
US11551692B2 (en) Digital assistant
KR102445519B1 (ko) 대화형 지능 서비스 제공 챗봇 제작 시스템 및 방법
US10586528B2 (en) Domain-specific speech recognizers in a digital medium environment
US20160306784A1 (en) Audio Onboarding Of Digital Content With Enhanced Audio Communications
US8560606B2 (en) Social network informed mashup creation
US10831990B1 (en) Debiasing textual data while preserving information
US11423219B2 (en) Generation and population of new application document utilizing historical application documents
CN114341795A (zh) 用于系统设计的会话设计机器人
CN114817659A (zh) 信息处理装置、问答系统、信息处理方法、存储介质
CN112582073B (zh) 医疗信息获取方法、装置、电子设备和介质
KR102532216B1 (ko) Esg 보조 툴을 이용하여 정형화된 esg 데이터로 이루어진 esg 데이터베이스를 구축하는 방법 및 이를 수행하는 esg 서비스 제공 시스템
WO2017059500A1 (en) Frameworks and methodologies configured to enable streamlined integration of natural language processing functionality with one or more user interface environments, including assisted learning process
CN110727428A (zh) 一种转换业务逻辑层代码的方法、装置和电子设备
JP2022138750A (ja) 質問応答システム、情報処理装置、情報処理方法及びプログラム
US20210073009A1 (en) System and Method for Generating Customized Knowledge Capture Websites with Embedded Knowledge Management Functionality Using Word Processor Authoring Tools
JP2007272517A (ja) マイクロシナリオデータ分析システムおよびマイクロシナリオデータ分析プログラム
US20190102484A1 (en) Interaction personalization system and method
Vasoya et al. Vize: A Voice-Based Interface for Data Visualization and Summarisation with Recommendation System
CN113781602A (zh) 甘特图生成方法及装置、计算机可读存储介质、电子设备
KR20230085335A (ko) 사용자 맞춤형 심리상담 전문가 매칭 장치
JP2009245073A (ja) 原稿確認支援システム、原稿確認支援サーバおよび原稿確認支援プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination