CN107825429B - 对话装置和方法 - Google Patents
对话装置和方法 Download PDFInfo
- Publication number
- CN107825429B CN107825429B CN201710251203.1A CN201710251203A CN107825429B CN 107825429 B CN107825429 B CN 107825429B CN 201710251203 A CN201710251203 A CN 201710251203A CN 107825429 B CN107825429 B CN 107825429B
- Authority
- CN
- China
- Prior art keywords
- emotional state
- user
- conversation
- dialogue
- topic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 230000002996 emotional effect Effects 0.000 claims abstract description 284
- 239000000284 extract Substances 0.000 claims abstract description 31
- 230000008859 change Effects 0.000 claims description 74
- 208000024891 symptom Diseases 0.000 claims description 3
- 230000008451 emotion Effects 0.000 description 77
- 230000002452 interceptive effect Effects 0.000 description 23
- 230000007704 transition Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 8
- 230000000994 depressogenic effect Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000036760 body temperature Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004166 bioassay Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000016339 iris pattern Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Signal Processing (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- User Interface Of Digital Computer (AREA)
- Manipulator (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种对话装置和方法，该对话装置包括存储器、估计单元以及对话单元。所述存储器相关联地存储某一话题以及各用户的情感状态在有关该话题的对话之前和之后的变化。所述估计单元利用从检测器中获取的信息估计用户的情感状态，该检测器检测表示所述用户的所述情感状态的征兆。所述对话单元从所述存储器中提取话题，并与所述用户进行有关所述被提取话题的对话，在该话题中，所述估计单元获取的所述情感状态与对话前情感状态匹配或类似并且目标情感状态与对话后情感状态匹配或类似。
Description
技术领域
本发明涉及一种对话装置和方法。
背景技术
在日本专利文献特开2006-272483号公报中公开了一种机器人装置，其保存表示不愉快情感状态的强度的变量，在收到用于增加该不愉快情感状态的增加信号时增加该变量的值，并在收到减少该不愉快情感状态的减少信号时减少该变量的值(除非该变量并非最小值)，从而基于该变量的值的增加/减少人工地表示愉快情感状态的强度。
在日本专利文献特开2005-238422号公报中公开了一种机器人装置，其基于用户的音频信号和图像信号检测用户的情绪，基于检测结果将用户的当前情绪归类为事先离散为一定数量的情绪的多种情绪中的其中一种，并且进一步将其与用户的行动关联，从而构建用户的情绪转变模型。
在日本专利文献特开2004-090109号公报中公开了一种机器人装置及其对话方法，该机器人装置及其对话方法基于与一个人进行对话时的会话的细节确定这个人的情感状态，基于这个人的情感状态和亲密度搜索对话数据库，并且以通过该搜索检索到的态度对这个人做出响应。并且，该机器人在根据一个人的亲密度改变会话的细节和其情感状态的表达方式的同时，与这个人进行互动。
在日本专利文献特开2006-071936号公报中公开了一种对话代理，其通过组合关于根据在与用户的对话中该用户的面部表情获得的情感状态、根据声音获得的情感状态、音调和文本的信息对该用户的性格进行分类，并且根据该分类改变响应。
在日本专利文献特开2004-021121号公报中公开了一种音频对话控制装置，其根据利用表示说话者的性格和该说话者的当前情感状态的值的计算的结果确定响应的细节。
发明内容
本发明的目的在于，提供一种对话装置和方法，该对话装置和方法进行用于指导用户将他/她的情感状态改变为不同于当前情感状态的情感状态的对话。
根据本发明的第一方面，提供一种对话装置，其包括存储器、估计单元以及对话单元。所述存储器相关联地存储某一话题以及各用户的情感状态在有关该话题的对话之前和之后的变化。所述估计单元利用从检测器中获取的信息估计用户的情感状态，该检测器检测表示所述用户的所述情感状态的征兆。所述对话单元从所述存储器中提取话题，并与所述用户进行有关所述被提取话题的对话，在该话题中，所述估计单元获取的所述情感状态与对话前情感状态匹配或类似并且目标情感状态与对话后情感状态匹配或类似。
根据本发明的第二方面，提供一种对话装置，其包括存储器、估计单元以及对话单元。所述存储器相关联地存储某一话题以及各用户的情感状态在有关该话题的对话之前和之后的变化。所述估计单元利用从检测器中获取的信息估计用户的情感状态，该检测器检测表示所述用户的所述情感状态的征兆。所述对话单元从所述存储器中提取话题，并与所述用户进行有关所述被提取话题的对话，在该话题中，从所述估计单元获取的所述情感状态到目标情感状态的变化与所述存储器中的对话之前和之后的情感状态的变化匹配或类似。
根据本发明的第三方面，所述对话装置还包括获取单元，其获取所述对话装置与所述用户进行对话的情况。所述存储器，针对所述获取单元获取的每一种情况，相关联地存储话题以及所述用户的所述情感状态在有关该话题的对话之前和之后的变化。在与所述获取单元获取的所述情况相对应的情况下，提取单元从所述存储器中提取话题，在该话题中，所述估计单元获取的所述情感状态与对话前情感状态匹配或类似并且所述目标情感状态与对话后情感状态匹配或类似。
根据本发明的第四方面，所述获取单元基于所述对话装置与所述用户进行对话的位置估计所述情况。
根据本发明的第五方面，所述提取单元根据所述估计单元估计的所述用户的当前情感状态的强度确定所述目标情感状态，并提取所述话题。
根据本发明的第六方面，所述存储器进一步存储所述用户的性格，并且所述提取单元根据所述存储器中存储的所述用户的所述性格确定所述目标情感状态，并提取所述话题。
根据本发明的第七方面，当有多个用户时，所述提取单元确定要改变其情感状态的感兴趣用户以及不同于所述感兴趣用户的当前情感状态的目标情感状态，并提取所述话题。
根据本发明的第八方面，提供一种对话方法，其包括利用从检测器中获取的信息估计用户的情感状态，该检测器检测表示所述用户的所述情感状态的征兆；以及从存储器中提取话题，并与所述用户进行有关所述被提取话题的对话，该存储器相关联地存储某一话题以及各用户的情感状态在有关该话题的对话之前和之后的变化，在该话题中，所述估计的情感状态与对话前情感状态匹配或类似并且目标情感状态与对话后情感状态匹配或类似。
根据本发明的第一和第八方面，可以提供一种对话装置，其进行用于指导用户将他/她的情感状态改变为不同于当前情感状态的情感状态的对话。
根据本发明的第二方面，可以提供一种对话装置，其进行用于指导用户将他/她的情感状态改变为不同于当前情感状态的情感状态的对话。
根据本发明的第三方面，可以根据所述对话装置与所述用户进行对话的情况提供将所述用户变换至目标情感状态的适当话题。
根据本发明的第四方面，可以提供一个话题，其与和位置无关而获取所述对话装置与所述用户进行对话的情况的情形相比，更准确地反映了所述情况。
根据本发明的第五方面，可以根据所述用户的情感状态的强度改变将所述用户变换至目标情感状态的适当话题。
根据本发明的第六方面，可以根据所述用户的性格提供将所述用户变换至目标情感状态的适当话题。
根据本发明的第七方面，即使当有多个用户时，也可以进行用于指导所选用户将他/她的情感状态改变为不同于当前情感状态的情感状态的对话。
附图说明
将基于下列附图详细说明本发明的示例性实施例，其中：
图1是示出根据本发明的示例性实施例的对话系统的示例的说明图；
图2是示出根据示例性实施例的对话式机器人的硬件配置的图表；
图3是示出根据示例性实施例的对话式机器人的功能方块图；
图4是示出根据示例性实施例的性格信息数据库的示例的图表；
图5是示出根据示例性实施例的会话结果数据库的示例的图表；
图6是示出根据示例性实施例的情感转变表格的示例的图表；
图7是示出根据示例性实施例的对话式机器人的操作的流程的流程图；
图8包括描述在多个用户举行会议的情况下对话式机器人的操作的图表，这些图表包括：部分(A)，其示出会议开始时的初始状态；部分(B)，其示出自会议开始后经过一段时间之后的状态；以及部分(C)，其示出由对话式机器人进行的对话的样子；
图9包括描述在多个用户举行会议的情况下对话式机器人的操作的图表，这些图表包括：部分(A)，其示出会议开始时的初始状态；部分(B)，其示出自会议开始后经过一段时间之后的状态；以及部分(C)，其示出由对话式机器人进行的对话的样子；以及
图10的(A)和图10的(B)是描述在会话结果数据库中提取用户的当前情感状态至目标情感状态的变化类似于对话前情感状态至对话后情感状态的变化的话题的概念的图表，这些图表包括：图10的(A)，其基于情感转变表格示出用户的当前情感状态至目标情感状态的变化；以及图10的(B)，其示出在有关会话结果数据库中存储的某些话题的对话之前和之后用户的情感状态的变化。
具体实施方式
下面将参照图1对根据本发明的示例性实施例的对话系统10进行描述。图1是示出根据本发明的示例性实施例的对话系统10的示例的说明图。根据示例性实施例的对话系统10包括对话式机器人20。对话式机器人20在诸如办公室和家庭的各种场所与用户30进行对话。
图2是示出对话式机器人20的硬件配置的图表。如图2所示，对话式机器人20包括连接到控制总线209上的中央处理单元(CPU)201、存储器202、诸如硬盘驱动器(HDD)或固态驱动器(SSD)的存储装置203、摄像机204、麦克风205、扬声器206、生物特征传感器207以及移动装置208。
CPU 201基于存储装置203中存储的控制程序控制对话式机器人20的部件的整体操作。存储器202临时存储对话式机器人20与用户30进行的对话中的对话语音、包括对话的细节的对话信息、用户的人脸图像以及由摄像机204捕获的用户30的表情、行为和身体状况的图像。存储器202进一步存储由生物特征传感器207检测到的用户30的生物特征信息，例如心率和皮肤电阻。存储装置203存储用于控制对话式机器人20的部件的控制程序。摄像机204捕获用户30的人脸图像、表情、行为和身体状况的变化，并将这些捕获到的变化存储在存储器202中。
在与用户进行对话时，麦克风205检测用户30的声音，并将声音存储，即记录在存储器202中。或者，存储器202可以在分析声音的细节之后存储对话的细节，而不是直接记录声音。扬声器206输出由对话式机器人20的下述对话控制器212生成的声音。生物特征传感器207测量用户30的生物特征信息，例如心率、皮肤电阻(皮肤导电性)和体温，并将测得的数据存储在存储器202中。根据本发明的示例性实施例的传感器除生物特征传感器207以外还包括摄像机204和麦克风205，并检测表达用户30的情感状态的征兆。移动装置208包括轮子、诸如将对话式机器人20移至任意场所所需的电动机的驱动装置以及诸如全球定位系统(GPS)接收器的当前位置检测器。摄像机204、麦克风205以及生物特征传感器207用作检测表达用户30的情感状态的征兆的检测器。
图3是对话式机器人20的功能方块图。如图3所示，通过使用CPU 201执行存储装置203中存储的控制程序，对话式机器人20用作个人认证器211、对话控制器212、情感估计器213、情况获取器214、情感变化确定器215以及话题提取器216。对话式机器人20进一步包括个人信息数据库217、会话结果数据库218以及情感转变表格219。
个人认证器211对由摄像机204捕获并临时存储在存储器202中的用户30的人脸图像进行分析，并比较该人脸图像与各用户30存储在个人信息数据库217中的人脸图像，从而识别用户30是谁。个人认证器211可以使用除人脸认证方法以外的其他认证方法对用户30进行识别。例如，可以采用以下生物测定方法：虹膜认证，其提取并使用由摄像机204捕获的用户30的眼睛的部分图像；静脉认证和指纹认证，其使用由生物特征传感器207检测到的用户30的生物特征信息；以及声纹认证，其分析并使用由麦克风205捕获到的用户30的声音。在这种情况下，需要根据待采用的认证方法将与各用户30相对应的虹膜模式信息、静脉模式信息、指纹模式信息以及声纹模式信息存储在个人信息数据库217中。
对话控制器212控制对话式机器人20与用户30进行的对话。具体地，对话控制器212进行控制以便与用户30进行有关由下述话题提取器216提取的话题的对话。对话控制器212根据提取的话题对用户30生成响应消息，并将响应消息输出至扬声器206。对话式机器人20的存储装置203根据各种话题存储各种会话模式和语音(未示出)，并且利用这些会话模式根据与用户30的对话推进与用户30的对话。对话式机器人20还可以具备通信功能，并且对话控制器212可以根据来自连接到对话式机器人20上的服务器的上述话题获取适当的会话模式和语音并生成响应消息。
情感估计器213利用由检测器，即摄像机204、麦克风205和生物特征传感器207检测到的关于表达用户30的情感状态的征兆的信息估计用户30的当前情感状态。具体地，情感估计器213基于在用户30与对话式机器人20之间的对话中表达用户30的情感状态的一个或多个征兆估计用户30的情感状态，这些征兆由以下征兆中的至少一种或组合构成：用户30的行为；诸如面色、表情、心率、体温和皮肤导电性的身体状况；声调；话语速度(语速)；以及对话的细节。
例如，可以通过由摄像机204捕获的用户30的人脸图像的红色、绿色和蓝色(RGB)的比例的变化检测面色的变化。情感估计器213根据面色的变化以及用户30在由摄像机204捕获到的人脸图像中将他/她的嘴张得有多大估计用户30的情感状态为“高兴”。情感估计器213根据由生物特征传感器207检测到的用户30的心率、体温和皮肤导电性的变化估计用户30的情感状态为“紧张”，或者基于用户30的声调和话语速度估计用户30的情感状态为“恼怒”。
情况获取器214基于由移动装置208的当前位置检测器识别的对话式机器人20与用户30进行对话的当前位置信息获取对话式机器人20与用户30进行该对话的情况。该情况可以是诸如“公共情况”和“私人情况”的大分类，或者诸如“会议”、“办公室”、“休息区”、“家”和“酒吧”的小分类中的一种。情况获取器214比较识别到的当前位置信息与存储装置203中事先登记的地点信息，并基于与当前位置信息相对应的地点信息获取对话式机器人20与用户30进行对话的情况。
情感变化确定器215基于用户30与对话式机器人20进行对话的情况参照由情感获取器214获取的情感转变表格219、用户30存储在下述个人信息数据库217中的正常性格(原始性格)以及由情感估计器213估计的用户30的当前情感状态，并确定不同于用户30的当前情感状态的目标情感状态。也就是说，情感变化确定器215确定对话式机器人20想要对用户30产生哪种情感状态。此外，情感变化确定器215还可以根据由情感估计器213估计的当前情感状态的强度使目标情感状态不同。
话题提取器216基于由情感估计器213获取的用户30的当前情感状态、会话由情感变化确定器215确定的变化之后的目标情感状态、以及对话式机器人20与用户30进行对话的情况，从会话结果数据库218中提取证实为已将用户30的情感状态从当前情感状态改变为目标情感状态的话题。具体地，话题提取器216从会话结果数据库218中提取由情感估计器213获取的用户30的当前情感状态与会话结果数据库218中的对话前情感状态匹配并且目标情感状态与会话结果数据库218中的对话后情感状态匹配的话题。
个人信息数据库217彼此相关联地存储关于各用户30的人脸图像和正常性格的信息。图4是示出个人信息数据库217的示例的图表。个人信息数据库217彼此相关联地存储各用户30的ID、性格1、性格2、性格3以及关于人脸图像的信息。例如，性格1“积极”、性格2“外向”和性格3“社交型”与ID“A先生”相关联。关于人脸图像的信息可以是表示组成人脸的元素，例如眼睛和鼻子的位置的数据集，或者可以是表示人脸图像数据保存的目的地的数据。
会话结果数据库218是按各特定情况相关联地存储某一话题以及各用户30的情感状态在有关该话题的对话之前和之后的变化。换句话说，会话结果数据库218积累各用户的情感状态在哪种情况下进行有关哪种话题的对话时如何变化的记录。图5示出会话结果数据库218的示例。如图5所示，会话前情感状态、会话后情感状态、情况1、情况2、话题1、话题2以及话题3与各用户30相关联。例如，如图5所示，第一情感状态“无聊”、变化之后的情感状态“兴奋”、情况1“公共”、情况2“办公室”、话题1“公司A”以及话题2“营业额”与“A先生”相关联地存储。这意味着，当A先生在公共场所，特别是在他的办公室内进行有关A公司的营业额的话题的对话时，他的对话前情感状态是无聊的，但在对话之后他的情感发生了改变并且他变得兴奋。
情感转变表格219针对各用户30相关联地存储正常性格、当前情感状态、当前情感状态的强度以及不同于当前情感状态的目标情感状态。图6是情感转变表格219的示例。在图6中，针对当前情感状态的强度“非常”的变化后的目标情感状态“高兴”、针对当前情感状态的强度“中等”的变化后的目标情感状态“平静”以及针对当前情感状态的强度“有点”的变化后的目标情感状态“放松”与正常性格“积极”和当前情感状态“沮丧”相关联地存储。
接着，将参照附图7对根据示例性实施例的对话式机器人20的操作的流程进行描述。图7是示出对话式机器人20的操作的流程的流程图。当对话式机器人20开始与用户30的对话时，个人认证器211基于由摄像机204捕获的用户30的人脸图像参照个人信息数据库217，并识别用户30，即对话伙伴是谁。如上文所述，个人认证器211可以识别正在使用诸如虹膜认证、静脉认证、指纹认证或声纹认证的方法的用户30，即对话伙伴是谁。
接着，在步骤S702中，情感估计器213利用由检测表达用户30的情感状态的征兆的检测器获取的信息估计用户30的情感状态。具体地，情感估计器213基于由摄像机204捕获的用户30的行为、面色和表情，由生物特征传感器207检测到的用户30诸如心率、体温和皮肤导电性的身体状况以及由麦克风205检测到的用户的对话的声调、话语速度和细节估计用户30的当前情感状态及其强度。
接着，在步骤S703中，情感变化确定器215确定是否改变用户30的情感状态。具体地，情感变化确定器215查阅通过个人信息数据库217中存储的用户的正常性格与上述步骤S702中估计的用户30的当前情感状态的组合识别的情感转变模式是否包括在情感转变表格219中，并且如果存在所述情感转变模式，则情感变化确定器215确定改变用户30的情感状态并进行到步骤S704。如果不存在所述情感转变模式，则情感变化确定器215确定不改变情感状态，并且操作结束。
例如，假定上述步骤S701中识别到的用户30为“A先生”并且上述步骤S702中估计的“A先生”的当前情感状态为“沮丧”且其强度为“中度”。在那种情况下，情感变化确定器215参照个人信息数据库217，识别“A先生”的正常性格为“积极”，并确定是否存在与“A先生”的正常性格(“积极”)和上述步骤S702中识别的“A先生”的当前情感状态(“沮丧”)相对应的情感转变模式。由于情感转变表格219中存在包括正常性格“积极”和当前情感状态“沮丧”的转变模式，情感变化确定器215确定改变“A先生”的情感状态并进行到步骤S704。
在步骤S704中，情感变化确定器215参照情感转变表格219，并确定与用户30的正常性格、用户30的当前情感状态及其强度相对应的不同于当前情感状态的目标情感状态。例如，当用户30为“A先生”时，情感变化确定器215参照情感转变表格219，并且由于当前情感状态“沮丧”的强度为“中度”的情况下的变化后的目标情感状态为“平静”，情感变化确定器215将“平静”确定为情感状态。
在步骤S705中，情况获取器214基于由移动装置208的当前位置检测器检测到的当前位置信息识别用户30与对话式机器人20进行对话的情况。具体地，情况获取器214识别用户30与对话式机器人20进行对话的情况与诸如“公共情况”和“私人情况”的大分类以及进一步诸如“会议”、“办公室”、“休息区”、“家”和“酒吧”的小分类中的哪种情况相对应。
在步骤S706中，话题提取器216基于发生对话的情况从会话结果数据库218中提取由情感估计器213估计的用户30的情感状态与会话结果数据库218中的对话前情感状态匹配并且由情感变化确定器215确定的目标情感状态与会话结果数据库218中的对话后情感状态匹配的话题。具体地，话题提取器216提取用户30的当前情感状态与会话结果数据库218中的“对话前情感状态”匹配并且变化后的目标情感状态与会话结果数据库218中的“变化后的情感状态”匹配的话题。例如，在上述示例中，假定“A先生”正在与对话式机器人20进行对话的情况为“公共”场所，并且该场所为“休息区”。在这种情况下，参照会话结果数据库218可知进行过实际的会话，其中在“休息区”的“公共”情况下，当发生有关话题“儿童”和“学校”的对话时，对话前情感状态“沮丧”改变为对话后情感状态“平静”。因此，话题提取器216从会话结果数据库218中提取话题“儿童”和“学校”以改变用户30的心情。
在步骤S707中，对话控制器212基于提取的话题生成用于与用户30进行对话的对话细节并利用扬声器206输出对话声音，从而与用户30进行对话。在上述示例中，对话控制器212进行控制以便与“A先生”，即用户30进行有关步骤S706中提取的话题“儿童”和“学校”的对话。接着，在步骤S708中，情感估计器213监测用户30，即对话伙伴的情感状态，并利用上述话题估计用户30在对话时或对话后的情感状态。
在步骤S709中，情感变化确定器215基于由情感估计器213估计的用户30的情感状态确定用户30是否已经将他的情感状态改变为目标情感状态。如果用户30已经将他的情感状态改变为目标情感状态，则操作结束。如果确定用户30尚未将他的情感状态改变为目标情感状态，则操作进行到步骤S710。具体地，情感变化确定器215确定“A先生”，即用户30在与对话式机器人20进行有关话题“儿童”和“学校”的对话时是否已经将他的情感状态改变为“平静”，即目标情感状态。如果“A先生”已经变得“平静”，则操作结束。如果确定“A先生”尚未变得“平静”，则操作进行到步骤S710。
在步骤S710中，情感变化确定器215确定上述处理在步骤S703至步骤S709中进行的次数，即利用用于改变用户30的情感状态的话题与用户30进行的对话的次数。如果确定次数小于规定次数，则操作返回步骤S703，重复步骤S703至步骤S709的处理，并重试改变用户30的情感状态。如果在步骤S710中确定有关用于改变用户30的情感状态的话题的对话的次数已经为规定次数，则操作结束。
在上文中，已经对根据示例性实施例的用于与用户30进行对话的对话式机器人20的操作进行了描述。在示例性实施例中，对仅有一个用户30与对话式机器人20进行对话的情况进行了描述。然而，根据本发明的示例性实施例的对话式机器人20的对话伙伴的数量并不限于一个，并且多个用户30可以作为对话伙伴。例如，当多个用户30为了举行会议等聚集在一个场所时，对话式机器人20的情感变化确定器215确定要改变其情感状态的用户30以及不同于该感兴趣用户30的当前情感状态的目标情感状态，提取用于改变该用户30的情感状态的话题，并且与用户30进行有关该话题的对话以改变用户30的情感状态。
图8示出用户“A先生”、“B女士”、“C女士”和“D先生”如何举行会议。如图8的部分(A)所示，这四个用户在会议开始时处于“放松”状态。接着，如图8的部分(B)所示，随着会议的进行，参与会议的四个用户的情感状态发生改变。具体地，如图8的部分(B)所示，“A先生”的情感状态改变为“沮丧”和“非常”的状态，“B女士”的情感状态改变为“兴奋”，并且“C女士”和“D先生”的情感状态都改变为“平静”。此时，情感变化确定器215参照情感转变表格219以确定参与会议的四个用户中要改变哪个用户的情感状态以及要将该用户的情感状态改变为哪种情感状态。当有多个用户时，情感转变表格219包括当确定要改变哪个用户的情感状态时情感变化确定器215参照的优先级确定表格(未示出)。
例如，假定在情感转变表格219中要优先于其他用户改变其正常性格为“积极”且当前情感状态为“沮丧”和“非常”的人的情感状态。在这种情况下，情感变化确定器215参照情感转变表格219，优先考虑“A先生”的情感状态，并且确定将情感状态从“沮丧”和“非常”改变为“高兴”。话题提取器216基于发生对话的背景从会话结果数据库218中提取确定为要改变其情感状态的用户30的当前情感状态与会话结果数据库218中的对话前情感状态匹配并且变化后的目标情感状态与会话结果数据库218中的对话后情感状态匹配的话题。参照图5所示的会话结果数据库218，当“A先生”参与“公共”场所的“会议”时，进行过实际的会话，其中当进行有关话题“电视机(TV)”的对话时，他的情感从对话前情感状态“沮丧”改变为对话后情感状态“高兴”。因此，话题提取器216从会话结果数据库218中提取用于改变“A先生”的情感状态的话题“TV”，并且对话控制器212进行控制以便进行有关话题“TV”的对话。例如，如图8的部分(C)所示，对话控制器212进行控制以使对话式机器人20向“A先生”提出诸如“您喜欢昨晚的电视节目吗？”的问题。
在尝试改变“A先生”的情感状态之后，对话式机器人20再次参照情感转变表格219以确定其他用户30中是否有下一个要改变其情感状态的用户30。如果有所述用户30，则对话式机器人20进行与“A先生”的上述处理相同或类似的处理。
在图8所示的示例中，描述了考虑四个用户30的单独的情感状态并单独地改变情感状态的方法。然而，示例性实施例并不限于该方法，对话式机器人20可以考虑处于相同场所的用户30的整体情感状态，并进行控制以改变这些多个用户30的整体情感状态。例如，图9示出四个用户“A先生”、“B女士”、“C女士”和“D先生”如何举行会议。如图9的部分(A)所示，在会议开始时，其原始性格为“外向”的“A先生”变得“兴奋”；而其他三个用户，即其原始性格为“外向”的“B女士”、其原始性格为“内向”的“C女士”和其原始性格为“内向”的“D先生”变得“放松”。然而，如图9的部分(B)所示，随着会议的进行，假定仅“A先生”在讲话，而“B女士”、“C女士”和“D先生”均感到“无聊”。
在这种情况下，情感估计器213估计在场的用户30的整体情感状态或平均情感状态，并且情感变化确定器215确定是否改变整体情感状态以及如果确定改变整体情感状态时将整体情感状态改变成哪种情感状态。话题提取器216从会话结果数据库218中提取用户30的整体情感状态与会话结果数据库218中的对话前情感状态匹配且改变用户30的整体情感状态之后的目标情感状态与会话结果数据库218中的对话后情感状态匹配的话题，并且对话控制器212与多个用户30进行有关提取的话题的对话以改变整体氛围。例如，如图9的部分(C)所示，如果几乎所有的用户30都在会议时感到无聊，则对话式机器人20对多个用户30提出“让我们休息一下！”或“我们是否应该结束会议？”的建议。
尽管上文已经描述了对话式机器人20包括个人信息数据库217、会话结果数据库218和情感转变表格219的情况，本发明的示例性实施例并不限于此情况，并且这些部件可以布置在通过通信线路连接到对话式机器人20上的服务器中。生物特征传感器207不仅可以位于对话式机器人20中，还可以位于其他场所，例如办公室内。在这种情况下，可以采用位于办公室的天花板或墙壁上的运动传感器作为生物特征传感器207。
尽管对话式机器人20的外观在示例性实施例中以模仿人的形状示出，只要对话式机器人20是能够与用户30进行对话的装置，其外观就不需要是人的形状。
尽管在上述实施例中对话题提取器216从会话结果数据库218中提取由情感估计器213获取的用户30的当前情感状态与会话结果数据库218中的对话前情感状态匹配并且由情感变化确定器215确定的目标情感状态与会话结果数据库218中的对话后情感状态匹配的示例进行了描述，本发明的示例性实施例并不限于上述提取情感状态“匹配”的话题的示例，也可以提取情感状态“类似”的话题。
例如，话题提取器216可以从会话结果数据库218中提取用户30的当前情感状态与会话结果数据库218中的对话前情感状态匹配并且目标情感状态与会话结果数据库218中的对话后情感状态类似的话题。或者，话题提取器216可以从会话结果数据库218中提取用户30的当前情感状态与会话结果数据库218中的对话前情感状态类似并且目标情感状态与会话结果数据库218中的对话后情感状态匹配的话题。或者，话题提取器216可以从会话结果数据库218中提取用户30的当前情感状态与会话结果数据库218中的对话前情感状态类似并且目标情感状态与会话结果数据库218中的对话后情感状态类似的话题。
在上述示例性实施例中，对话题提取器216提取用户30的当前情感状态与会话结果数据库218中的对话前情感状态匹配或类似并且目标情感状态与会话结果数据库218中的对话后情感状态匹配或类似的话题的情况进行了描述。然而，本发明的示例性实施例并不限于此情况，并且，例如，也可以从会话结果数据库218中提取用户30从当前情感状态到目标情感状态的改变与从会话结果数据库218中的对话前情感状态到对话后情感状态的改变匹配或类似的话题。
图10的(A)和图10的(B)是描述提取用户30从当前情感状态到目标情感状态的改变与从会话结果数据库218中的对话前情感状态到对话后情感状态的改变类似的话题的概念的图表。图10的(A)示出用户30基于情感转变表格219从当前情感状态到目标情感状态的改变，而图10的(B)示出会话结果数据库218中存储的用户30的情感状态在有关某些话题的对话之前和之后的变化。图10的(A)所示，将由情感估计器213估计的用户30的当前情感状态与由情感变化确定器215确定的变化后的目标情感状态投射到二维情感图上。二维情感图的水平轴上有“愉快”和“不愉快”，而垂直轴上有“积极”和“消极”。分配与水平轴和垂直轴上的值相对应的各种情感状态(例如“高兴”和“悲伤”)。
如果用户30的当前情感状态为“紧张”和“害怕”并且目标情感状态为“满意”和“安乐”，则由图10的(A)中的矢量1000A表达请求用户30的情感状态的改变。话题提取器216参照会话结果数据表218，并从会话结果数据表218中提取会话结果数据表218中存储的对话前和对话后的情感状态的变化与由矢量1000A表达的情感状态的变化匹配或类似的话题。例如，如图10的(B)所示，会话结果数据表218存储当用户30进行有关话题“孩子”和“学校”的对话时其对话前情感状态“害怕”和“压抑”改变为会话后情感状态“安乐”和“放松”的实际会话。这种情况下的情感状态的变化由矢量1000B表示。
在方向和长度上，尽管起点和终点不同，从当前情感状态到目标情感状态的情感状态的变化(矢量1000A)还是与会话结果数据表218中存储的情感状态在有关话题“孩子”和“学校”的对话之前和之后的变化(矢量1000B)匹配。因此，话题提取器216提取话题“孩子”和“学校”以改变用户30的心情。不只是在表达从当前情感状态到目标情感状态的变化的矢量与表达会话结果数据表218中存储的有关某一话题的对话前和对话后的情感状态的变化匹配的情况下，而且在方向和长度处于预定阈值的范围以内或者在方向、长度和重心的偏移处于预定阈值的范围以内的情况下，话题提取器216可以认为矢量(例如1000A和1000B))类似，并且可以提取产生由其中一个矢量(1000B)表达的情感变化的话题。
为了进行图示和说明，以上对本发明的示例性实施例进行了描述。其目的并不在于全面详尽地描述本发明或将本发明限定于所公开的具体形式。很显然，对本技术领域的技术人员而言，可以做出许多修改以及变形。本实施例的选择和描述，其目的在于以最佳方式解释本发明的原理及其实际应用，从而使得本技术领域的其他熟练技术人员能够理解本发明的各种实施例，并做出适合特定用途的各种变形。本发明的范围由与本说明书一起提交的权利要求书及其等同物限定。
Claims (8)
1.一种对话装置，其进行用于指导用户将用户的情感状态改变为不同于当前情感状态的其他情感状态的对话，其特征在于，包括：
存储器，其相关联地存储某一话题以及各用户的情感状态在有关该话题的对话之前和之后的变化；
估计单元，其利用从检测器中获取的信息估计用户的情感状态，该检测器检测表示所述用户的所述情感状态的征兆；以及
对话单元，其从所述存储器中提取话题，并与所述用户进行有关被提取的所述话题的对话，在该话题中，所述估计单元获取的所述情感状态与对话前情感状态匹配或类似并且目标情感状态与对话后情感状态匹配或类似。
2.一种对话装置，其进行用于指导用户将用户的情感状态改变为不同于当前情感状态的其他情感状态的对话，其特征在于，包括：
存储器，其相关联地存储某一话题以及各用户的情感状态在有关该话题的对话之前和之后的变化；
估计单元，其利用从检测器中获取的信息估计用户的情感状态，该检测器检测表示所述用户的所述情感状态的征兆；以及
对话单元，其从所述存储器中提取话题，并与所述用户进行有关被提取的所述话题的对话，在该话题中，从所述估计单元获取的所述情感状态到目标情感状态的变化与所述存储器中的对话之前和之后的情感状态的变化匹配或类似。
3.根据权利要求1或2所述的对话装置，还包括：
获取单元，其获取所述对话装置与所述用户进行对话的情况，其中，
所述存储器，针对所述获取单元获取的每一种情况，相关联地存储话题以及所述用户的所述情感状态在有关该话题的对话之前和之后的变化，并且
在与所述获取单元获取的所述情况相对应的情况下，所述对话单元从所述存储器中提取话题，在该话题中，所述估计单元获取的所述情感状态与对话前情感状态匹配或类似并且所述目标情感状态与对话后情感状态匹配或类似。
4.根据权利要求3所述的对话装置，其中，所述获取单元基于所述对话装置与所述用户进行对话的位置估计所述情况。
5.根据权利要求1或2所述的对话装置，其中，所述对话单元根据所述估计单元估计的所述用户的当前情感状态的强度确定所述目标情感状态，并提取所述话题。
6.根据权利要求1或2所述的对话装置，其中，
所述存储器进一步存储所述用户的性格，并且
所述对话单元根据所述存储器中存储的所述用户的所述性格确定所述目标情感状态，并提取所述话题。
7.根据权利要求1或2所述的对话装置，其中，当有多个用户时，所述对话单元确定要改变其情感状态的感兴趣用户以及不同于所述感兴趣用户的当前情感状态的目标情感状态，并提取所述话题。
8.一种对话方法，其进行用于指导用户将用户的情感状态改变为不同于当前情感状态的其他情感状态的对话，其特征在于，包括：
利用从检测器中获取的信息估计用户的情感状态，该检测器检测表示所述用户的所述情感状态的征兆；以及
从存储器中提取话题，并与所述用户进行有关被提取的所述话题的对话，该存储器相关联地存储某一话题以及各用户的情感状态在有关该话题的对话之前和之后的变化，在该话题中，估计的所述情感状态与对话前情感状态匹配或类似并且目标情感状态与对话后情感状态匹配或类似。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016-180318 | 2016-09-15 | ||
| JP2016180318A JP6774018B2 (ja) | 2016-09-15 | 2016-09-15 | 対話装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107825429A CN107825429A (zh) | 2018-03-23 |
| CN107825429B true CN107825429B (zh) | 2022-09-20 |
Family
ID=61560265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710251203.1A Active CN107825429B (zh) | 2016-09-15 | 2017-04-18 | 对话装置和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20180075848A1 (zh) |
| JP (1) | JP6774018B2 (zh) |
| CN (1) | CN107825429B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10592612B2 (en) * | 2017-04-07 | 2020-03-17 | International Business Machines Corporation | Selective topics guidance in in-person conversations |
| JP6867971B2 (ja) * | 2018-03-26 | 2021-05-12 | 株式会社 日立産業制御ソリューションズ | 会議支援装置及び会議支援システム |
| WO2019187590A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
| JP7131077B2 (ja) * | 2018-05-24 | 2022-09-06 | カシオ計算機株式会社 | 会話装置、ロボット、会話装置制御方法及びプログラム |
| KR102252195B1 (ko) * | 2018-09-14 | 2021-05-13 | 엘지전자 주식회사 | 감성 인식기 및 이를 포함하는 로봇, 서버 |
| JP6748170B2 (ja) * | 2018-10-04 | 2020-08-26 | 株式会社スクウェア・エニックス | ビデオゲーム処理プログラム、ビデオゲーム処理装置及びビデオゲーム処理方法 |
| CN109352666A (zh) * | 2018-10-26 | 2019-02-19 | 广州华见智能科技有限公司 | 一种基于机器语音对话的情感发泄方法及系统 |
| CN111192574A (zh) * | 2018-11-14 | 2020-05-22 | 奇酷互联网络科技（深圳）有限公司 | 智能语音交互方法、移动终端和计算机可读存储介质 |
| CN109887503A (zh) * | 2019-01-20 | 2019-06-14 | 北京联合大学 | 一种智能服务机器人的人机交互方法 |
| JP7273637B2 (ja) * | 2019-07-17 | 2023-05-15 | 本田技研工業株式会社 | ロボット管理装置、ロボット管理方法およびロボット管理システム |
| JP6797979B1 (ja) * | 2019-08-08 | 2020-12-09 | 株式会社Ｎｔｔドコモ | 情報処理装置 |
| CN113535903B (zh) * | 2021-07-19 | 2024-03-19 | 安徽淘云科技股份有限公司 | 情绪引导方法、情绪引导机器人及存储介质和电子设备 |
| CN117283577B (zh) * | 2023-09-19 | 2024-05-03 | 重庆宗灿科技发展有限公司 | 一种仿真陪护机器人 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1637740A (zh) * | 2003-11-20 | 2005-07-13 | 阿鲁策株式会社 | 对话控制设备和对话控制方法 |
| CN104809103A (zh) * | 2015-04-29 | 2015-07-29 | 北京京东尚科信息技术有限公司 | 一种人机对话的语义分析方法及系统 |
| CN105453578A (zh) * | 2013-08-05 | 2016-03-30 | 三星电子株式会社 | 用于提供会话话题的设备、服务器和方法 |
| CN106464758A (zh) * | 2014-06-25 | 2017-02-22 | 微软技术许可有限责任公司 | 利用用户信号来发起通信 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001282847A (ja) * | 2000-04-03 | 2001-10-12 | Nec Corp | 感性適応型情報提示装置及びプログラムを記録した機械読み取り可能な記録媒体 |
| US9440356B2 (en) * | 2012-12-21 | 2016-09-13 | Crosswing Inc. | Customizable robotic system |
| JP2015138433A (ja) * | 2014-01-23 | 2015-07-30 | 株式会社Ｎｔｔドコモ | 情報処理装置及び情報処理方法 |
| EP2933070A1 (en) * | 2014-04-17 | 2015-10-21 | Aldebaran Robotics | Methods and systems of handling a dialog with a robot |
| WO2015198716A1 (ja) * | 2014-06-24 | 2015-12-30 | ソニー株式会社 | 情報処理装置及び情報処理方法並びにプログラム |
| JP6122816B2 (ja) * | 2014-08-07 | 2017-04-26 | シャープ株式会社 | 音声出力装置、ネットワークシステム、音声出力方法、および音声出力プログラム |
| US10446142B2 (en) * | 2015-05-20 | 2019-10-15 | Microsoft Technology Licensing, Llc | Crafting feedback dialogue with a digital assistant |
| US10997226B2 (en) * | 2015-05-21 | 2021-05-04 | Microsoft Technology Licensing, Llc | Crafting a response based on sentiment identification |
-
2016
- 2016-09-15 JP JP2016180318A patent/JP6774018B2/ja active Active
-
2017
- 2017-02-22 US US15/439,363 patent/US20180075848A1/en not_active Abandoned
- 2017-04-18 CN CN201710251203.1A patent/CN107825429B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1637740A (zh) * | 2003-11-20 | 2005-07-13 | 阿鲁策株式会社 | 对话控制设备和对话控制方法 |
| CN105453578A (zh) * | 2013-08-05 | 2016-03-30 | 三星电子株式会社 | 用于提供会话话题的设备、服务器和方法 |
| CN106464758A (zh) * | 2014-06-25 | 2017-02-22 | 微软技术许可有限责任公司 | 利用用户信号来发起通信 |
| CN104809103A (zh) * | 2015-04-29 | 2015-07-29 | 北京京东尚科信息技术有限公司 | 一种人机对话的语义分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6774018B2 (ja) | 2020-10-21 |
| CN107825429A (zh) | 2018-03-23 |
| JP2018045118A (ja) | 2018-03-22 |
| US20180075848A1 (en) | 2018-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107825429B (zh) | 对话装置和方法 | |
| US11222632B2 (en) | System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs | |
| US11468894B2 (en) | System and method for personalizing dialogue based on user's appearances | |
| US20170169203A1 (en) | Robot-human interactive device, robot, interaction method, and recording medium storing program | |
| US11183187B2 (en) | Dialog method, dialog system, dialog apparatus and program that gives impression that dialog system understands content of dialog | |
| CN108363706A (zh) | 人机对话交互的方法和装置、用于人机对话交互的装置 | |
| CN111415677A (zh) | 用于生成视频的方法、装置、设备和介质 | |
| US20190279629A1 (en) | Speech system | |
| JP2019217122A (ja) | ロボット、ロボットの制御方法及びプログラム | |
| JP2018171683A (ja) | ロボットの制御プログラム、ロボット装置、及びロボットの制御方法 | |
| KR101791979B1 (ko) | 오버레이 아이템 또는 추가 아이템을 통해 메신저 서비스를 제공하는 방법 및 그를 이용한 서버 | |
| JP2018133696A (ja) | 車載装置、コンテンツ提供システムおよびコンテンツ提供方法 | |
| CN111506183A (zh) | 一种智能终端及用户交互方法 | |
| JP6943237B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6887035B1 (ja) | 制御システム、制御装置、制御方法及びコンピュータプログラム | |
| KR20220139781A (ko) | 영상 생성 방법 및 장치 | |
| CN111967380A (zh) | 内容推荐方法及系统 | |
| JP7474211B2 (ja) | ユーザから発話された名詞を忘却する対話プログラム、装置及び方法 | |
| US20240078732A1 (en) | Avatar facial expressions based on semantical context | |
| JP7142403B1 (ja) | 会話処理プログラム、会話処理システムおよび会話型ロボット | |
| US20240078731A1 (en) | Avatar representation and audio generation | |
| JP7313518B1 (ja) | 評価方法、評価装置、および、評価プログラム | |
| JP6248677B2 (ja) | 会話補助プログラム、会話補助方法、及び会話システム | |
| JP7044167B2 (ja) | 対話装置、対話方法及び対話プログラム | |
| KR20240016815A (ko) | 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Tokyo, Japan Applicant after: Fuji film business innovation Co.,Ltd. Address before: Tokyo, Japan Applicant before: Fuji Xerox Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |