CN110524547B - 会话装置、机器人、会话装置控制方法以及存储介质 - Google Patents
会话装置、机器人、会话装置控制方法以及存储介质 Download PDFInfo
- Publication number
- CN110524547B CN110524547B CN201910401299.4A CN201910401299A CN110524547B CN 110524547 B CN110524547 B CN 110524547B CN 201910401299 A CN201910401299 A CN 201910401299A CN 110524547 B CN110524547 B CN 110524547B
- Authority
- CN
- China
- Prior art keywords
- users
- unit
- information
- target user
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000001133 acceleration Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 description 30
- 238000004891 communication Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 101150052583 CALM1 gene Proteins 0.000 description 12
- 101150095793 PICALM gene Proteins 0.000 description 12
- 101150014174 calm gene Proteins 0.000 description 12
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及会话装置、机器人、会话装置控制方法以及存储介质。进行像是正参加多个用户间的会话那样的发言,来使用户间的会话气氛热烈。会话装置(100)具备声音输出部(42)、特征取得部(12)、选择部(13)和发言控制部(14)。声音输出部(42)输出声音来进行发言。特征取得部(12)取得多个用户各自的特征。选择部(13)基于在特征取得部(12)取得的多个用户各自的特征来从多个用户选择成为进行赞同或不赞同的对象的对象用户。发言控制部(14)执行发言控制,控制声音输出部(42),使其进行与在选择部(13)选择的对象用户相应的发言。
Description
关联申请的参考
关于本申请,主张以在2018年5月24日申请的日本专利申请第2018-099332号为基础的优先权,将该基础申请的内容全都引入到本申请中。
技术领域
本发明涉及会话装置、机器人、会话装置控制方法以及存储介质。
背景技术
能更加促进用户间的交流的技术开发在不断推进。例如在特开2016-6607号公报中记载了对话型通信系统,监视在多个用户之间正进行的会话的状态,并在会话停滞的情况下提供用户感兴趣的话题。
日本特开2016-6607号公报记载的对话型通信系统通过提供与用户间过去进行的会话中所含的词句或用户在会话中所用的终端的位置信息相符的话题,来平稳地推进多个用户间的对话型的通话。但如上述那样,在现有的对话型通信系统中,由于只是将与用户的过去的会话内容或用户的终端的位置信息等相应的话题提供给多个用户,因此不能进行好像参加多个用户间的会话那样的发言,尚达不到使用户间的会话气氛热烈。
发明内容
本发明为了解决上述问题而提出,目的在于,提供能进行好像参加多个用户间的会话那样的发言来使用户间的会话气氛热烈的会话装置、机器人、会话装置控制方法以及存储介质。
为了达成上述目的,本发明的会话装置具备:发言单元,其用于发言;特征取得单元,其取得多个用户各自的特征;选择单元,其基于在所述特征取得单元取得的多个用户各自的特征,从所述多个用户选择成为进行赞同或不赞同的对象的对象用户;和发言控制单元,其执行控制所述发言单元的发言控制,使其进行与由所述选择单元选择的所述对象用户相应的发言。
发明的效果
根据本发明,由于能进行就像正参加多个用户间的会话那样的发言,因此能使用户间的会话气氛热烈。
附图说明
图1是表示本发明的实施方式1所涉及的会话装置的功能结构的图。
图2是表示存储于实施方式1所涉及的会话装置的特征存储部的数据的一例的图。
图3是表示在实施方式1所涉及的会话装置的周围进行的会话的一例的图。
图4是表示在实施方式1所涉及的会话装置的周围进行的会话的其他示例的图。
图5是实施方式1所涉及的会话装置的特征取得处理的流程图。
图6是实施方式1所涉及的会话装置的发言处理的流程图。
图7是表示实施方式1所涉及的会话装置进行好像参加用户间的会话那样的发言的会话的示例的图。
图8是表示本发明的实施方式2所涉及的会话装置的功能结构的图。
图9是表示存储于实施方式2所涉及的会话装置的装置特征存储部的数据的一例的图。
图10是变形例1所涉及的会话装置的对象用户变更处理的流程图。
具体实施方式
以下参考图表来说明本发明的实施方式所涉及的会话装置。另外,对图中相同或相当部分标注相同附图标记。
(实施方式1)
本发明的实施方式所涉及的会话装置,听取多个用户间的会话,取得各个用户的特征,基于各用户的特征从该多个用户中选择成为进行赞同的对象的对象用户,进行赞同该的对象的用户那样的发言。在此,所谓赞同,是指同意选择的对象用户的意见,会话装置通过进行赞同对象用户那样的发言,来进行与对象用户在兴趣、爱好、想法、意见等上合拍的发言。本发明的实施方式所涉及的会话装置通过如上述那样进行赞同某用户的发言,能使人觉得就像带有意愿、感情地正在参加多个用户的会话,由此能使多个用户之间的会话气氛热烈。另外,在此,所谓用户,不仅是指具有积极使用会话装置100的意愿来使用的人。即使没有积极的使用意愿,在会话装置100的周围进行会话的人也是会话装置100的用户。通常,由于在会话装置100的周围有多个人进行会话,因此会话装置100由多个用户使用。
如图1所示那样,本发明的实施方式1所涉及的会话装置100作为功能结构而具备控制部10、存储部20、声音输入部31、图像输入部32、操作输入部33、通信部34、传感器部35、显示部41、声音输出部42。另外,图1中虽未示出,但会话装置100例如搭载于机器人,该机器人可以通过具备用于在周围进行移动的驱动部而具有移动到用户的附近的功能。
控制部10由CPU(Central Processing Unit,中央处理器)等构成,通过执行存储于存储部20的程序,来实现后述的各部(取得部11、特征取得部12、选择部13、发言控制部14)的功能。
存储部20由ROM(Read Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)等构成,ROM的一部分或全部由能电改写的存储器(闪速存储器等)构成。存储部20在功能上包含特征存储部21。在ROM中存储在执行控制部10的CPU执行的程序以及程序上预先需要的数据。在RAM存储在程序执行中作成或变更的数据。
在特征存储部21中,如图2所示那样,按每个用户ID存储表示用户的特征的数据(特征数据)。用户ID是唯一识别用户的ID。存储于特征存储部21的特征数据,大致分为个人信息、性格信息和感兴趣信息。
所谓个人信息,是以用户ID表示的人的名字(并不限定于正式的姓名,也可以是惯称、绰号、艺名、通称等)、该人的声纹的数据(为了用声音对该人进行说话人认识而用的数据)、该人的脸图像的数据(为了用图像识别该人而用的数据)、该人的年龄、性别、使用语言等。这些通常由用户经由操作输入部33或通信部34登记到会话装置100的特征存储部21,但也可以是控制部10的后述的特征取得部12以周知的声音认识等分析名字、年龄、性别、使用语言等而取得,并登记到特征存储部21。
另外,所谓性格信息,是特征取得部12分析的表示该人的性格的信息,具体是按每个表示性格的要素(例如冷静度、诚实度、温柔度、体谅度等)表征该要素的程度的信息。另外,性格信息是特征取得部12分析的表示该人的性格的信息被与分析次数一起存储。关于分析次数后述,在此,算出在数据项目名所记载的表示性格的信息(数据值)时使用的用户的发言句的数量(发言次数)是分析次数。
另外,所谓感兴趣信息,是特征取得部12分析的示出该人的兴趣的信息,具体是表示该人具有怎样的兴趣、爱好、主张的信息。在图2中省略,但感兴趣信息也与性格信息同样,都是和各信息(例如「足球联赛」、「球队A」、「音乐」等)一起,将提取该信息时使用的用户的发言句的数量(发言次数)作为分析次数存储。
另外,性格信息和感兴趣信息通常都是由特征取得部12取得并登记到特征存储部21,但也可以由用户经由操作输入部33、通信部34将表示性格的各要素的程度、各用户的兴趣、爱好等登记到特征存储部21。
声音输入部31具备麦克风,取得用户说出的声音的数据(声音数据)。控制部10能通过执行存储于存储部20的程序,来基于声音输入部31取得的声音数据进行基于说话人的声纹数据的说话人认识,或进行基于声音认识的发言句的取得。
图像输入部32具备摄像机,能取得周围的图像的数据(图像数据),进行从图像中所含的脸等确定人物的人物认识。摄像机具备能一次性拍摄全周围的广角镜头,即使会话装置100不移动也能取得周围的全方位的图像数据。
操作输入部33具备开关、触控面板等,取得由用户输入的操作内容数据(对会话装置100的控制命令等)。例如用户能从操作输入部33将用户的名字、惯称、绰号、艺名、通称等作为用户的名字输入,登记到特征存储部21。
通信部34是包含用于与外部的网络等以无线通信对数据进行通信的天线的无线模块。例如通信部34是用于进行基于Bluetooth(注册商标)的近距离无线通信的无线模块。通过使用通信部34,会话装置100能从外部的服务器取得种种信息。
传感器部35具备检测会话装置100的加速度的加速度传感器。传感器部35检测因用户触摸或拿起会话装置100而产生的加速度,将其作为加速度数据传递到控制部10。传感器部35检测到的加速度的值在特征取得部12分析并取得用户的性格时使用。另外,传感器部35也可以具备加速度传感器以外的传感器。
显示部41具备液晶、有机EL(Electoro-Luminescence,电致发光)等显示器,显示由操作输入部33输入的控制命令等。
声音输出部42具备周知的将声音合成的功能和将电信号变换为声音(物理振动)的扬声器,能通过声音合成进行发言。通过发言控制部14将电信号输入到声音输出部42,声音被从声音输出部42输出。另外,声音输出部42在声音合成时能输出不同语气的声音(例如欢乐的声音、悲伤的声音、事务性的声音等)。声音输出部42作为发言单元发挥功能。
接下来说明会话装置100的控制部10的功能性结构。控制部10实现取得部11、特征取得部12、选择部13、发言控制部14的功能,进行赞同基于用户的特征(性格等)选择的用户的发言。另外,控制部10应对多线程功能,能并行执行多个线程(不同处理的流程)。
取得部11从声音输入部31、图像输入部32、操作输入部33、通信部34以及传感器部35取得声音数据、图像数据、操作内容数据、通信数据以及加速度数据。取得部11作为取得单元发挥功能。
特征取得部12取得存储于特征存储部21的各用户的特征。例如从图2所示的特征数据,特征取得部12取得「冷静度=1、诚实度=1」(冷静度和诚实度都低)这样的性格来作为用户ID为User_1的用户「花子」的特征,取得「冷静度=10、诚实度=8」(冷静度和诚实度都高)这样的性格来作为用户ID为User_2的用户「太郎」的特征。
另外,特征取得部12用周知的手法分析取得部11从声音输入部31以及图像输入部32取得的声音数据以及图像数据,来取得位于会话装置100的周围的人的特征。具体地,特征取得部12以声音数据或图像数据识别发言者,并分析从声音数据发言的单词以及表现、和声音的大小以及语气(语调),基于这些来取得发言者的特征。然后特征取得部12将分析并取得的特征写入到特征存储部21。特征取得部12作为特征取得单元发挥功能。特征取得部12分析并取得的「人的特征」,大致分为性格信息和感兴趣信息。
这当中,性格信息是示出表示积极的性格的各性质的程度的参数,例如在图2中,表示冷静的程度的冷静度、表示诚实的程度的诚实度以从0到10的值示出。图2中虽然省略,但例如包含表示温柔的程度的温柔度、表示体谅的程度的体谅度等也包含在性格信息中。该参数值例如基于特征取得部12分析图3所示那样的正在会话装置100的周围进行用户彼此的会话中所含的发言句的结果来取得。
另外,感兴趣信息是表示各用户的兴趣、爱好、主张的信息,例如在图2中,作为用户「花子」的感兴趣信息而示出「足球联赛、球队A、情节剧、综艺节目、…」,作为用户「太郎」的感兴趣信息而示出「足球联赛、球队B、音乐、吉他、乐队A、…」。该感兴趣信息例如基于特征取得部12分析例如图4所示那样的正在会话装置100的周围进行的用户彼此的会话中所含的发言句的结果来取得。在图2所示的示例中成为仅提取发言句中所含的关键词的信息,但并不限于此。例如作为感兴趣信息,也可以包含「足球联赛<足球<体育运动」、「球队A<足球联赛」、「球队B<足球联赛」、「情节剧<电视节目」、「吉他<乐器<音乐」这样的词库的信息来存储。
选择部13基于特征取得部12取得的各用户的性格信息从多个用户选择具有最理想的性格的用户作为进行赞同的对象即对象用户。上述那样存储于特征存储部21的性格信息由于是表示积极的性格的各性质的程度的参数,因此将该参数的合计值最大的用户作为对象用户选择。另外,在此,作为对象用户的选择基准而设为「拥有最理想的性格的用户」,但并不限定于此。选择部13也可以与上述相反,选择拥有最不理想的性格的用户作为成为进行赞同的对象的对象用户。在该情况下,选择参数的合计值最小的用户作为对象用户。
另外,只要是存储于特征存储部21的信息(特征数据),则选择部13也可以基于性格信息以外的信息来选择成为赞同对象的对象用户。例如也可以如「将20多岁的女性当中对综艺节目感兴趣的人作为赞同对象」等那样基于性别、年龄、兴趣、爱好等来选择成为赞同对象的对象用户。另外,选择部13也可以基于性格信息以外的信息和性格信息两方的信息来选择成为赞同对象的对象用户。进而,选择部13也可以随机选择用户作为对象用户,例如可以无视性格信息,选择感兴趣信息中包含从服务器取得的当前最成为话题的主题的用户。选择部13作为选择单元发挥功能。
发言控制部14进行控制,使得从声音输出部42发言赞同选择部13选择的对象用户(与该用户意见、兴趣等合拍)的文章。发言控制部14作为发言控制单元发挥功能。
以上说明了会话装置100的功能结构。接下来说明在会话装置100执行的特征取得处理以及发言处理。会话装置100置于用户生活的环境中(房间等),分析用户的言行来取得这些人的特征,并进行赞同基于用户的特征选择的用户的发言。对用户的言行进行分析并取得各人的特征的处理是特征取得处理,进行赞同基于用户的特征选择的用户的发言的处理是发言处理。特征取得处理可以是会话装置100的电源成为接通的期间始终进行,也可以在根据来自操作输入部33等的输入而有用户的指示时进行。另外,发言处理在通过来自操作输入部33等的输入而有用户的发言指示时进行。该2个处理在不同线程同时并行推进处理。因此,会话装置100能通过始终进行特征取得处理来实时取得(更新)用户的特征。
最初参考图5来说明特征取得处理。首先特征取得部12使用声音输入部31来判定是否有用户的发言(步骤S101)。若没有用户的发言(步骤S101“否”),则返回步骤S101,继续等待,直到进行发言为止。若有用户的发言(步骤S101“是”),则特征取得部12通过将从声音输入部31输入的声音数据与存储于特征存储部21的声纹数据进行比对来识别发言的人(发言者)(步骤S102)。另外,这时,特征取得部12也可以通过将从图像输入部32输入的图像数据与存储于特征存储部21的脸图像数据进行比对,来识别发言者。
接下来,特征取得部12分析发言的句的内容(发言句的内容)和发言的声音的大小以及语气(语调)(步骤S103),用周知的手法提取发言句中使用的单词以及表现。然后特征取得部12基于步骤S103中的分析结果、即发言句中使用的单词以及表现、和发言的声音的大小以及语气(语调)等,来取得发言者的特征(步骤S104)。在步骤S103以及步骤S104,特征取得部12作为特征取得单元发挥功能。另外,步骤S103以及步骤S104也被称作取得步骤。另外,这时,特征取得部12可以基于从图像输入部32输入的图像数据或从传感器部35输入的加速度数据来取得发言者的特征。
对步骤S104中特征取得部12取得发言者的特征的方法进行补充说明。在此,特征取得部12取得的发言者的特征是表征性格的参数,表征性格的参数设为冷静度、诚实度、温柔度以及体谅度这4种类。这当中,冷静度根据发言时的声音的强弱以及发言句中是否使用强烈的表现(口气粗暴的表现、命令腔调等。例如「你都干了啥」、「去干…」等)、冷静的表现(镇定的表现、礼貌的腔调等)来确定值。关于冷静度,若发言时的声音强,或发言句中较多使用强烈的表现则变低(最小值0),若发言时的声音弱,或在发言句中多使用冷静的表现,则变高(最大值10)。关于诚实度,若在发言句中使用的单词中包含「欺骗」、|诱骗」等撒谎或欺骗时使用的单词,则变低,若在发言句中包含「还是说实话为好」、「不能撒谎哟」等表示是诚实的人的句,则变高。
关于温柔度,若发言句中包含温柔的表现(例如敬语),则变高,若包含不温柔的表现(例如命令腔调、非敬语),则变低。关于体谅度,若在发言句中包含体谅对方的表现(例如「让我为你做…吧」、「给你…」等),则变高,若包含要求对方那样的表现(例如、「为我做…」、「想要…」等),则变低。
另外,若用户使用会话装置100时在传感器部35取得的加速度的值大于基准值,则由于触摸或拿取会话装置100的用户是粗鲁人的可能性高,因此特征取得部12使该用户(触摸或拿取会话装置100的用户)的温柔度低。另外,特征取得部12也可以使用图像数据取得用户的特征。例如通过将周围的用户的脸的图像数据在图像输入部32输入并用周知的表情认识技术进行认识,在认识温柔的表情后将使该用户的温柔度高,在认识到可怕的表情后使温柔度低。
以上对特征取得部12在步骤S104取得发言者的特征的方法进行了补充说明。返回图5,接下来特征取得部12基于在步骤S104取得的发言者的特征来更新存储于特征存储部21的特征数据的内容(步骤S105),返回步骤S101。
对步骤S105中的存储于特征存储部21的特征数据的内容的更新进行补充说明。步骤S104中特征取得部12取得的发言者的特征,终究是指示该仅1次发言中的特征,有并不表征发言者的本来的特征的可能性。为此在特征存储部21将值更新,来存放从发言者到此为止的发言得到的特征数据的平均值。
具体地,将在步骤S102识别的发言者的各参数的值(图2的「数据值」)与到此为止的该发言者的发言次数(图2的「分析次数」)相乘,在其值(积)上加上在步骤S104取得的参数的值。为此,在该发言者的发言次数(分析次数)上加上1,将用参数值相加后的值除以加上1后的发言次数(分析次数)的值作为更新后的参数值(数据值)。然后将更新后的参数值和加上1后的发言次数(分析次数)分别写入到特征存储部21的「数据值」以及「分析次数」。通过如此进行更新,在各参数值(数据值)存放到现在为止取得的值的平均值,能提高表征发言者的本来的特征的可能性。
不过,根据情况也考虑不使特征数据平均化而希望利用仅1次发言中的用户的特征的情况。在该情况下,不以发言次数(分析次数)进行平均化的处理,将仅1次发言中的特征数据写入到特征存储部21的「数据值」。如此以来,对应于每时每刻的用户的性格、兴趣、爱好来设定特征数据。
另外,在将特征数据平均化的情况下,若分析次数过大(例如数万次等),则特征数据会几乎不变化(与从过去的发言数据得到的特征数据大致相同值不变)。为此存储于特征存储部21的特征数据的内容(数据值以及分析次数),可以定期(例如每天早上、每周、每月等)清零,或减小分析次数。由此,对于性格、兴趣、爱好突然变化的用户,能使迅速使特征数据追随。
通过以上说明的特征取得处理,在特征存储部21中存储特征取得部12分析的表示各人的特征(性格)的参数。接下来参考图6来说明发言处理。在发言处理中,为了在最初开始会话时、或用户间的会话中断后再度开始会话时进行选择成为进行赞同的对象的对象用户的处理,导入表示对象用户是否选择完毕的标记变量SF。
首先,控制部10将标记变量SF初始化成0(步骤S201)。接下来,取得部11参考存储于特征存储部21的全用户的感兴趣信息,经由通信部34从外部的服务器取得与该感兴趣信息关联的最近的信息(步骤S202)。例如以图2所示的感兴趣信息为例,则取得部11从外部的服务器取得「足球联赛关联的新闻」、「电视节目的最新信息」、「音乐或乐器的最新信息」等。
接下来,控制部10使用声音输入部31来判定是否正在周围的多个用户间进行会话(步骤S203)。若未进行会话(步骤S203“否”),则控制部10将标记变量SF初始化成0(步骤S204),返回步骤S202。若正进行会话(步骤S203“是”),则控制部10判定标记变量SF是否是0(步骤S205)。若标记变量SF不是0(步骤S205“否”),则前进到步骤S209。
若标记变量SF是0(步骤S205“是”),则特征取得部12读出存储于特征存储部21的各用户的性格信息(步骤S206)。步骤S206也被称作特征取得步骤。
然后选择部13基于特征取得部12读出的各用户的性格信息,从多个用户选择成为进行赞同的对象的对象用户(步骤S207)。在步骤S207,选择部13作为选择单元发挥功能。步骤S207也被称作选择步骤。在步骤S207,例如选择部13按每个用户求取存储于特征存储部21的各用户的性格信息的参数的和,选择该和最大的用户作为对象用户。即,选择部13基于相互比较多个用户各自的性格的比较结果来选择对象用户。例如若以图2所示的性格信息为例,则由于与User_1(花子)的性格信息(参数的和为2)相比,User_2(太郎)的性格信息(参数的和为18)的参数的和更大,因此选择部13选择User_2(太郎)作为对象用户。然后,控制部10为了表示对象用户选择完毕而将标记变量SF置位成1(步骤S208)。
然后取得部11从声音输入部31取得会话内容(步骤S209)。接下来控制部10判定在步骤S202取得部11是否取得完毕与步骤S209中取得部11取得的对象用户的会话内容相关的最新信息(步骤S210)。若未取得完毕(步骤S210“否”),则返回步骤S202。若取得完毕(步骤S210“是”),则控制部10判定取得完毕的最新信息是否负荷选择部13选择的用户的爱好(步骤S211)。
若取得完毕的最新信息符合选择部13选择的对象用户的爱好(步骤S211“是”),则发言控制部14控制声音输出部42,使其以积极的表现对该最新信息进行发言(步骤S212)。例如发言控制部14控制声音输出部42,使其以欢乐的声音对最新信息进行发言。在步骤S208,发言控制部14作为发言控制单元发挥功能。步骤S212也被称作发言控制步骤。若以图2所示的感兴趣信息为例,则由于对象用户即User_2(太郎)具有「喜欢足球联赛」、「喜欢球队B」、「喜欢音乐」、「喜欢吉他」、「喜欢乐队A」等爱好,因此若在步骤S202取得完毕例如「球队B赢了」这样的最新信息,就成为「取得完毕的最新信息符合对象用户的爱好」,发言控制部14控制声音输出部42,使其以欢乐的声音发言该最新信息。
另一方面,若取得完毕的最新信息不符合对象用户的爱好(步骤S211“否”),则发言控制部14控制声音输出部42,使其以消极的表现对该最新信息进行发言(步骤S213)。例如发言控制部14控制声音输出部42,使其以悲伤的声音对最新信息进行发言。步骤S213也被称作发言控制步骤。若在步骤S202取得完毕例如「乐队A的公演中止了」这样的最新信息,就成为「取得完毕的最新信息不符合对象用户的爱好」,发言控制部14控制声音输出部42,使其以悲伤的声音对最新信息进行发言。
然后控制部10使用声音输入部31来判定周围的用户间的会话是否结束(步骤S214)。若会话未结束(步骤S214“否”),就返回步骤S209。若会话结束(步骤S214“是”),就结束发言处理。
通过以上说明的发言处理,会话装置100能如图7所示那样,能进行简直就像带有意愿或感情在参加多个用户间的会话那样的发言,能使多个用户间的会话气氛热烈。另外,会话装置100由于选择积极的性格要素的参数高的人作为成为进行赞同的对象的对象用户,因此想要赞同会话装置100的用户会进行让自然和积极的性格展现出来那样的良好的会话。为此会话装置100还在孩子的情绪教育中起到作用。
(实施方式2)
在实施方式1中,选择部13进行基于特征取得部12取得的各用户的性格信息将具有最理想的性格的用户选择为仅赞同的对象的处理,但并不限于此。例如会话装置也可以将自身的虚拟性格作为参数存储在存储部20,来选择具有与自身的虚拟性格类似的性格的用户。对这样的实施方式2所涉及的会话装置进行说明。
如图8所示那样,实施方式2所涉及的会话装置101为在实施方式1所涉及的会话装置100上追加装置特征存储部22的结构。装置特征存储部22如图9所示那样存储会话装置101的拟人化的特征信息(虚拟性格等)。在图9所示的示例中,装置ID为Robot_1所表示的会话装置101的名字被设定为「萝卜太」,年龄被设定为12岁,作为虚拟性格,性格信息的参数被设定为「冷静度=8、诚实度=6、温柔度=9、体谅度=9」,作为虚拟的感兴趣事项,感兴趣信息被设定为「足球联赛、棒球、猜谜节目、…」。
实施方式2所涉及的会话装置101的选择部13选择具有与存储于装置特征存储部22的性格信息类似度最高的性格信息的用户,作为进行赞同的对象。作为选择具有类似度最高的性格信息的用户的方法,例如能举出如下方法:将用户的性格信息和会话装置101的性格信息分别用以各性格的参数为要素的相同维数的矢量表征,在将各矢量的范数归一化成1后,求取求类似度的2个矢量的内积。例如以第1要素冷静度、第2要素诚实度、第3要素温柔度、第4要素体谅度这4维矢量表征特征。于是,例如分别用户「花子」的性格信息以(1,1,1,0)这样的矢量表征,用户「太郎」的性格信息以(10,8,8,7)这样的矢量表征,会话装置101的性格信息以(8,6,9,9)这样的矢量表征。
于是,由于归一化后的(1,1,1,0)与归一化后的(8,6,9,9)的内积的值小于归一化后的(10,8,8,7)与归一化后的(8,6,9,9)的内积的值,因此可知,用户「花子」与会话装置101的性格的类似度小于用户「太郎」与会话装置101的性格的类似度。因此,选择部13将类似度高的用户「太郎」选择为进行赞同的对象用户。
在实施方式2所涉及的会话装置101中,由于选择与对会话装置101设定的虚拟性格类似度高的用户作为对象用户,因此能提升选择的用户的自由度,能使多个用户之间的会话更加气氛热烈。
另外,在上述的实施方式2中,作为对象用户而选择与对会话装置101设定的虚拟性格类似度高的用户,但并不限于此。会话装置101也可以选择与对会话装置101设定的年龄相同年龄的用户作为对象用户,或者选择具有与对会话装置101设定的虚拟的感兴趣事项共通的兴趣、爱好的用户作为对象用户。
(变形例1)
在上述的实施方式中,选择部13由于基于用户的特征(性格信息等)选择成为赞同的对象的对象用户,因此还考虑对象用户连续成为同一用户较多。但这样的话,出现想要会话装置赞同却没被赞同的用户心情受伤的可能性。为此,在对象用户给定的次数连续成为相同人的情况下,选择部13选择这以外的人,对这样的变形例1进行说明。
变形例1的发言处理在上述的发言处理(图6)的步骤S205刚判定为“否”之后(紧挨步骤S209前,步骤S208后以及步骤S214“否”后)进行图10所示的对象用户变更处理。在对象用户变更处理中,导入对在相同人被选择为对象用户的状态下会话装置100、101发言的次数进行计数的变量C、和对在相同人被选择为对象用户的状态下会话装置100、101发言的次数进行限制的变量Limit,在发言处理(图6)的最初(步骤S201前),在变量C代入0,在变量Limit代入连续发言限制值(例如5)。另外,也可以在会话结束后(步骤S214“是”后)将变量C清零(代入0)。
在对象用户变更处理中,首先控制部10在变量C上加上1(步骤S301),判定变量C的值是否大于变量Limit的值(步骤S302)。
若变量C的值为变量Limit的值以下(步骤S302“否”),就结束对象用户变更处理,前进到发言处理(图6)的步骤S209。若变量C的值大于变量Limit的值(步骤S302“是”),则选择部13变更本次选择的对象用户(步骤S303)。关于变更成怎样的用户后述。然后控制部10将变量C的值初始化成0(步骤S304),并结束对象用户变更处理,前进到发言处理(图6)的步骤S209。
关于步骤S303中选择部13将对象用户变更为怎样的用户,考虑几种方法。第1个方法是变更为第二位的用户的方法。在该方法的情况下,选择部13将对象用户变换成若本次选择的对象用户不存在则会选择的用户。
第2个方法是将选择基准颠倒的方法。在对上述的实施方式1运用该变形例1的情况下,选择部13按每个用户求取存储于特征存储部21的各用户的性格信息的参数的和,将对象用户变更为该和最小的用户。另外,在对上述的实施方式2运用该变形例1的情况下,选择部13将对象用户变更为具有与存储于装置特征存储部22的性格信息类似度最低的性格信息的用户。
在以上那样的变形例1中,由于能防止相同用户持续被选择为赞同对象,因此扩大了选择的对象用户的变化,能使多个用户之间的会话气氛更加热烈。
(变形例2)
在上述的实施方式中,特征取得部12从相同特征存储部21取得各用户的特征。但并不限于此。例如也可以在存储部20具备仅在1次会话内存储各用户的特征的短期特征存储部(未图示),在发言处理(图6)内,根据在步骤S209与步骤S210之间从短期特征存储部取得的性格信息来选择对象用户。
在进行这样的处理的变形例2中,由于在会话中切换选择用户的频度变多,因此能使多个用户之间的会话更加气氛热烈。
另外,在上述的实施方式中,特征取得部112对取得部11从声音输入部31或图像输入部32取得的声音数据或图像数据进行分析,来取得位于会话装置100、101的周围的人的特征,但并不限于此。特征取得部12也可以不分析声音数据或图像数据,取得预先存储于特征存储部21的各用户的特征。如此,若使用在特征取得部12取得用户的特征时不使用声音数据或图像数据的方案,则会话装置100、101也可以没有声音输入部31或图像输入部32。
另外,在上述的实施方式中,选择部13仅选择1人成为赞同对象的对象用户,但也可以选择多个用户作为对象用户。例如以相同球队的粉丝彼此来将用户划分成分组,基于构成分组的多个用户的特征数据来将构成成为赞同对象的分组的多个用户选择为对象用户。
在该情况下,例如可以基于构成分组的多个用户的特征数据的平均值(例如性格信息的参数的和的平均值),来选择构成平均值最大的分组的多个用户作为对象用户,也可以基于构成分组的多个用户的特征数据的最大值(或最小值),来选择构成有更大的最大值的分组的多个用户作为对象用户。
然后,关于是否符合选择的多个对象用户的爱好的判定,可以进行是否符合在多个对象用户的感兴趣信息中频出的(例如出现基准出现度(例如对象用户数的50%)以上的)爱好的判定,也可以在多个对象用户之中进行是否符合性格信息的参数之和最大的用户的爱好的判定。
另外,在上述的实施方式中,选择部13选择成为进行赞同的对象的对象用户,发言控制部14进行赞同该对象用户的发言,但并不限于此。选择部13也可以选择成为不赞同的对象的用户作为对象用户,发言控制部14进行不赞同该对象用户那样的发言。在该情况下,例如在发言处理(图6)的步骤S207,具有消极的性格的用户被选择为不赞同的对象用户,在发言处理(图6)的步骤S211~S213中,在取得完毕的最新信息不符合对象用户的爱好的情况下以积极的表现发言,在符合的情况下以消极的表现发言。
另外,在上述的各实施方式中,在特征取得部12取得用户的特征(性格)时,使用分析在声音输入部31输入的声音数据得到的发言的内容(发言的单词、表现等)、声音的大小或语气、对在图像输入部32输入的图像数据进行表情认识得到的脸的表情、在传感器部35取得的加速度等,但并不限于此。特征取得部12可以仅使用这些信息的一部分(例如仅发言的单词、仅发言的单词和声音的大小等)来取得用户的特征(性格)。另外,特征取得部12也可以取代这些信息或和这些信息一起,使用其他适当的参数(例如血液型、生年月日(星座)等)来取得用户的特征(性格)。
另外,在上述的各实施方式中,会话装置100、101具备传感器部35,但若特征取得部12在取得用户的特征时不使用加速度数据,会话装置100、101就可以没有传感器部35。另外,若在特征取得部12在取得用户的特征时不使用图像数据,会话装置100、101就可以没有图像输入部32。
另外,能适宜组合上述的实施方式以及变形例。例如可以适宜(例如随机地)选择实施方式1的选择部13的对象用户选择方法和实施方式2的选择部13的对象用户选择方法的任一者来选择对象用户。
另外,通过机器人具备上述的会话装置100、101,该机器人能进行像是正参加多个用户间的会话那样发言。在该情况下,例如通过使机器人的形态为可爱的宠物形状等,能期待使用户间的会话进一步气氛热烈。
另外,会话装置100、101的各功能还能通过通常的PC(Personal Computer),个人计算机等计算机实施。具体地,在上述实施方式中,说明了会话装置100、101所进行的特征取得处理和发言处理的程序预先存储于存储部20的ROM。但也可以通过将程序存放在软盘、CD-ROM(Compact Disc Read Only Memory,只读光盘)、DVD(Digital Versatile Disc,数字多媒体盘)以及MO(Magneto-Optical Disc,光磁盘)、存储卡、USB(Universal SerialBus,通用串行总线)存储器等计算机可读的记录介质并分发,将该程序读入到计算机并进行安装,来构成能实现上述的各功能的计算机。另外,还可以通过将程序通过因特网等通信网络分发,将该程序读入到计算机并进行安装,来构成能实现上述的各功能的计算机。
以上说明了本发明的优选的实施方式,但本发明并不限定于相关的特定的实施方式,在本发明中包含记载于权利要求书的范围的发明和其等同的范围。
Claims (13)
1.一种会话装置,其特征在于,具备:
发言单元,其用于发言;
特征取得单元,其取得多个用户各自的特征;
选择单元,其基于在所述特征取得单元取得的多个用户各自的特征,从所述多个用户选择成为进行赞同或不赞同的对象的对象用户;和
发言控制单元,其执行控制所述发言单元的发言控制,使其进行与由所述选择单元选择的所述对象用户相应的发言,
在所述多个用户各自的特征中包含感兴趣信息,其包含所述多个用户各自的爱好,
所述会话装置还具备:取得单元,其取得与由所述选择单元选择的对象用户的感兴趣信息关联的信息,
所述发言控制单元在所述发言控制的执行中控制所述发言单元,使其以积极的表现对在所述取得单元取得的信息当中符合所述对象用户的爱好的信息进行发言,或者,使其以消极的表现对在所述取得单元取得的信息当中不符合所述对象用户的爱好的信息进行发言。
2.根据权利要求1所述的会话装置,其特征在于,
所述选择单元基于所述取得的多个用户各自的特征从所述多个用户选择成为进行赞同的对象的对象用户,
所述发言控制单元通过执行所述发言控制来控制所述发言单元,使其进行赞同所述选择的所述对象用户那样的发言。
3.根据权利要求1所述的会话装置,其特征在于,
所述发言控制单元在所述多个用户间正进行会话时执行所述发言控制。
4.根据权利要求1所述的会话装置,其特征在于,
所述特征取得单元取得所述多个用户各自的性格信息,作为所述多个用户各自的特征,
所述选择单元基于在所述特征取得单元取得的多个用户各自的性格信息,来从所述多个用户选择所述对象用户。
5.根据权利要求1所述的会话装置,其特征在于,
所述特征取得单元对所述多个用户各自的发言进行分析,对应于分析过的发言来取得所述多个用户各自的特征。
6.根据权利要求5所述的会话装置,其特征在于,
所述特征取得单元在所述多个用户之间正进行会话时分析所述多个用户各自的发言。
7.根据权利要求5所述的会话装置,其特征在于,
所述特征取得单元对所述多个用户各自的发言的内容进行分析,对应于分析过的发言的内容来取得所述多个用户各自的特征。
8.根据权利要求5所述的会话装置,其特征在于,
所述特征取得单元对所述多个用户各自的声音的大小进行分析,对应于分析过的声音的大小来取得所述多个用户各自的特征。
9.根据权利要求1所述的会话装置,其特征在于,
所述会话装置还具备:检测该会话装置的加速度的加速度传感器,
所述特征取得单元对应于所述多个用户各自使用该会话装置时由所述加速度传感器检测到的加速度的值来取得所述多个用户各自的特征。
10.根据权利要求1所述的会话装置,其特征在于,
所述选择单元在选择所述对象用户后,在给定的条件成立时,从所述多个用户选择与目前为止作为所述对象用户选择的用户不同的用户,作为所述对象用户。
11.一种机器人,其特征在于,具备权利要求1所述的会话装置。
12.一种会话装置控制方法,控制具备用于发言的发言单元的会话装置,
所述会话装置控制方法的特征在于,包括:
特征取得步骤,取得多个用户各自的特征;
选择步骤,基于在所述特征取得步骤取得的多个用户各自的特征从所述多个用户选择成为进行赞同或不赞同的对象的对象用户;和
发言控制步骤,控制所述发言单元,使其进行与在所述选择步骤选择的所述对象用户相应的发言,
在所述多个用户各自的特征中包含感兴趣信息,其包含所述多个用户各自的爱好,
还包含:取得步骤,其取得与由所述选择步骤选择的对象用户的感兴趣信息关联的信息,
所述发言控制步骤在所述发言控制的执行中控制所述发言单元,使其以积极的表现对在所述取得步骤取得的信息当中符合所述对象用户的爱好的信息进行发言,或者,使其以消极的表现对在所述取得步骤取得的信息当中不符合所述对象用户的爱好的信息进行发言。
13.一种存储介质,非临时地存储程序,该程序用于使具备用于发言的发言单元的会话装置的计算机执行如下步骤:
特征取得步骤,取得多个用户各自的特征;
选择步骤,基于在所述特征取得步骤取得的多个用户各自的特征,来从所述多个用户选择成为进行赞同或不赞同的对象的对象用户;以及
发言控制步骤,控制所述发言单元,使其进行与在所述选择步骤选择的所述对象用户相应的发言,
在所述多个用户各自的特征中包含感兴趣信息,其包含所述多个用户各自的爱好,
还执行取得步骤,其取得与由所述选择步骤选择的对象用户的感兴趣信息关联的信息,
所述发言控制步骤在所述发言控制的执行中控制所述发言单元,使其以积极的表现对在所述取得步骤取得的信息当中符合所述对象用户的爱好的信息进行发言,或者,使其以消极的表现对在所述取得步骤取得的信息当中不符合所述对象用户的爱好的信息进行发言。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-099332 | 2018-05-24 | ||
JP2018099332A JP7131077B2 (ja) | 2018-05-24 | 2018-05-24 | 会話装置、ロボット、会話装置制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110524547A CN110524547A (zh) | 2019-12-03 |
CN110524547B true CN110524547B (zh) | 2023-04-25 |
Family
ID=68614846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910401299.4A Active CN110524547B (zh) | 2018-05-24 | 2019-05-14 | 会话装置、机器人、会话装置控制方法以及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11205424B2 (zh) |
JP (1) | JP7131077B2 (zh) |
CN (1) | CN110524547B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112651860B (zh) * | 2020-12-18 | 2021-11-05 | 重庆师范大学 | 讨论式机器人教学系统、方法及装置 |
CN113459100B (zh) * | 2021-07-05 | 2023-02-17 | 上海仙塔智能科技有限公司 | 基于机器人人格的处理方法、装置、设备以及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007025140A (ja) * | 2005-07-14 | 2007-02-01 | Yaskawa Electric Corp | ロボット装置およびロボット装置の情報提示方法 |
JP2016071050A (ja) * | 2014-09-29 | 2016-05-09 | シャープ株式会社 | 音声対話装置、音声対話システム、端末、音声対話方法およびコンピュータを音声対話装置として機能させるためのプログラム |
WO2016163530A1 (ja) * | 2015-04-10 | 2016-10-13 | ヴイストン株式会社 | ロボット及びロボット制御方法並びにロボットシステム |
WO2017130497A1 (ja) * | 2016-01-28 | 2017-08-03 | ソニー株式会社 | 通信システムおよび通信制御方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6144938A (en) * | 1998-05-01 | 2000-11-07 | Sun Microsystems, Inc. | Voice user interface with personality |
JP2005342862A (ja) * | 2004-06-04 | 2005-12-15 | Nec Corp | ロボット |
JP2008226400A (ja) * | 2007-03-15 | 2008-09-25 | Sony Computer Entertainment Inc | オーディオ再生装置およびオーディオ再生方法 |
JP5007404B2 (ja) * | 2007-05-09 | 2012-08-22 | 株式会社国際電気通信基礎技術研究所 | 性格判別装置、性格判別方法、コミュニケーションロボットおよび電子機器 |
US8195460B2 (en) * | 2008-06-17 | 2012-06-05 | Voicesense Ltd. | Speaker characterization through speech analysis |
JP6432177B2 (ja) | 2014-06-20 | 2018-12-05 | カシオ計算機株式会社 | 対話型通信システム、端末装置およびプログラム |
JP6122816B2 (ja) * | 2014-08-07 | 2017-04-26 | シャープ株式会社 | 音声出力装置、ネットワークシステム、音声出力方法、および音声出力プログラム |
US20170337921A1 (en) * | 2015-02-27 | 2017-11-23 | Sony Corporation | Information processing device, information processing method, and program |
JP2017010309A (ja) * | 2015-06-23 | 2017-01-12 | トヨタ自動車株式会社 | 意思決定支援装置および意思決定支援方法 |
CN108475404B (zh) * | 2016-01-25 | 2023-02-10 | 索尼公司 | 通信系统和通信控制方法 |
US11120063B2 (en) * | 2016-01-25 | 2021-09-14 | Sony Corporation | Information processing apparatus and information processing method |
JP6774018B2 (ja) * | 2016-09-15 | 2020-10-21 | 富士ゼロックス株式会社 | 対話装置 |
US10331795B2 (en) * | 2016-09-28 | 2019-06-25 | Panasonic Intellectual Property Corporation Of America | Method for recognizing speech sound, mobile terminal, and recording medium |
WO2018088319A1 (ja) * | 2016-11-11 | 2018-05-17 | ソニーモバイルコミュニケーションズ株式会社 | 再生端末及び再生方法 |
JP7070546B2 (ja) * | 2017-03-24 | 2022-05-18 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
WO2018180571A1 (ja) * | 2017-03-30 | 2018-10-04 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
US11521608B2 (en) * | 2017-05-24 | 2022-12-06 | Rovi Guides, Inc. | Methods and systems for correcting, based on speech, input generated using automatic speech recognition |
US10381005B2 (en) * | 2017-11-28 | 2019-08-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for determining user frustration when using voice control |
KR20230004947A (ko) * | 2017-12-08 | 2023-01-06 | 구글 엘엘씨 | 디지털 음성 어시스턴트 컴퓨팅 디바이스들 사이에서 신호 프로세싱 조정 |
US10522143B2 (en) * | 2018-02-27 | 2019-12-31 | Microsoft Technology Licensing, Llc | Empathetic personal virtual digital assistant |
KR20190129580A (ko) * | 2018-05-11 | 2019-11-20 | 삼성전자주식회사 | 음성 인식 모델을 개인화하는 방법 및 장치 |
US11152001B2 (en) * | 2018-12-20 | 2021-10-19 | Synaptics Incorporated | Vision-based presence-aware voice-enabled device |
-
2018
- 2018-05-24 JP JP2018099332A patent/JP7131077B2/ja active Active
-
2019
- 2019-05-14 CN CN201910401299.4A patent/CN110524547B/zh active Active
- 2019-05-17 US US16/414,850 patent/US11205424B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007025140A (ja) * | 2005-07-14 | 2007-02-01 | Yaskawa Electric Corp | ロボット装置およびロボット装置の情報提示方法 |
JP2016071050A (ja) * | 2014-09-29 | 2016-05-09 | シャープ株式会社 | 音声対話装置、音声対話システム、端末、音声対話方法およびコンピュータを音声対話装置として機能させるためのプログラム |
WO2016163530A1 (ja) * | 2015-04-10 | 2016-10-13 | ヴイストン株式会社 | ロボット及びロボット制御方法並びにロボットシステム |
WO2017130497A1 (ja) * | 2016-01-28 | 2017-08-03 | ソニー株式会社 | 通信システムおよび通信制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190362723A1 (en) | 2019-11-28 |
JP7131077B2 (ja) | 2022-09-06 |
JP2019203998A (ja) | 2019-11-28 |
CN110524547A (zh) | 2019-12-03 |
US11205424B2 (en) | 2021-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11327556B2 (en) | Information processing system, client terminal, information processing method, and recording medium | |
US20200126566A1 (en) | Method and apparatus for voice interaction | |
US6526395B1 (en) | Application of personality models and interaction with synthetic characters in a computing system | |
TWI379205B (en) | Instant communication interacting system and method thereof | |
US11074916B2 (en) | Information processing system, and information processing method | |
KR20020067591A (ko) | 개인의 상호작용을 시뮬레이팅하는 자기-갱신 사용자인터페이스/오락 장치 | |
JPWO2017200072A1 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
EP3312776A1 (en) | Emotion control system, system, and program | |
JP2014219594A (ja) | 会話処理システム及びプログラム | |
CN110524547B (zh) | 会话装置、机器人、会话装置控制方法以及存储介质 | |
WO2020213468A1 (ja) | 情報処理システム、情報処理方法、及びプログラム | |
JPWO2017200076A1 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
CN110442867A (zh) | 图像处理方法、装置、终端及计算机存储介质 | |
JP7058588B2 (ja) | 会話システムおよび会話プログラム | |
CN110781327A (zh) | 图像搜索方法、装置、终端设备及存储介质 | |
CN112492400A (zh) | 互动方法、装置、设备以及通信方法、拍摄方法 | |
JP7268292B2 (ja) | コンテンツ改変装置、コンテンツ改変方法及びプログラム | |
CN113301352B (zh) | 在视频播放期间进行自动聊天 | |
JP2014109998A (ja) | 対話装置及びコンピュータ対話方法 | |
WO2021064947A1 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
CN114514576A (zh) | 数据处理方法、装置和存储介质 | |
JP2020067584A (ja) | コミュニケーション装置およびコミュニケーション装置の制御プログラム | |
WO2023210340A1 (ja) | 学習装置および学習方法 | |
JP6993034B1 (ja) | コンテンツ再生方法、及びコンテンツ再生システム | |
US20240096329A1 (en) | Qa tv-making millions of characters alive |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |