CN108159687A - 一种基于多人交互过程的自动引导系统及智能音箱设备 - Google Patents

一种基于多人交互过程的自动引导系统及智能音箱设备 Download PDF

Info

Publication number
CN108159687A
CN108159687A CN201711376835.7A CN201711376835A CN108159687A CN 108159687 A CN108159687 A CN 108159687A CN 201711376835 A CN201711376835 A CN 201711376835A CN 108159687 A CN108159687 A CN 108159687A
Authority
CN
China
Prior art keywords
participant
people
voice
boot device
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711376835.7A
Other languages
English (en)
Other versions
CN108159687B (zh
Inventor
姜公略
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yutou Technology Hangzhou Co Ltd
Original Assignee
Yutou Technology Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yutou Technology Hangzhou Co Ltd filed Critical Yutou Technology Hangzhou Co Ltd
Priority to CN201711376835.7A priority Critical patent/CN108159687B/zh
Publication of CN108159687A publication Critical patent/CN108159687A/zh
Application granted granted Critical
Publication of CN108159687B publication Critical patent/CN108159687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/822Strategy games; Role-playing games
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081Input via voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/407Data transfer via internet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6063Methods for processing data by generating or executing the game program for sound processing
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/807Role playing or strategy games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于多人交互过程的自动引导系统及智能音箱设备,属于人机交互技术领域;系统包括语义识别单元,连接拾音装置,用于识别输入语音并转换成对应的输入文字;语义转换单元,用于根据输入文字处理得到对应的输入指令;处理单元,处理单元根据输入指令执行当前的执行节点,并输出执行执行节点后得到的执行状态;处理单元同时根据执行状态转至相关联的下一个执行节点,以等待下一个输入指令;语音转换单元,用于将执行状态转换成对应的输出语音,输出语音通过智能设备的一音频输出装置输出,并被参与者获知。上述技术方案的有益效果是:解决多人交互过程中缺少引导角色的问题,精确把控交互流程,提升参与者的体验。

Description

一种基于多人交互过程的自动引导系统及智能音箱设备
技术领域
本发明涉及人机交互技术领域,尤其涉及一种基于多人交互过程的自动引导系统及智能音箱设备。
背景技术
现有的多人交互过程,典型的例如多人互动游戏中,通常需要设置一个负责引导的角色来指引游戏进程。以狼人杀类型的多人互动游戏为例,在参与者中需要有一个人充当“法官”的角色,该角色负责一系列的全局操作,指引游戏进程的发展,起到一个类似旁白的作用,因此使得上述引导角色的操作较为机械,并且其无法直接参与到多人互动游戏中并直接影响多人互动游戏的互动结果,会导致充当引导角色的玩家体验感较差。并且,有时因为人数不够导致无人充当引导角色,从而使得整个多人互动游戏无法进行下去。
不光是多人互动游戏,其他的多人交互过程也具有类似的问题。例如多人会议中,充当主持人角色的参与者通常只是把控整个多人会议的流程,并不会主动参与到多人会议的交互过程中来影响多人会议的讨论结果,这也会降低作为主持人的参与者的参与体验。
另外,由于整个多人交互过程并没有交互过程的记录,所有的交互状态改变以及交互流程的把控都需要参与者自己来记忆、理解和执行,这对于充当引导角色并全局掌控交互流程的参与者来说是一个很大的挑战。若充当引导角色的参与者记错了交互流程中的顺序或者错误判断了其他参与者给出的一些指示,会直接影响到交互的最终结果,并降低所有参与者的交互体验。
发明内容
根据现有技术中存在的上述问题,现提供一种基于多人交互过程的自动引导系统及智能音箱设备的技术方案,旨在采用自动引导系统替代参与者对多人交互过程进行引导,解决多人交互过程中缺少充当引导角色的参与者的问题,并且能够自动精确把控交互流程,从而提升所有参与者的参与体验。
上述技术方案具体包括:
一种基于多人交互过程的自动引导系统,于所述多人交互过程中预先限定多个参与角色,多个所述参与角色中包括一个引导类角色,多个处于同一物理空间内的参与者采用预定的交互流程,以不同的所述参与角色实现面对面的所述多人交互过程;其特征在于,包括一同处于所述物理空间内的智能引导设备,所述智能引导设备中预设有所述交互流程,所述交互流程由多个依序执行且相互关联的执行节点构成,所述智能引导设备于所述多人交互过程中充当所述引导类角色;
所述智能引导设备通过一拾音装置采集得到所述参与者与所述智能引导设备进行交互时的输入语音;
所述智能引导设备中包括:
语义识别单元,连接所述拾音装置,用于识别所述输入语音并转换成对应的输入文字;
语义转换单元,连接所述语义识别单元,用于根据所述输入文字处理得到对应的输入指令;
处理单元,连接所述语义转换单元,所述处理单元根据所述输入指令执行当前的所述执行节点,并输出执行所述执行节点后得到的执行状态;
所述处理单元同时根据所述执行状态转至相关联的下一个所述执行节点,以等待下一个所述输入指令;
语音转换单元,连接所述处理单元,用于将所述执行状态转换成对应的输出语音,所述输出语音通过所述智能设备的一音频输出装置输出,并被所述参与者获知。
优选的,该自动引导系统,其中,所述语义识别单元采用ASR语音输入技术将所述输入语音转换成对应的所述输入文字。
优选的,该自动引导系统,其中,所述语义转换单元采用NLP语音信息处理技术根据所述输入文字处理得到所述输入指令。
优选的,该自动引导系统,其中,所述语音转换单元采用TTS语音转换技术将所述执行状态转换成所述输出语音。
优选的,该自动引导系统,其中,每个所述参与者在进行所述多人交互过程之前,预先向所述智能引导设备中输入所述参与者的声纹信息以及所述参与者对应的所述参与角色;
所述智能引导设备还远程连接一云端存储系统;
所述智能引导设备中还包括:
语音识别单元,连接所述拾音装置,用于根据所述输入语音的声纹信息区分当前与所述智能引导设备进行交互的所述参与者所对应的所述参与角色,并输出相应的区分结果;
角色标注单元,分别连接所述语音识别单元、所述语义识别单元和所述处理单元,所述角色标注单元用于根据所述区分结果对所述输入文字和对应的所述执行状态进行标注;
发送单元,连接所述角色标注单元,用于将经过标注的所述输入文字和对应的所述执行状态整合成交互数据并发送至所述云端存储系统保存。
优选的,该自动引导系统,其中,所述云端存储系统还分别连接每个所述参与者的用户终端;
于所述多人交互过程结束后,所述云端存储系统将保存的所述交互数据分别反馈至每个所述用户终端,以供所述参与者对所述多人交互过程进行复盘。
优选的,该自动引导系统,其中,所述智能引导设备还远程连接设置于所述物理空间内的各智能家居;
所述智能引导设备中还包括:
环境控制单元,连接所述处理单元,所述环境控制单元内针对不同的所述执行状态分别预设有对应的家居控制方案,所述环境控制单元用于根据所述处理单元输出的当前的所述执行状态调用对应的所述家居控制方案,以对各所述智能家居进行控制。
优选的,该自动引导系统,其中,所述智能引导设备为智能音箱设备。
优选的,该自动引导系统,其中,每个所述交互流程具有至少一套交互规则,每套所述交互规则分别对应于所述参与者的一个预设数量;
所述智能设备中还包括:
配置单元,分别连接所述语音转换单元和所述处理单元,所述配置单元根据当前的所述多人交互过程中的所述参与者的数量随机选择对应的一个所述交互规则,并根据所述交互规则对所述交互流程进行调整;
所述处理单元用于根据经过调整的所述交互流程执行每个所述执行节点;
所述语音转换单元用于将所述配置单元选择的所述交互规则转换成对应的所述输出语音并通过所述音频输出装置输出,并被所述参与者获知。
一种智能音箱设备,其中,所述智能音箱设备作为上述的自动引导系统中的所述智能引导设备。
上述技术方案的有益效果是:采用自动引导系统替代参与者对多人交互过程进行引导,解决多人交互过程中缺少充当引导角色的参与者的问题,并且能够自动精确把控交互流程,从而提升所有参与者的参与体验。
附图说明
图1是本发明的较佳的实施例中,一种自动引导系统的总体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
根据现有技术中存在的上述问题,现提供一种基于多人交互过程的自动引导系统。所谓多人交互过程,是指由多个处于同一个物理空间内的参与者共同参与并推进的面对面式的互相交互的过程。典型的多人交互过程例如:
1)多人参与的棋牌类游戏,多个参与者在同一张牌桌上进行的一种多人交互过程。该多人交互过程中,参与者被分为多个不同的参与角色,参与角色的设定根据不同类型的棋牌类游戏各不相同,每个所述参与角色均具有其特定的游戏目的,每个参与者以完成其参与角色所特定的游戏目的为该多人交互过程的目的。
2)多人参与的狼人杀及类似的语言交流类游戏,多个参与者在同一个房间内进行的一种多人交互过程。该多人交互过程中,参与者被分为多个不同的参与角色,每个参与角色均具有其特定的游戏目的和角色技能,每个参与者以完成其参与角色所特定的游戏目的为该多人交互过程的目的。
3)多人参与的辩论类交互过程,多个参与者在同一个房间内进行的一种多人交互过程。该多人交互过程中,参与者被分为多个不同的参与角色,并被分为至少两个观点相互对立的角色组,每个角色组中的参与者以针对该角色组所对应的观点进行辩论为该多人交互过程的目的。
4)多人参与的多人会议类交互过程,多个参与者在同一个房间内进行的一种多人交互过程。该多人交互过程中,参与者被分为多个不同的参与角色,每个参与角色所代表的观点可以各不相同,每个参与者以针对其角色所对应的观点进行讨论并试图达成所有参与者之间的合议为该多人交互过程的目的。
当然,多人交互过程包括但不限于上述四种典型示例,本发明技术方案中所述的自动引导系统应当适用于具有引导角色/主持角色/解说角色以及其他适合的参与角色的多人交互过程,在此不再赘述。
本发明的较佳的实施例中,于所述多人交互过程中预先限定多个参与角色,多个所述参与角色中包括一个引导类角色,多个处于同一物理空间内的参与者采用预定的交互流程,以不同的所述参与角色实现面对面的所述多人交互过程;
则如图1中所示,上述自动引导系统中包括一同处于物理空间内的智能引导设备A,智能引导设备A中预设有交互流程,交互流程由多个依序执行且相互关联的执行节点构成,智能引导设备A于多人交互过程中充当上述引导类角色;
智能引导设备A通过一拾音装置A1采集得到参与者与智能引导设备A进行交互时的输入语音;
智能引导设备A中包括:
语义识别单元A2,连接拾音装置A1,用于识别输入语音并转换成对应的输入文字;
语义转换单元A3,连接语义识别单元A2,用于根据输入文字处理得到对应的输入指令;
处理单元A4,连接语义转换单元A3,处理单元A4根据输入指令执行当前的执行节点,并输出执行执行节点后得到的执行状态;
处理单元A4同时根据执行状态转至相关联的下一个执行节点,以等待下一个输入指令;
语音转换单元A5,连接处理单元A4,用于将执行状态转换成对应的输出语音,输出语音通过智能设备A的一音频输出装置A6输出,并被参与者获知。
具体地,本实施例中,上述多人交互过程中,设定多个参与角色,并且可以限定参与者的最大人数。多个参与角色中存在有一个引导类角色,例如狼人杀类型游戏中的“法官”角色,或者辩论类型的交互过程中的“主持人”角色。则上述智能设备A即用于在多人交互过程中充当该引导类角色。每个参与者分别充当各自的参与角色,连同智能设备充当的引导类角色一起以预定的交互流程完成整个多人交互过程。
本实施例中,在多人交互过程中,参与者之间可以相互进行交互,也可以与智能引导设备进行交互。具体地,在自由交互的交互环节中,参与者之间可以相互进行交互,而当需要进入到下一个交互环节中时,参与者需要与智能引导设备进行交互,以指示智能引导设备推动整个多人交互过程至下一个交互环节。
本实施例中,智能引导设备只采集参与者与智能引导设备之间进行交互时产生的输入语音。具体地,参与者与参与者之间进行交互时,其交互内容通常只是发生在进行讨论,在参与者之间的交互结束之后才会得出一个统一的交互结果,随后参与者会和智能引导设备进行交互,并将该交互结果告知智能引导设备,以促使智能引导设备推动整个交互流程,因此智能引导设备只需要获取参与者与智能引导设备之间进行交互时产生的输入语音即可。进一步地,参与者的输入语音可以为在正常的多人交互过程中发出的正常语序和语义的说话语句,智能引导设备可以根据该正常的说话语句进行转换形成相应的输入指令(在下文中详述)。
本实施例中,智能引导设备获取参与者的输入语音后,上述语义识别单元A2用于将上述输入语音转换成对应的输入文字(即文字类型的语句),该语义识别单元A2可以采用自动语音识别(Automatic Speech Recognition,ASR)技术对输入语音进行识别,ASR技术可以将人的语音录入及其中并且转化成文字内容,以待下一步处理。
本实施例中,上述语义转换单元A3获取语义识别单元A2输出的输入文字,并将其转换成智能引导设备可以识别并操作的操作信息,该操作信息即上文中所述的输入指令。具体地,上述语义转换单元A3可以采用自然语言处理(Natural Language Processing,NLP)技术对输入文字进行处理,NLP技术能够将用户的语言、文字、命令转化为可操作的信息,从而能够提供给智能引导设备对多人交互过程中的交互流程进行定性。
本实施例中,上述处理单元A4用于根据语义转换单元A3输出的输入指令以及当前的执行节点做出判断,从而得到执行节点后续的执行状态并输出。同时处理单元A4根据该执行状态转向与该执行状态相关联的下一个执行节点并等待下一个输入指令。
例如,在狼人杀的游戏中,处理单元A4当前执行的执行节点为:判断游戏人数是否满足8人的要求:
1)当参与者与智能引导设备的交互过程中的输入语音所表示的意思为“此时游戏人数未达到8人”时,处理单元A4根据相对应的输入指令将当前的执行节点的执行状态更改为“尚未准备好进入游戏”,同时处理单元A4根据该执行状态重新返回到当前的执行节点“判断游戏人数是否满足8人的要求”;
2)当参与者与智能引导设备的交互过程中的输入语音所表示的意思为“此时游戏人数已达到8人”时,处理单元A4根据相对应的输入指令将当前的执行节点的执行状态更改为“已经准备好进入游戏”,同时处理单元A4根据该执行状态转向下一个执行节点“判断各位参与者是否抽好角色牌”。
又例如,在多人辩论的场景中,处理单元A4当前执行的执行节点为:判断正方辩手发言是否结束:
1)当参与者与智能引导设备的交互过程中的输入语音所表示的意思为“此时正方辩手发言尚未结束”或者智能引导设备尚未接收到相关的输入语音,此时处理单元A4维持当前执行节点的执行状态为“正方辩手发言尚未结束”,并同时维持在当前的执行节点中。
2)当参与者与智能引导设备的交互过程中的输入语音所表示的意思为“此时正方辩手发言已经结束”,此时处理单元A4将当前执行节点的执行状态更改为“正方辩手发言已经结束”,并且根据该执行状态转向下一个执行节点“判断反方辩手发言是否结束”。
本实施例中,在处理单元A4中,每个执行状态应当分别对应一组输出文字,该组输出文字可以为一句提示性的语句,也可以为一整段用于阐述规则的语段,具体视执行状态的不同而定。例如,上文中所述的执行状态“尚未准备好进入游戏”所对应的输出文字可以为“请以至少8位玩家开始游戏”。又例如,上文中所述的执行状态“正方辩手发言已经结束”所对应的输出文字可以为“接下来有请反方辩手发表观点”。
则本实施例中,上述语音转换单元A5针对执行状态转换形成的输出语音,其依据就是上述执行状态所对应的输出文字。换言之,语音转换单元A5可以采用从文本到语音(Text To Speech,TTS)的语音转换技术将与处理单元A4输出的执行状态相关的输出文字转换成输出语音,并通过智能引导设备的音频输出装置A6输出。此时参与者通过音频输出装置A6获知当前交互流程的进度,并根据该进度进行下一步的交互。
综上,本发明技术方案中,于多人交互过程中,采用一智能引导设备充当引导类的角色,并根据ASR语音输入技术、NLP语音信息处理技术等技术将参与者的输入语音转换成可供设备操作的输入指令,并根据输入指令确认此时交互流程处于哪个执行节点的哪个执行状态上。智能引导设备根据判断出的执行状态向参与者进行反馈,以指引参与者继续推进交互流程,从而实现在多人交互过程中的引导作用。
本发明的较佳的实施例中,每个参与者在进行多人交互过程之前,预先向智能引导设备A中输入参与者的声纹信息以及参与者对应的参与角色;
则仍然如图1中所示,智能引导设备A还远程连接一云端存储系统B;
智能引导设备A中还包括:
语音识别单元A7,连接拾音装置A1,用于根据输入语音的声纹信息区分当前与智能引导设备A进行交互的参与者所对应的参与角色,并输出相应的区分结果;
角色标注单元A8,分别连接语音识别单元A7、语义识别单元A2和处理单元A4,角色标注单元A8用于根据区分结果对输入文字和对应的执行状态进行标注;
发送单元A9,连接角色标注单元A8,用于将经过标注的输入文字和对应的执行状态整合成交互数据并发送至云端存储系统B保存。
本实施例中,上述智能引导设备A还远程连接一云端存储系统B,并将多人交互过程中产生的一些交互数据发送至云盾存储系统B中保存,以供参与者在交互结束后对交互过程进行复盘使用。
具体地,本实施例中,参与者与智能引导设备A之间进行交互的过程中,智能引导设备A的拾音装置A1采集到输入语音,此时上述语音识别单元A7通过声纹识别技术对参与者的输入语音进行一一区分。声纹识别技术所依据的每个参与者的声纹信息来自多人交互过程之前每个参与者预先录入的声纹信息,在预先录入声纹信息的同时可以录入每个参与者的参与角色信息。上述预先录入的过程例如:
参与者被分配好参与角色之后,每个参与者分别预先与智能引导设备进行交互,交互过程可以由智能引导设备进行引导,并以下述方式进行引导:智能引导设备A首先通过其音频输出装置A6依次输出每个参与角色的名称,当输出某一个参与角色的名称时,该参与角色所对应的参与者就可以与智能引导设备A进行对应的交互(例如以答应的形式回应智能引导设备A),在交互过程中,智能引导设备A就可以记录该参与者的声纹信息,并将该声纹信息与对应的参与角色关联起来。随后在正式的多人交互过程中,智能引导设备A就可以根据之前预先保存的声纹信息对每个与其进行交互的参与者进行声纹识别,以对每个参与者进行区分,并根据区分结果将每个参与者分别关联至对应的参与角色。
本实施例中,经过声纹识别后,上述角色标注单元A8可以根据声纹识别的区分结果,将不同参与者的参与角色标注到输入文字和对应的执行状态上。具体地,例如某个参与者预先设定的参与角色为“凶手”,则根据声纹识别将当前的参与者辨认出为“凶手”,此时角色标注单元A8在当前的输入文字上标注其为参与角色为“凶手”的参与者所进行的交互内容,以及在该输入文字所导致的执行状态(例如“杀死参与角色XX”)上也进行“凶手”的标注,以表示该执行状态是由参与角色为“凶手”的参与者所导致的。
本实施例中,经过标注之后,上述输入文字以及对应的执行状态被打包形成交互数据,并由发送单元A9发送至远程的云端存储系统B中。进一步地,在远程的云端存储系统B中对交互数据采用先进先存的方式依序存储,以便在参与者调用存储记录时能够按照正确的时间轴还原多人交互过程中的所有交互内容。
本发明的较佳的实施例中,仍然如图1中所示,上述云端存储系统B还分别连接每个参与者的用户终端C;
于多人交互过程结束后,云端存储系统B将保存的交互数据分别反馈至每个用户终端C,以供参与者对多人交互过程进行复盘。
具体地,本实施例中,由于多人交互过程在同一个物理空间内以面对面的形式实现,因此在多人交互过程中并不需要用到用户终端C。则在本申请中,用户终端C仅起到在多人交互过程结束后提供给参与者向云端存储系统B请求复盘并接收云端存储系统B发送的交互数据的相关作用。
本发明的较佳的实施例中,智能引导设备A还远程连接设置于物理空间内的各智能家居(图中未示出);
则仍然如图1中所示,上述智能引导设备A中还包括:
环境控制单元A10,连接处理单元A4,环境控制单元A10内针对不同的执行状态分别预设有对应的家居控制方案,环境控制单元A10用于根据处理单元A4输出的当前的执行状态调用对应的家居控制方案,以对各智能家居进行控制。
具体地,本实施例中,智能引导设备A可以根据处理单元A4当前的执行状态,调取对应的家居控制方案,来对不同的智能家居进行不同的控制,从而展现与当前执行状态相对应的外部环境,使得参与者有身临其境的感受,提升参与者的参与体验。
依然以“狼人杀”为例:
若当前的执行状态为参与角色为“凶手”的参与者“杀死”某位参与者,则环境控制单元A10根据当前的执行状态调用对应的家居控制方案,以通过控制智能家居来展现一种比较低沉的外部环境(例如调低环境灯光,以及控制音响设备发出比较低沉的声响等);
若当前的执行状态为参与角色为“凶手”的参与者最终被其他参与者投票选出,则环境控制单元A10根据当前的执行状态调用对应的家居控制方案,以通过控制智能家居来展现一种比较明亮的外部环境(例如调高环境光亮,以及控制音响设备发出比较欢快的音乐等)。
本发明的较佳的实施例中,上述智能引导设备可以为为智能音箱设备。具体地,可以在智能音箱设备中内置拾音装置(例如麦克风阵列)来采集参与者的输入语音,并且采用智能音箱设备内部的处理芯片来做声纹识别、语义识别、语义转换以及语音转换等处理,将最终的处理结果通过智能音箱设备的音频输出装置(例如音箱喇叭)输出,并被参与者所获知。
本发明的较佳的实施例中,每个交互流程具有至少一套交互规则,每套交互规则分别对应于参与者的一个预设数量;
则仍然如图1中所示,上述智能设备A中还包括:
配置单元A11,分别连接语音转换单元A5和处理单元A4,配置单元A11根据当前的多人交互过程中的参与者的数量随机选择对应的一个交互规则,并根据交互规则对交互流程进行调整;
处理单元A4用于根据经过调整的交互流程执行每个执行节点;
语音转换单元A5用于将配置单元选择的交互规则转换成对应的输出语音并通过音频输出装置输出,并被参与者获知。
具体地,本实施例中,在一个固定类型的多人交互过程中,不同数量的参与者所对应的交互流程应当有些微的不同。并且,为了参与者的参与体验着想,相同数量的参与者在多次同一类型的多人交互过程中的交互流程应当也有所不同。具体可以从每个参与角色在交互流程中的顺序的微调,以及不同参与角色的角色任务或者角色目的的微调来实现。上述微调可以通过多个交互规则进行。因此,对应于一个交互流程应当具有至少一个交互规则,交互流程可以根据不同的交互规则来进行调整。
上述配置单元A11中首先针对每个交互流程预先设置至少一个交互规则,并且根据每次多人交互过程中的参与者的参与人数来随机挑选不同的交互规则。
上述处理单元A4需要根据被选择的交互规则来对交互流程进行调整。
上述语音转换单元A5同时需要将交互规则以输出语音的方式通过音频输出装置输出,以被参与者获知。因此每个参与者在每次多人交互过程之前都有了解本次交互过程所采用的交互规则的机会,从而调整自己在本次交互过程中的行动计划。
具体地,在一个多人互动游戏中,针对参与者为4人和参与者为5人的不同情况,其交互流程中包括的参与角色是不同的,因此导致交互流程也互不相同。并且,在同样参与者为4人的情况下,可以通过微调每个参与者的出场顺序来形成不同的交互流程,从而给参与者带来新鲜的参与体验。
本发明的一个较佳的实施例中,将本申请技术方案中的自动引导系统应用到“狼人杀”游戏中,其具体的多人交互过程可以如下文中所述:
首先是游戏准备阶段。智能引导设备向参与者播放一些预置的欢迎提示,例如“欢迎来到狼人杀,请问各位需要几个人的玩家配置?”。此时智能引导设备等待参与者的输入语音来确定该执行节点的执行状态:若输入语音所表示的人数超过了狼人杀游戏的人数限制,则对应的执行状态为人数不符合要求,并且反馈给参与者“人数超限制,请重新选择”或类似的语音提示;若输入语音所表示的人数未超过狼人杀游戏的人数限制,则对应的执行状态为人数符合要求,此时智能引导设备根据当前的人数设置配置相应的交互规则,并将交互规则通过语音输出以让参与者获知,例如本局配置中的人数、参与角色的类型以及每类参与角色的具体数量,并同时请参与者准备好该交互规则所对应的角色卡牌。在这个过程中,智能引导设备可以根据参与者的输入语音表示的询问问题给出相应的反馈,例如根据参与者询问的具体参与角色的技能给出相应的反馈,根据参与者询问的具体参与角色的获胜条件给出相应的反馈,以及根据参与者询问的具体参与角色的游戏技巧给出相应的反馈等。最终智能引导设备等待参与者表示已经准备好时开始游戏并进入下一阶段。
随后是游戏开始阶段。智能引导设备通过播放提示语音的方式指示参与者按照预定的顺序抽取角色牌并进行摆放。智能引导设备根据参与者的已经准备好进行游戏的反馈进入下一阶段。
最后是游戏进行阶段。智能引导设备根据参与者一步步的反馈,按照已经配置好的交互流程依序执行不同的执行节点,以不断推进整个游戏的进程,直到实现某一个或者某几个参与者的游戏胜利条件并结束游戏为止。
在进行游戏的过程中,智能引导设备会将形成的各种游戏数据(包括参与角色的各个输入语音,以及根据输入语音形成的各执行节点的执行状态等)上传至云端存储系统保存。在结束游戏之后,参与者可以通过各自的用户终端向云端存储系统获取上局游戏中的游戏数据,并可以根据游戏数据进行复盘。
本发明的较佳的实施例中,还提供一种智能音箱设备,该智能音箱设备可以作为上文中所述的智能引导设备使用。
以上所述仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (10)

1.一种基于多人交互过程的自动引导系统,于所述多人交互过程中预先限定多个参与角色,多个所述参与角色中包括一个引导类角色,多个处于同一物理空间内的参与者采用预定的交互流程,以不同的所述参与角色实现面对面的所述多人交互过程;其特征在于,包括一同处于所述物理空间内的智能引导设备,所述智能引导设备中预设有所述交互流程,所述交互流程由多个依序执行且相互关联的执行节点构成,所述智能引导设备于所述多人交互过程中充当所述引导类角色;
所述智能引导设备通过一拾音装置采集得到所述参与者与所述智能引导设备进行交互时的输入语音;
所述智能引导设备中包括:
语义识别单元,连接所述拾音装置,用于识别所述输入语音并转换成对应的输入文字;
语义转换单元,连接所述语义识别单元,用于根据所述输入文字处理得到对应的输入指令;
处理单元,连接所述语义转换单元,所述处理单元根据所述输入指令执行当前的所述执行节点,并输出执行所述执行节点后得到的执行状态;
所述处理单元同时根据所述执行状态转至相关联的下一个所述执行节点,以等待下一个所述输入指令;
语音转换单元,连接所述处理单元,用于将所述执行状态转换成对应的输出语音,所述输出语音通过所述智能设备的一音频输出装置输出,并被所述参与者获知。
2.如权利要求1所述的自动引导系统,其特征在于,所述语义识别单元采用ASR语音输入技术将所述输入语音转换成对应的所述输入文字。
3.如权利要求1所述的自动引导系统,其特征在于,所述语义转换单元采用NLP语音信息处理技术根据所述输入文字处理得到所述输入指令。
4.如权利要求1所述的自动引导系统,其特征在于,所述语音转换单元采用TTS语音转换技术将所述执行状态转换成所述输出语音。
5.如权利要求1所述的自动引导系统,其特征在于,每个所述参与者在进行所述多人交互过程之前,预先向所述智能引导设备中输入所述参与者的声纹信息以及所述参与者对应的所述参与角色;
所述智能引导设备还远程连接一云端存储系统;
所述智能引导设备中还包括:
语音识别单元,连接所述拾音装置,用于根据所述输入语音的声纹信息区分当前与所述智能引导设备进行交互的所述参与者所对应的所述参与角色,并输出相应的区分结果;
角色标注单元,分别连接所述语音识别单元、所述语义识别单元和所述处理单元,所述角色标注单元用于根据所述区分结果对所述输入文字和对应的所述执行状态进行标注;
发送单元,连接所述角色标注单元,用于将经过标注的所述输入文字和对应的所述执行状态整合成交互数据并发送至所述云端存储系统保存。
6.如权利要求5所述的自动引导系统,其特征在于,所述云端存储系统还分别连接每个所述参与者的用户终端;
于所述多人交互过程结束后,所述云端存储系统将保存的所述交互数据分别反馈至每个所述用户终端,以供所述参与者对所述多人交互过程进行复盘。
7.如权利要求1所述的自动引导系统,其特征在于,所述智能引导设备还远程连接设置于所述物理空间内的各智能家居;
所述智能引导设备中还包括:
环境控制单元,连接所述处理单元,所述环境控制单元内针对不同的所述执行状态分别预设有对应的家居控制方案,所述环境控制单元用于根据所述处理单元输出的当前的所述执行状态调用对应的所述家居控制方案,以对各所述智能家居进行控制。
8.如权利要求1所述的自动引导系统,其特征在于,所述智能引导设备为智能音箱设备。
9.如权利要求1所述的自动引导系统,其特征在于,每个所述交互流程具有至少一套交互规则,每套所述交互规则分别对应于所述参与者的一个预设数量;
所述智能设备中还包括:
配置单元,分别连接所述语音转换单元和所述处理单元,所述配置单元根据当前的所述多人交互过程中的所述参与者的数量随机选择对应的一个所述交互规则,并根据所述交互规则对所述交互流程进行调整;
所述处理单元用于根据经过调整的所述交互流程执行每个所述执行节点;
所述语音转换单元用于将所述配置单元选择的所述交互规则转换成对应的所述输出语音并通过所述音频输出装置输出,并被所述参与者获知。
10.一种智能音箱设备,其特征在于,所述智能音箱设备作为如权利要求1-9中任意一项所述的自动引导系统中的所述智能引导设备。
CN201711376835.7A 2017-12-19 2017-12-19 一种基于多人交互过程的自动引导系统及智能音箱设备 Active CN108159687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711376835.7A CN108159687B (zh) 2017-12-19 2017-12-19 一种基于多人交互过程的自动引导系统及智能音箱设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711376835.7A CN108159687B (zh) 2017-12-19 2017-12-19 一种基于多人交互过程的自动引导系统及智能音箱设备

Publications (2)

Publication Number Publication Date
CN108159687A true CN108159687A (zh) 2018-06-15
CN108159687B CN108159687B (zh) 2021-06-04

Family

ID=62522986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711376835.7A Active CN108159687B (zh) 2017-12-19 2017-12-19 一种基于多人交互过程的自动引导系统及智能音箱设备

Country Status (1)

Country Link
CN (1) CN108159687B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087638A (zh) * 2018-07-25 2018-12-25 珠海格力电器股份有限公司 信息的发送方法及装置、家电设备、存储介质、电子装置
CN110211585A (zh) * 2019-06-05 2019-09-06 广州小鹏汽车科技有限公司 车内娱乐互动方法、装置、车辆和机器可读介质
WO2020062861A1 (zh) * 2018-09-28 2020-04-02 深圳市冠旭电子股份有限公司 一种蓝牙音箱语音播放控制的方法及装置
CN111324409A (zh) * 2020-02-14 2020-06-23 腾讯科技(深圳)有限公司 基于人工智能的互动方法和相关装置
CN111723176A (zh) * 2019-03-18 2020-09-29 西门子股份公司 一种用于生成合成交互的语义描述的方法
CN112350834A (zh) * 2020-09-28 2021-02-09 深圳市奋达科技股份有限公司 一种ai语音带屏会议系统及方法
CN113823261A (zh) * 2021-10-28 2021-12-21 广州宏途教育网络科技有限公司 一种基于语音交互的学习互动系统及方法
CN114653054A (zh) * 2022-05-23 2022-06-24 科大讯飞(苏州)科技有限公司 游戏引导设备及相关方法和计算机可读存储介质
US11804222B2 (en) 2018-07-19 2023-10-31 Black & Decker Inc. System and method for controlling jobsite products

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法
CN104091084A (zh) * 2014-07-18 2014-10-08 张茂好 一种认知功能训练系统
US20170132312A1 (en) * 2015-11-10 2017-05-11 International Business Machines Corporation User interface for streaming spoken query
CN206711600U (zh) * 2017-02-24 2017-12-05 广州幻境科技有限公司 基于虚拟现实环境的具有情感功能的语音交互系统
CN107437415A (zh) * 2017-08-09 2017-12-05 科大讯飞股份有限公司 一种智能语音交互方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法
CN104091084A (zh) * 2014-07-18 2014-10-08 张茂好 一种认知功能训练系统
US20170132312A1 (en) * 2015-11-10 2017-05-11 International Business Machines Corporation User interface for streaming spoken query
CN206711600U (zh) * 2017-02-24 2017-12-05 广州幻境科技有限公司 基于虚拟现实环境的具有情感功能的语音交互系统
CN107437415A (zh) * 2017-08-09 2017-12-05 科大讯飞股份有限公司 一种智能语音交互方法及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11804222B2 (en) 2018-07-19 2023-10-31 Black & Decker Inc. System and method for controlling jobsite products
CN109087638A (zh) * 2018-07-25 2018-12-25 珠海格力电器股份有限公司 信息的发送方法及装置、家电设备、存储介质、电子装置
WO2020019623A1 (zh) * 2018-07-25 2020-01-30 珠海格力电器股份有限公司 信息的发送方法及装置、家电设备、存储介质、电子装置
WO2020062861A1 (zh) * 2018-09-28 2020-04-02 深圳市冠旭电子股份有限公司 一种蓝牙音箱语音播放控制的方法及装置
CN111723176B (zh) * 2019-03-18 2023-11-07 西门子股份公司 一种用于生成合成交互的语义描述的方法
CN111723176A (zh) * 2019-03-18 2020-09-29 西门子股份公司 一种用于生成合成交互的语义描述的方法
CN110211585A (zh) * 2019-06-05 2019-09-06 广州小鹏汽车科技有限公司 车内娱乐互动方法、装置、车辆和机器可读介质
CN111324409B (zh) * 2020-02-14 2023-03-10 腾讯科技(深圳)有限公司 基于人工智能的互动方法和相关装置
CN111324409A (zh) * 2020-02-14 2020-06-23 腾讯科技(深圳)有限公司 基于人工智能的互动方法和相关装置
CN112350834B (zh) * 2020-09-28 2023-04-07 深圳市奋达科技股份有限公司 一种ai语音带屏会议系统及方法
CN112350834A (zh) * 2020-09-28 2021-02-09 深圳市奋达科技股份有限公司 一种ai语音带屏会议系统及方法
CN113823261A (zh) * 2021-10-28 2021-12-21 广州宏途教育网络科技有限公司 一种基于语音交互的学习互动系统及方法
CN114653054A (zh) * 2022-05-23 2022-06-24 科大讯飞(苏州)科技有限公司 游戏引导设备及相关方法和计算机可读存储介质

Also Published As

Publication number Publication date
CN108159687B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN108159687A (zh) 一种基于多人交互过程的自动引导系统及智能音箱设备
US7542553B2 (en) Interactive voice communications network entertainment
US7785197B2 (en) Voice-to-text chat conversion for remote video game play
CN109395376A (zh) 基于游戏直播的交互方法、装置和系统
CN109981910A (zh) 业务推荐方法及设备
CN108681390A (zh) 信息交互方法和装置、存储介质及电子装置
CN103611294B (zh) 一种棋牌类游戏语音控制装置及其控制方法
CN110223697A (zh) 人机对话方法及系统
CN116009748B (zh) 儿童互动故事中图片信息交互方法及装置
CN109065051A (zh) 一种语音识别处理方法及装置
CN110265013A (zh) 语音的识别方法及装置、计算机设备、存储介质
US8696455B2 (en) Communication methods and apparatus for online games
CN105677896B (zh) 基于主动学习的交互方法及交互系统
CN109286822A (zh) 基于直播视频识别的互动方法、装置、设备及存储介质
CN107040452A (zh) 一种信息处理方法、装置和计算机可读存储介质
CN110287299A (zh) 一种通话中多话术语句智能切换方法
WO2023034471A1 (en) Audio mixing and equalization and detection of audio events in gaming systems
JP2011115472A (ja) ゲームシステム、返信メッセージ送信装置、ゲームシステムの制御方法、及びプログラム
JP2007252912A (ja) オンラインゲームシステム
KR20160149488A (ko) 대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법
Dale Voice assistance in 2019
CN110177041A (zh) 语音信息的发送方法及装置、存储介质、电子装置
CN108404410A (zh) 对象的控制方法和装置、存储介质、电子装置
CN107145230A (zh) 一种基于面部与语音识别的游戏控制系统及方法
KR20050012015A (ko) 음성채팅 및 음성제어가 가능한 아케이드 게임 시스템 및그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant