CN112405546A - 一种融合式人机交互方法 - Google Patents
一种融合式人机交互方法 Download PDFInfo
- Publication number
- CN112405546A CN112405546A CN202011358979.1A CN202011358979A CN112405546A CN 112405546 A CN112405546 A CN 112405546A CN 202011358979 A CN202011358979 A CN 202011358979A CN 112405546 A CN112405546 A CN 112405546A
- Authority
- CN
- China
- Prior art keywords
- voice
- command
- interaction
- pinyin string
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Document Processing Apparatus (AREA)
Abstract
一种融合式人机交互方法，该交互方法融合了触摸式交互和语音式交互的方法，从人工智能的角度实现了人对机器的控制，包括以下步骤：首先对状态模块初始化；然后对使用者下达的命令进行语音采集；系统对命令分析；将获取的命令资源释放，操作结束；对需要执行的命令进行语音播放并文字提示；使用者按照语音播放和文字提示进行选择是否要执行命令。本发明通过将语音式交互和触摸式交互相融合，结合了两者的优点，机器显示屏将同步当前的状态下执行操作，可以用文字的形式或语音输入的方式进行操作，具有操作便利和简单直观的优点，又解决了操作者的意图在机器中间操作不清的问题，使得人与机器的交互更加准确。
Description
技术领域
本发明涉及人机交互智技术，具体涉及一种人机交互方法。
背景技术
随着人工智能技术的发展，使用机器模拟人与使用者交互的应用越来越广泛，分为语音式交互和触摸式交互；现有的语音式交互的形式一般为纯语音模式和问答模式，语音交互机器人主要采用在知识库中预设问题及相应的答案，系统获取到使用者的语音信息后，通过相应的算法转写为文本，将文本信息送入后台系统，到知识库中寻找对应的答案返回给客户，提高服务效率，降低运营成本。
在实际使用中，由于采用关键词、正则表达式、深度学习模型等单一算法，计算出来的结果，答案不够精准，导致回复错误，效果不佳；由于预设定的答案一般为单一结果，对于使用者多问题多意图等信息的解答效果不佳；由于预设的问题及对应的答案单一，设计的流程没有轮询及上下文及历史数据关联机制，导致与使用者交流过程中机械痕迹明显，交互不流畅，体验不佳。例如中国专利申请 CN111653262A公开了一种智能语音交互系统及方法，根据设定规则调度多种算法模型计算并综合计算结果得出最优解，以解决单一算法模型的盲点计算的局限性，达到互补的效果，但是使用者对于系统支持的命令以及交互过程中的有限能力不清楚，有时在机器人识别不了，使用者不知道如何提出关键字来控制机器人。
现有的触摸式交互，即在屏幕上罗列功能，使用触摸的操作方法进行控制，以ARM芯片和FPGA芯片为基础嵌入模块化的控制软件，通过在显示屏上对按键触摸对机器人进行控制，例如中国专利申请 CN111421555A公开了一种高精度机器人的多轴同步控制方法，通过触摸屏和ARM控制器的数据传输实现人机交互；例如中国专利申请 CN111881261A公开了一种物联网多点应答互动智能机器人系统，其中人机显示交互模块是采用HMI智能串口触摸屏实现人机交互，触摸交互方式虽然简洁直观，但没有语音式交互便利，没有语音式交互的自然。
发明内容
本发明的目的提供一种融合式人机交互方法，通过将语音式交互和触摸式交互融合，保留了语音式交互和触摸式交互的优点，两者的缺点也互相弥补，解决了现有技术中人机交互的缺点。
为了实现上述目的，本发明提供一下技术方案：
一种融合式人机交互方法，该交互方法融合了触摸式交互和语音式交互的方法，从人工智能的角度实现了人对机器的控制，该方法具体包括以下步骤：
(1)对状态模块初始化；
(2)对使用者下达的命令进行语音采集；
(3)系统对命令分析；
(4)将获取的命令资源释放，操作结束；
(5)对需要执行的命令进行语音播放并文字提示；
(6)使用者按照语音播放和文字提示进行选择是否要执行命令。
进一步的，所述状态模块包括语音采集模块，命令分析模块、语音播放和文字模块，在一些优选方案中文字模块包括文字，在语音播放的同时以文字的形式出现，让用户在听到播报的同时可以触摸按键进行操作。
进一步的，所述的初始化是指所有状态模块都处于待运行状态，没有实际操作。
进一步的，步骤(2)所述语音采集包括语音输入部分、语音处理部分和语音输出部分；所述语音输入部分是将使用者的语音转化为可供软件识别的关键词拼音串；所述语音处理部分是将接收到的信息通过数据库处理运算查询匹配到相应的输出信息；所述语音输出部分是将所述输出信息转化为相应的语音和文字进行输出。
进一步的，所述语音输入的数据X，将使用者的语音输入数据X 转化为可供软件识别的关键词拼音串X(x1，x2，x3……)，数据库数据Y，通过数据库的运算是否在数据Y中得查到相应的关键词拼音串X(x1，x2，x3……)，输出与关键词拼音串X(x1，x2，x3……)相匹配的数据库里拼音串Y(y1，y2，y3……)。
进一步的，步骤(3)中命令分析是对步骤(2)中语音采集的输出的信息和输入的信息进行比对，计算语音输入数据X转化为可供软件识别的关键词拼音串X(x1，x2，x3……)与数据库拼音串Y(y1， y2，y3……)之间的语意相似度，判断两者是否存在关联。
进一步的，语音输入数据X转化为可供软件识别的关键词拼音串X(x1，x2，x3……)与数据库拼音串Y(y1，y2，y3……)之间的语意相似度高，则进入步骤(5)，语音输入数据X转化为可供软件识别的关键词拼音串X(x1，x2，x3……)与数据库拼音串Y(y1，y2， y3……)之间的语意相似度低，则进入步骤(4)。
进一步的，步骤(4)中资源释放即为不需要此条命令的输出，整条命令执行结束。
进一步的，步骤(6)中，所述文字选择是，则执行命令；所述文字选择否，则返回步骤(2)。
作为本发明的发明内容之一，本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器在执行所述计算机程序时能够实现上述的融合式交互的方法。
作为本发明的发明内容之一，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述的融合式交互的方法。
本发明具有以下有益效果：本发明通过将语音式交互和触摸式交互相融合，结合了两者的优点，机器显示屏将同步当前的状态下执行操作，可以用文字的形式或语音输入的方式进行操作，具有操作便利和简单直观的优点，又解决了操作者的意图在机器中间操作不清的问题，使得人与机器的交互更加准确。
附图说明
图1是本发明的流程图。
具体实施方式
以下结合附图对本发明的具体实施方式做详细描述，应当指出的是，实施例只是对本发明的具体阐述，不应视为对本发明的限定，实施例的目的是为了让本领域技术人员更好地理解和再现本发明的技术方案，本发明的保护范围仍应当以权利要求书所限定的范围为准。
下面结合具体的实施例对本发明进一步说明：一种融合式人机交互方法，该交互方法融合了触摸式交互和语音式交互的方法，从人工智能的角度实现了人对机器的控制，该方法具体包括以下步骤：
(1)对状态模块初始化；
(2)对使用者下达的命令进行语音采集；
(3)系统对命令分析；
(4)将获取的命令资源释放，操作结束；
(5)对需要执行的命令进行语音播放并文字按钮提示；
(6)使用者按照语音播放和文字按钮提示进行选择是否要执行命令。
进一步的，所述状态模块包括语音采集模块，命令分析模块、语音播放和文字按钮模块，在语音播放的同时以文字按钮的形式出现，让用户在听到播报的同时可以触摸按键进行操作。
进一步的，所述的初始化是指所有状态模块都处于待运行状态，没有实际操作。
进一步的，步骤(2)所述语音采集包括语音输入部分、语音处理部分和语音输出部分；所述语音输入部分是将使用者的语音转化为可供软件识别的关键词拼音串；所述语音处理部分是将接收到的信息通过数据库处理运算查询匹配到相应的输出信息；所述语音输出部分是将所述输出信息转化为相应的语音和文字进行输出。
进一步的，所述语音输入的数据X，将使用者的语音输入数据X 转化为可供软件识别的关键词拼音串X(x1，x2，x3……)，数据库数据Y，通过数据库的运算是否在数据Y中得查到相应的关键词拼音串X(x1，x2，x3……)，输出与关键词拼音串X(x1，x2，x3……)相匹配的数据库里拼音串Y(y1，y2，y3……)。
进一步的，步骤(3)中命令分析是对步骤(2)中语音采集的输出的信息和输入的信息进行比对，计算语音输入数据X转化为可供软件识别的关键词拼音串X(x1，x2，x3……)与数据库拼音串Y(y1， y2，y3……)之间的语意相似度，判断两者是否存在关联。
进一步的，语音输入数据X转化为可供软件识别的关键词拼音串X(x1，x2，x3……)与数据库拼音串Y(y1，y2，y3……)之间的语意相似度高，则进入步骤(5)，语音输入数据X转化为可供软件识别的关键词拼音串X(x1，x2，x3……)与数据库拼音串Y(y1，y2， y3……)之间的语意相似度低，则进入步骤(4)。
进一步的，步骤(4)中资源释放即为不需要此条命令的输出，整条命令执行结束。
进一步的，步骤(6)中，所述文字按钮选择是，则执行命令；所述文字按钮选择否，则返回步骤(2)。
Claims (10)
1.一种融合式人机交互方法，该交互方法融合了触摸式交互和语音式交互的方法，从人工智能的角度实现了人对机器的控制，其特征是，该方法具体包括以下步骤：
(1)对状态模块初始化；
(2)对使用者下达的命令进行语音采集；
(3)系统对命令分析；
(4)将获取的命令资源释放，操作结束；
(5)对需要执行的命令进行语音播放并文字提示；
(6)使用者按照语音播放和文字提示进行选择是否要执行命令。
2.根据权利要求1所述的一种融合式人机交互方法，其特征是，所述状态模块包括语音采集模块，命令分析模块、语音播放和文字模块。
3.根据权利要求1所述的一种融合式人机交互方法，其特征是，步骤(2)所述语音采集包括语音输入部分、语音处理部分和语音输出部分；所述语音输入部分是将使用者的语音转化为可供软件识别的关键词拼音串；所述语音处理部分是将接收到的信息通过数据库处理运算查询匹配到相应的输出信息；所述语音输出部分是将所述输出信息转化为相应的语音和文字进行输出。
4.根据权利要求3所述的一种融合式人机交互方法，其特征是，所述语音输入的数据X，将使用者的语音输入数据X转化为可供软件识别的关键词拼音串X(x1，x2，x3……)，数据库数据Y，通过数据库的运算是否在数据Y中得查到相应的关键词拼音串X(x1，x2，x3……)，输出与关键词拼音串X(x1，x2，x3……)相匹配的数据库里拼音串Y(y1，y2，y3……)。
5.根据权利要求4所述的一种融合式人机交互方法，其特征是，步骤(3)中命令分析是对步骤(2)中语音采集的输出的信息和输入的信息进行比对，计算语音输入数据X转化为可供软件识别的关键词拼音串X(x1，x2，x3……)与数据库拼音串Y(y1，y2，y3……)之间的语意相似度，判断两者是否存在关联。
6.根据权利要求5所述的一种融合式人机交互方法，其特征是，语音输入数据X转化为可供软件识别的关键词拼音串X(x1，x2，x3……)与数据库拼音串Y(y1，y2，y3……)之间的语意相似度高，则进入步骤(5)，语音输入数据X转化为可供软件识别的关键词拼音串X(x1，x2，x3……)与数据库拼音串Y(y1，y2，y3……)之间的语意相似度低，则进入步骤(4)。
7.根据权利要求1所述的一种融合式人机交互方法，其特征是，步骤(4)中资源释放即为不需要此条命令的输出，整条命令执行结束。
8.根据权利要求1所述的一种融合式人机交互方法，其特征是，步骤(6)中，所述文字选择是，则执行命令；所述文字选择否，则返回步骤(2)。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时能够实现权利要求1至9中任一项所述的融合式交互的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能够实现权利要求1至9中任一项所述的融合式交互的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011358979.1A CN112405546A (zh) | 2020-11-27 | 2020-11-27 | 一种融合式人机交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011358979.1A CN112405546A (zh) | 2020-11-27 | 2020-11-27 | 一种融合式人机交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112405546A true CN112405546A (zh) | 2021-02-26 |
Family
ID=74843354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011358979.1A Pending CN112405546A (zh) | 2020-11-27 | 2020-11-27 | 一种融合式人机交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112405546A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102148031A (zh) * | 2011-04-01 | 2011-08-10 | 无锡大核科技有限公司 | 语音识别与交互系统及方法 |
| CN103533516A (zh) * | 2012-07-02 | 2014-01-22 | 上海博泰悦臻电子设备制造有限公司 | 车载设备短信发送系统及其发送方法 |
| CN103944598A (zh) * | 2013-01-23 | 2014-07-23 | 深圳市亿思达显示科技有限公司 | 可视语音控制器、无线通讯系统及其通讯方法 |
| CN105577487A (zh) * | 2014-09-15 | 2016-05-11 | 丰唐物联技术（深圳）有限公司 | 一种智能家居设备的控制方法、信息处理装置 |
| CN110532286A (zh) * | 2019-08-12 | 2019-12-03 | 安徽云探索网络科技有限公司 | 一种商场智能导购指示及查询系统 |
| CN111881261A (zh) * | 2020-08-04 | 2020-11-03 | 胡瑞艇 | 一种物联网多点应答互动智能机器人系统 |
-
2020
- 2020-11-27 CN CN202011358979.1A patent/CN112405546A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102148031A (zh) * | 2011-04-01 | 2011-08-10 | 无锡大核科技有限公司 | 语音识别与交互系统及方法 |
| CN103533516A (zh) * | 2012-07-02 | 2014-01-22 | 上海博泰悦臻电子设备制造有限公司 | 车载设备短信发送系统及其发送方法 |
| CN103944598A (zh) * | 2013-01-23 | 2014-07-23 | 深圳市亿思达显示科技有限公司 | 可视语音控制器、无线通讯系统及其通讯方法 |
| CN105577487A (zh) * | 2014-09-15 | 2016-05-11 | 丰唐物联技术（深圳）有限公司 | 一种智能家居设备的控制方法、信息处理装置 |
| CN110532286A (zh) * | 2019-08-12 | 2019-12-03 | 安徽云探索网络科技有限公司 | 一种商场智能导购指示及查询系统 |
| CN111881261A (zh) * | 2020-08-04 | 2020-11-03 | 胡瑞艇 | 一种物联网多点应答互动智能机器人系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271498B (zh) | 面向虚拟机器人的自然语言交互方法及系统 | |
| CN104090652A (zh) | 一种语音输入方法和装置 | |
| CN105843381B (zh) | 用于实现多模态交互的数据处理方法及多模态交互系统 | |
| CN110598576B (zh) | 一种手语交互方法、装置及计算机介质 | |
| CN112868060B (zh) | 用户、自动化助理和其它计算服务之间的多模态交互 | |
| JP3363283B2 (ja) | 入力装置、入力方法、情報処理システムおよび入力情報の管理方法 | |
| WO2019046463A1 (en) | SYSTEM AND METHOD FOR THE DEFINITION OF DIALOGUE INTENTIONS AND THE CONSTRUCTION OF INTENTION RECOGNITION MODELS WITHOUT PRIOR KNOWLEDGE | |
| WO2021114479A1 (zh) | 一种声控建筑信息模型三维显示系统和方法 | |
| JP2006146881A (ja) | 会話用合理的エージェント、このエージェントを用いるインテリジェント会話システム、インテリジェント会話を制御する方法、及びそれを用いるプログラム | |
| KR20100067274A (ko) | 지능형 로봇 및 그 제어방법 | |
| KR20140000189A (ko) | 자연스러운 대화 인터페이스가 장착된 인간형 로봇, 이러한 로봇의 제어 방법 및 대응 프로그램 | |
| CN112527962A (zh) | 基于多模态融合的智能应答方法、装置、机器可读介质及设备 | |
| CN105354180A (zh) | 一种实现开放式语义交互服务的方法及系统 | |
| CN109448727A (zh) | 语音交互方法以及装置 | |
| CN111399629A (zh) | 一种终端设备的操作引导方法、终端设备及存储介质 | |
| CN106648054A (zh) | 一种基于RealSense的陪伴机器人的多模式交互方法 | |
| CN112329593A (zh) | 一种基于风格化的手势生成方法及生成系统 | |
| CN109375768A (zh) | 互动式引导方法、装置、设备和存储介质 | |
| CN112420053A (zh) | 智能交互式人机对话系统 | |
| CN112405546A (zh) | 一种融合式人机交互方法 | |
| CN116955568A (zh) | 基于使用手册的问答方法、装置、电子设备及存储介质 | |
| CN115167674A (zh) | 基于数字人多模态交互信息标准的智能交互方法 | |
| CN209625781U (zh) | 用于亲子教育的双语切换装置 | |
| CN115877997B (zh) | 一种面向交互元素的语音交互方法、系统及存储介质 | |
| Wang et al. | Research on voice interaction for augmented reality assisted maintenance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210226 |
|
| RJ01 | Rejection of invention patent application after publication |