CN111722779A - 人机交互方法、终端及计算机可读存储介质 - Google Patents

人机交互方法、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN111722779A
CN111722779A CN201910220841.6A CN201910220841A CN111722779A CN 111722779 A CN111722779 A CN 111722779A CN 201910220841 A CN201910220841 A CN 201910220841A CN 111722779 A CN111722779 A CN 111722779A
Authority
CN
China
Prior art keywords
data
acquiring
information
user
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910220841.6A
Other languages
English (en)
Inventor
朱健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pateo Network Technology Service Co Ltd
Original Assignee
Shanghai Pateo Network Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pateo Network Technology Service Co Ltd filed Critical Shanghai Pateo Network Technology Service Co Ltd
Priority to CN201910220841.6A priority Critical patent/CN111722779A/zh
Publication of CN111722779A publication Critical patent/CN111722779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明属于人工智能技术领域，涉及一种人机交互方法、终端及计算机可读存储介质，其中，人机交互方法包括：输出展示数据。获取用户针对展示数据的交互信息，以根据交互信息获取与展示数据关联的目标数据，交互信息包括体感动作和/或触摸手势。获取用户的语音数据，根据语音数据获取相对应的控制指令以对目标数据进行相应的操作。因此，本发明提供的人机交互方法通过获取交互信息和语音数据以实现对目标数据的获取及对目标数据进行相应的操作，故实现了多路径的人机交互方式，此外，通过交互信息和语音数据结合的这种多路径交互方式，能够实现扩展人机交互的操作的目的，从而使得人机交互操作更加自然、符合人们的生活习惯。

Description

人机交互方法、终端及计算机可读存储介质
技术领域
本发明涉及人工智能技术领域，特别是涉及人机交互方法、终端及计算机可读存储介质。
背景技术
人机交互技术(英文全称为：Human-Computer Interaction Techniques)是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话、互动的技术，它包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息及提示请示等。如今人机交互技术在手机、平板电脑、电视等领域得到了越来越多的应用。目前，人机交互的方式主要在于，机器为用户提供人机交互界面，用户和机器通过人机交互界面进行信息交互，例如，进行语音交互、体感交互、触控交互等等。
但是，在现有终端产品中通常只存在单路径的交互方式，例如仅为体感、语音或触控，然而，单路径的交互方式，其操作太单调、太局限，使用起来会感觉不太自然，不能满足人们与终端随心所欲的进行人机互动的需求。
针对以上问题，本领域技术人员一直在寻求解决方法。
前面的叙述在于提供一般的背景信息，并不一定构成现有技术。
发明内容
有鉴于此，本发明提供了一种人机交互方法、终端及计算机可读存储介质，目的在于提供一种多路径的人机交互的方式，扩展人机交互的操作，使得人机交互操作更加自然、符合人们的生活习惯。
本发明是这样实现的：
本发明提供了一种人机交互方法，该人机交互方法包括：输出展示数据。获取用户针对展示数据的交互信息，以根据交互信息获取与展示数据关联的目标数据，交互信息包括体感动作和/或触摸手势。获取用户的语音数据，根据语音数据获取相对应的控制指令以对目标数据进行相应的操作。
进一步地，在输出展示数据的步骤之后，包括：获取展示数据的展示类型，展示类型包括列表类、三维类、信息类和/或输入输出类。根据展示类型获取相应的可操作信息，可操作信息包括至少一条操作指令。
进一步地，获取用户针对展示数据的交互信息，以根据交互信息获取与展示数据关联的目标数据的步骤，包括：获取用户针对展示数据的交互信息。获取可操作信息中与交互信息对应的操作指令。根据与交互信息对应的操作指令获取目标数据。
进一步地，展示数据为通话数据，通话数据的展示类型为输入输出类，目标数据为通话数据中包括关键字的语句。在根据与交互信息对应的操作指令获取目标数据的步骤中，包括：根据与交互信息对应的操作指令记录部分的通话数据或全部的通话数据，并识别部分的通话数据或全部的通话数据中的关键字，以获取通话数据中包括关键字的语句，关键字包括电话、地址和/或日程。在获取用户的语音数据，根据语音数据获取相对应的控制指令以对目标数据进行相应的操作的步骤中，包括：获取用户的包括关键字的语音数据，根据包括关键字的语音数据获取相应的控制指令，以对通话数据中包括关键字的语句进行相应的操作，控制指令包括存储指令、导航指令和/或日程添加指令。
进一步地，展示数据为三维车辆数据，三维车辆数据的展示类型为三维类。在根据与交互信息对应的操作指令获取目标数据的步骤中，包括：根据与交互信息对应的操作指令获取与三维车辆数据关联的目标车辆数据，并以三维效果图的方式展示目标车辆数据。
进一步地，在输出展示数据的步骤中，包括：获取用户的语音指令，以输出与语音指令对应的展示数据。
进一步地，人机交互方法还包括：获取用户的生物特征信息。判断生物特征信息是否与预设的生物特征信息匹配。若生物特征信息与预设的生物特征信息匹配，则获取用户针对展示数据的交互信息和/或语音数据。若生物特征信息与预设的生物特征信息不匹配，则返回获取用户的生物特征信息的步骤。
进一步地，展示数据为包括至少一个兴趣点的地图数据。获取用户针对展示数据的交互信息，以根据交互信息获取与展示数据关联的目标数据的步骤，包括：获取用户针对地图数据的交互信息，以根据交互信息选定地图数据中的兴趣点，被选定的兴趣点包括地址信息。获取用户的语音数据，根据语音数据获取相对应的控制指令以对目标数据进行相应的操作的步骤，包括：获取用户的导航语音数据，根据导航语音数据获取相应的导航控制指令以根据地址信息规划导航路径。
本发明还提供一种终端，包括存储器和处理器。处理器用于执行存储器中存储的计算机程序以实现如上所描述的人机交互方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上所描述的人机交互方法的步骤。
本发明提供的人机交互方法、终端及计算机可读存储介质，其中，人机交互方法包括：输出展示数据。获取用户针对展示数据的交互信息，以根据交互信息获取与展示数据关联的目标数据，交互信息包括体感动作和/或触摸手势。获取用户的语音数据，根据语音数据获取相对应的控制指令以对目标数据进行相应的操作。因此，本发明提供的人机交互方法通过获取交互信息和语音数据以实现对目标数据的获取及对目标数据进行相应的操作，故实现了多路径的人机交互方式，此外，通过交互信息和语音数据结合的这种多路径交互方式，能够实现扩展人机交互的操作的目的，从而使得人机交互操作更加自然、符合人们的生活习惯。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
图1是本发明第一实施例提供的人机交互方法的流程示意图；
图2是本发明第二实施例提供的终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明实施例做进一步详述。
第一实施例：
图1是本发明第一实施例提供的人机交互方法的流程示意图。为了清楚的描述本发明第一实施例提供的人机交互方法，请参见图1。
本发明第一实施例提供的人机交互方法，包括如下步骤：
S11:输出展示数据。
在一实施方式中，该展示数据例如为语音数据、图像数据等数据。
在一实施方式中，在步骤S11:输出展示数据中，可以但不限于包括：获取用户的语音指令，以输出与语音指令对应的展示数据。在一实施方式中，语音指令可以是根据接收的用户的语音数据后获取的。例如，接收到用户说“帮我订明天早上的航班”的语音后，获取航班搜索语音指令，从而输出包括明天的航班选项的展示列表。
在一实施方式中，在输出展示数据的步骤之后，可以但不限于包括：获取展示数据的展示类型，展示类型包括列表类、三维类、信息类和/或输入输出类。根据展示类型获取相应的可操作信息，可操作信息包括至少一条操作指令。例如，三维类对应的可操作信息包括三维角度切换、三维图形分解等等；又例如列表类对应的可操作信息包括信息选定、翻页、信息滑动浏览等等。
在一实施方式中，展示数据包括但不限于包括列表类、三维类、信息类和/或输入输出类，例如还可以包括搜索类、信息类等等。
S12:获取用户针对展示数据的交互信息，以根据交互信息获取与展示数据关联的目标数据，交互信息包括体感动作和/或触摸手势。
在一实施方式中，交互信息包括但不限于包括体感动作、触摸手势等，例如还可以是眼球移动。
在一实施方式中，获取用户针对展示数据的交互信息，以根据交互信息获取与展示数据关联的目标数据的步骤，可以但不限于包括：获取用户针对展示数据的交互信息。获取可操作信息中与交互信息对应的操作指令。根据与交互信息对应的操作指令获取目标数据。例如，展示数据为电影院选座界面，交互装置采集到用户手指指向电影院选座界面中的可选座位时，获取针对该可选座位的选定指令以选定该可选座位。
在一实施方式中，展示数据为三维车辆数据，三维车辆数据的展示类型为三维类。在根据与交互信息对应的操作指令获取目标数据的步骤中，可以但不限于包括：根据与交互信息对应的操作指令获取与三维车辆数据关联的目标车辆数据，并以三维效果图的方式展示目标车辆数据。
S13:获取用户的语音数据，根据语音数据获取相对应的控制指令以对目标数据进行相应的操作。
在一实施方式中，展示数据为包括至少一个兴趣点的地图数据。获取用户针对展示数据的交互信息，以根据交互信息获取与展示数据关联的目标数据的步骤，可以但不限于包括：获取用户针对地图数据的交互信息，以根据交互信息选定地图数据中的兴趣点，被选定的兴趣点包括地址信息。获取用户的语音数据，根据语音数据获取相对应的控制指令以对目标数据进行相应的操作的步骤，可以但不限于包括：获取用户的导航语音数据，根据导航语音数据获取相应的导航控制指令以根据地址信息规划导航路径。其中，兴趣点例如为超市、商场、学校加油站等等。
在其他实施方式中，根据交互信息可以但不限于选定地图数据中的多个个兴趣点，且在获取到用户的导航语音数据时，可以根据多个兴趣点的地址信息及自身位置信息规划包括所有地址信息的行程最短的导航路径。
在一实施方式中，展示数据为通话数据，通话数据的展示类型为输入输出类，目标数据为通话数据中包括关键字的语句。在根据与交互信息对应的操作指令获取目标数据的步骤中，可以但不限于包括：根据与交互信息对应的操作指令记录部分的通话数据或全部的通话数据，并识别部分的通话数据或全部的通话数据中的关键字，以获取通话数据中包括关键字的语句，关键字包括电话、地址和/或日程。在获取用户的语音数据，根据语音数据获取相对应的控制指令以对目标数据进行相应的操作的步骤中，包括：获取用户的包括关键字的语音数据，根据包括关键字的语音数据获取相应的控制指令，以对通话数据中包括关键字的语句进行相应的操作，控制指令包括存储指令、导航指令和/或日程添加指令。其中，全部的通话数据可以是正在通话的双方或多方的通话语音数据。其中，部分的通话数据可以是正在通话的双方或多方中的其中一方的通话语音数据。例如，正在通话时，交互信息为手臂挥动，且手臂挥动对应的操作指令为记录指令，从而自动识别通话中出现的关键字(例如电话、地址、日程等)，进一步可以根据获取或接收到的语音指令去存储电话号码、针对该地址进行导航和/或将该日程添加到日程提醒表内。
在一实施方式中，本实施例提供的人机交互方法还包括：获取用户的生物特征信息。判断生物特征信息是否与预设的生物特征信息匹配。若生物特征信息与预设的生物特征信息匹配，则获取用户针对展示数据的交互信息和/或语音数据。若生物特征信息与预设的生物特征信息不匹配，则返回获取用户的生物特征信息的步骤。
在其他实施方式中，本实施例提供的人机交互方法包括但不限于先采集步骤S12中的交互数据再获取步骤S13中的语音数据，例如还可以为步骤S12中的交互信息和步骤S13中的语音数据可以同时采集，或还可以为先采集语音数据再采集交互信息。具体地，在获取到语音数据和交互信息时，根据所述语音数据获取对应的控制指令，并根据所述交互信息获取操作指令。获取展示数据的展示类型。根据展示类型获取相应的可操作信息，可操作信息包括至少一条操作指令和指令优先级信息。根据所述指令优先级信息对控制指令和操作指令进行排序，以根据排序后的指令分别或同时进行相应的控制。
在一实施方式中，不同展示类型的示例操作，例如：列表类，体感动作或触摸手势定位列表中的某项功能或信息，语音表述对该某项功能的具体操作(例如删除、收藏、发送给某人、单曲循环等等)；搜索类，体感动作或触摸手势定位地图中的某个区域，语音表述要去的具体地址(例如，电影院、餐厅、加油站等)；搜索类，FM播放页，体感动作或触摸手势定位正在播放的音乐，语音表述查询歌曲信息(例如，谁的歌曲)；信息类，收到某人的信息，如有地名或电话号码等出现，体感动作或触摸手势定位地名或电话号码，语音表述规划路线或拨打这个电话号码；信息类，界面显示了包括兴趣点的地图，体感动作或触摸手势定位地图中的兴趣点，语音表述规划前往兴趣点的路线；信息类，界面显示选座页，体感动作或触摸手势定位某个座位，语音表述下单订这个座位；信息类，语音表述截屏并分享，体感动作或触摸手势定位联系人列表中某个联系人，语音表述分享该截屏数据至该联系人；三维类，展示的商品三维图，体感动作或触摸手势翻看该商品的不同维度，语音表述是否对这个商品进行购买操作。
在一实施方式中，本实施例提供的人机交互方法可以但不限于应用于例如车载终端、移动终端、家庭终端等等。
本发明第一实施例提供的人机交互方法，包括：S11:输出展示数据。S12:获取用户针对展示数据的交互信息，以根据交互信息获取与展示数据关联的目标数据，交互信息包括体感动作和/或触摸手势。S13:获取用户的语音数据，根据语音数据获取相对应的控制指令以对目标数据进行相应的操作。因此，本实施例提供的人机交互方法能够通过获取交互信息和语音数据以实现对目标数据的获取及对目标数据进行相应的操作，故实现了多路径的人机交互方式，此外，通过交互信息和语音数据结合的这种多路径交互方式，能够实现扩展人机交互的操作的目的，从而使得人机交互操作更加自然、符合人们的生活习惯。另外，通过交互信息和语音数据实现人机交互的方式，效率高、准确性高，并且能实现生活化、智能化的人机交互以降低用户学习操作的时间成本，进一步能够实现所见所讲所指即所得。
第二实施例：
图2是本发明第二实施例提供的终端的结构示意图。为了清楚的描述本发明第二实施例提供的终端，请参见图2。
本发明第二实施例提供的终端1，包括：处理器A101及存储器A201，其中，处理器A101用于执行存储器A201中存储的计算机程序A6以实现如第一实施例所描述的人机交互方法的步骤。
在一实施方式中，本实施例提供的终端1可以包括至少一个处理器A101，以及至少一个存储器A201。其中，至少一个处理器A101可以称为处理单元A1，至少一个存储器A201可以称为存储单元A2。具体地，存储单元A2存储有计算机程序A6，当该计算机程序A6被处理单元A1执行时，使得本实施例提供的终端1实现如上所描述的人机交互方法的步骤，例如，图1中所示的S12:获取用户针对展示数据的交互信息，以根据交互信息获取与展示数据关联的目标数据，交互信息包括体感动作和/或触摸手势。S13:获取用户的语音数据，根据语音数据获取相对应的控制指令以对目标数据进行相应的操作。
在一实施方式中，本实施例中的提供的终端1可以包括多个存储器A201(简称为存储单元A2)，存储单元A2可以包括例如随机存取存储器(RAM)和/或高速缓存存储器和/或只读存储器(ROM)等等。
在一实施方式中，终端1还包括连接不同组件(例如处理器A101和存储器A201、触控显示屏A3、交互装置等等)的总线。
在一实施方式中，本实施例中的终端1还可以包括通信接口(例如I/O接口A4)，该通信接口可以用于与外部设备进行通信。
在一实施方式中，本实施例提供的终端1还可以包括通信装置A5。
本发明第二实施例提供的终端1，包括存储器A101和处理器A201，且处理器A101用于执行存储器A201中存储的计算机程序A6以实现如第一实施例所描述的人机交互方法的步骤，因此，本实施例提供的终端1能够通过交互信息和语音数据结合的这种多路径交互方式，实现扩展人机交互的操作的目的，从而使得人机交互操作更加自然、符合人们的生活习惯。
本发明第二实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序A6，该计算机程序A6被处理器A101执行时实现如第一实施例中的人机交互方法的步骤，例如图1所示的步骤是S11至步骤S13。
在一实施方式中，本实施例提供能的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM、RAM、磁盘、光盘、闪存等。
本发明第二实施例提供的计算机可读存储介质中存储的计算机程序A6被处理器A101执行时能够实现通过交互信息和语音数据结合的这种多路径交互方式扩展人机交互的操作，从而使得人机交互操作更加自然、符合人们的生活习惯。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人机交互方法，其特征在于，所述人机交互方法包括：
输出展示数据；
获取用户针对所述展示数据的交互信息，以根据所述交互信息获取与所述展示数据关联的目标数据，所述交互信息包括体感动作和/或触摸手势；
获取所述用户的语音数据，根据所述语音数据获取相对应的控制指令以对所述目标数据进行相应的操作。
2.如权利要求1所述的人机交互方法，其特征在于，在所述输出展示数据的步骤之后，包括：
获取所述展示数据的展示类型，所述展示类型包括列表类、三维类、信息类和/或输入输出类；
根据所述展示类型获取相应的可操作信息，所述可操作信息包括至少一条操作指令。
3.如权利要求2所述的人机交互方法，其特征在于，所述获取用户针对所述展示数据的交互信息，以根据所述交互信息获取与所述展示数据关联的目标数据的步骤，包括：
获取所述用户针对所述展示数据的所述交互信息；
获取所述可操作信息中与所述交互信息对应的操作指令；
根据与所述交互信息对应的操作指令获取所述目标数据。
4.如权利要求3所述的人机交互方法，其特征在于，所述展示数据为通话数据，所述通话数据的所述展示类型为所述输入输出类，所述目标数据为通话数据中包括关键字的语句；
在所述根据与所述交互信息对应的操作指令获取所述目标数据的步骤中，包括：
根据与所述交互信息对应的操作指令记录部分的通话数据或全部的通话数据，并识别所述部分的通话数据或全部的通话数据中的关键字，以获取所述通话数据中包括所述关键字的语句，所述关键字包括电话、地址和/或日程；
在所述获取所述用户的语音数据，根据所述语音数据获取相对应的控制指令以对所述目标数据进行相应的操作的步骤中，包括：
获取所述用户的包括所述关键字的语音数据，根据包括所述关键字的语音数据获取相应的控制指令，以对所述通话数据中包括所述关键字的语句进行相应的操作，所述控制指令包括存储指令、导航指令和/或日程添加指令。
5.如权利要求3所述的人机交互方法，其特征在于，所述展示数据为三维车辆数据，所述三维车辆数据的所述展示类型为所述三维类；
在所述根据与所述交互信息对应的操作指令获取所述目标数据的步骤中，包括：
根据与所述交互信息对应的操作指令获取与所述三维车辆数据关联的目标车辆数据，并以三维效果图的方式展示所述目标车辆数据。
6.如权利要求1所述的人机交互方法，其特征在于，在所述输出展示数据的步骤中，包括：
获取所述用户的语音指令，以输出与所述语音指令对应的所述展示数据。
7.如权利要求1所述的人机交互方法，其特征在于，所述人机交互方法还包括：
获取所述用户的生物特征信息；
判断所述生物特征信息是否与预设的生物特征信息匹配；
若所述生物特征信息与所述预设的生物特征信息匹配，则获取所述用户针对所述展示数据的交互信息和/或语音数据；
若所述生物特征信息与所述预设的生物特征信息不匹配，则返回所述获取所述用户的生物特征信息的步骤。
8.如权利要求1所述的人机交互方法，其特征在于，所述展示数据为包括至少一个兴趣点的地图数据；
所述获取用户针对所述展示数据的交互信息，以根据所述交互信息获取与所述展示数据关联的目标数据的步骤，包括：
获取所述用户针对所述地图数据的所述交互信息，以根据所述交互信息选定所述地图数据中的兴趣点，被选定的兴趣点包括地址信息；
所述获取所述用户的语音数据，根据所述语音数据获取相对应的控制指令以对所述目标数据进行相应的操作的步骤，包括：
获取所述用户的导航语音数据，根据所述导航语音数据获取相应的导航控制指令以根据所述地址信息规划导航路径。
9.一种终端，其特征在于，包括存储器和处理器；
所述处理器用于执行所述存储器中存储的计算机程序以实现如权利要求1-8中任一项所述的人机交互方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的人机交互方法的步骤。
CN201910220841.6A 2019-03-22 2019-03-22 人机交互方法、终端及计算机可读存储介质 Pending CN111722779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910220841.6A CN111722779A (zh) 2019-03-22 2019-03-22 人机交互方法、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910220841.6A CN111722779A (zh) 2019-03-22 2019-03-22 人机交互方法、终端及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111722779A true CN111722779A (zh) 2020-09-29

Family

ID=72562794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910220841.6A Pending CN111722779A (zh) 2019-03-22 2019-03-22 人机交互方法、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111722779A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240825A (zh) * 2021-05-07 2021-08-10 阿波罗智联(北京)科技有限公司 一种基于车辆的交互方法、装置、设备、介质及车辆
CN115285139A (zh) * 2022-08-04 2022-11-04 中国第一汽车股份有限公司 一种智能座舱控制方法、装置、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631380A (zh) * 2013-12-03 2014-03-12 武汉光谷信息技术股份有限公司 一种人机交互数据的处理方法及其控制系统
CN104823147A (zh) * 2012-10-12 2015-08-05 微软技术许可有限责任公司 作为与应用的交互的多模式用户表达和用户力度
CN105387862A (zh) * 2015-10-29 2016-03-09 桂林信通科技有限公司 一种车辆导航的方法和系统
CN106339485A (zh) * 2016-08-31 2017-01-18 珠海市魅族科技有限公司 一种地图搜索方法及装置
CN106569613A (zh) * 2016-11-14 2017-04-19 中国电子科技集团公司第二十八研究所 一种多模态人机交互系统及其控制方法
CN107272902A (zh) * 2017-06-23 2017-10-20 深圳市盛路物联通讯技术有限公司 基于体感交互的智能家居服务端、控制系统及控制方法
CN108287843A (zh) * 2017-01-09 2018-07-17 北京四维图新科技股份有限公司 一种兴趣点信息检索的方法和装置、及导航设备
CN109286728A (zh) * 2018-11-29 2019-01-29 维沃移动通信有限公司 一种通话内容处理方法及终端设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823147A (zh) * 2012-10-12 2015-08-05 微软技术许可有限责任公司 作为与应用的交互的多模式用户表达和用户力度
CN103631380A (zh) * 2013-12-03 2014-03-12 武汉光谷信息技术股份有限公司 一种人机交互数据的处理方法及其控制系统
CN105387862A (zh) * 2015-10-29 2016-03-09 桂林信通科技有限公司 一种车辆导航的方法和系统
CN106339485A (zh) * 2016-08-31 2017-01-18 珠海市魅族科技有限公司 一种地图搜索方法及装置
CN106569613A (zh) * 2016-11-14 2017-04-19 中国电子科技集团公司第二十八研究所 一种多模态人机交互系统及其控制方法
CN108287843A (zh) * 2017-01-09 2018-07-17 北京四维图新科技股份有限公司 一种兴趣点信息检索的方法和装置、及导航设备
CN107272902A (zh) * 2017-06-23 2017-10-20 深圳市盛路物联通讯技术有限公司 基于体感交互的智能家居服务端、控制系统及控制方法
CN109286728A (zh) * 2018-11-29 2019-01-29 维沃移动通信有限公司 一种通话内容处理方法及终端设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240825A (zh) * 2021-05-07 2021-08-10 阿波罗智联(北京)科技有限公司 一种基于车辆的交互方法、装置、设备、介质及车辆
CN115285139A (zh) * 2022-08-04 2022-11-04 中国第一汽车股份有限公司 一种智能座舱控制方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
EP3469477B1 (en) Intelligent virtual keyboards
WO2017218244A1 (en) Virtual keyboard with intent-based, dynamically generated task icons
US10496734B2 (en) Intelligent navigation via a transient user interface control
US10055681B2 (en) Mapping actions and objects to tasks
ES2643176T3 (es) Método y aparato para proporcionar informes de actividad independientes de la vista que responden a un gesto táctil
US9219812B2 (en) Mobile terminal
CN107426272A (zh) 一种小程序推送方法、装置及计算机存储介质
US9625996B2 (en) Electronic device and control method thereof
US20150066980A1 (en) Mobile terminal and control method thereof
CN110727410A (zh) 人机交互方法、终端及计算机可读存储介质
US10832666B2 (en) Advanced user interface for voice search and results display
CN107885823B (zh) 音频信息的播放方法、装置、存储介质及电子设备
US9164579B2 (en) Electronic device for granting authority based on context awareness information
CN101002175A (zh) 在移动设备应用个性化方面使用上下文本体的方法、设备和计算机程序产品
KR20130026892A (ko) 이동 단말기 및 그것의 사용자 인터페이스 제공 방법
CN104239381A (zh) 便携式终端和便携式终端中的用户界面方法
CN103473253B (zh) 经地理编码的数据的检测及用于其的用户界面
CN103279269A (zh) 一种应用程序之间的数据交互方法及装置、终端设备
CN110322305A (zh) 数据对象信息提供方法、装置及电子设备
CN109002241A (zh) 视图错层显示方法、电子设备及存储介质
CN111722779A (zh) 人机交互方法、终端及计算机可读存储介质
CN113407828A (zh) 一种搜索方法、装置和用于搜索的装置
CN114489424A (zh) 桌面组件的控制方法及装置
CN111078102A (zh) 一种通过投影确定点读区域的方法及终端设备
CN113688345B (zh) 一种页面切换方法、装置及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200929

RJ01 Rejection of invention patent application after publication