CN107300970A - 虚拟现实交互方法和装置 - Google Patents

虚拟现实交互方法和装置 Download PDF

Info

Publication number
CN107300970A
CN107300970A CN201710411602.XA CN201710411602A CN107300970A CN 107300970 A CN107300970 A CN 107300970A CN 201710411602 A CN201710411602 A CN 201710411602A CN 107300970 A CN107300970 A CN 107300970A
Authority
CN
China
Prior art keywords
interactive
user
scene
displayed
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710411602.XA
Other languages
English (en)
Other versions
CN107300970B (zh
Inventor
李良龙
蔡晗
简川力
王琳琳
竹枭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Shanghai Xiaodu Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710411602.XA priority Critical patent/CN107300970B/zh
Publication of CN107300970A publication Critical patent/CN107300970A/zh
Application granted granted Critical
Publication of CN107300970B publication Critical patent/CN107300970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种虚拟现实交互方法和装置,其中,方法包括:获取VR资源,所述VR资源包括多个VR场景和多个交互环节;在对所述VR资源的VR场景进行展示的过程中,采集用户的控制语音;根据采集到的控制语音,对所述VR场景的展示过程进行控制;当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,和/或,在当前所展示的VR场景中展示所述交互语音的反馈信息。通过该方法,能够实现对VR场景的语音控制,提高VR体验的交互性和沉浸感,解决现有技术中互动性差的问题。

Description

虚拟现实交互方法和装置
技术领域
本发明涉及信息检索技术领域,尤其涉及一种虚拟现实交互方法和装置。
背景技术
随着互联网技术的进步,人类的交流方式逐渐向虚拟现实时代迈进。虚拟现实(Virtual Reality,VR)技术能够为用户提供更加逼真的三维环境,使用户完全沉浸于VR之中。
目前,市面上的VR设备主要分为两种,一种是作为游戏的控制游览设备的专业VR设备,这种VR设备需要通过线缆接入高配置的电脑并使用手柄进行相应操作。另一种是VR眼镜,需要在智能终端中安装应用程序来播放相应的VR片源进行观看,相关片源较少,且在观看过程中无法互动。
可见,现有的VR设备中,VR眼镜无法实现交互,而专业VR设备尽管能够实现交互,却需要手柄进行操作,用户操作不够便捷。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种虚拟现实交互方法,以实现对VR场景的语音控制,提高VR体验的交互性和沉浸感,解决现有技术中互动性差的问题。
本发明的第二个目的在于提出一种虚拟现实交互装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的,本发明第一方面实施例提出了一种虚拟现实交互方法,包括:
获取VR资源;所述VR资源包括多个VR场景和多个交互环节;
在对所述VR资源的VR场景进行展示的过程中,采集用户的控制语音;
根据采集到的控制语音,对所述VR场景的展示过程进行控制;
当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,和/或,在当前所展示的VR场景中展示所述交互语音的反馈信息。
本发明实施例的虚拟现实交互方法,通过获取VR资源,在对VR资源的VR场景进行展示的过程中,采集用户的控制语音,根据采集的控制语音对VR场景的展示过程进行控制,当展示到交互环节时,根据交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,或者,在当前所展示的VR场景中展示交互语音的反馈信息。由此,能够实现对VR场景的语音控制,解除用户对遥控器和手柄的依赖,降低VR技术体验成本,提高VR体验的交互性和沉浸感,提升用户体验。
为达上述目的,本发明第二方面实施例提出了一种虚拟现实交互装置,包括:
获取模块,用于获取VR资源;所述VR资源包括多个VR场景和多个交互环节;
采集模块,用于在对所述VR资源的VR场景进行展示的过程中,采集用户的控制语音;
控制模块,用于根据采集到的控制语音,对所述VR场景的展示过程进行控制;
展示模块,用于当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,和/或,在当前所展示的VR场景中展示所述交互语音的反馈信息。
本发明实施例的虚拟现实交互装置,通过获取VR资源,在对VR资源的VR场景进行展示的过程中,采集用户的控制语音,根据采集的控制语音对VR场景的展示过程进行控制,当展示到交互环节时,根据交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,或者,在当前所展示的VR场景中展示交互语音的反馈信息。由此,能够实现对VR场景的语音控制,解除用户对遥控器和手柄的依赖,降低VR技术体验成本,提高VR体验的交互性和沉浸感,提升用户体验。
为达上述目的,本发明第三方面实施例提出了一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现第一方面实施例所述的虚拟现实交互方法。
为了实现上述目的,本发明第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面实施例所述的虚拟现实交互方法。
为了实现上述目的,本发明第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行一种虚拟现实交互方法,所述方法包括:
获取VR资源;所述VR资源包括多个VR场景和多个交互环节;
在对所述VR资源的VR场景进行展示的过程中,采集用户的控制语音;
根据采集到的控制语音,对所述VR场景的展示过程进行控制;
当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,和/或,在当前所展示的VR场景中展示所述交互语音的反馈信息。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明一实施例提出的虚拟现实交互方法的流程示意图;
图2A为用户通过度秘插件进入VR场景的示例图一;
图2B为用户通过度秘插件进入VR场景的示例图二;
图2C为用户通过度秘插件进入VR场景的示例图三;
图2D为用户通过度秘插件进入VR场景的示例图四;
图3为本发明另一实施例提出的虚拟现实交互方法的流程示意图;
图4为本发明又一实施例提出的虚拟现实交互方法的流程示意图;
图5为本发明还一实施例提出的虚拟现实交互方法的流程示意图;
图6为本发明再一实施例提出的虚拟现实交互方法的流程示意图;
图7为本发明一实施例提出的虚拟现实交互装置的结构示意图;以及
图8为本发明一实施例提出的计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的虚拟现实交互方法和装置。
目前,市面上的VR设备主要分为专业VR设备和VR眼镜两种。专业VR设备价格高昂,需要连接高配置的电脑且进行调试之后才能体验VR场景,体验成本高。另外,体验过程中需要一直使用线缆连接,使用场地受限。VR眼镜虽然价格便宜,但使用VR眼镜观看影片时,无法进行互动。对于VR游戏而言,现有的VR设备需要使用手柄或遥控器进行控制,交互方式单一。
因此,针对上述问题,本发明实施例提出了一种虚拟现实交互方法,以解决现有技术中体验成本高、互动性差的问题。
图1为本发明一实施例提出的虚拟现实交互方法的流程示意图。该方法基于安装有特定程序的智能终端实现。通过该方法,用户只需准备一副VR眼镜和一个安装有特定程序的智能终端,即可实现VR游览,实现低成本、简单便捷的VR体验,其中,智能终端可以是智能手机、平板电脑、笔记本电脑等智能设备。
如图1所示,该虚拟现实交互方法包括以下步骤:
S11,获取VR资源,其中,VR资源包括多个VR场景和多个交互环节。
其中,VR场景包括但不限于游戏场景、观光场景、室内设计场景、影片欣赏场景;多个交互环节可以包括但不限于信息获取环节、问答环节、控制环节。
当用户想要进行VR体验时,可以启动智能终端中安装的相关程序,比如百度APP。当智能终端中安装的相关程序被启动后,该程序可以与云端服务器进行交换,从云端服务器获取VR资源,并引导用户进入对应的VR场景中。
举例而言,假设用户持有的智能终端中安装的相关程序为百度APP。当用户想要进行VR体验时,可以点击进入百度APP界面,并长按界面中的“按住说话”按钮,语音输入“度秘”后,即可进入度秘插件,进而可以通过导航栏、语音/文字输入关键词的方式获得VR场景的入口卡片,用户点击卡片后,度秘插件从云端服务器获取入口卡片对应的VR资源,并展示VR资源的VR场景,用户即可进入对应的VR场景中进行体验。
图2A为用户通过度秘插件进入VR场景的示例图一。如图2A所示,用户通过智能终端中安装的百度APP进入度秘插件后,通过文字输入关键词“度秘看里约”。度秘接收到用户输入的内容之后,通过对用户所输入内容进行分析查找与用户所输入内容相关的信息,首先在对话框21中显示“度秘为你找到以下信息”,以向用户指示所获取内容的位置,进而将与关键词“度秘看里约”对应的VR场景的入口卡片22显示在对话框21中,并在入口卡片中显示里约的相关信息,以便于用户简单了解里约,进而判断是否进入该入口卡片22对应的VR场景。若用户想要进入该VR场景,可以点击入口卡片22中的“立即开启全景之旅”,之后,用户所持的智能终端显示如图2B所示的界面。
当用户所持的智能终端显示如图2B所示的界面时,度秘开始从云端服务器获取与入口卡片22对应的VR资源,并展示所获取的VR资源,如图2C所示。用户佩戴上VR眼镜之后,即可看到如图2C所示的场景。
图2C中,在展示的VR场景中显示有话筒图标,并显示有提示信息“请在屏幕上出现小话筒时,说出“开始游戏”四个字,开启里约奇妙之旅”,以帮助用户顺利进入VR场景进行游览。此时,用户通过语音输入“开始游戏”后,即可进入如图2D所示的VR场景中。
从图2D中可以看出,VR场景中显示有操作指南23,其中示出了五种利用头部运动进行VR场景移动的方式,用户根据操作指南23给出的指示,通过相应的头部运动,可以实现VR场景在不同方向上移动。比如,当用户头部往左转且用户点头时,表示用户想要控制VR场景的显示界面往左下方向移动。度秘识别到用户头部的运动方向后,即可根据用户头部的运动信息控制VR场景向对应方向移动。
需要说明的是,本实施例中采用卡尔曼滤波方程的曲线拟合技术对智能终端中传感器的底层数据进行优化,以解决智能手机等小型智能终端上无高性能、高精度的运动传感器,VR场景下的动作捕捉能力较差的问题,降低异常数据的影响,弱化外部磁场对运动检测造成的负面作用,提高头部运动的捕捉精度。
S12,在对VR资源的VR场景进行展示的过程中,采集用户的控制语音。
由于用户在进行VR体验的过程中无法操作智能设备,因而输入成为问题。
本实施例中,用户进入VR资源的VR场景体验的过程中,若想对VR场景进行控制,比如转换VR场景,可以通过麦克风输入控制语音。智能终端中安装的相关程序在对VR资源的VR场景进行展示的过程中,可以实时地采集用户的控制语音。
其中,麦克风可以是智能终端中的麦克风,也可以是在VR眼镜上安装的麦克风,本发明对此不作限制。
需要说明的是,本实施例中采用语音活动检测(Voice Activity Detection,VAD)技术,当用户停止说话时,结束对用户的控制语音的采集。
S13,根据采集到的控制语音,对VR场景的展示过程进行控制。
本实施例中,智能终端中安装的相关程序采集到用户的控制语音之后,可以进一步根据采集到的控制语音对VR场景的展示过程进行控制。
具体地,智能终端中安装的相关程序采集到用户的控制语音之后,可以将采集的控制语音发送给云端服务器,由云端服务器通过语音识别技术将控制语音转换为文本信息,并结合数据库中存储的常用词汇和句子组成纠正识别错误的内容,达到准确的识别效果。进而,云端服务器根据转换及纠正后的文本信息,通过语义识别技术识别用户的真正意图,并生成对应的控制指令后反馈给智能终端中安装的相关程序,由该程序根据收到的控制指令对VR场景的展示过程进行控制。
比如,用户发出控制语音“我不想看了”。智能终端中安装的相关程序接收到该信息后,将其发送给云端服务器,由云端服务器对控制语音进行语义解析,并生成“退出”的控制指令返回给程序。该程序接收到该控制指令后,退出当前的VR场景,由此实现根据用户的控制语音对VR场景进行控制的目的。
S14,当展示到交互环节时,根据交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,和/或,在当前所展示的VR场景中展示交互语音的反馈信息。
本实施例中,除了根据用户的控制语音对VR场景的展示过程进行控制之外,还可以在展示到交互环节时,根据在交互环节中采集的用户的交互语音,确定所需展示的下一个VR场景,和/或,根据采集的交互语音在当前所展示的VR场景中展示交互语音的反馈信息。具体的实现方式将在后续内容中给出,为避免赘述,此处不作详细说明。
本实施例的虚拟现实交互方法,通过获取VR资源,在对VR资源的VR场景进行展示的过程中,采集用户的控制语音,根据采集的控制语音对VR场景的展示过程进行控制,当展示到交互环节时,根据交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,或者,在当前所展示的VR场景中展示交互语音的反馈信息。由此,能够实现对VR场景的语音控制,解除用户对遥控器和手柄的依赖,降低VR技术体验成本,提高VR体验的交互性和沉浸感,提升用户体验。
针对在交互环节,根据采集的用户的交互语音,在当前所展示的VR场景中展示交互语音的反馈信息,本发明实施例提出了两种可能的实现方式。作为其中一种可能的实现方式,如图3所示,在如图1所示实施例的基础上,步骤S14可以包括以下步骤:
S21,当展示到交互环节时,根据交互环节对应的交互问题,对用户进行提问。
本实施例中,可以针对VR资源中的交互环节预先设置好对应的交互问题,当智能终端中的相关程序从云端服务器获取VR资源时,同时获取对应的交互问题到本地,当展示到交互环节时,可以根据交互环节对应的交互问题,对用户进行提问。
S22,采集用户的交互语音。
具体地,可以通过麦克风采集用户的交互语音。
S23,对交互语音的语义进行识别,根据交互问题的答案与语义之间的匹配程度,确定奖励参数。
其中,奖励参数可以包括奖励和不奖励。
本实施例中,采集到用户的交互语音之后,可以对交互语音的语义进行识别,并根据交互问题的答案与语义之间的匹配程度确定奖励参数。
举例而言,假设用户游览的是里约,其中的海边场景是交互环节之一。当用户游览至海边时,智能终端中安装的相关程序可以以语音的方式向用户提出交互问题“里约的著名海滩叫什么?”。用户听到该交互问题后,可以对该问题进行回答。若用户发出的交互语音是“科巴卡巴那”或者“Copacabana”,智能终端中安装的相关程序采集用户的交互语音后,对交互语音进行语义识别,并将语义同交互问题的答案进行比较,可知二者匹配,则确定奖励参数为奖励。若用户发出的交互语音为“不知道”或者是其他交互语音,则智能终端中安装的相关程序可确定根据交互语音识别的语义与交互问题的答案不匹配,则确定奖励参数为不奖励。
S24,在当前所展示的VR场景中展示奖励参数对应的反馈信息。
其中,反馈信息可以包括奖励动画。
本实施例中,智能终端中安装的相关程序确定了奖励参数之后,可以在当前展示的VR场景中展示奖励参数对应的反馈信息。比如,当奖励参数为奖励时,可以在当前的VR场景中展示奖励动画,例如彩蛋动画或者烟花动画等,以恭喜用户回答正确。
可选地,在本发明实施例一种可能的实现方式中,反馈信息还可以包括答案提示。当奖励参数为不奖励时,在当前的VR场景中以文字的形式展示答案提示,或以语音的形式向用户提供答案提示,以帮助用户正确回答交互问题。
本实施例的虚拟现实交互方法,通过展示到交互环节时,根据交互环节对应的交互问题对用户进行提问,采集用户的交互语音,对交互语音的语义进行识别,根据交互问题的答案与语义之间的匹配程度确定奖励参数,在当前展示的VR场景中展示奖励参数对应的反馈信息,能够增加用户VR场景体验的交互性和沉浸感。
作为另一种可能的实现方式,如图4所示,在如图1所示实施例的基础上,步骤S14可以包括以下步骤:
S31,当展示到交互环节时,采集用户的交互语音。
具体地,可以通过麦克风采集用户的交互语音。
本实施例中,为了帮助用户辨识交互环节,并在交互环节进行提问,当展示到交互环节时,可以在交互环节场景中以文字或语音的形式提醒用户当前可以提问问题。
比如,用户在游览里约的过程中,当展示到交互环节时,智能终端中安装的相关程序在当前的交互环节场景中以文字的形式展示提示信息“有任何关于里约的问题都可以问哦!”,或者,以语音的形式发出信息“关于里约,你有什么想要了解的吗?”,以提示用户此时可以提问问题。
在用户提问的过程中,智能终端中安装的相关程序采集用户的交互语音。
S32,对交互语音的语义进行识别,得到用户所提交互问题。
本实施例中,智能终端中安装的相关程序采集到用户在交互环节的交互语音之后,可以通过语义识别技术对交互语音的语义进行识别,以得到用户所提的交互问题。
比如,用户的交互语音为“里约是哪个国家的城市?”,智能终端中安装的相关程序采集到该交互语音之后,对其进行语义识别,可确定用户所提的交互问题为“里约属于哪个国家”。
S33,在预设知识库中,搜索与用户所提交互问题匹配的答案。
其中,预设知识库可以通过搜集互联网中的信息预先建立,并根据用户的历史使用记录不断更新。
本实施例中,智能终端中安装的相关程序确定出用户的交互语音对应的交互问题之后,可以在预设知识库中进行搜索,以获得与交互问题匹配的答案。
S34,在当前所展示的VR场景中展示所搜索到的答案。
本实施例中,智能终端中安装的相关程序从预设知识库中搜索到交互问题对应的答案之后,可以在当前所展示的VR场景中展示该答案,以解答用户的问题。
其中,可以通过文字或语音的形式展示用户所提的交互问题对应的答案。
比如,用户的交互语音为“里约是哪个国家的城市?”,智能终端中安装的相关程序对该交互语音进行语义解析后确定的交互问题为“里约属于哪个国家”,从预设知识库中搜索到的答案为“巴西”,则智能终端中安装的相关程序可以在当前所展示的VR场景中以文字的形式展示“里约属于巴西”,还可以在展示界面中展示里约在巴西的地位等详细信息,比如“里约是巴西第二大城市,仅次于圣保罗,又被称为巴西的第二首都,著名的国际大都市。里约是全国最大进口港、全国经济中心,同时也是全国重要的交通中心。”。或者,智能终端中安装的相关程序也可以在当前所展示的VR场景中以语音的形式告知用户“里约属于巴西”。
本实施例的虚拟现实交互方法,通过展示到交互环节时采集用户的交互语音,对交互语音的语义进行识别得到用户所提交互问题,在预设知识库中搜索与用户所提交互问题匹配的答案,并在当前所展示的VR场景中展示所搜索到的答案,能够增加用户VR场景体验的交互性和沉浸感。
针对展示到交互环节时,根据采集到的用户的交互语音,确定所需展示的下一个VR场景,本发明实施例提出了两种可能的实现方式。作为其中一种可能的实现方式,如图5所示,在如图1所示实施例的基础上,步骤S14可以包括以下步骤:
S41,当展示到交互环节时,根据交互环节对应的交互内容,对用户进行提问。
其中,交互环节可以包括VR场景切换入口。
本实施例中,当用户处于可以进行VR场景切换的交互环节时,可以根据交互环节对应的交互内容,对用户进行提问。
举例而言,在里约的全景之旅中,海边场景和雪山场景为两个交互环节,可以从海边场景切换至雪山场景,也可以从雪山场景切换至海边场景。当用户处于海边场景时,对应的交互内容为切换至雪山场景,此时,智能终端中的相关程序可以根据交互内容对用户以语音或文字的形式进行提问,以询问用户是否想要切换至雪山场景。当用户处于雪山场景时,对应的交互内容为切换至海边场景,此时,智能终端中的相关程序可以根据交互内容对用户以语音或文字的形式进行提问,以询问用户是否想要切换至海边场景。
S42,采集用户的交互语音。
具体地,可以通过麦克风采集用户的交互语音。
S43,对交互语音的语义进行识别,根据与语义的匹配程度,确定所需展示的下一个VR场景。
本实施例中,智能终端中安装的相关程序采集到用户的交互语音之后,可以对交互语音的语义进行识别,并根据与语义的匹配程度确定所需展示的下一个VR场景。当识别出的语义对应的场景与当前场景不匹配时,可确定需要进行场景切换,并确定所需展示的下一个VR场景;当识别出的语义对应的场景与当前场景匹配时,可确定无需进行场景切换,所需展示的下一个VR场景仍为当前场景。
仍以上述示例为例,用户当前所处的VR场景为里约的海边,智能终端中安装的相关程序向用户发出提问信息“是否想要切换至雪山?”。用户通过麦克风输入的交互语音为“我想去雪山”。智能终端中安装的相关程序采集到该交互语音后对其进行语义识别,识别到的语义为“切换至雪山场景”,将语义中的雪山场景与用户当前所处的场景进行匹配,可知语义中的雪山场景与用户当前所处的海边场景不匹配,则智能终端中安装的相关程序可确定需要进行场景切换,并可确定所需展示的下一个VR场景为雪山场景。智能终端中安装的相关程将当前的海边场景切换为雪山场景,给用户一种身临雪山之境的感受。
本实施例的虚拟现实交互方法,通过展示到交互环节时,根据交互环节对应的交互内容对用户进行提问,采集用户的交互语音,对交互语音的语义进行识别,根据与语义的匹配程度,确定所需展示的下一个VR场景,能够实现语音控制VR场景切换,提升用户体验。
作为另一种可能的实现方式,如图6所示,在如图1所示实施例的基础上,步骤S14可以包括以下步骤:
S51,当展示到交互环节时,根据交互环节中采集到的用户的交互语音,分析得到用户偏好。
其中,交互环节可以包括VR场景切换入口。
本实施例中,当展示到交互环节时,若用户发出交互语音,智能终端中安装的相关程序采集用户的交互语音,并根据交互语音分析得到用户偏好。
S52,根据用户偏好,确定所需展示的下一个VR场景。
本实施例中,智能终端中安装的相关程序根据采集的用户的交互语音分析出用户偏好之后,可以根据用户偏好确定所需展示的下一个VR场景。
举例而言,假设里约的全景之旅中,海边场景和雪山场景为两个交互环节,可以从海边场景切换至雪山场景,也可以从雪山场景切换至海边场景。若用户处于海边场景时询问有关雪山的信息,比如,用户发出交互语音“里约有雪山吗?”“我想去看雪山,这里有吗?”等。智能终端中安装的相关程序采集用户的交互语音,分析得到用户的偏好为雪山,进而根据得到的用户偏好,确定所需展示的下一个VR场景为雪山场景。程序检测发现当前展示的VR场景与用户偏好不一致,则将VR场景切换至雪山场景,给用户一种身临雪山之境的感受。
本实施例的虚拟现实交互方法,通过展示到交互环节时,根据交互环节中采集到的用户的交互语音分析得到用户偏好,进而根据用户偏好确定所需展示的下一个VR场景,能够根据用户需求和喜好确定所需展示的VR场景,进一步提升用户体验。
为了实现上述实施例,本发明还提出一种虚拟现实交互装置。
图7为本发明一实施例提出的虚拟现实交互装置的结构示意图。
如图7所示,该虚拟现实交互装置70包括:获取模块710、采集模块720、控制模块730,以及展示模块740。其中,
获取模块710,用于获取VR资源,VR资源包括多个VR场景和多个交互环节。
采集模块720,用于在对VR资源的VR场景进行展示的过程中,采集用户的控制语音。
控制模块730,用于根据采集到的控制语音,对VR场景的展示过程进行控制。
展示模块740,用于当展示到交互环节时,根据交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,和/或,在当前所展示的VR场景中展示交互语音的反馈信息。
可选地,在本发明实施例一种可能的实现方式中,展示模块740具体用于当展示到交互环节时,根据交互环节对应的交互问题,对用户进行提问;采集用户的交互语音;对交互语音的语义进行识别,根据交互问题的答案与语义之间的匹配程度,确定奖励参数;在当前所展示的VR场景中展示奖励参数对应的反馈信息。其中,反馈信息包括奖励动画。
可选地,在本发明实施例一种可能的实现方式中,展示模块740具体用于当展示到交互环节时,采集用户的交互语音;对交互语音的语义进行识别,得到用户所提交互问题;在预设知识库中,搜索与用户所提交互问题匹配的答案;在当前所展示的VR场景中展示所搜索到的答案。
可选地,在本发明实施例一种可能的实现方式中,展示模块740具体用于当展示到交互环节时,根据交互环节对应的交互内容,对用户进行提问;采集用户的交互语音;对交互语音的语义进行识别,根据与语义的匹配程度,确定所需展示的下一个VR场景。
可选地,在本发明实施例一种可能的实现方式中,展示模块740具体还用于当展示到交互环节时,根据交互环节中采集到的用户的交互语音,分析得到用户偏好;根据用户偏好,确定所需展示的下一个VR场景。
需要说明的是,前述对虚拟现实交互方法实施例的解释说明也适用于本实施例的虚拟现实交互装置,其实现原理类似,此处不再赘述。
本实施例的虚拟现实交互装置,通过获取VR资源,在对VR资源的VR场景进行展示的过程中,采集用户的控制语音,根据采集的控制语音对VR场景的展示过程进行控制,当展示到交互环节时,根据交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,或者,在当前所展示的VR场景中展示交互语音的反馈信息。由此,能够实现对VR场景的语音控制,解除用户对遥控器和手柄的依赖,降低VR技术体验成本,提高VR体验的交互性和沉浸感,提升用户体验。
为了实现上述实施例,本发明还提出一种计算机设备。
图8为本发明一实施例提出的计算机设备的结构示意图。如图8所示,该计算机设备80包括:存储器81、处理器82及存储在存储器81上并可在处理器82上运行的计算机程序83,当处理器82执行该计算机程序83时,实现前述实施例所述的虚拟现实交互方法。
为了实现上述实施例,本发明还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现前述实施例所述的虚拟现实交互方法。
为了实现上述实施例,本发明还提出一种计算机程序产品,当计算机程序产品中的指令由处理器执行时,执行一种虚拟现实交互方法,包括:
S11’,获取VR资源,VR资源包括多个VR场景和多个交互环节。
S12’,在对VR资源的VR场景进行展示的过程中,采集用户的控制语音。
S13’,根据采集到的控制语音,对VR场景的展示过程进行控制。
S14’,当展示到交互环节时,根据交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,和/或,在当前所展示的VR场景中展示交互语音的反馈信息。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种虚拟现实交互方法,其特征在于,包括以下步骤:
获取VR资源;所述VR资源包括多个VR场景和多个交互环节;
在对所述VR资源的VR场景进行展示的过程中,采集用户的控制语音;
根据采集到的控制语音,对所述VR场景的展示过程进行控制;
当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,和/或,在当前所展示的VR场景中展示所述交互语音的反馈信息。
2.根据权利要求1所述的虚拟现实交互方法,其特征在于,当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,在当前所展示的VR场景中展示所述交互语音的反馈信息,包括:
当展示到交互环节时,根据所述交互环节对应的交互问题,对用户进行提问;
采集用户的交互语音;
对所述交互语音的语义进行识别,根据交互问题的答案与所述语义之间的匹配程度,确定奖励参数;
在当前所展示的VR场景中展示所述奖励参数对应的反馈信息;其中,所述反馈信息包括奖励动画。
3.根据权利要求1所述的虚拟现实交互方法,其特征在于,当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,在当前所展示的VR场景中展示所述交互语音的反馈信息,包括:
当展示到交互环节时,采集用户的交互语音;
对所述交互语音的语义进行识别,得到用户所提交互问题;
在预设知识库中,搜索与所述用户所提交互问题匹配的答案;
在当前所展示的VR场景中展示所搜索到的答案。
4.根据权利要求1-3任一项所述的虚拟现实交互方法,其特征在于,当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,包括:
当展示到交互环节时,根据所述交互环节对应的交互内容,对用户进行提问;
采集用户的交互语音;
对所述交互语音的语义进行识别,根据与所述语义的匹配程度,确定所需展示的下一个VR场景。
5.根据权利要求1-3任一项所述的虚拟现实交互方法,其特征在于,当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,包括:
当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,分析得到用户偏好;
根据用户偏好,确定所需展示的下一个VR场景。
6.一种虚拟现实交互装置,其特征在于,包括以下步骤:
获取模块,用于获取VR资源;所述VR资源包括多个VR场景和多个交互环节;
采集模块,用于在对所述VR资源的VR场景进行展示的过程中,采集用户的控制语音;
控制模块,用于根据采集到的控制语音,对所述VR场景的展示过程进行控制;
展示模块,用于当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,和/或,在当前所展示的VR场景中展示所述交互语音的反馈信息。
7.根据权利要求6所述的虚拟现实交互装置,其特征在于,所述展示模块,用于:
当展示到交互环节时,根据所述交互环节对应的交互问题,对用户进行提问;
采集用户的交互语音;
对所述交互语音的语义进行识别,根据交互问题的答案与所述语义之间的匹配程度,确定奖励参数;
在当前所展示的VR场景中展示所述奖励参数对应的反馈信息;其中,所述反馈信息包括奖励动画。
8.根据权利要求6所述的虚拟现实交互装置,其特征在于,所述展示模块,用于:
当展示到交互环节时,采集用户的交互语音;
对所述交互语音的语义进行识别,得到用户所提交互问题;
在预设知识库中,搜索与所述用户所提交互问题匹配的答案;
在当前所展示的VR场景中展示所搜索到的答案。
9.根据权利要求6-8任一项所述的虚拟现实交互装置,其特征在于,所述展示模块,用于:
当展示到交互环节时,根据所述交互环节对应的交互内容,对用户进行提问;
采集用户的交互语音;
对所述交互语音的语义进行识别,根据与所述语义的匹配程度,确定所需展示的下一个VR场景。
10.根据权利要求6-8任一项所述的虚拟现实交互装置,其特征在于,所述展示模块,还用于:
当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,分析得到用户偏好;
根据用户偏好,确定所需展示的下一个VR场景。
11.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时,实现如权利要求1-5中任一项所述的虚拟现实交互方法。
12.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的虚拟现实交互方法。
13.一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行一种虚拟现实交互方法,所述方法包括:
获取VR资源;所述VR资源包括多个VR场景和多个交互环节;
在对所述VR资源的VR场景进行展示的过程中,采集用户的控制语音;
根据采集到的控制语音,对所述VR场景的展示过程进行控制;
当展示到交互环节时,根据所述交互环节中采集到的用户的交互语音,确定所需展示的下一个VR场景,和/或,在当前所展示的VR场景中展示所述交互语音的反馈信息。
CN201710411602.XA 2017-06-05 2017-06-05 虚拟现实交互方法和装置 Active CN107300970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710411602.XA CN107300970B (zh) 2017-06-05 2017-06-05 虚拟现实交互方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710411602.XA CN107300970B (zh) 2017-06-05 2017-06-05 虚拟现实交互方法和装置

Publications (2)

Publication Number Publication Date
CN107300970A true CN107300970A (zh) 2017-10-27
CN107300970B CN107300970B (zh) 2020-12-11

Family

ID=60134610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710411602.XA Active CN107300970B (zh) 2017-06-05 2017-06-05 虚拟现实交互方法和装置

Country Status (1)

Country Link
CN (1) CN107300970B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108037822A (zh) * 2017-11-23 2018-05-15 国网山东省电力公司 一种基于虚拟现实的3d培训系统
CN108108014A (zh) * 2017-11-16 2018-06-01 北京密境和风科技有限公司 一种直播画面的展示方法、装置
CN108108391A (zh) * 2017-11-21 2018-06-01 众安信息技术服务有限公司 用于数据可视化的信息的处理方法以及装置
CN108389579A (zh) * 2018-02-09 2018-08-10 北京北行科技有限公司 一种在vr虚拟世界语音控制系统以及控制方法
CN108415995A (zh) * 2018-02-13 2018-08-17 北京百度网讯科技有限公司 搜索方法和装置
CN108829754A (zh) * 2018-05-25 2018-11-16 链家网(北京)科技有限公司 虚拟现实场景中的语音信息发送方法及装置
CN108924182A (zh) * 2018-05-25 2018-11-30 链家网(北京)科技有限公司 虚拟现实场景中的文本信息发送方法及装置
CN108986803A (zh) * 2018-06-26 2018-12-11 北京小米移动软件有限公司 场景控制方法及装置、电子设备、可读存储介质
CN109065055A (zh) * 2018-09-13 2018-12-21 三星电子(中国)研发中心 基于声音生成ar内容的方法、存储介质和装置
CN109240564A (zh) * 2018-10-12 2019-01-18 武汉辽疆科技有限公司 人工智能实现交互式多剧情动画分支的装置及方法
CN109558523A (zh) * 2018-11-06 2019-04-02 广东美的制冷设备有限公司 搜索处理方法、装置及终端设备
WO2019085658A1 (en) * 2017-10-31 2019-05-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for resource allocation and terminal device
CN110111385A (zh) * 2019-04-18 2019-08-09 贝壳技术有限公司 一种在三维空间实现目标定位的方法、终端和服务器
CN110109538A (zh) * 2019-04-01 2019-08-09 广东芬莱信息科技有限公司 一种基于虚拟现实的场景提示方法、装置及存储介质
WO2019165610A1 (zh) * 2018-02-28 2019-09-06 华为技术有限公司 终端通过图片搜索vr资源
CN110390935A (zh) * 2019-07-15 2019-10-29 百度在线网络技术(北京)有限公司 语音交互方法和装置
CN111105294A (zh) * 2019-12-20 2020-05-05 武汉市奥拓智能科技有限公司 一种vr导览方法、系统、客户端、服务器及其存储介质
CN111367407A (zh) * 2020-02-24 2020-07-03 Oppo(重庆)智能科技有限公司 智能眼镜交互方法、智能眼镜交互装置及智能眼镜
CN112734461A (zh) * 2020-12-30 2021-04-30 贝壳技术有限公司 提词器的处理方法及装置
CN113129894A (zh) * 2021-04-12 2021-07-16 阿波罗智联(北京)科技有限公司 语音识别方法、装置、电子设备以及存储介质
CN114816163A (zh) * 2022-04-26 2022-07-29 芜湖听松网络科技有限公司 一种游戏资源采集方法、装置、设备及存储介质
CN116700500A (zh) * 2023-08-07 2023-09-05 江西科技学院 多场景vr互动方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1443086A (zh) * 2000-07-17 2003-09-17 兰迪·T·斯普劳特 交互式虚拟现实演出剧场娱乐系统
CN102446428A (zh) * 2010-09-27 2012-05-09 北京紫光优蓝机器人技术有限公司 基于机器人的交互式学习系统及其交互方法
CN106558310A (zh) * 2016-10-14 2017-04-05 北京百度网讯科技有限公司 虚拟现实语音控制方法及装置
CN106648096A (zh) * 2016-12-22 2017-05-10 宇龙计算机通信科技(深圳)有限公司 虚拟现实场景互动实现方法、系统以及虚拟现实设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1443086A (zh) * 2000-07-17 2003-09-17 兰迪·T·斯普劳特 交互式虚拟现实演出剧场娱乐系统
CN102446428A (zh) * 2010-09-27 2012-05-09 北京紫光优蓝机器人技术有限公司 基于机器人的交互式学习系统及其交互方法
CN106558310A (zh) * 2016-10-14 2017-04-05 北京百度网讯科技有限公司 虚拟现实语音控制方法及装置
CN106648096A (zh) * 2016-12-22 2017-05-10 宇龙计算机通信科技(深圳)有限公司 虚拟现实场景互动实现方法、系统以及虚拟现实设备

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11099901B2 (en) 2017-10-31 2021-08-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for resource allocation and terminal device
WO2019085658A1 (en) * 2017-10-31 2019-05-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for resource allocation and terminal device
CN108108014A (zh) * 2017-11-16 2018-06-01 北京密境和风科技有限公司 一种直播画面的展示方法、装置
CN108108391A (zh) * 2017-11-21 2018-06-01 众安信息技术服务有限公司 用于数据可视化的信息的处理方法以及装置
JP2020507165A (ja) * 2017-11-21 2020-03-05 ジョンアン インフォメーション テクノロジー サービシズ カンパニー リミテッド データ可視化のための情報処理方法及び装置
WO2019101067A1 (zh) * 2017-11-21 2019-05-31 众安信息技术服务有限公司 用于数据可视化的信息的处理方法以及装置
CN108037822B (zh) * 2017-11-23 2023-05-26 国网山东省电力公司 一种基于虚拟现实的3d培训系统
CN108037822A (zh) * 2017-11-23 2018-05-15 国网山东省电力公司 一种基于虚拟现实的3d培训系统
CN108389579A (zh) * 2018-02-09 2018-08-10 北京北行科技有限公司 一种在vr虚拟世界语音控制系统以及控制方法
CN108415995A (zh) * 2018-02-13 2018-08-17 北京百度网讯科技有限公司 搜索方法和装置
WO2019165610A1 (zh) * 2018-02-28 2019-09-06 华为技术有限公司 终端通过图片搜索vr资源
CN108924182A (zh) * 2018-05-25 2018-11-30 链家网(北京)科技有限公司 虚拟现实场景中的文本信息发送方法及装置
CN108829754A (zh) * 2018-05-25 2018-11-16 链家网(北京)科技有限公司 虚拟现实场景中的语音信息发送方法及装置
CN108924182B (zh) * 2018-05-25 2020-07-07 贝壳找房(北京)科技有限公司 虚拟现实场景中的文本信息发送方法及装置
CN108986803A (zh) * 2018-06-26 2018-12-11 北京小米移动软件有限公司 场景控制方法及装置、电子设备、可读存储介质
CN109065055A (zh) * 2018-09-13 2018-12-21 三星电子(中国)研发中心 基于声音生成ar内容的方法、存储介质和装置
CN109240564A (zh) * 2018-10-12 2019-01-18 武汉辽疆科技有限公司 人工智能实现交互式多剧情动画分支的装置及方法
CN109558523B (zh) * 2018-11-06 2021-09-21 广东美的制冷设备有限公司 搜索处理方法、装置及终端设备
CN109558523A (zh) * 2018-11-06 2019-04-02 广东美的制冷设备有限公司 搜索处理方法、装置及终端设备
CN110109538A (zh) * 2019-04-01 2019-08-09 广东芬莱信息科技有限公司 一种基于虚拟现实的场景提示方法、装置及存储介质
CN110111385A (zh) * 2019-04-18 2019-08-09 贝壳技术有限公司 一种在三维空间实现目标定位的方法、终端和服务器
CN110390935A (zh) * 2019-07-15 2019-10-29 百度在线网络技术(北京)有限公司 语音交互方法和装置
CN110390935B (zh) * 2019-07-15 2021-12-31 百度在线网络技术(北京)有限公司 语音交互方法和装置
US11341967B2 (en) 2019-07-15 2022-05-24 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for voice interaction
CN111105294A (zh) * 2019-12-20 2020-05-05 武汉市奥拓智能科技有限公司 一种vr导览方法、系统、客户端、服务器及其存储介质
CN111367407A (zh) * 2020-02-24 2020-07-03 Oppo(重庆)智能科技有限公司 智能眼镜交互方法、智能眼镜交互装置及智能眼镜
CN111367407B (zh) * 2020-02-24 2023-10-10 Oppo(重庆)智能科技有限公司 智能眼镜交互方法、智能眼镜交互装置及智能眼镜
CN112734461A (zh) * 2020-12-30 2021-04-30 贝壳技术有限公司 提词器的处理方法及装置
CN113129894A (zh) * 2021-04-12 2021-07-16 阿波罗智联(北京)科技有限公司 语音识别方法、装置、电子设备以及存储介质
CN114816163A (zh) * 2022-04-26 2022-07-29 芜湖听松网络科技有限公司 一种游戏资源采集方法、装置、设备及存储介质
CN116700500A (zh) * 2023-08-07 2023-09-05 江西科技学院 多场景vr互动方法、系统及存储介质
CN116700500B (zh) * 2023-08-07 2024-05-24 江西科技学院 多场景vr互动方法、系统及存储介质

Also Published As

Publication number Publication date
CN107300970B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN107300970B (zh) 虚拟现实交互方法和装置
CN109643158B (zh) 使用多模态信号分析进行命令处理
CN110971964B (zh) 智能解说生成、播放方法、装置、设备及存储介质
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
CN110334352B (zh) 引导信息显示方法、装置、终端及存储介质
CN110598576A (zh) 一种手语交互方法、装置及计算机介质
KR20220031896A (ko) 레이저 투사 시스템을 갖는 웨어러블 멀티미디어 디바이스 및 클라우드 컴퓨팅 플랫폼
CN111131904B (zh) 视频播放方法及头戴电子设备
US11610498B2 (en) Voice interactive portable computing device for learning about places of interest
Al-Wazzan et al. Tour-guide robot
CN116880701B (zh) 基于全息设备的多模态交互方法及系统
US20230108256A1 (en) Conversational artificial intelligence system in a virtual reality space
US10872091B2 (en) Apparatus, method, and system of cognitive data blocks and links for personalization, comprehension, retention, and recall of cognitive contents of a user
CN111314771B (zh) 一种视频播放方法及相关设备
CN116400802A (zh) 虚拟现实设备及多模态情绪识别方法
CN116860114A (zh) 基于人工智能的扩展现实交互方法及相关装置
CN113205569B (zh) 图像绘制方法及装置、计算机可读介质和电子设备
Chippendale et al. Personal shopping assistance and navigator system for visually impaired people
CN117573822A (zh) 人机交互方法、装置、设备及存储介质
CN111985252A (zh) 对话翻译方法及装置、存储介质和电子设备
CN109712606A (zh) 一种信息获取方法、装置、设备及存储介质
CN115147248A (zh) 一种基于大数据的旅游信息咨询系统和方法
JP2024507734A (ja) 音声類似度決定方法及び装置、プログラム製品
CN114153310A (zh) 一种机器人迎宾方法、装置、设备和介质
CN110459203B (zh) 一种智能语音导游方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210430

Address after: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee after: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

Patentee after: Shanghai Xiaodu Technology Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.