CN106598215B - 虚拟现实系统的实现方法及虚拟现实装置 - Google Patents

虚拟现实系统的实现方法及虚拟现实装置 Download PDF

Info

Publication number
CN106598215B
CN106598215B CN201610949735.8A CN201610949735A CN106598215B CN 106598215 B CN106598215 B CN 106598215B CN 201610949735 A CN201610949735 A CN 201610949735A CN 106598215 B CN106598215 B CN 106598215B
Authority
CN
China
Prior art keywords
data
user
response data
computer
virtual assistant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610949735.8A
Other languages
English (en)
Other versions
CN106598215A (zh
Inventor
刘哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Communication Ningbo Ltd
Original Assignee
TCL Mobile Communication Technology Ningbo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Mobile Communication Technology Ningbo Ltd filed Critical TCL Mobile Communication Technology Ningbo Ltd
Priority to CN201610949735.8A priority Critical patent/CN106598215B/zh
Publication of CN106598215A publication Critical patent/CN106598215A/zh
Priority to PCT/CN2017/109174 priority patent/WO2018082626A1/zh
Priority to US16/286,650 priority patent/US20190187782A1/en
Application granted granted Critical
Publication of CN106598215B publication Critical patent/CN106598215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42136—Administration or customisation of services
    • H04M3/42153—Administration or customisation of services by subscriber
    • H04M3/42161—Administration or customisation of services by subscriber via computer interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/42—Graphical user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42365—Presence services providing information on the willingness to communicate or the ability to communicate in terms of media capability or network connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5183—Call or contact centers with computer-telephony arrangements
    • H04M3/5191—Call or contact centers with computer-telephony arrangements interacting with the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种虚拟现实系统的实现方法及虚拟现实装置，该方法包括步骤：生成一立体交互场景并在所述立体交互场景中生成一立体虚拟助手；将采集到的用户输入识别成计算机可识别数据；对计算机可识别数据进行匹配并返回相匹配的响应数据；将响应数据转换成语音信号、触觉反馈震动信号和视觉形态信号中的至少一种；以立体虚拟助手的形象输出语音信号、触觉反馈震动信号和视觉形态信号中的至少一种。本发明提供的方法由于设有立体虚拟助手，立体虚拟助手通过采集用户的输入，从而进行识别、匹配和转换，使得立体虚拟助手可以输出视觉、听觉以及触觉都符合用户需求的智能服务，给用户以人性化的共鸣，增强用户体验乐趣和提升用户体验。

Description

虚拟现实系统的实现方法及虚拟现实装置
技术领域
本发明涉及虚拟现实技术领域，具体是指一种虚拟现实系统的实现方法及虚拟现实装置。
背景技术
随着虚拟现实设备的普及，越来越多的用户会在虚拟现实(Virtual Reality，简称VR)的游戏和应用中花越来越多的时间，但目前所有的虚拟现实应用都没有一个智能助手在用户需要帮助时及时给出帮助。
发明内容
本发明提供一种虚拟现实系统的实现方法及虚拟现实装置，以解决现有技术中虚拟现实应用没有智能助手的技术问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种虚拟现实系统的实现方法，所述方法包括步骤：
生成一立体交互场景并在所述立体交互场景中生成一立体虚拟助手；将采集到的用户输入识别成计算机可识别数据；对所述计算机可识别数据进行匹配并返回相匹配的响应数据；将所述响应数据转换成语音信号、触觉反馈震动信号和视觉形态信号中的至少一种；以所述立体虚拟助手的形象输出所述语音信号、触觉反馈震动信号和视觉形态信号中的至少一种。
根据本发明一实施例，所述对所述计算机可识别数据进行匹配并返回相匹配的响应数据的步骤包括：
对所述计算机可识别数据进行上下文匹配并返回相匹配的响应数据。
根据本发明一实施例，所述对所述计算机可识别数据进行匹配并返回相匹配的响应数据的步骤包括：
根据所述用户输入和/或所述计算机可识别数据对用户进行情绪分析；将分析得到的用户情绪进行匹配并返回相匹配的响应数据。
根据本发明一实施例，所述对所述计算机可识别数据进行匹配并返回相匹配的响应数据的步骤包括：
将所述计算机可识别数据发送至远程服务器，以由所述远程服务器根据所述计算机可识别数据在网页信息或专家系统中进行匹配搜索，并根据搜索结果生成所述响应数据。
根据本发明一实施例，所述对所述计算机可识别数据进行匹配并返回相匹配的响应数据的步骤包括：
通过对所述计算机可识别数据进行学习来获取用户喜好和/或个人数据；将所述推荐内容进行匹配并返回相匹配的响应数据。
根据本发明一实施例，所述方法进一步包括：
根据所述虚拟现实系统所运行的应用的当前进程生成推荐内容；将所述推荐内容进行匹配并返回相匹配的响应数据；基于所述响应数据改变所述立体虚拟助手的形象输出和/或在所述立体交互场景内呈现所述推荐内容。
根据本发明一实施例，所述方法进一步包括：
获取与所述虚拟现实系统互联的被控系统的当前状态；将所述当前状态进行匹配并返回相匹配的响应数据。
根据本发明一实施例，所述将所述当前状态进行匹配并返回相匹配的响应数据的步骤进一步包括：
基于所述当前状态以及所述用户输入和/或用户预先设置的处理规则对所述被控系统进行相应操作；将对所述被控系统的操作结果进行匹配并返回相匹配的响应数据；基于所述响应数据改变所述立体虚拟助手的形象输出和/或在所述立体交互场景内呈现所述操作结果。
根据本发明一实施例，所述被控系统为移动终端，所述当前状态为所述移动终端的来电状态，所述相应操作包括挂断操作或接听操作。
本发明采用的另一个技术方案是：提供一种虚拟现实装置，所述装置包括生成模块、采集识别模块、匹配模块、转换模块以及输出模块。
其中，生成模块用于生成一立体交互场景并在所述立体交互场景中生成一立体虚拟助手；采集识别模块用于将采集到的用户输入识别成计算机可识别数据；匹配模块用于对所述计算机可识别数据进行匹配并返回相匹配的响应数据；转换模块用于将所述响应数据转换成语音信号、触觉反馈震动信号和视觉形态信号中的至少一种；输出模块用于以所述立体虚拟助手的形象输出所述语音信号、触觉反馈震动信号和视觉形态信号中的至少一种。
本发明的有益效果是：区别于现有技术的情况，本发明提供的虚拟现实系统的实现方法由于设有立体虚拟助手，立体虚拟助手通过采集用户的收入，从而进行识别、匹配和转换，使得立体虚拟助手可以输出视觉、听觉以及触觉都符合用户需求的智能服务，给用户以人性化的共鸣，增强用户体验乐趣和提升用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
图1是本发明提供的虚拟现实系统的实现方法第一实施方式的流程示意图；
图2是本发明提供的虚拟现实系统的实现方法第二实施方式的流程示意图；
图3是本发明提供的虚拟现实系统的实现方法第三实施方式的流程示意图；
图4是本发明提供的虚拟现实系统的实现方法第四实施方式的流程示意图；
图5是本发明提供的虚拟现实系统的实现方法第五实施方式的流程示意图；
图6是本发明提供的虚拟现实系统的实现方法第六实施方式的流程示意图；
图7是本发明提供的虚拟现实装置第一实施例的结构示意图；
图8是本发明提供的虚拟现实装置另一实施例的结构示意图；
图9是本发明提供的虚拟现实系统第一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明虚拟现实系统的实现方法第一实施方式包括以下步骤：
S101：生成一立体交互场景并在立体交互场景中生成一立体虚拟助手。
在用户进行虚拟现实设备的体验时，用户即可进入立体交互场景，本发明是在立体交互场景中，再生成一个立体虚拟助手。其中，立体虚拟助手的形态可以是3D模拟人型，可以模拟出眨眼、注视、点头等带有真实互动感的动画，同时具备喜怒哀乐等丰富表情和情感元素，呈现出微笑、伤心、愤怒等带有真实情感的表情动画，给用户以人性化的共鸣，给人更真实的感受；也可以是3D模拟卡通人型，例如加菲猫，比卡丘等等。在其他实施例中，立体虚拟助手的形态可以根据具体产品和应用场合进行定制，可以使得立体虚拟助手具有极强的标识性。
S102：将采集到的用户输入识别成计算机可识别数据。
立体虚拟助手在立体交互场景中可以采集用户的输入，用户的输入信息包括但不限于用户的语音、按键操作以及手势操作等，同时，立体虚拟助手可以将采集用户的输入识别成计算机可识别数据，即进行信息转换。
S103：对计算机可识别数据进行匹配并返回相匹配的响应数据。
立体虚拟助手可以分析用户的输入信息，即对计算机可识别数据进行分析，并将输入信息进行分类处理，同时对基本信息进行快速处理和应答，即返回相匹配的响应数据。
S104：将响应数据转换成语音信号、触觉反馈震动信号和视觉形态信号中的至少一种。
具体的，将计算机可识别的响应数据转换成用户接收的语音信号、触觉反馈震动信号和视觉形态信号中的至少一种。
S105：以立体虚拟助手的形象输出语音信号、触觉反馈震动信号和视觉形态信号中的至少一种。
立体虚拟助手的形态是3D模拟人型或者3D模拟卡通人型，具有直观帮助与指引功能，使得用户降低沟通障碍，节约成本。
本发明提供的虚拟现实系统的实现方法由于设有立体虚拟助手，立体虚拟助手通过采集用户的收入，从而进行识别、匹配和转换，使得立体虚拟助手可以输出视觉、听觉以及触觉都符合用户需求的智能服务，给用户以人性化的共鸣，增强用户体验乐趣和提升用户体验。
其中，步骤S103具体为：对计算机可识别数据进行上下文匹配并返回相匹配的响应数据。
在实际应用中，立体虚拟助手具有情感聊天功能，在情感聊天功能场景中，立体虚拟助手可以理解用户说话的上下文意思，并且对计算机可识别数据进行上下文分析，从而返回相匹配的响应数据，即用户内心想要的内容或答案。本实施例的立体虚拟助手具有上下文感知功能，可以连贯地理解与用户连续互动的内容，此时可以将立体虚拟助手看做是一个可以给用户最及时并且带有情感和陪伴功能的智能虚拟精灵助手。
步骤S103还可以具体为：将计算机可识别数据发送至远程服务器，以由远程服务器根据计算机可识别数据在网页信息或专家系统中进行匹配搜索，并根据搜索结果生成响应数据。
当立体虚拟助手本身储存的信息不足以解答用户的请求或问题时，立体虚拟助手可以将计算机可识别数据发送至远程服务器，由远程服务器根据计算机可识别数据在网页信息或专家系统中进行匹配搜索，并根据搜索结果生成响应数据。立体虚拟助手会将每次从远程服务器获得的响应数据进行存储，以备下次用户或者其他使用者再次进行询问时，可以快速准确地给予用户相关的帮助和指引。
请参阅图2，本发明虚拟现实系统的实现方法第二实施方式包括以下步骤：
S201：生成一立体交互场景并在立体交互场景中生成一立体虚拟助手。
可如上S101所述，在此不作赘述。
S102：将采集到的用户输入识别成计算机可识别数据。
可如上S102所述，在此不作赘述。
S203：根据用户输入和/或计算机可识别数据对用户进行情绪分析。
立体虚拟助手可以根据用户输入和/或计算机可识别数据对用户进行情绪分析，具体是根据用户输入的声调、语速、手势动作以及计算机可识别数据的文本信息等等，来分析用户的情绪，用户的情绪包括愉快、自豪、希望、放松、气愤、焦虑、羞愧、失望、厌倦等等。
S204：将分析得到的用户情绪进行匹配并返回相匹配的响应数据。
立体虚拟助手将分析得到的用户情绪进行匹配并返回相匹配的响应数据，立体虚拟助手可以模拟出眨眼、注视、点头等带有真实互动感的动画，呈现出微笑、伤心、愤怒等带有真实情感的表情动画，从而给用户以情感的共鸣；例如，当用户的情绪为愉快时，可以反馈语速快的语音信号以及微笑的表情动画；当用户的情绪为焦虑时，可以反馈语速慢的语音信号以及伤心的表情动画等等。
S205：将响应数据转换成语音信号、触觉反馈震动信号和视觉形态信号中的至少一种。
可如上S104所述，在此不作赘述。
S206：以立体虚拟助手的形象输出语音信号、触觉反馈震动信号和视觉形态信号中的至少一种。
可如上S105所述，在此不作赘述。
本实施例的立体虚拟助手可以分析用户情绪并与用户进行互动，给用户一种朋友的陪伴感，让用户及时疏解情绪上的烦恼，增强了用户沟通的意愿和乐趣。
请参阅图3，图3是本发明虚拟现实系统的实现方法第三实施方式的流程示意图，本实施方式与第二实施方式的基本步骤流程相同，不同的是以下两个步骤：步骤S303替换为步骤S203，步骤S304替换为步骤S204。
S303：通过对计算机可识别数据进行学习来获取用户喜好和/或个人数据。
本实施例中，立体虚拟助手可以通过对计算机可识别数据进行学习，来获取用户喜好和/或个人数据，个人数据包括但那不限于用户的年龄、性别、身高、体重、职业、爱好以及信仰等等，从而智能地推荐相关服务内容；还可以包括基于地理位置信息的智能推荐，虚拟精灵助手会基于你的国家、区域、工作和生活位置信息，从而提供匹配地点的建议和信息提醒，譬如当地交通情况的内容。
S304：将推荐内容进行匹配并返回相匹配的响应数据。
立体虚拟助手通过学习来获取用户喜好和/或个人数据，从而进行主动的推荐内容，并将内容进行匹配并返回相匹配的响应数据。
本实施例的立体虚拟助手可以学习来获取用户喜好和/或个人数据，可以更准确地了解和预测用户的需求，为用户提供更优质的服务，从而可以智能推荐合适用户的内容，丰富用户的业余时间，扩展用户的课余知识，增强用户的体验乐趣。
请参阅图4，图4是本发明虚拟现实系统的实现方法第四实施方式的流程示意图，本实施方式与第一实施方式的基本步骤流程相同，不同的是增加以下三个步骤：步骤S406、步骤S407以及步骤S408。
S406：根据虚拟现实系统所运行的应用的当前进程生成推荐内容。
当用户进行虚拟现实设备的体验时，用户还可以进入其他应用，如游戏、健身、学习或者娱乐时，立体虚拟助手可以根据虚拟现实系统所运行的应用不同，从而生成推荐内容，也可以根据虚拟现实系统所运行的应用的当前进程不同，从而生成实时的推荐内容，例如，在玩VR游戏时，立体虚拟助手可以依据难关或者疑惑点，提前给出帮助和指导。
S407：将推荐内容进行匹配并返回相匹配的响应数据。
S408：基于响应数据改变立体虚拟助手的形象输出和/或在立体交互场景内呈现推荐内容。
立体虚拟助手推荐内容可以由立体虚拟助手呈现，也可以在立体交互场景内直接呈现。
请参阅图5，图5是本发明虚拟现实系统的实现方法第五实施方式的流程示意图，本实施方式与第一实施方式的基本步骤流程相同，不同的是增加以下两个步骤：步骤S506和步骤S507。
S506：获取与虚拟现实系统互联的被控系统的当前状态。
虚拟现实系统还可以与系统外的其他设备进行关联，例如，智能手机、智能车载、智能家居等等，其他设备也可以被称为被控系统，立体虚拟助手可以获取与虚拟现实系统互联的被控系统的当前状态。
S507：将当前状态进行匹配并返回相匹配的响应数据。
立体虚拟助手可以定时或者定期地将被控系统的当前状态进行返回相匹配的响应数据呈送给用户，使用户能够了解被控系统的当前状态。
请参阅图6，图6是本发明虚拟现实系统的实现方法第六实施方式的流程示意图，本实施方式与第五实施方式的基本步骤流程相同，不同的是步骤S607、步骤S608以及步骤S609替换步骤S507。
S607：基于当前状态以及用户输入和/或用户预先设置的处理规则对被控系统进行相应操作。
立体虚拟助手首先预先设置处理被控系统的规则，然后立体虚拟助手基于被控系统的当前状态以及用户输入和/或用户预先设置的处理规则，来对被控系统进行相应操作。
S608：将对被控系统的操作结果进行匹配并返回相匹配的响应数据。
S609：基于响应数据改变立体虚拟助手的形象输出和/或在立体交互场景内呈现操作结果。
本实施例中，以被控系统为移动终端为应用例，假设移动终端的当前状态为移动终端的来电状态，其预先设置的处理规则是挂断或接听移动终端，例如，当用户在玩虚拟现实游戏时，移动终端有来电或通知消息，立体虚拟助手将智能识别来电或通知消息的重要性，然后进行分类处理：如果是非常紧急的来电，会通过悬浮来电通话的形式通知用户处理或者直接接听且通过震动或者暂停游戏的方式提醒用户；否则会自动挂断并且用短信回复来电，如“我正在使用VR设备，稍后再与您联系”。其中，立体虚拟助手的相应操作包括挂断操作或接听操作。
请参阅图7，图7是本发明提供的虚拟现实装置第一实施例的结构示意图。
如图7所示，该虚拟现实装置100包括生成模块110、采集识别模块120、匹配模块130、转换模块140以及输出模块150。
其中，生成模块110用于生成一立体交互场景并在立体交互场景中生成一立体虚拟助手；采集识别模块120用于将采集到的用户输入识别成计算机可识别数据；匹配模块130用于对计算机可识别数据进行匹配并返回相匹配的响应数据；转换模块140用于将响应数据转换成语音信号、触觉反馈震动信号和视觉形态信号中的至少一种；输出模块150用于以立体虚拟助手的形象输出语音信号、触觉反馈震动信号和视觉形态信号中的至少一种。
生成模块110用于生成一立体交互场景并在立体交互场景中生成一立体虚拟助手，在一实际应用中，虚拟现实场景是一个360度全景真实的3D交互环境，该立体虚拟助手可以设计成3D动态的精灵、人物或者卡通人物，能在各种虚拟场景中通过立体的形态和动作动画形态与用户进行互动。
采集识别模块120用于生成模块110生成的立体虚拟助手采集用户的输入，用户的输入信息包括但不限于用户的语音、按键操作以及手势操作等；同时，立体虚拟助手还将采集用户的输入识别成计算机可识别数据。
采集识别模块120还可以划分为采集模块121和识别模块122，采集模块121用于采集用户的输入信息，识别模块122用于将采集模块121采集的输入信息识别成计算机可识别数据。
其中，采集模块121进一步具体划分为语音采集模块1211、手势采集模块1212以及按键采集模块1213，其中，语音采集模块1211用于采集用户的语音输入信号；手势采集模块1212用于采集用户的手势输入信号；按键采集模块1213用于采集用户的按键输入信号。识别模块122对应于采集模块121的划分也细分为语音识别模块1221、手势识别模块1222以及按键识别模块1223，其中，语音识别模块1221用于将语音采集模块1211采集的输入信息识别成计算机可识别数据；手势识别模块1222用于将手势采集模块1212采集的输入信息识别成计算机可识别数据；按键识别模块1223用于将按键采集模块1213采集的输入信息识别成计算机可识别数据。
匹配模块130还可以划分为分析模块131和结果模块132，分析模块131用于将识别模块122识别的计算机可识别数据进行分析和匹配，结果模块132用于反馈分析模块131分析和匹配的结果，即返回相匹配的响应数据。在其他实施例中，匹配模块130还可以进一步包括自学习模块133，自学习模块133用于学习和记忆用户的使用习惯，在分析模块131进行分析和匹配时可以提供针对性的参考建议。
转换模块140用于将匹配模块130返回相匹配的响应数据转换成语音信号、触觉反馈震动信号和视觉形态信号中的至少一种。
输出模块150用于将转换模块140转换的信号以立体虚拟助手的形象输出。其中，输出模块150还可以划分为语音输出模块151、触觉输出模块152以及视觉输出模块153；语音输出模块151用于将转换模块140转换的信号以立体虚拟助手的形象输出语音信号，如语音播报形式；触觉输出模块152用于将转换模块140转换的信号以立体虚拟助手的形象输出触觉反馈震动信号，如颤抖形式；视觉输出模块153于将转换模块140转换的信号以立体虚拟助手的形象输出视觉形态信号，如动画、表情和色彩等形式。
上述虚拟现实装置100的各个模块可分别执行上述方法实施例中对应步骤，故在此不对各模块进行赘述，详细请参阅以上对应步骤的说明。
请参阅图8，图8是本发明提供的虚拟现实装置另一实施例的结构示意图。
如图8所示，该虚拟现实装置200包括：处理器210、与处理器210耦合的听筒220、摄像头230、按键手柄240、喇叭250、显示器260、震动马达270和存储器280。
其中，听筒220用于采集用户的语音输入信号；摄像头230用于采集用户的手势输入信号；按键手柄240用于采集用户的按键输入信号。
喇叭250用于为立体虚拟助手播放语音信号；显示器260用于为立体虚拟助手显示视觉形态信号；震动马达270用于为立体虚拟助手输出触觉反馈震动信号。
存储器280用于存储立体虚拟助手的形态数据以及处理器210采集的输入信号和处理器210相关的识别信号、匹配信号以及转换信号等等。
处理器210用于为立体虚拟助手采集用户的语音、手势以及按键输入信号，并将输入信号识别成处理器可识别的识别信号，并经过与存储器280的匹配信号进行匹配，再转换成用户可识别的转换信号，最终由立体虚拟助手来输出。
请参阅图9，图9是本发明提供的虚拟现实系统第一实施例的结构示意图。
如图9所示，该虚拟现实系统10包括远程服务器20和上述所述的虚拟现实装置100，虚拟现实装置100的结构参见上文，此处不再赘述。远程服务器20具体包括处理模块21、搜索模块22以及专家模块23，其中，处理模块21、搜索模块22以及专家模块23三个模块之间均相互连接，相互配合工作。
具体的，处理模块21耦接虚拟现实装置100的匹配模块130，用于处理匹配模块130传输的信息，并反馈处理结果，具体的，处理模块21利用知识计算技术，将信息传输至搜索模块22，并将索模块22搜索到的知识进行过滤、重组和二次计算等操作；再利用问答推荐技术，将地域化程度很高的信息，可以根据用户的区域和个人喜好信息进行更准确地推荐服务；搜索模块22用于搜索处理模块21提供的信息，并反馈搜索结果，具体的，搜索模块22利用网络搜索技术、知识搜索技术，从现有网页信息和专家模块23存储的信息中进行匹配搜寻；专家模块23用于存储结构化的知识，包括但不限于人为参与因素较多的专家建议数据，供处理模块21和搜索模块22作参考；同时，专家模块23还具有预测功能，其中一部分的预测可以在用户知道需要帮助之前就会为用户提前准备问题的答案。
综上所述，本领域技术人员容易理解，本发明提供的虚拟现实系统的实现方法由于设有立体虚拟助手，立体虚拟助手通过采集用户的收入，从而进行识别、匹配和转换，使得立体虚拟助手可以输出视觉、听觉以及触觉都符合用户需求的智能服务，给用户以人性化的共鸣，增强用户体验乐趣和提升用户体验。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种虚拟现实系统的实现方法，其特征在于，所述方法包括步骤：
生成一立体交互场景并在所述立体交互场景中生成一立体虚拟助手；
将采集到的用户输入识别成计算机可识别数据；
对所述计算机可识别数据进行匹配并返回相匹配的响应数据；
将所述响应数据转换成语音信号、触觉反馈震动信号和视觉形态信号中的至少一种；
以所述立体虚拟助手的形象输出所述语音信号、触觉反馈震动信号和视觉形态信号中的至少一种；
其中，所述方法还包括：
获取与所述虚拟现实系统互联的被控系统的当前状态；
基于所述当前状态以及所述用户输入和/或用户预先设置的处理规则对所述被控系统进行相应操作；
将对所述被控系统的操作结果进行匹配并返回相匹配的响应数据；
基于所述响应数据改变所述立体虚拟助手的形象输出和/或在所述立体交互场景内呈现所述操作结果；
其中，所述被控系统为移动终端，所述当前状态为所述移动终端的来电状态，所述相应操作包括挂断操作或接听操作；
所述基于所述当前状态以及所述用户输入和/或用户预先设置的处理规则对所述被控系统进行相应操作，包括：
确定所述移动终端的状态为来电状态，识别所述来电状态对应的来电是否属于紧急来电；
若是，则通知用户处理所述来电；否则自动挂断所述来电并用短信回复所述来电。
2.根据权利要求1所述的方法，其特征在于，所述对所述计算机可识别数据进行匹配并返回相匹配的响应数据的步骤包括：
对所述计算机可识别数据进行上下文匹配并返回相匹配的响应数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述计算机可识别数据进行匹配并返回相匹配的响应数据的步骤包括：
根据所述用户输入和/或所述计算机可识别数据对用户进行情绪分析；
将分析得到的用户情绪进行匹配并返回相匹配的响应数据。
4.根据权利要求1所述的方法，其特征在于，所述对所述计算机可识别数据进行匹配并返回相匹配的响应数据的步骤包括：
将所述计算机可识别数据发送至远程服务器，以由所述远程服务器根据所述计算机可识别数据在网页信息或专家系统中进行匹配搜索，并根据搜索结果生成所述响应数据。
5.根据权利要求1所述的方法，其特征在于，所述对所述计算机可识别数据进行匹配并返回相匹配的响应数据的步骤包括：
通过对所述计算机可识别数据进行学习来获取用户喜好和/或个人数据；
将所述获取的用户喜好和/或个人数据进行匹配并返回相匹配的响应数据。
6.根据权利要求1所述的方法，其特征在于，所述方法包括：
根据所述虚拟现实系统所运行的应用的当前进程生成推荐内容；
将所述推荐内容进行匹配并返回相匹配的响应数据；
基于所述响应数据改变所述立体虚拟助手的形象输出和/或在所述立体交互场景内呈现所述推荐内容。
7.一种虚拟现实装置，其特征在于，所述装置包括：
生成模块，用于生成一立体交互场景并在所述立体交互场景中生成一立体虚拟助手；
采集识别模块，用于将采集到的用户输入识别成计算机可识别数据；
匹配模块，用于对所述计算机可识别数据进行匹配并返回相匹配的响应数据；
转换模块，用于将所述响应数据转换成语音信号、触觉反馈震动信号和视觉形态信号中的至少一种；
输出模块，用于以所述立体虚拟助手的形象输出所述语音信号、触觉反馈震动信号和视觉形态信号中的至少一种；
处理器，用于获取与所述虚拟现实系统互联的被控系统的当前状态，基于所述当前状态以及所述用户输入和/或用户预先设置的处理规则对所述被控系统进行相应操作，将对所述被控系统的操作结果进行匹配并返回相匹配的响应数据；基于所述响应数据改变所述立体虚拟助手的形象输出和/或在所述立体交互场景内呈现所述操作结果；
其中，所述被控系统为移动终端，所述当前状态为所述移动终端的来电状态，所述相应操作包括挂断操作或接听操作；
所述处理器用于当确定所述移动终端的状态为来电状态，识别所述来电状态对应的来电是否属于紧急来电；若是，则通知用户处理所述来电；否则自动挂断所述来电并用短信回复所述来电。
CN201610949735.8A 2016-11-02 2016-11-02 虚拟现实系统的实现方法及虚拟现实装置 Active CN106598215B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610949735.8A CN106598215B (zh) 2016-11-02 2016-11-02 虚拟现实系统的实现方法及虚拟现实装置
PCT/CN2017/109174 WO2018082626A1 (zh) 2016-11-02 2017-11-02 虚拟现实系统的实现方法及虚拟现实装置
US16/286,650 US20190187782A1 (en) 2016-11-02 2019-02-27 Method of implementing virtual reality system, and virtual reality device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610949735.8A CN106598215B (zh) 2016-11-02 2016-11-02 虚拟现实系统的实现方法及虚拟现实装置

Publications (2)

Publication Number Publication Date
CN106598215A CN106598215A (zh) 2017-04-26
CN106598215B true CN106598215B (zh) 2019-11-08

Family

ID=58589788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610949735.8A Active CN106598215B (zh) 2016-11-02 2016-11-02 虚拟现实系统的实现方法及虚拟现实装置

Country Status (3)

Country Link
US (1) US20190187782A1 (zh)
CN (1) CN106598215B (zh)
WO (1) WO2018082626A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598215B (zh) * 2016-11-02 2019-11-08 Tcl移动通信科技（宁波）有限公司 虚拟现实系统的实现方法及虚拟现实装置
US11402909B2 (en) * 2017-04-26 2022-08-02 Cognixion Brain computer interface for augmented reality
CN107329990A (zh) * 2017-06-06 2017-11-07 北京光年无限科技有限公司 一种用于虚拟机器人的情绪输出方法以及对话交互系统
CN107454074A (zh) * 2017-07-31 2017-12-08 广州千煦信息科技有限公司 一种手游管理系统
CN107577661B (zh) * 2017-08-07 2020-12-11 北京光年无限科技有限公司 一种针对虚拟机器人的交互输出方法以及系统
CN107767869B (zh) * 2017-09-26 2021-03-12 百度在线网络技术（北京）有限公司 用于提供语音服务的方法和装置
CN107734166A (zh) * 2017-10-11 2018-02-23 上海展扬通信技术有限公司 一种基于智能终端的控制方法及控制系统
JPWO2019167848A1 (ja) * 2018-02-27 2021-02-25 パナソニックＩｐマネジメント株式会社 データ変換システム、データ変換方法及びプログラム
US10802894B2 (en) * 2018-03-30 2020-10-13 Inflight VR Software GmbH Method, apparatus, and computer-readable medium for managing notifications delivered to a virtual reality device
CN110503449A (zh) * 2018-05-18 2019-11-26 开利公司 用于购物场所的交互系统及其实现方法
CN108717270A (zh) * 2018-05-30 2018-10-30 珠海格力电器股份有限公司 智能设备的控制方法、装置、存储介质和处理器
EP3620319B1 (en) 2018-09-06 2022-08-10 Audi Ag Method for operating a virtual assistant for a motor vehicle and corresponding backend system
CN109346076A (zh) * 2018-10-25 2019-02-15 三星电子（中国）研发中心 语音交互、语音处理方法、装置和系统
CN112083798A (zh) * 2019-06-12 2020-12-15 阿里巴巴集团控股有限公司 响应于用户输入的温度调节反馈系统
US11574553B2 (en) * 2019-09-18 2023-02-07 International Business Machines Corporation Feeling experience correlation
CN110751734B (zh) * 2019-09-23 2022-06-14 华中科技大学 一种适用于工作现场的混合现实助手系统
CN110767220B (zh) * 2019-10-16 2024-05-28 腾讯科技（深圳）有限公司 一种智能语音助手的交互方法、装置、设备及存储介质
CN110822646B (zh) * 2019-11-25 2021-12-17 广东美的制冷设备有限公司 空调器的控制方法、空调器及存储介质
CN110822649B (zh) * 2019-11-25 2021-12-17 广东美的制冷设备有限公司 空调器的控制方法、空调器及存储介质
CN110822648B (zh) * 2019-11-25 2021-12-17 广东美的制冷设备有限公司 空调器及其控制方法、计算机可读存储介质
CN110764429B (zh) * 2019-11-25 2023-10-27 广东美的制冷设备有限公司 家电设备的交互方法、终端设备及存储介质
CN110822643B (zh) * 2019-11-25 2021-12-17 广东美的制冷设备有限公司 空调器及其控制方法和计算机存储介质
CN110822647B (zh) * 2019-11-25 2021-12-17 广东美的制冷设备有限公司 空调器的控制方法、空调器及存储介质
CN110822642B (zh) * 2019-11-25 2021-09-14 广东美的制冷设备有限公司 空调器及其控制方法和计算机存储介质
CN110822644B (zh) * 2019-11-25 2021-12-03 广东美的制冷设备有限公司 空调器及其控制方法和计算机存储介质
CN110822661B (zh) * 2019-11-25 2021-12-17 广东美的制冷设备有限公司 空调器的控制方法、空调器及存储介质
CN110822641A (zh) * 2019-11-25 2020-02-21 广东美的制冷设备有限公司 空调器及其控制方法、装置和可读存储介质
CN113407146A (zh) * 2020-03-16 2021-09-17 阿里巴巴集团控股有限公司 终端语音交互方法、系统以及相应的终端设备
CN112272259B (zh) * 2020-10-23 2021-06-01 北京蓦然认知科技有限公司 一种自动化助手的训练方法、装置
CN113672155B (zh) * 2021-07-02 2023-06-30 浪潮金融信息技术有限公司 一种基于vr技术的自助操作系统、方法及介质
CN113643047B (zh) * 2021-08-17 2024-05-10 中国平安人寿保险股份有限公司 虚拟现实控制策略的推荐方法、装置、设备及存储介质
CN114911850B (zh) * 2022-06-07 2024-09-13 广州市影擎电子科技有限公司 一种基于虚拟现实的磁悬浮失重控制方法及系统
WO2024130648A1 (zh) * 2022-12-22 2024-06-27 华为技术有限公司 一种人机交互方法、装置和运载工具
CN117577088A (zh) * 2023-11-24 2024-02-20 北京心影随形科技有限公司 人机交互方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446428A (zh) * 2010-09-27 2012-05-09 北京紫光优蓝机器人技术有限公司 基于机器人的交互式学习系统及其交互方法
CN105126355A (zh) * 2015-08-06 2015-12-09 上海元趣信息技术有限公司 儿童陪伴机器人与儿童陪伴系统
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
CN105843382A (zh) * 2016-03-18 2016-08-10 北京光年无限科技有限公司 一种人机交互方法及装置
CN106598215A (zh) * 2016-11-02 2017-04-26 惠州Tcl移动通信有限公司 虚拟现实系统的实现方法及虚拟现实装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9713871B2 (en) * 2015-04-27 2017-07-25 Microsoft Technology Licensing, Llc Enhanced configuration and control of robots
US10664741B2 (en) * 2016-01-14 2020-05-26 Samsung Electronics Co., Ltd. Selecting a behavior of a virtual agent
US10026229B1 (en) * 2016-02-09 2018-07-17 A9.Com, Inc. Auxiliary device as augmented reality platform

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446428A (zh) * 2010-09-27 2012-05-09 北京紫光优蓝机器人技术有限公司 基于机器人的交互式学习系统及其交互方法
CN105126355A (zh) * 2015-08-06 2015-12-09 上海元趣信息技术有限公司 儿童陪伴机器人与儿童陪伴系统
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
CN105843382A (zh) * 2016-03-18 2016-08-10 北京光年无限科技有限公司 一种人机交互方法及装置
CN106598215A (zh) * 2016-11-02 2017-04-26 惠州Tcl移动通信有限公司 虚拟现实系统的实现方法及虚拟现实装置

Also Published As

Publication number Publication date
CN106598215A (zh) 2017-04-26
US20190187782A1 (en) 2019-06-20
WO2018082626A1 (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
CN106598215B (zh) 虚拟现实系统的实现方法及虚拟现实装置
CN110647636B (zh) 交互方法、装置、终端设备及存储介质
CN107340859B (zh) 多模态虚拟机器人的多模态交互方法和系统
CN110400251A (zh) 视频处理方法、装置、终端设备及存储介质
CN110598576A (zh) 一种手语交互方法、装置及计算机介质
KR101851356B1 (ko) 3d 디지털액터에 의한 지능형 사용자 인터페이스 제공방법
CN109086860B (zh) 一种基于虚拟人的交互方法及系统
CN113067953A (zh) 客户服务方法、系统、装置、服务器及存储介质
CN111414506B (zh) 基于人工智能情绪处理方法、装置、电子设备及存储介质
CN110199274A (zh) 用于自动化查询回答生成的系统和方法
CN109885277A (zh) 人机交互设备、方法、系统和装置
CN111291151A (zh) 交互方法、装置及计算机设备
CN104158963A (zh) 一种智能手机的智能表达表情系统
CN112382287A (zh) 语音交互方法、装置、电子设备和存储介质
CN117273019A (zh) 对话模型的训练方法、对话生成方法、装置和设备
CN115222857A (zh) 生成虚拟形象的方法、装置、电子设备和计算机可读介质
CN117632109A (zh) 虚拟数字助手构建方法、装置、电子设备以及存储介质
CN113205569A (zh) 图像绘制方法及装置、计算机可读介质和电子设备
CN117540703A (zh) 文本生成方法、模型训练方法、装置及电子设备
CN115378890B (zh) 信息输入方法、装置、存储介质及计算机设备
Jokinen User interaction in mobile navigation applications
CN115937968A (zh) 手语动作的识别方法和离散化编码模型的训练方法
Kim et al. An intelligent context-aware learning system based on mobile augmented reality
CN117808934A (zh) 一种数据处理方法及相关设备
CN113742473A (zh) 一种数字虚拟人交互系统及其计算传输优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191008

Address after: 315000 10 / F, No. 5, Lane 999, Yangfan Road, hi tech Zone, Ningbo City, Zhejiang Province

Applicant after: TCL Mobile Communication Technology (Ningbo) Co., Ltd.

Address before: 516006 Guangdong province Huizhou City Zhongkai high tech Zone and seven West Road No. 86

Applicant before: Huizhou TCL Mobile Communication

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201029

Address after: 6 / F, No.5, Lane 999, Yangfan Road, hi tech Zone, Ningbo City, Zhejiang Province

Patentee after: TCL COMMUNICATION (NINGBO) Co.,Ltd.

Address before: 315000 10 / F, No. 5, Lane 999, Yangfan Road, hi tech Zone, Ningbo City, Zhejiang Province

Patentee before: TCL mobile communication technology (Ningbo) Co.,Ltd.