CN112152894B - 基于虚拟现实的家电控制方法及虚拟现实系统 - Google Patents

Abstract

本发明提供了一种基于虚拟现实的家电控制方法及虚拟现实系统。该基于虚拟现实的家电控制方法包括：创建虚拟家电的布局场景；将所述布局场景中的虚拟家电和所述虚拟家电对应的实际家电进行绑定；获取所述实际家电的运行状态，并通过与所述实际家电对应的虚拟家电展示所述运行状态。本发明的基于虚拟现实的家电控制方法中，通过创建虚拟家电的布局场景，将布局场景中的虚拟家电和虚拟家电对应的实际家电进行绑定，获取实际家电的运行状态，并通过与实际家电对应的虚拟家电展示运行状态，可以使用户更加方便的观察各个家电的运行状态，提高了用户体验，实现了对家电控制的智能化，满足了用户对智能家电(智慧家电)的需求。

Description

基于虚拟现实的家电控制方法及虚拟现实系统

技术领域

本发明涉及智能家电，特别是涉及一种基于虚拟现实的家电控制方法及虚拟现实系统。

背景技术

目前，越来越多的家电融入到人们的生活当中。用户可以通过遥控器或者与家电相关的管理应用程序对家电进行控制。但是，用户很难方便的观察到各个家电的运行状态，给用户带来了不便。

发明内容

本发明第一方面的一个目的是要克服现有技术中的至少一个技术缺陷，提供一种基于虚拟现实的家电控制方法及虚拟现实系统。

本发明的一个目的是要提供一种可以快速观察各个家电运行状态的基于虚拟现实的家电控制方法。

本发明一个进一步的目的是要实现特定用户对家电的语音控制。

根据本发明的一方面，提供了一种基于虚拟现实的家电控制方法，包括：

创建虚拟家电的布局场景；

将布局场景中的虚拟家电和虚拟家电对应的实际家电进行绑定；

获取实际家电的运行状态，并通过与实际家电对应的虚拟家电展示运行状态。

可选地，在获取实际家电的运行状态，并通过与实际家电对应的虚拟家电展示运行状态的步骤之后，还包括：

获取用户发出的控制指令；

识别控制指令对应的实际家电；

通过蓝牙网关将控制指令发送至对应的实际家电；或利用蓝牙的广播模式将控制指令发送至对应的实际家电。

可选地，获取用户发出的控制指令的步骤包括：

获取用户发出的语音指令；

提取语音指令中的音频特征；

判断音频特征和预存储用户的音频特征是否匹配；

若匹配，提取语音指令中的关键词从而得到用户发出的控制指令。

可选地，在音频特征和预存储用户的音频特征不匹配的情况下，在布局场景输出认证提示；

获取用户对认证提示的响应操作，并在响应操作与预设的认证信息相匹配的情况下，执行提取语音指令中的关键词，根据关键词得到用户发出的控制指令的步骤。

可选地，音频特征包括语音指令的音高、音强、音长、音色中的一项或多项。

可选地，获取用户发出的控制指令的步骤包括：

获取虚拟家电接收的用户的选择操作；

根据选择操作显示虚拟家电对应的控制面板；

获取控制面板接收的用户触发的控制指令。

可选地，创建虚拟家电的布局场景的步骤包括：

创建背景图像；

在背景图像上叠加待布局的至少一个元素模型，至少一个元素模型至少包括按照实际尺寸等比例绘制的家电产品三维模型；

获取体感装置捕捉的用户动作，使元素模型以响应于用户动作的姿态布置于背景图像中得到布局场景，布局场景中的元素模型作为布局场景中的虚拟家电。

可选地，获取体感装置捕捉的用户动作，使元素模型以响应于用户动作的姿态布置于背景图像中的步骤包括：

在至少一个元素模型中确定目标元素模型，并将用户动作与目标元素模型关联。

可选地，在至少一个元素模型中确定目标元素模型，并将用户动作与目标元素模型关联的步骤包括：

获取体感装置与位于头戴式显示器的视野中心的元素模型的虚拟距离；

若虚拟距离小于等于预设距离阈值，将该元素模型确定为目标元素模型。

根据本发明的另一方面，提供了一种虚拟现实系统，包括：

头戴式显示器，用于输出虚拟家电的布局场景；

体感装置，用于捕捉用户的动作；

处理器；以及

存储器，存储有计算机程序，计算机程序被处理器执行时用于实现根据上述任一基于虚拟现实的家电控制方法。

本发明的基于虚拟现实的家电控制方法中，通过创建虚拟家电的布局场景，将布局场景中的虚拟家电和虚拟家电对应的实际家电进行绑定，获取实际家电的运行状态，并通过与实际家电对应的虚拟家电展示运行状态，可以使用户更加方便的观察各个家电的运行状态，提高了用户体验。

进一步地，本发明的基于虚拟现实的家电控制方法中，通过提取语音指令中的音频特征，在提取的音频特征和预存储用户的音频特征相匹配的情况下，提取语音指令中的关键词从而得到用户发出的控制指令，可以实现特定用户(预存储用户)对实际家电的语音控制，避免了其他人对家电的误操作，防止非预存储用户对实际家电进行语音控制，也避免了头戴式显示器中播放的音频对语音控制家电产生干扰，实现了对家电控制的智能化，满足了用户对智能家电(智慧家电)的需求。另外，通过判断语音指令的音频特征和预存储用户的音频特征是否匹配从而实现特定用户对实际家电的语音控制，语音指令既可以作为确定发出语音指令人的身份的特征，同时还可以作为对实际家电进行控制的特征，相对于现有技术中还需要使用指纹、密码或者人脸识别等单一的确认身份的方式，本实施例的方式更加简单快速。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的虚拟现实系统的示意性结构图；

图2是根据本发明一个实施例的基于虚拟现实的家电控制方法的示意性流程图；

图3是根据本发明一个实施例的基于虚拟现实的家电控制方法的示意性详细流程图。

具体实施方式

图1是根据本发明一个实施例的虚拟现实系统200的示意性结构图。参见图1，本发明的虚拟现实系统200可包括头戴式显示器10、体感装置20、处理器30、存储器40、蓝牙模块60以及语音模块70。

头戴式显示器10可被用户穿戴于头部，并向用户输出真实对象或虚拟对象的虚拟图像。头戴式显示器10可以为虚拟显示头盔或者智能眼镜的显示设备。当头戴式显示器10为虚拟显示头盔时，虚拟显示头盔中可以具有游戏功能和播放视频的功能。

体感装置20可配置为捕捉用户动作，进而使用户与头戴式显示器10输出的虚拟图像进行互动。体感装置20可为采用惯性感测、光学感测、触觉感测及其组合等手段捕捉用户动作的感测设备，例如数据手套。

在一些实施例中，体感装置20可配置为捕捉用户的手部动作，以便于更加灵活地预置指令动作，使得小幅度的用户动作便可实现与虚拟图像互动。在另一些实施例中，体感装置20也可配置为捕捉用户的手臂动作。

蓝牙模块60可以与家电中的蓝牙建立通信。

在一些实施例中，可以将虚拟现实系统200中的蓝牙模块60作为一个蓝牙网关，实现虚拟现实系统200与各个家电的蓝牙建立通信。

在一些实施例中，可以将虚拟现实系统200中的蓝牙模块60设置为广播模式，实现虚拟现实系统200与各个家电的蓝牙建立通信。

语音模块70可以获取语音信号。其中，语音信号可以包括用户发出的语音信号以及虚拟显示头盔中播放的音频信号等。

存储器40可存储有计算机程序50。计算机程序50可被处理器30执行时用于实现本发明实施例的基于虚拟现实的家电控制方法。

特别地，处理器30可配置为创建背景图像，并在背景图像上叠加待布局的至少一个元素模型，获取体感装置20捕捉的用户动作，使元素模型以响应于用户动作的姿态布置于背景图像中得到布局场景。其中，至少一个元素模型至少包括按照实际尺寸等比例绘制的家电产品三维模型。例如为冰箱、空调、电视机分别按照外形尺寸建立相应的三维模型等。布置于背景图像中的元素模型作为实际家电对应的布局场景中的虚拟家电。另外，还可以为每一个虚拟家电分别配置一个控制面板，当虚拟家电接收到用户的选择操作时，显示该虚拟家电对应的控制面板，通过控制面板接收用户触发的控制指令。在本发明中，至少一个为一个、两个或两个以上的更多个。

本发明的虚拟现实系统200通过捕捉用户动作在虚拟背景图像中布置家电产品的三维模型，可简单、方便地实现用户对家电产品的自由布置，充分发挥了用户的想象力，摆脱了人力物力等外部条件的限制，提高了用户体验。

在一些实施例中，处理器30可配置为获取用户输入的房间信息，并根据该房间信息创建背景图像。房间信息包括房间尺寸、房间布局、房间背景等，以提高虚拟现实系统200的实用性。

在一些实施例中，在获取体感装置20捕捉的具体的用户动作之前，处理器30可配置为在至少一个元素模型中确定目标元素模型，并将用户动作与目标元素模型关联，以逐个布置元素模型。

具体地，处理器30可配置为获取体感装置20与位于头戴式显示器10的视野中心的元素模型的虚拟距离，并在虚拟距离小于等于预设距离阈值时将该元素模型确定为目标元素模型，并进一步将用户动作与该元素模型关联，关联过程无需用户发布指令，便可自动地确定目标元素模型进而进行该模型的布置，提高了虚拟现实系统200的智能化。

在将用户动作与目标元素模型关联之后，处理器30还可配置为将目标元素模型的显示状态变更为激活状态，以提示用户可对该元素模型进行布置操作。其中，激活状态的视觉效果可区别于其他元素模型，例如，变更目标元素模型的显示颜色或透明度。

在体感装置20配置为捕捉用户的手部动作的实施例中，预置指令动作可至少包括第一手部动作、第二手部动作和第三手部动作。

在将用户动作与目标元素模型关联之后，处理器30可配置为将目标元素模型配置为响应于用户的第一手部动作而缩小尺寸并吸附于背景图像中的用户的手部位置，以使目标元素模型随用户的手部在背景图像中移动。在一些示例性的实施例中，第一手部动作可为抓取动作。

处理器30可配置为将目标元素模型配置为响应于用户的第二手部动作而恢复尺寸并以当前姿态放置在背景图像中的用户的手部位置，以将目标元素模型放置在期望的虚拟位置。在一些示例性的实施例中，第二手部动作可为展开手掌或抛出动作。

处理器30可配置为将目标元素模型配置为响应于用户的第三手部动作而旋转，以变换目标元素模型的姿态。在一些示例性的实施例中，第三手部动作可为转动手腕动作。

在一些实施例中，处理器30可配置为根据用户动作的动作特征修饰用户动作，可使目标元素模型的相应运动更符合用户的真实意图。动作特征可为速度、加速度、同一位置的保持时间、同一姿态的保持时间中的至少一项。

具体地，若用户手部的动作速度小于等于预设速度阈值或用户手部的动作加速度大于等于预设加速度阈值，使目标元素模型以小于用户手部的动作速度响应于手部动作，以避免目标元素模型不期望的运动。在本发明中，动作速度和动作加速度均为标量。

若用户手部在同一位置或同一姿态的保持时间大于等于预设时间阈值，使目标元素模型直接以第一速度运动至该位置或变化至该姿态，以提高响应速度。

若用户手部动作速度大于预设速度阈值且加速度小于预设加速度阈值、或用户手部在同一位置且同一姿态的保持时间均小于预设时间阈值，使目标元素模型以第二速度运动至背景图像中的用户手部位置，再以与用户手部的动作速度相同的速度响应于手部动作，以避免过度的动作延迟。

换句话说，在出现用户手部动作速度大于预设速度阈值且加速度小于预设加速度阈值的情况、或用户手部在同一位置且同一姿态的保持时间均小于预设时间阈值的情况时，若该时刻目标元素模型的运动滞后于用户的手部动作，先使目标元素模型以第二速度实现与用户手部动作的同步，在以相同的速度进行响应；若该时刻目标元素模型的运动与用户的手部动作已经为实时响应，则使目标元素模型继续以相同的速度进行响应。

在该实施例中，第一速度和第二速度可均大于用户手部在该时刻的动作速度，且在用户手部在该时刻的动作速度相同的情况下，第一速度可大于第二速度。

在一些实施例中，处理器30可配置为在背景图像中显示用户为全部可见或部分可见，以提高用户体验，并为用户修正自己的动作提供参考。在体感装置20配置为捕捉用户的手部动作的实施例中，处理器30可配置为在背景图像中仅显示用户的手部为可见。

图2是根据本发明一个实施例的基于虚拟现实的家电控制方法的示意性流程图。参见图2，本实施例的基于虚拟现实的家电控制方法可以由上述任一实施例的虚拟现实系统200实现，该方法可包括如下步骤：

步骤S202：创建虚拟家电的布局场景。家电可以包括但不限于电视、空调、冰箱、洗衣机、厨电、热水器等家电。

步骤S204：将布局场景中的虚拟家电和虚拟家电对应的实际家电进行绑定。在本步骤中，可以为虚拟家电和与虚拟家电对应的实际家电设置唯一的标签，使虚拟家电和其对应的实际家之间根据该唯一标签形成对应关系，从而实现虚拟家电和其对应的实际家电的绑定。具体地，例如，如果虚拟家电为冰箱，可以为虚拟冰箱和实际冰箱设定一个“冰箱”的标签，从而使虚拟冰箱和实际冰箱根据标签“冰箱”形成对应关系从而实现虚拟冰箱和实际冰箱的绑定。在设置标签的过程中，只需保证标签的唯一性即可，标签可以为文字，也可以为数字编号等，本发明实施例对此不做具体地限定。

步骤S206：获取实际家电的运行状态，并通过与实际家电对应的虚拟家电展示运行状态。具体地，例如，当实际家电为空调时，运行状态可以包括空调的运行模式、温度和风速等；当实际家电为冰箱时，运行状态可以包括冰箱的设定温度等。当然，实际家电还可以为其他电器，这里不再一一列举。

本实施例的基于虚拟现实的家电控制方法中，通过创建虚拟家电的布局场景，将布局场景中的虚拟家电和虚拟家电对应的实际家电进行绑定，获取实际家电的运行状态，并通过与实际家电对应的虚拟家电展示运行状态，可以使用户更加方便的观察各个家电的运行状态，提高了用户体验。

在本发明一个实施例中，在步骤S206后，还可包括以下步骤：

获取用户发出的控制指令。然后，识别控制指令对应的实际家电。通过蓝牙网关将控制指令发送至对应的实际家电，或利用蓝牙的广播模式将控制指令发送至对应的实际家电。

在本实施例中，实际家电和头戴式显示器10中可以具有蓝牙模块60。可以将头戴式显示器10中的蓝牙模块60作为蓝牙网关，进而与多个实际家电进行通信。当然，也可以将头戴式显示器10中的蓝牙模块60的模式设置为广播模式，进而与多个实际家电进行通信。蓝牙具有成本低、低延时等优点，利用蓝牙实现与各个实际家电的同时通信，节约了成本。

在本发明一个实施例中，获取用户发出的控制指令可包括以下步骤：

获取用户发出的语音指令。

提取语音指令中的音频特征。其中，音频特征包括语音指令的音高、音强、音长、音色中的一项或多项。

判断音频特征和预存储用户的音频特征是否匹配。

若匹配，提取语音指令中的关键词从而得到用户发出的控制指令。具体地，例如，语音指令为“请关闭冰箱”，其中的关键字包括动作指令“关闭”、以及执行主体“冰箱”。

在本实施例中，头戴式显示器10中可以具有语音模块70。为了防止非预存储用户对实际家电进行语音控制，也为了避免头戴式显示器10中播放的音频对语音控制家电产生干扰，通过提取语音指令中的音频特征，在提取的音频特征和预存储用户的音频特征相匹配的情况下，提取语音指令中的关键词从而得到用户发出的控制指令，可以实现预存储用户(管理者)对实际家电的语音控制，避免了其他人对家电的误操作，实现了对家电控制的智能化，满足了用户对智能家电(智慧家电)的需求。

另外，通过判断语音指令的音频特征和预存储用户的音频特征是否匹配从而实现管理者对实际家电的语音控制，语音指令既可以作为确定发出语音指令人的身份的特征，同时还可以作为对实际家电进行控制的特征，相对于现有技术中还需要使用指纹、密码或者人脸识别等单一的确认身份的方式，本实施例的方式更加简单快速。

在本发明一个实施例中，在音频特征和预存储用户的音频特征不匹配的情况下，在布局场景输出认证提示。获取用户对认证提示的响应操作，并在响应操作与预设的认证信息相匹配的情况下，执行提取语音指令中的关键词，根据关键词得到用户发出的控制指令的步骤。

在本实施例中，预设的认证信息可以为预设的动作，也可以是预设的文字信息等，本发明实施例对此不做具体地限定。例如，在布局场景输出的认证提示为“请进行挥手动作”，若获取的响应操作与预设的挥手动作匹配，则执行提取语音指令中的关键词，根据关键词得到用户发出的控制指令的步骤。又例如，在布局场景输出的认证提示为“请说出允许使用”，若获取的语音响应中包含了“允许使用”，则执行提取语音指令中的关键词，根据关键词得到用户发出的控制指令的步骤。通过上述方式，可以实现非预存储用户对实际家电的语音控制，提高了对实际家电控制的灵活性。

在本发明一个实施例中，获取用户发出的控制指令的步骤还可包括：

获取虚拟家电接收的用户的选择操作。然后，根据选择操作显示虚拟家电对应的控制面板。获取控制面板接收的用户触发的控制指令。

在本实施例中，用户的选择操作可以为点击操作，例如，单击操作或者双击操作等。用户的选择操作也可以为手势动作等，本发明实施例对此不做具体地限定。通过上述方式获取用户发出的控制指令，可以避免用户不方便使用语音的情况下对实际家电进行控制，提高了用户体验。

在本发明一个实施例中，步骤S202可以包括以下步骤：

创建背景图像。可以获取用户输入的房间信息，并根据该房间信息创建背景图像。房间信息包括房间尺寸、房间布局、房间背景等。背景图像可用于展现待布局的场景。

在背景图像上叠加待布局的至少一个元素模型。至少一个元素模型至少包括按照实际尺寸等比例绘制的家电产品三维模型。

获取体感装置20捕捉的用户动作，使元素模型以响应于用户动作的姿态布置于背景图像中得到布局场景，布局场景中的元素模型作为布局场景中的虚拟家电。

在本实施例中，通过捕捉用户动作在虚拟背景图像中布置家电产品的三维模型以作为虚拟家电，可简单、方便地实现用户对虚拟家电的自由布置，充分发挥了用户的想象力，摆脱了人力物力等外部条件的限制，提高了用户体验。

在本发明一个实施例中，获取体感装置20捕捉的用户动作，使元素模型以响应于用户动作的姿态布置于背景图像中的步骤可包括：

在至少一个元素模型中确定目标元素模型，并将用户动作与目标元素模型关联。

在本实施例中，可在至少一个元素模型中确定目标元素模型，并将用户动作与目标元素模型关联，以逐个布置元素模型。用户动作可具体为用户的手部动作，以便于更加灵活地预置指令动作，使得小幅度的用户动作便可实现与虚拟图像互动。

具体地，例如，若获取到体感装置20捕捉的第一手部动作，将目标元素模型配置为响应于用户的第一手部动作而缩小尺寸并吸附于背景图像中的用户的手部位置，以使目标元素模型随用户的手部在背景图像中移动。

若获取到体感装置20捕捉的第二手部动作，将目标元素模型配置为响应于用户的第二手部动作而恢复尺寸并以当前姿态放置在背景图像中的用户的手部位置，以将目标元素模型放置在期望的虚拟位置。

若获取到体感装置20捕捉的第三手部动作，将目标元素模型配置为响应于用户的第三手部动作而旋转，以变换目标元素模型的姿态。

上述第一手部动作、第二手部动作、第三手部动作可以根据虚拟现实的用户交互习惯进行配置，例如第一手部动作对应于手部的抓取动作，第二手部动作对应于释放动作(展开手掌或抛出等)，第三手部动作对应于手部的翻转动作(转动手腕等)。

在本发明一个实施例中，在至少一个元素模型中确定目标元素模型，并将用户动作与目标元素模型关联的步骤可包括：

获取体感装置20与位于头戴式显示器10的视野中心的元素模型的虚拟距离。若虚拟距离小于等于预设距离阈值，将该元素模型确定为目标元素模型。

在本实施例中，通过体感装置20与位于头戴式显示器10的视野中心的元素模型的虚拟距离确定目标元素模型，无需用户发布指令，便可自动地确定目标元素模型进而进行该模型的布置，提高了虚拟现实系统200的智能化。

图3是根据本发明一个实施例的基于虚拟现实的家电控制方法的示意性详细流程图。参见图3，本发明的基于虚拟现实的家电控制方法可包括如下详细步骤：

步骤S302：创建背景图像。可以获取用户输入的房间信息，并根据该房间信息创建背景图像。房间信息包括房间尺寸、房间布局、房间背景等。背景图像可用于展现待布局的场景。

步骤S304：在背景图像上叠加待布局的至少一个元素模型，至少一个元素模型至少包括按照实际尺寸等比例绘制的家电产品三维模型。

步骤S306：获取体感装置20捕捉的用户动作，使元素模型以响应于用户动作的姿态布置于背景图像中得到布局场景，布局场景中的元素模型作为布局场景中的虚拟家电。

步骤S308：将布局场景中的虚拟家电和虚拟家电对应的实际家电进行绑定。在本步骤中，可以为虚拟家电和与虚拟家电对应的实际家电设置唯一的标签，使虚拟家电和其对应的实际家之间根据该唯一标签形成对应关系，从而实现虚拟家电和其对应的实际家电的绑定。

步骤S310：获取实际家电的运行状态，并通过与实际家电对应的虚拟家电展示运行状态。

步骤S312：获取用户发出的语音指令。

步骤S314：提取语音指令中的音频特征。其中，音频特征包括语音指令的音高、音强、音长、音色中的一项或多项。当然，音频特征还可包括语音指令的音色等其他可以用于区分用户的音频特征。

步骤S316：判断音频特征和预存储用户的音频特征是否匹配。

若匹配，执行步骤S318：提取语音指令中的关键词从而得到用户发出的控制指令。

步骤S320：识别控制指令对应的实际家电。

步骤S322：通过蓝牙网关将控制指令发送至对应的实际家电；或利用蓝牙的广播模式将控制指令发送至对应的实际家电。

若不匹配，执行步骤S324：在布局场景输出认证提示。

步骤S326：获取用户对认证提示的响应操作。

步骤S328：判断响应操作与预设的认证信息是否匹配。

若匹配，执行步骤S318。

若不匹配，执行步骤S330：忽略获取的用户发出的语音指令。

在本实施例中，通过创建虚拟家电的布局场景，将布局场景中的虚拟家电和虚拟家电对应的实际家电进行绑定，获取实际家电的运行状态，并通过与实际家电对应的虚拟家电展示运行状态，可以使用户更加方便的观察各个家电的运行状态，提高了用户体验。

进一步地，本发明的基于虚拟现实的家电控制方法中，通过提取语音指令中的音频特征，在提取的音频特征和预存储用户的音频特征相匹配的情况下，提取语音指令中的关键词从而得到用户发出的控制指令，可以实现特定用户(预存储用户)对实际家电的语音控制，避免了其他人对家电的误操作，防止非预存储用户对实际家电进行语音控制，也避免了头戴式显示器10中播放的音频对语音控制家电产生干扰。另外，通过判断语音指令的音频特征和预存储用户的音频特征是否匹配从而实现特定用户对实际家电的语音控制，语音指令既可以作为确定发出语音指令人的身份的特征，同时还可以作为对实际家电进行控制的特征，相对于现有技术中还需要使用指纹、密码或者人脸识别等单一的确认身份的方式，本实施例的方式更加简单快速。

在一个具体实施例中，可以通过HTC vive VR头盔及其配套定位器和leap motion手势识别设备来构建本实施例的虚拟现实系统200。该实施例的虚拟现实系统200的搭建过程可以包括：

获取家电设备的三维图纸，每种家电设备可以具有大中小三种型号的图纸，绘制过程可以使用UG(Unigraphics NX)。

绘制的图纸导入三维动画渲染软件(例如三维动画渲染3DsMax)，转换为家电设备的三维元素模型。

对于其他的三维元素模型，可以直接使用三维动画渲染软件进行设计。例如床，茶几，沙发，瓷砖等家具或装修材料可以通过3DsMax进行设计。

将家电设备以及其他的三维元素模型导入虚拟开发平台(例如Unity3D)

在HTC vive虚拟现实头盔的SDK(软件开发工具包)中接入虚拟开发平台(Unity3D)中，调整头盔的定位设备，搭建虚拟场景。

leap motion手势识别设备与HTC vive虚拟现实头盔连接。在Unity3D中建立手部属性，放入虚拟场景后，加入碰撞体和刚体等属性。Leap motion识别手部信息，读取手部状态。

编写脚本对手部与各零件进行关联，加入碰撞、摩擦力等属性。通过数据采集算法，对手部移动信息进行采集计算。

在使用虚拟现实系统200时，通过leap motion手势识别设备以及HTC vive虚拟现实头盔获取手部与待布置的三维元素模型的虚拟距离，当虚拟距离符合布置条件时，激活目标元素模型(例如将目标元素模型变更为绿色)。然后通过检测用户的手部动作，使目标元素模型相应动作，例如通过定义手势弯曲抓取可将目标元素模型吸附在手中，改变目标元素模型的属性，完成布局操作得到包含虚拟家电的布局场景。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (7)

1.一种基于虚拟现实的家电控制方法，包括：

创建虚拟家电的布局场景；

将所述布局场景中的虚拟家电和所述虚拟家电对应的实际家电进行绑定；

获取所述实际家电的运行状态，并通过与所述实际家电对应的虚拟家电展示所述运行状态；

其中，所述创建虚拟家电的布局场景的步骤包括：

创建背景图像；

在所述背景图像上叠加待布局的至少一个元素模型，所述至少一个元素模型至少包括按照实际尺寸等比例绘制的家电产品三维模型；

获取体感装置捕捉的用户动作，使所述元素模型以响应于所述用户动作的姿态布置于所述背景图像中得到所述布局场景，所述布局场景中的元素模型作为所述布局场景中的所述虚拟家电；

并且，所述获取体感装置捕捉的用户动作，使所述元素模型以响应于所述用户动作的姿态布置于所述背景图像中的步骤包括：

在所述至少一个元素模型中确定目标元素模型，并将所述用户动作与所述目标元素模型关联；

其中，所述在所述至少一个元素模型中确定目标元素模型，并将所述用户动作与所述目标元素模型关联的步骤包括：

获取所述体感装置与位于头戴式显示器的视野中心的元素模型的虚拟距离；

若所述虚拟距离小于等于预设距离阈值，将该元素模型确定为所述目标元素模型。

2.根据权利要求1所述的家电控制方法，其中，在所述获取所述实际家电的运行状态，并通过与所述实际家电对应的虚拟家电展示所述运行状态的步骤之后，还包括：

获取用户发出的控制指令；

识别所述控制指令对应的实际家电；

通过蓝牙网关将所述控制指令发送至对应的实际家电；或利用蓝牙的广播模式将所述控制指令发送至对应的实际家电。

3.根据权利要求2所述的家电控制方法，其中，所述获取用户发出的控制指令的步骤包括：

获取用户发出的语音指令；

提取所述语音指令中的音频特征；

判断所述音频特征和预存储用户的音频特征是否匹配；

若匹配，提取所述语音指令中的关键词从而得到所述用户发出的控制指令。

4.根据权利要求3所述的家电控制方法，其中，

在所述音频特征和预存储用户的音频特征不匹配的情况下，在所述布局场景输出认证提示；

获取用户对所述认证提示的响应操作，并在所述响应操作与预设的认证信息相匹配的情况下，执行所述提取所述语音指令中的关键词，根据所述关键词得到用户发出的控制指令的步骤。

5.根据权利要求3所述的家电控制方法，其中，

所述音频特征包括所述语音指令的音高、音强、音长、音色中的一项或多项。

6.根据权利要求3所述的家电控制方法，其中，所述获取用户发出的控制指令的步骤包括：

获取所述虚拟家电接收的用户的选择操作；

根据所述选择操作显示所述虚拟家电对应的控制面板；

获取所述控制面板接收的所述用户触发的控制指令。

7.一种虚拟现实系统，包括：

头戴式显示器，用于输出虚拟家电的布局场景；

体感装置，用于捕捉用户的动作；

处理器；以及

存储器，存储有计算机程序，所述计算机程序被所述处理器执行时用于实现根据权利要求1-6中任一所述的基于虚拟现实的家电控制方法。

Images