CN208723929U - 一种ar遥控器 - Google Patents

Abstract

本实用新型公开了一种AR遥控器，涉及AR领域，该AR遥控器包括：可穿戴AR主体设备和指令控制设备，所述可穿戴AR设备和所述指令控制设备通信连接；所述可穿戴AR主体设备，用于捕捉智能家居的影像；所述指令控制设备。本实用新型基于AR技术的遥控器，让任何遥控器的使用者，都感觉简洁和方便，尤其是对丧失语言能力的病患，是福音神器，再辅助以语言语义识别技术，更让老人和儿童用户感觉温馨。

Description

一种AR遥控器

技术领域

本实用新型涉及遥控装置领域，尤其涉及一种基于AR技术的遥控器。

背景技术

智能家居的遥控，一般通过红外线遥控器来完成，对于不同的智能家居需要不同的遥控器，经常会出现拿着空调遥控器对电视进行操作的情况，或者一时找不到想要的遥控器而抓狂的现象。

现有技术中有通过智慧音箱进行统一控制，但缺点是，用户的口头指令，与具体智能家居的控制指令未必匹配，比如用户指令的模棱两可或者含糊不清，因此，要求智慧音箱有AI芯片的神经网络检索技术，进行深一步的语言语义分析，才能还原用户的操作指令，而AI芯片的引入无疑会加大产品的成本。

另外，有视觉和意识，但没有语言能力的使用者，就无法通过智慧音箱进行智能家居的操作。

申请号为201810050821.4的发明，提供一种近眼可透视头显光学系统，包括第一透镜、第二透镜和一个微型图像显示器，第一透镜与第二透镜皆与微型图像显示器贴合，且第一透镜与第二透镜皆为均厚的自由曲面透镜。藉由本发明所提供的近眼可透视头显光学系统架构，除了可以减少光在此光学系统架构中折射的次数外，还可以消除微型图像显示器所发出的光在各个方向的像差，使其在各个方向与角度看影像不会造成像差。

申请号为201821172477.8的实用新型，在上述光学系统的基础上提供一AR显示设备，其中所述AR显示设备包括至少一个显示/投影器和至少一个光学装置，实像通过所述光学装置构建，虚像通过所述显示/投影器在所述光学装置中构建，所述实像和虚像结合出现在同一视场中，其中所述光学装置包括至少一个主透镜以及至少一个自由曲面透镜，所述自由曲面透镜，用于反射所述显示/投影器投射出的影像；所述主透镜，用于再次反射所述显示/投影器投射出的影像。该AR设备能够做到大视角、小体积、轻重量，佩戴使用者能够有沉浸式AR的体验感。

申请号为201810994555.0的发明，进一步在前述AR显示设备的基础上提供了一头戴式虚实交互装置和虚实交互方法，其中所述头戴式虚实交互装置包括头戴AR显示设备，用于通过在所述头戴AR显示设备的视场中至少显示3D虚拟影像；和虚实交互器，用于获取穿戴所述头戴AR显示设备者的行为动作或者控制指令，并根据所述行为动作或者控制指令而改变或者控制所述3D虚拟影像的内容。

发明内容

可在上述引用专利的透光式AR技术或者影像式AR技术的基础之上，本实用新型提供一种AR遥控器/装置，目的在于提供一种新的遥控器和遥控方式，让用户在基于AR技术的基础上，更方便、快捷地使用遥控器，且适合的人群较广泛。

本实用新型提供的技术方案如下：

一种AR遥控器/装置，包括：可穿戴AR主体设备和指令控制设备，所述可穿戴AR设备和所述指令控制设备通信连接；所述可穿戴AR主体设备，用于捕捉智能家居的影像；所述指令控制设备，用于接受控制指令，并且根据所述控制指令向所述智能家居发送控制指令编码信号。

在上述技术方案中，将指令控制设备和可穿戴AR主体设备结合制成AR遥控器，可视化的遥控器，可驱动家中任何智能家居，使用方便。

进一步，所述指令控制设备包括：通信设备，与所述可穿戴AR主体设备电连接；指令发生模块，与所述通信设备电连接；所述通信设备，用于向所述智能家居发出控制指令编码信号。

在上述技术方案中，通信设备的设置为AR遥控器与智能家居交互提供了基础；指令发生模块的设置使用户的控制指令能够得到识别，为控制智能家居提供了基础。

进一步，所述通信设备包括：红外发射器、近距离无线通讯器、Wi-Fi模块、蓝牙、ZigBee、Li-Fi模块和/或Z-Wave模块。

在上述技术方案中，多样化的通信方式使AR遥控器可应用于不同场合。

进一步，所述指令发生模块包括：手势交互部件、头瞄部件(头盔瞄准器)、眼动跟踪部件/摄像头、智慧手套、智慧戒指、语控设备和/或控制手柄。

在上述技术方案中，多样化的控制指令输入方式适用于广大不同的人群，使AR遥控器使人性化、智能化。

进一步，所述手势交互部件与所述可穿戴AR主体设备电连接，所述手势交互部件，用于识别手势指令。

在上述技术方案中，手势交互部件的精确很高，保证了控制指令的识别精度。

进一步，所述语控设备为麦克风和/或扬声器。

在上述技术方案中，用户可通过语音输入控制指令，操作时可得到音效反馈，提高用户的使用体验。

进一步，还包括：摄像头，与所述可穿戴AR主体设备电连接，用于获取周围环境视场中智能家居的影像。

在上述技术方案中，在识别待控制对象(即控制的智能家居)时，可通过摄像头进行识别，识别方式多样化。

进一步，所述摄像头进一步包括：深度摄像头、RGB摄像头、TOF摄像头、鱼眼摄像头和/或广角摄像头。

进一步，还包括：辅助摄像模块，与所述可穿戴AR主体设备通过所述通信设备通信连接，用于获取远距离的所述智能家居的影像。

在上述技术方案中，辅助摄像模块与可穿戴AR主体设备通信连接，使AR遥控器的使用者可远距离控制智能家居，应用场合更广泛。

进一步，所述辅助摄像模块进一步包括：网络摄像头、无人机机载摄像头或者无人车车载摄像头。

在上述技术方案中，多种形式的辅助摄像模块给予了AR遥控器更多的应用场合。

进一步，还包括：存储模块，与所述可穿戴AR主体设备电连接。

在上述技术方案中，AR遥控器可存储数据，供控制智能家居使用，存储在本地的控制响应速度更快。

进一步，所述可穿戴AR主体设备包括至少一个显示/投影器和至少一个光学装置，实像通过所述光学装置构建，虚像通过所述显示/投影器在所述光学装置中构建。

在上述技术方案中，使用者可通过可穿戴AR主体设备看到实像(例如：智能家居/智慧家电)和虚像(例如：智能家居/智慧家电的虚拟控制指令菜单)，可视化的操作提高了使用者的应用人群和使用体验。

与现有技术相比，本发明的AR遥控装置、智能家居遥控系统及方法的技术效果或者有益效果在于：可视化地遥控各种智能电器/智能家居，克服了现有单一语音遥控或者红外单一遥控器直接遥控的先天不足，一个AR遥控器可以驱动家中任何智慧电器/智能家居的开/关、运行以及调节。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种AR遥控器、智能家居遥控系统及方法的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本实用新型AR遥控器第一实施例的结构示意图；

图2是本实用新型带有手势交互部件的影像式AR头盔的结构示意图；

图3是本实用新型带有手势交互部件的透光式AR头盔的结构示意图；

图4为本实用新型手势交互部件感应指尖的示意图；

图5是本实用新型AR遥控器第二实施例的结构示意图；

图6是本实用新型AR遥控器第二实施例的拓扑示意图。

附图标号说明：

100.AR遥控器/装置，1.可穿戴AR主体设备，2.指令控制设备，21.通信设备，22.指令发生模块，3.摄像头，4.辅助摄像模块，8.手势交互部件，200.智慧家电。

具体实施方式

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对照附图说明本实用新型的具体实施方式。显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本实用新型相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

实施例一

根据本实用新型的一个装置实施例中，如图1所示，一种AR遥控器/装置100，包括：可穿戴AR主体设备1和指令控制设备2，所述可穿戴AR设备和所述指令控制设备通信连接；所述可穿戴AR主体设备，用于捕捉智能家居的影像；所述指令控制设备，用于接受控制指令，并且根据所述控制指令向所述智能家居发送控制指令编码信号。

可选地，可穿戴AR主体设备1包括至少一个显示/投影器和至少一个光学装置，实像通过所述光学装置构建，虚像通过所述显示/投影器在所述光学装置中构建，实像和虚像结合出现在同一视场中。

具体的，AR(Augmented Reality，增强现实)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

AR显示设备1包括：沉浸式头盔式显示设备、AR一体机、数码玻璃镜面、数码玻璃桌面、显示器、智能移动设备(智能手机、智能平板等)，或者，可连接所述智能移动设备的AR头盔；所述沉浸式头盔式显示设备包括影像式头戴显示器、透射式头戴显示器，或者，影像透射组合式头戴显示器；可穿戴AR主体设备1包括：AR眼镜、AR头盔等。

指令控制设备可接受用户(语音/手势)输入的控制指令，例如：确定用户想控制哪个智能家居、控制智能家居做什么事件，例如：打开电视。

指令控制设备会根据接收到的控制指令和待控制对象(即哪个智能家居)生成对应的控制指令编码信号，并发送给它，控制其执行相应的操作。

可选地，指令控制设备2包括：通信设备21，与所述可穿戴AR主体设备电连接；指令发生模块22，与所述通信设备21电连接；所述通信设备21，用于向所述智能家居发出控制指令编码信号。

具体的，通信模块包括：红外发射器、近距离无线通讯器(NFC，Near FieldCommunication)、Wi-Fi模块、蓝牙、ZigBee、Li-Fi模块和/或Z-Wave模块。

Li-Fi--Light Fidelity可见光无线通信，灯光上网，即光照上网--以LED照明灯发出的光当作网络信号的传输工具，是利用快速的光脉冲无线传输信息。也就是说无需Wi-Fi信号，点一盏LED灯就能上网。其原理是根据不同速率在光中编码信息，例如LED开表示1，关表示0，通过快速高频开关就能传输信息。LED光学网络通过可见光来传输网络信号，可以直接利用手电筒、照明灯、路灯、室内照明以及公共照明等已有的能耗输出来完成双重任务。灯光上网的特点是低辐射、低能耗，低碳环保。

指令发生模块包括：手势交互部件8、头瞄设备、眼动跟踪摄像头、智慧手套、智慧戒指、语控设备和/或控制手柄。控制方式的多种多样，极大地丰富了AR遥控器的实现可能，以及应用范围。智能家居确认指令/控制指令确定用户想控制哪个智能家居，事件控制指令是控制智能家居做什么事件，例如：打开/关闭电视、音响、照明灯、空调、加湿器、电扇、空气净化器、智能窗帘、扫地机器人、网络摄像头、智能通风、门禁等等。

具体的，指令发生模块中的各部件主要是实现鼠标的定位和操作功能。

优选地，手势交互部件8与所述可穿戴AR主体设备电连接，所述手势交互部件8，用于识别手势指令。具体的，手势交互部件即关于手势的体感传感器，例如：LEAP MOTION、uSens Fingo。

以LEAP MOTION作为手势交互部件8进行解释：

LEAP MOTION是一款微米级3D手动交互设备，可以追踪到小至0.01毫米的动作，拥有150度的视角，可以跟踪1个人的10个手指的动作，最大频率是每秒290帧。LEAP MOTION营造的空间中捕捉手势，显示手和手臂骨架，人的一只手，有29块骨头、29个关节、123根韧带、48条神经和30条动脉。LEAP MOTION控制器也几乎完全掌握这一技术，也就是说它不可能检测出非人手能及的手势出来。

LEAP MOTION空间叠加入AR三维展示空间，手势与AR三维展示空间中的物体进行互动/反馈，LEAP MOTION控制器都能精确追踪。从技术上说，这是一个8立方英尺的可交互式3D空间。Leap Motion控制器可追踪全部人的10只手指，精度高达1/100毫米。它远比现有的运动控制技术更为精确。150°超宽幅的空间视场，可以像在真实世界一样随意在3D的空间移动双手。LEAP MOTION控制器以超过每秒200帧的速度追踪用户的手部移动，实现完美同步。

被识别对象包括拇指(Thumb finger)、食指(Index finger)、中指(Middlefinger)、无名指(Ring finger)、小拇指(Pinky finger)，每个手指可以获取其初始位置start(X,Y,Z)，终止位置end(X,Y,Z)和方向direction(pitch,roll,yaw)。

图2为带有手势交互部件的AR头戴显示器(影像式HMD)，以及，图3为另一个带有手势交互部件的AR头戴显示器(透光式HMD)。

实际的使用例子如下：

使用者通过AR眼镜上看到某智能电器(冰箱、空调、电视、电扇、电脑、电灯、洗衣机、冰箱等)，用户通过手势方式输入控制指令(例如：以“指中”的方式选中冰箱，“打响指”表示确认选择这个冰箱，一整个操作表示对象确认指令)，确认冰箱作为待控制对象，查找其虚拟控制指令菜单并显示，使用者再根据显示的虚拟控制指令菜单输入控制指令(例如：电视音量上调1)，并生成电视相应的控制指令编码信号，发送给电视。

其控制指令手势识别的原理为：

1.利用Unity3D引擎，搭建一个3D的虚拟场景空间，在该虚拟场景空间创建某3D虚拟物体，比如虚拟控制指令菜单。

2.接入高通制作的六自由度的SDK(软件开发工具包(外语首字母缩写:SDK、外语全称:Software Development Kit)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。)。通过设备上的陀螺仪定位数据，计算设备在虚拟场景中的位置，同时映射到Unity3D创建的虚拟场景空间中，从而实现能够在3D空间中旋转以及行走的6DOF效果。

3.接入Leap Motion提供的识别手势(空间参数)的SDK，在虚拟场景空间中加入手模型(包括手部和手臂)。这里需要Leap Motion的驱动以及硬件设备支持。LeapSDK能够把驱动检测到的手势信息参数传递到Unity3D。映射这些信息到手模型上，即可实现将真实的手模拟成虚拟手，并呈现到虚拟的3D场景空间中。

4.在Unity3D引擎中将手势的信息进行分析计算，得到一些特定的手势形状，比如手上食指手指的“指中”的动作，以及中指与拇指的“打响指”的动作，“指中”表示类似用鼠标选中，“打响指”表示用鼠标单击。

分析得到“指中”动作的开始和结束。开始和结束时依照食指指尖(如图4所示)距离智能电器或虚拟控制指令菜单的距离。当食指指尖距离智能电器或虚拟控制指令菜单的距离小于某个阈值即为进入“指中”的状态，等待数秒后食指指尖距离智能电器或虚拟控制指令菜单的距离大于某个阈值，即为离开“指中”的状态，上述一整个流程即识别到“指中”动作。

5.能够识别“指中”动作之后，分析“打响指”动作的开始和结束，开始和结束时依照中指指尖与拇指指尖(如图4所示)的距离，当两指尖间的距离小于某个阈值即为进入“打响指”的状态，大于某个阈值，即为离开“打响指”的状态。“指中”和“打响指”是个联合操作，后一个的动作完成与前一个动作的完成有间隔时间要求，超过设定的时间，这2个动作即便先后完成，也不会引发任何操作。

6.若在间隔时间内识别到“指中”、“打响指”的动作，则认为接收到手势指令，根据“指中”指向的智能电器，确定待控制对象和要待控制对象做什么事。

可选地，语控设备为麦克风和/或扬声器。

具体的，控制指令也可通过语音方式输入。扬声器可根据使用者的操作给出相应的音效，提高用户的使用体验。

基于上述实施例的改进，除与上述相同的之外，如图1所示，AR遥控器100还包括：摄像头3，与所述可穿戴AR主体设备电连接，用于获取周围环境中智能家居的影像。

摄像头3进一步包括：深度摄像头、RGB摄像头、TOF摄像头、鱼眼摄像头和/或广角摄像头。

具体的，除了手势、语音等方式来确认待控制对象(即需要控制的智能家居)，也可通过摄像头实现。通过摄像头对准智能家居，获取其影像/识别码(例如：LOGO、二维码、条形码等)，根据获取的影像和预设数据库来确认待控制对象的虚拟控制指令菜单、控制指令编码信号等。预设数据库可存储于云端。

可选地，AR遥控器还包括：存储模块，与所述可穿戴AR主体设备电连接。即预设数据库也可存储于本地的存储模块中。

例如：摄像头对准智能家居的LOGO，对LOGO进行识别，在存储模块查找对应的虚拟控制指令菜单、控制指令编码信号等；若未查找到，也更容易让网络搜索器通过互联网去搜索、锁定品牌厂商，接入品牌厂商的云端数据库，确定具体的智慧电器的型号或款式，下载控制指令编码信号等。

虚拟控制指令菜单，从具体的待控制对象中引出，即从可穿戴AR主体设备中看到虚拟物与实体物相互结合的场景，虚拟控制指令菜单的呈现方式可以是文字按钮式、图标按钮式、也可以是一段动画或视频影像播放。在显示、操作时，有声音或音响的反馈，加强使用者在与虚拟控制指令菜单互动时的体验效果。

本实施例的AR遥控器根据用户输入的控制指令，控制相应的智能家居，代替了原有的遥控器，且用户可以使用不同方式发送控制指令，给予了多种选择，提高了适用人群的范围。可视化遥控智能电器，克服了语音遥控或者遥控器直接遥控的先天不足，一个AR遥控器可以驱动家中任何智慧电器的开关、运行以及调整。基于AR技术的遥控器，不论短距离还是局域网和广域网，遥控效果更直观、高效。

本实施例的AR遥控装置、智能家居遥控系统及方法的技术效果或者有益效果在于：短距离的智慧电器遥控，通用性强，纳入到遥控系统的智慧电器，只需通过一个AR遥控器就可实现遥控，虚拟菜单功能方便了遥控实施，语音辅助功能丰富了遥控手段。

基于AR技术的虚(虚拟选择菜单)实(具体智慧电器)结合，让任何遥控器的使用者，都感觉简洁和方便，尤其是对(暂时)丧失语言能力或肌肉控制能力的病患，是福音神器，再辅助以语言语义识别技术，更让老人和儿童用户感觉温馨。

实施例二

基于上述实施例的改进，除与上述相同的之外，如图5和图6所示，AR遥控器/装置，还包括：辅助摄像模块4，与所述可穿戴AR主体设备通过所述通信设备通信连接，用于获取远距离的所述智能家居的影像。辅助摄像模块进一步包括：网络摄像头、无人机机载摄像头或者无人车车载摄像头。

具体的，可穿戴AR主体设备与辅助摄像模块通信连接后，可以实现对智能家居的远距离控制。

具体的，以无人机机载摄像头或者无人车车载摄像头与AR遥控器通信连接为例：机载摄像头可在用户的控制下移动，并将获取的影像发送给AR遥控器，因此，使用可穿戴AR主体设备的用户可远程控制智能家居(即图6中的各智慧家电200)，例如：实现用户在空间/房间A遥控空间/房间B中的智能家居。

基于AR技术的虚(虚拟控制指令菜单、虚拟中介物、3D虚拟空间环境和/或3D地图影像)实(具体智能家居)结合，让任何遥控器的使用者，都感觉简洁和方便，尤其是对(暂时)丧失语言能力和肌肉控制能力的病患，是福音神器，再辅助以语言语义识别技术，更让老人和儿童用户感觉温馨。

本实施例的AR遥控装置、智能家居遥控系统及方法的技术效果或者有益效果在于：本实施例中，长距离基于互联网或者物联网的遥控，通过辅助摄像模块来实现，对于家中任何空间中的任何智能家居，都能进行可视化遥控操作，精确、准确、具体、直观。基于AR技术的遥控器，不论短距离还是局域网和广域网，遥控效果更直观、高效。

AR设备中或者网络中都存储有各种智慧电器的图像图形数据库、遥控指令数据库和用户使用记录等，这些都为了进一步开发和改善用户体验，让电器控制更人性化，更方便化，提供了有力的后台支撑。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本实用新型的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本实用新型的保护范围。

Claims (12)

1.一种AR遥控器，其特征在于，包括：可穿戴AR主体设备和指令控制设备，所述可穿戴AR主体设备和所述指令控制设备通信连接；

所述可穿戴AR主体设备，用于捕捉智能家居的影像；

所述指令控制设备，用于向所述智能家居发送控制指令编码信号。

2.如权利要求1所述的AR遥控器，其特征在于，所述指令控制设备包括：

通信设备，与所述可穿戴AR主体设备电连接；

指令发生模块，与所述通信设备电连接；

所述通信设备，用于向所述智能家居发出控制指令编码信号。

3.如权利要求2所述的AR遥控器，其特征在于，所述通信设备包括：红外发射器、近距离无线通讯器、Wi-Fi模块、蓝牙、ZigBee、Li-Fi模块和/或Z-Wave模块。

4.如权利要求2所述的AR遥控器，其特征在于，所述指令发生模块包括：手势交互部件、头瞄部件、眼动跟踪部件、智慧手套、智慧戒指、语控设备和/或控制手柄。

5.如权利要求4所述的AR遥控器，其特征在于，所述手势交互部件与所述可穿戴AR主体设备电连接，所述手势交互部件，用于识别手势指令。

6.如权利要求4所述的AR遥控器，其特征在于，所述语控设备为麦克风和/或扬声器。

7.如权利要求1所述的AR遥控器，其特征在于，还包括：摄像头，与所述可穿戴AR主体设备电连接，用于获取周围环境视场中智能家居的影像。

8.如权利要求7所述的AR遥控器，其特征在于，所述摄像头进一步包括：深度摄像头、RGB摄像头、TOF摄像头、鱼眼摄像头和/或广角摄像头。

9.如权利要求2所述的AR遥控器，其特征在于，还包括：辅助摄像模块，与所述可穿戴AR主体设备通过所述通信设备通信连接，用于获取远距离的所述智能家居的影像。

10.如权利要求9所述的AR遥控器，其特征在于，所述辅助摄像模块进一步包括：网络摄像头、无人机机载摄像头或者无人车车载摄像头。

11.如权利要求1所述的AR遥控器，其特征在于，还包括：存储模块，与所述可穿戴AR主体设备电连接。

12.如权利要求1所述的AR遥控器，其特征在于，所述可穿戴AR主体设备包括至少一个显示/投影器和至少一个光学装置，实像通过所述光学装置构建，虚像通过所述显示/投影器在所述光学装置中构建。