CN107168076A - 一种基于ar或vr的眼控智能家居系统及方法 - Google Patents

一种基于ar或vr的眼控智能家居系统及方法 Download PDF

Info

Publication number
CN107168076A
CN107168076A CN201710360943.9A CN201710360943A CN107168076A CN 107168076 A CN107168076 A CN 107168076A CN 201710360943 A CN201710360943 A CN 201710360943A CN 107168076 A CN107168076 A CN 107168076A
Authority
CN
China
Prior art keywords
household terminal
control
eye
intelligent domestic
domestic system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710360943.9A
Other languages
English (en)
Inventor
杜煜
傅之成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Green Technology Co Ltd
Original Assignee
Shanghai Green Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Green Technology Co Ltd filed Critical Shanghai Green Technology Co Ltd
Priority to CN201710360943.9A priority Critical patent/CN107168076A/zh
Publication of CN107168076A publication Critical patent/CN107168076A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种基于AR或VR的眼控智能家居系统及方法，包括AR或VR平台、家居终端和家居终端控制器，AR或VR平台包括眼控仪、控制模块和交互界面，家居终端在交互界面形成与其对应的虚拟映射，AR或VR平台使用者通过眼控仪与交互界面中的家居终端虚拟映射进行交互，控制模块将交互结果发送至所述家居终端控制器，家居终端控制器根据所述交互结果形成相应控制指令并发送至家居终端，实现对家居终端的操控。上述基于AR或VR的眼控智能家居系统，可以实现无需在现实环境与AR或VR环境之间切换的情况下，帮助AR或VR平台使用者完成对家居终端的控制。

Description

一种基于AR或VR的眼控智能家居系统及方法
技术领域
本发明属于智能家居领域，尤其涉及一种基于AR或VR的眼控智能家居系统及方法。
背景技术
智能家居通过物联网技术将家中的各种设备(如电灯、电视、空调、电动窗帘、防盗报警等)连接在一起，为人们的生活提供了方便。现有智能家居系统主要是通过手机、平板电脑、个人电脑上的应用程序进行操作，人机交互方式主要是触摸屏、鼠标、键盘等，也有一些可通过声控、手势等进行操作。
近几年，通过眼睛控制智能家居的技术也逐渐出现在大众视野，中国专利CN105159460A(一种基于眼动跟踪的智能家居控制器及其控制方法)公开了一种用眼睛控制智能家居的装置及方法，解决的问题是有肢体障碍的特殊人群控制智能家居的问题。
随着虚拟现实(以下称VR)和增强现实(以下称AR)技术的发展，智能家居通过AR或VR平台进行控制的需求被创造出来。例如，VR眼镜使用者在玩游戏的同时，感觉室温较高，需要打开室内的空调降低室温，通常情况下，VR眼镜使用者需要将游戏暂停，摘下眼镜，用遥控器打开空调后才能戴上VR眼镜继续游戏，这样的操作流程具有明显的缺点，即暂停游戏会破坏VR眼镜使用者的游戏体验。
发明内容
本发明的技术方案可以帮助AR或VR平台使用者实现无需在现实环境与AR或VR环境之间切换即可完成对家居终端的控制。发明人提出的技术方案为：
一种基于AR或VR的眼控智能家居系统，包括AR或VR平台、家居终端和家居终端控制器，AR或VR平台包括眼控仪、控制模块和交互界面，家居终端在交互界面形成与其对应的虚拟映射，AR或VR平台使用者通过眼控仪与交互界面中的家居终端虚拟映射进行交互，控制模块将交互结果发送至所述家居终端控制器，家居终端控制器根据所述交互结果形成相应控制指令并发送至家居终端，实现对家居终端的操控。上述基于AR或VR的眼控智能家居系统，可以实现无需在现实环境与AR或VR环境之间切换的情况下，帮助AR或VR平台使用者完成对家居终端的控制。
作为本发明的进一步优化，AR或VR平台还包括图像获取单元，图像获取单元捕获家居终端的图像，图像经处理后在交互界面形成家居终端的虚拟映射。AR或VR平台使用者能够在交互界面中看到可以操作的家居终端的图像，通过控制交互界面中图像的虚拟映射，完成对家居终端的控制。此技术方案可以使AR或VR平台使用者的操作对象更加的形象化，提升操作体验。
作为本发明的进一步优化，家居终端控制器为家居中央控制器。家居中央控制器集成了所有家居终端的控制功能，能够控制所有的家居终端。
作为本发明的进一步优化，家居终端控制器分布设置在各家居终端内部，每个家居终端中均包含可以接收控制模块的信号的控制器，实现AR或VR平台对家居终端的分别控制，提高了眼控智能家居系统的可靠性。
作为本发明的进一步优化，眼控仪包括红外发光模块和图像处理模块。红外发光模块发出红外光，图像处理模块采集AR或VR平台使用者眼部的红外图像，并将图像进行处理，判断AR或VR平台使用者的眼睛注视方向或目标。
作为本发明的进一步优化，交互界面中设置家居终端映射界面入口，此入口可以实现在家居终端映射界面与游戏、影视等其它界面之间进行切换，此技术方案可以实现眼控智能家居系统在娱乐状态与家居控制状态的快速切换。
作为本发明的进一步优化，AR或VR平台为AR眼镜或VR眼镜。
一种应用基于AR或VR的眼控智能家居系统控制家居终端的方法，包含以下步骤：
步骤一，对AR或VR平台使用者进行视线校准；
步骤二，家居终端在AR或VR平台交互界面形成与其对应的虚拟映射；
步骤三，判断AR或VR平台使用者的注视位置，并根据使用者的眼部动作形成相对应的控制指令；
步骤四，控制模块将控制指令发送至所述家居终端控制器，实现对家居终端的操控。
本发明披露的基于AR或VR的眼控智能家居系统及方法，可以实现无需在现实环境与AR或VR环境之间切换的情况下，帮助AR或VR平台使用者完成对家居终端的控制。
附图说明
图1为本发明基于AR或VR的眼控智能家居系统结构框图；
图2为本发明实施例一的结构框图；
图3为本发明实施例二的结构框图；
图4为本发明实施例三的家居终端控制器分布示意图。
具体实施方式
为详细说明本发明的技术方案，现结合附图说明本发明优选的实施例。
实施例一公开了一种基于VR的眼控智能家居系统，如图2所示，该系统包括VR平台、家居终端和家居终端控制器，VR平台包括眼控仪、控制模块和交互界面，家居终端在交互界面形成与其对应的虚拟映射，VR平台使用者通过眼控仪与交互界面中的家居终端虚拟映射进行交互，控制模块将交互结果发送至所述家居终端控制器，家居终端控制器根据所述交互结果形成相应控制指令并发送至家居终端，实现对家居终端的操控。通过采用上述技术方案的眼控智能家居系统，可以实现无需在现实环境与VR环境之间切换的情况下，帮助VR平台使用者完成对家居终端的控制。
实施例二公开了一种基于AR的眼控智能家居系统，如图3所示，该实施例包括AR平台、家居终端和家居终端控制器，AR平台包括眼控仪、控制模块和交互界面，家居终端在交互界面形成与其对应的虚拟映射，AR平台使用者通过眼控仪与交互界面中的家居终端虚拟映射进行交互，控制模块将交互结果发送至所述家居终端控制器，家居终端控制器根据所述交互结果形成相应控制指令并发送至家居终端，实现对家居终端的操控。AR平台还包括图像获取单元，图像获取单元捕获家居终端的图像，图像经处理后在交互界面形成家居终端的虚拟映射。AR平台使用者能够在交互界面中看到可以操作的家居终端的图像，通过控制交互界面中图像的虚拟映射，完成对家居终端的控制。此实施例可以使AR平台使用者的操作对象更加的形象化，提升操作体验。
实施例三公开了一种基于AR或VR的眼控智能家居系统，该实施例包括AR或VR平台、家居终端和家居终端控制器，AR或VR平台包括眼控仪、控制模块和交互界面，家居终端在交互界面形成与其对应的虚拟映射，AR或VR平台使用者通过眼控仪与交互界面中的家居终端虚拟映射进行交互，控制模块将交互结果发送至所述家居终端控制器，在本实施例中，如图4所示，家居终端控制器包括家居终端控制器1、家居终端控制器2和家居终端控制器3，分别设置在家居终端1、家居终端2和家居终端3中，各家居终端控制器根据交互结果形成相应控制指令并发送至各家居终端，实现对各家居终端的操控。此实施例中的技术方案提高了眼控智能家居系统的可靠性。
在本发明的另一个实施例中，眼控仪包括红外发光模块和图像处理模块。红外发光模块发出红外光，图像处理模块采集AR或VR平台使用者眼部的红外图像，并将图像进行处理，判断AR或VR平台使用者的眼睛注视方向或目标。
在本发明的另一个实施例中，AR或VR平台的交互界面可以在家居终端映射界面与游戏、影视等其它界面之间进行切换，在此实施例中，交互界面的游戏、影视等界面中设置菜单键，AR或VR平台的使用者通过菜单键可以调出或启动家居终端映射界面。此技术方案可以实现眼控智能家居系统在娱乐状态与家居控制状态的任意切换。
在本发明的另一个实施例中，AR或VR平台为AR眼镜或VR眼镜。
在本发明中还公开了一种应用基于AR或VR的眼控智能家居系统控制家居终端的方法，包含以下步骤：
步骤一，对AR或VR平台使用者进行视线校准；
步骤二，家居终端在AR或VR平台交互界面形成与其对应的虚拟映射；
步骤三，判断AR或VR平台使用者的注视位置，并根据使用者的眼部动作形成相对应的控制指令；
步骤四，控制模块将控制指令发送至所述家居终端控制器，实现对家居终端的操控。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种基于AR或VR的眼控智能家居系统，包括AR或VR平台、家居终端和家居终端控制器，其特征在于，所述AR或VR平台包括眼控仪、控制模块和交互界面，所述家居终端在交互界面形成与其对应的虚拟映射，AR或VR平台使用者通过眼控仪与交互界面中的家居终端虚拟映射进行交互，所述控制模块将交互结果发送至所述家居终端控制器，家居终端控制器根据所述交互结果形成相应控制指令并发送至家居终端，实现对家居终端的操控。
2.根据权利要求1所述的基于AR或VR的眼控智能家居系统，其特征在于，所述AR或VR平台还包括图像获取单元，图像获取单元捕获家居终端的图像，图像经处理后在交互界面形成家居终端的虚拟映射。
3.根据权利要求1所述的基于AR或VR的眼控智能家居系统，其特征在于，所述家居终端控制器为家居中央控制器。
4.根据权利要求1所述的基于AR或VR的眼控智能家居系统，其特征在于，所述家居终端控制器分布设置在各家居终端内部。
5.根据权利要求1所述的基于AR或VR的眼控智能家居系统，其特征在于，所述眼控仪包括红外发光模块和图像处理模块。
6.根据权利要求1所述的基于AR或VR的眼控智能家居系统，其特征在于，所述交互界面中设置家居终端映射界面入口，此入口可以实现在家居终端映射界面与游戏、影视等其它界面之间进行切换。
7.根据权利要求1所述的基于AR或VR的眼控智能家居系统，其特征在于，所述AR或VR平台为AR眼镜或VR眼镜。
8.一种应用权利要求1所述的基于AR或VR的眼控智能家居系统控制家居终端的方法，其特征在于，所述控制家居终端的方法包含以下步骤：
步骤一，对AR或VR平台使用者进行视线校准；
步骤二，家居终端在AR或VR平台交互界面形成与其对应的虚拟映射；
步骤三，判断AR或VR平台使用者的注视位置，并根据使用者的眼部动作形成相对应的控制指令；
步骤四，控制模块将控制指令发送至所述家居终端控制器，实现对家居终端的操控。
CN201710360943.9A 2017-05-19 2017-05-19 一种基于ar或vr的眼控智能家居系统及方法 Pending CN107168076A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710360943.9A CN107168076A (zh) 2017-05-19 2017-05-19 一种基于ar或vr的眼控智能家居系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710360943.9A CN107168076A (zh) 2017-05-19 2017-05-19 一种基于ar或vr的眼控智能家居系统及方法

Publications (1)

Publication Number Publication Date
CN107168076A true CN107168076A (zh) 2017-09-15

Family

ID=59816506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710360943.9A Pending CN107168076A (zh) 2017-05-19 2017-05-19 一种基于ar或vr的眼控智能家居系统及方法

Country Status (1)

Country Link
CN (1) CN107168076A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108614456A (zh) * 2018-05-25 2018-10-02 苏州市职业大学 一种利用ar增强现实用技术的家电安全管理系统
CN109088803A (zh) * 2018-09-20 2018-12-25 塔普翊海（上海）智能科技有限公司 一种ar遥控装置、智能家居遥控系统及方法
CN109324417A (zh) * 2018-12-13 2019-02-12 宜视智能科技（苏州）有限公司 助视器及其控制方法、计算机存储介质
CN110109370A (zh) * 2019-06-05 2019-08-09 重庆邮电大学 基于gan算法和mr平台的智能家电控制系统
CN113225549A (zh) * 2021-04-19 2021-08-06 广州朗国电子科技有限公司 一种vr智能生活系统
CN113767331A (zh) * 2019-05-03 2021-12-07 奥迪股份公司 用于与颜色相关的图像内容检测的装置以及具有这种装置的计算设备和机动车
CN113885706A (zh) * 2021-10-19 2022-01-04 清华大学 一种交互控制方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111634A (zh) * 2013-04-17 2014-10-22 珠海格力电器股份有限公司 智能家居系统及控制方法
CN104678906A (zh) * 2013-12-02 2015-06-03 深圳市易居智能科技有限公司 物联网智能家居系统
CN205427468U (zh) * 2015-09-29 2016-08-03 上海青研信息技术有限公司 一种眼控智能家居装置
CN106249607A (zh) * 2016-07-28 2016-12-21 桂林电子科技大学 虚拟智能家居仿真系统及方法
CN106445156A (zh) * 2016-09-29 2017-02-22 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的智能家居控制的方法、装置以及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111634A (zh) * 2013-04-17 2014-10-22 珠海格力电器股份有限公司 智能家居系统及控制方法
CN104678906A (zh) * 2013-12-02 2015-06-03 深圳市易居智能科技有限公司 物联网智能家居系统
CN205427468U (zh) * 2015-09-29 2016-08-03 上海青研信息技术有限公司 一种眼控智能家居装置
CN106249607A (zh) * 2016-07-28 2016-12-21 桂林电子科技大学 虚拟智能家居仿真系统及方法
CN106445156A (zh) * 2016-09-29 2017-02-22 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的智能家居控制的方法、装置以及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石月春等: "《水轮发电组状态监测技术研究与实践》", 31 December 2016 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108614456A (zh) * 2018-05-25 2018-10-02 苏州市职业大学 一种利用ar增强现实用技术的家电安全管理系统
CN109088803A (zh) * 2018-09-20 2018-12-25 塔普翊海（上海）智能科技有限公司 一种ar遥控装置、智能家居遥控系统及方法
CN109088803B (zh) * 2018-09-20 2023-11-07 塔普翊海（上海）智能科技有限公司 一种ar遥控装置、智能家居遥控系统及方法
CN109324417A (zh) * 2018-12-13 2019-02-12 宜视智能科技（苏州）有限公司 助视器及其控制方法、计算机存储介质
CN113767331A (zh) * 2019-05-03 2021-12-07 奥迪股份公司 用于与颜色相关的图像内容检测的装置以及具有这种装置的计算设备和机动车
US11580716B2 (en) 2019-05-03 2023-02-14 Audi Ag Device for a color-based detection of image contents computing device, and motor vehicle including the device
CN110109370A (zh) * 2019-06-05 2019-08-09 重庆邮电大学 基于gan算法和mr平台的智能家电控制系统
CN113225549A (zh) * 2021-04-19 2021-08-06 广州朗国电子科技有限公司 一种vr智能生活系统
CN113225549B (zh) * 2021-04-19 2022-07-01 广州朗国电子科技股份有限公司 一种vr智能生活系统
CN113885706A (zh) * 2021-10-19 2022-01-04 清华大学 一种交互控制方法、装置及系统

Similar Documents

Publication Publication Date Title
CN107168076A (zh) 一种基于ar或vr的眼控智能家居系统及方法
EP3616040B1 (en) Augmented reality system comprising light-emitting user input device
CN107506037B (zh) 一种基于增强现实的控制设备的方法和装置
US9071790B2 (en) Remote control method, remote controller, remote control response method and set-top box
CN106843498B (zh) 基于虚拟现实的动态界面交互方法及装置
CN109308115B (zh) 虚拟现实系统中显示用户移动的方法及相关装置
US10379605B2 (en) Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
CN104135683B (zh) 一种智能设备的遥控方法及相关设备、系统
WO2018103634A1 (zh) 一种数据处理的方法及移动终端
US20100302357A1 (en) Gesture-based remote control system
CN103079019A (zh) 一种通过移动设备控制智能终端的控制方法及系统
EP2237131A1 (en) Gesture-based remote control system
US20170235462A1 (en) Interaction control method and electronic device for virtual reality
CN109011570A (zh) 体感游戏互动方法与系统
CN103595984A (zh) 3d眼镜、3d显示系统及3d显示方法
JP6771087B2 (ja) Ｖｒ機器用のタッチ制御装置及び仮想現実システム
CN106484123A (zh) 虚拟现实中用户传送方法及系统
US20140240226A1 (en) User Interface Apparatus
WO2021145878A1 (en) Mobile application platform projected on a secondary display with intelligent gesture interactions
KR20220045987A (ko) 소비자 장치를 위한 라이트필드 디스플레이
CN105988601A (zh) 输入装置、显示装置及其控制方法
EP2256590A1 (en) Method for controlling gesture-based remote control system
KR20220009244A (ko) 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법
CN104657063A (zh) 一种用户界面内容显示的方法和显示设备
CN105320408B (zh) 可调式局部触控模组及其触控控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170915