CN110109370A - 基于gan算法和mr平台的智能家电控制系统 - Google Patents
基于gan算法和mr平台的智能家电控制系统 Download PDFInfo
- Publication number
- CN110109370A CN110109370A CN201910487130.5A CN201910487130A CN110109370A CN 110109370 A CN110109370 A CN 110109370A CN 201910487130 A CN201910487130 A CN 201910487130A CN 110109370 A CN110109370 A CN 110109370A
- Authority
- CN
- China
- Prior art keywords
- module
- platform
- intelligent appliance
- appliance
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000013523 data management Methods 0.000 claims abstract description 7
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 230000002452 interceptive effect Effects 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 230000001276 controlling effect Effects 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种基于GAN算法和MR平台的智能家电控制系统，属于家电控制技术领域，包括服务器和MR平台，服务器包括数据管理模块、判断模块、电器控制模块和显示交互模块；MR平台包括语音检测模块、手势识别模块、家电图像获取模块、家电控制模块、通信模块和显示模块，语音监测模块用于获取语音并进行语音识别；家电控制模块用于生成对智能家电进行控制的控制命令，并通过通信模块发送给服务器；家电图像获取模块用于获取智能家电的图像；通信模块用于与服务器进行通信，将获取到的家电图像发送给服务器进行识别；显示模块用于显示获取的家电图像信息以及对智能家电的控制命令内容，手势识别模块用于与MR平台进行交互。
Description
技术领域
本发明属于家电控制技术领域，涉及一种基于GAN算法和MR平台的智能家电管理系统。
背景技术
随着物联网技术、图像识别技术和MR(Mixed Reality，混合现实)技术的发展，越来越多的智能设备进入到用户的生活中，在佩戴MR时对家用电器的操控也逐渐成为一种需求。在日常生活中智能家居设备确实给用户的生活带来了诸多便利，可以使用移动设备无线控制相关电器。同时，MR也以其虚拟与现实结合的体验获得了用户的青睐。尤其是在用户使用MR产品时，如果想要对智慧家庭中相关电器进行操控，还需要将MR产品取下，使用其他移动设备进行控制。
随着物联网技术的发展智能家居设备不断进入到用户的家庭当中，常见的如智能电视、智能灯、智能门锁和智能空调等相关家用电器，可以方便的让人们通过无线控制实现对家用电器的操控。
随着MR技术的发展，越来越实用的MR设备进入到用户的生活当中，用户可以通过MR实现玩游戏、看电影、看资讯等相关操作。
图像识别算法在人工智能发展的当下也更加成熟，GAN算法作为神经网络算法可以更快的实现家用电器的识别，更好满足系统对于物体图像快速检测的目的。
发明内容
有鉴于此，本发明的目的在于提供一种基于GAN算法和MR平台的智能家电控制系统，其可以识别语音呼出程序，可以实现对于家庭环境下智能电器的识别，可以实现手势的识别，进而实现手势识别与家电控制虚拟界面的交互，进而实现对于家用电器的操控。其比较方便地解决用户无法在使用MR时对智慧家庭中相关电器进行操控的矛盾。
为达到上述目的，本发明提供如下技术方案：
一种基于GAN算法和MR平台的智能家电控制系统，包括服务器和MR平台，
所述服务器包括数据管理模块、判断模块、电器控制模块和显示交互模块，
所述数据管理模块用于存储建立GAN智能家电识别模型的数据集，用于构建GAN智能家电的识别模型，还用于收集实时采集的智能家用电器的图片，以扩充数据集；
所述判断模块包括训练判断模型和应用判断模型，所述训练判断模型用于在使用前期收集的智能家电数据集，运用GAN方法训练出识别模型，所述应用判断模型模块用于使用上述生成的判断模型，实时判断MR平台采集到的智能电器的种类；
所述电器控制模块用于获取智能家电的状态，并下发相关控制命令给智能电器，从而控制智能电器；
所述显示交互模块用于显示智能家电判断的数量、判断的准确率、智能家电的数量和状态，并将获取的智能家电的相关状态和家庭环境下的环境数据发送给MR平台进行显示；
所述MR平台包括语音检测模块、手势识别模块、家电图像获取模块、家电控制模块、通信模块和显示模块，
所述语音监测模块用于获取语音并进行语音识别；
所述手势识别模块用于与MR平台的虚拟界面交互；
所述家电控制模块用于生成对智能家电进行控制的控制命令，并通过通信模块发送给服务器；
所述家电图像获取模块用于获取智能家电的图像；
所述通信模块用于与服务器进行通信，将获取到的家电图像发送给服务器进行识别；
所述显示模块用于显示获取的家电图像信息以及对智能家电的控制命令内容。
进一步，所述MR平台的语音监测模块包括麦克风。
进一步，所述MR平台的和家电图像获取模块是通过摄像头对家电图像进行获取的。
进一步，所述家电控制模块通过手势识别模块进行操作，通过摄像头获取手势并对手势的图片进行特征点定位和图像分割进而实现手势的识别，从而对家电进行控制。
本发明的有益效果在于：本发明比较方便地解决了用户无法在使用MR时对智慧家庭中相关电器进行操控的矛盾。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明基于GAN算法和MR平台的智能家电控制系统的服务器功能示意图；
图2为本发明基于GAN算法和MR平台的智能家电控制系统的MR平台功能示意图；
图3为本发明基于GAN算法和MR平台的智能家电控制系统示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
一种基于GAN算法和MR平台的智能家电控制系统，包括服务器和MR平台，
如图1所示，所述服务器包括数据管理模块、判断模块、电器控制模块和显示交互模块，
所述数据管理模块用于前期存储建立GAN智能家电识别模型的数据集，用于构建GAN智能家电的识别模型，还用于收集实时采集的智能家用电器的图片，以扩充数据集；
所述判断模块包括训练判断模型和应用判断模型，所述训练判断模型用于在使用前期收集的智能家电数据集，运用GAN方法训练出识别模型，所述应用判断模型模块用于使用上述生成的判断模型，实时判断MR平台采集到的智能电器的种类；
所述电器控制模块用于获取智能家电的状态，并下发相关控制命令给智能电器，从而控制智能电器；
所述显示交互模块用于显示智能家电判断的数量、判断的准确率、智能家电的数量和状态，并将获取的智能家电的相关状态和家庭环境下的环境数据发送给MR平台进行显示；
如图2所示，所述MR平台包括语音检测模块、手势识别模块、家电图像获取模块、家电控制模块、通信模块和显示模块，
所述语音监测模块用于获取语音并进行语音识别；语音识别可以通过调用kaldi工具箱，最终实现语音的识别；
所述手势识别模块用于与MR平台的虚拟界面交互；
所述家电控制模块用于生成对智能家电进行控制的控制命令，并通过通信模块发送给服务器；
所述家电图像获取模块用于获取智能家电的图像并上传至服务器；
所述通信模块用于与服务器进行通信，将获取到的家电图像发送给服务器进行识别；可以通过WIFI或5G模块等相关通信方式进行通信。
所述显示模块用于显示获取的家电图像信息以及对智能家电的控制命令内容。
用户通过注册或登录后可对MR平台进行使用。
可选地，显示模块包括：(1)主显示界面：主显示界面主要包括摄像头画面、家电数量及相关信息和环境参数及相关信息。摄像头画面主要展示MR平台实时获取到的画面。
(2)电视控制显示界面：电视控制的界面主要和电视常见的使用功能有关，其中包括开机、关机、静音、音量加、音量减、频道加、频道减、确定、退出等相关功能按键。
(3)空调控制显示虚拟界面：空调控制界面主要包括开机、关机、升温、降温、模式调节、左右摆风调节、上下摆风调节等相关按键。
(4)灯光控制显示界面：灯光控制界面主要有打开和关闭虚拟按键，部分灯可能会包括亮度调节按键和颜色调节按键等相关按键。
(5)其他控制显示界面：其他相关控制界面主要面对智慧家庭中相应的用电器所设计，其虚拟按键的设计主要依据其具体功能设计。
可选地，所述MR平台的语音监测模块包括麦克风。
可选地，所述MR平台的和家电图像获取模块是通过摄像头对家电图像进行获取的。
可选地，所述家电控制模块通过手势识别模块进行控制，手势识别可以调用opencv相关的函数，通过摄像头获取手势并对手势的图片进行特征点定位和图像分割进而实现手势的识别，从而对家电进行控制。
如图3所示，可选地，服务器可设置在云平台上，MR平台通过4G/5G或互联网与服务器进行通信，服务器同样通过4G/5G或互联网与智能家电进行通信。
工作原理：本发明所提出的一种基于GAN算法和MR平台的智能家电控制系统。用户通过语音或者按键呼出MR平台，该程序通过摄像头将获取相关图像信息，然后通过5G模块等相关通信方式将图像上传至服务器，服务器前期已经使用GAN算法通过数据库中存储的电器的图像信息已经生成对于家电识别的模型，服务器使用生成的模型对获取的信息进行判断，得到用电器的类别。接下来服务器将判断的信息下发给MR，MR会根据用电器的不同类别在屏幕上显示出虚拟的控制界面，用户可以通过相应的输入设备，比如MR手柄、手势识别等选择对电器进行相应的控制。然后MR会将控制命令的信息上传至后台服务器，后台服务器再将控制命令下发给相应的用电器，进而实现基于GAN算法和MR平台的智能家电控制系统。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种基于GAN算法和MR平台的智能家电控制系统，其特征在于：包括服务器和MR平台，
所述服务器包括数据管理模块、判断模块、电器控制模块和显示交互模块，
所述数据管理模块用于存储建立GAN智能家电识别模型的数据集，用于构建GAN智能家电的识别模型，还用于收集实时采集的智能家用电器的图片，以扩充数据集；
所述判断模块包括训练判断模型和应用判断模型，所述训练判断模型用于在使用前期收集的智能家电数据集，运用GAN方法训练出识别模型，所述应用判断模型模块用于使用上述生成的判断模型，实时判断MR平台采集到的智能电器的种类；
所述电器控制模块用于获取智能家电的状态，并下发相关控制命令给智能电器，从而控制智能电器；
所述显示交互模块用于显示智能家电判断的数量、判断的准确率、智能家电的数量和状态，并将获取的智能家电的相关状态和家庭环境下的环境数据发送给MR平台进行显示；
所述MR平台包括语音检测模块、手势识别模块、家电图像获取模块、家电控制模块、通信模块和显示模块，
所述语音监测模块用于获取语音并进行语音识别；
所述手势识别模块用于与MR平台的虚拟界面交互；
所述家电控制模块用于生成对智能家电进行控制的控制命令，并通过通信模块发送给服务器；
所述家电图像获取模块用于获取智能家电的图像；
所述通信模块用于与服务器进行通信，将获取到的家电图像发送给服务器进行识别；
所述显示模块用于显示获取的家电图像信息以及对智能家电的控制命令内容。
2.根据权利要求1所述的基于GAN算法和MR平台的智能家电控制系统，其特征在于：所述MR平台的语音监测模块包括麦克风。
3.根据权利要求1所述的基于GAN算法和MR平台的智能家电控制系统，其特征在于：所述MR平台的和家电图像获取模块是通过摄像头对家电图像进行获取的。
4.根据权利要求1所述的基于GAN算法和MR平台的智能家电控制系统，其特征在于：所述家电控制模块通过手势识别模块进行操作，通过摄像头获取手势并对手势的图片进行特征点定位和图像分割进而实现手势的识别，从而对家电进行控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910487130.5A CN110109370A (zh) | 2019-06-05 | 2019-06-05 | 基于gan算法和mr平台的智能家电控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910487130.5A CN110109370A (zh) | 2019-06-05 | 2019-06-05 | 基于gan算法和mr平台的智能家电控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110109370A true CN110109370A (zh) | 2019-08-09 |
Family
ID=67494057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910487130.5A Pending CN110109370A (zh) | 2019-06-05 | 2019-06-05 | 基于gan算法和mr平台的智能家电控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110109370A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115268293A (zh) * | 2022-09-29 | 2022-11-01 | 珠海进田电子科技有限公司 | 一种基于全屋智能家电控制的触屏控制面板 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105955043A (zh) * | 2016-05-27 | 2016-09-21 | 浙江大学 | 一种增强现实型的可见即可控智能家居控制系统及方法 |
| CN106502118A (zh) * | 2016-12-21 | 2017-03-15 | 惠州Tcl移动通信有限公司 | 一种基于ar摄像头的智能家居控制方法及系统 |
| CN106896732A (zh) * | 2015-12-18 | 2017-06-27 | 美的集团股份有限公司 | 家用电器的展示方法和装置 |
| CN107168076A (zh) * | 2017-05-19 | 2017-09-15 | 上海青研科技有限公司 | 一种基于ar或vr的眼控智能家居系统及方法 |
| CN107682236A (zh) * | 2017-08-28 | 2018-02-09 | 深圳广田智能科技有限公司 | 基于计算机图像识别的智能家居交互系统及方法 |
| CN107703872A (zh) * | 2017-10-31 | 2018-02-16 | 美的智慧家居科技有限公司 | 家电设备的终端控制方法、装置及终端 |
| CN208207534U (zh) * | 2017-07-28 | 2018-12-07 | 美的智慧家居科技有限公司 | 一种基于虚拟显示技术的智能家电控制系统 |
| CN109088803A (zh) * | 2018-09-20 | 2018-12-25 | 塔普翊海（上海）智能科技有限公司 | 一种ar遥控装置、智能家居遥控系统及方法 |
-
2019
- 2019-06-05 CN CN201910487130.5A patent/CN110109370A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106896732A (zh) * | 2015-12-18 | 2017-06-27 | 美的集团股份有限公司 | 家用电器的展示方法和装置 |
| CN105955043A (zh) * | 2016-05-27 | 2016-09-21 | 浙江大学 | 一种增强现实型的可见即可控智能家居控制系统及方法 |
| CN106502118A (zh) * | 2016-12-21 | 2017-03-15 | 惠州Tcl移动通信有限公司 | 一种基于ar摄像头的智能家居控制方法及系统 |
| CN107168076A (zh) * | 2017-05-19 | 2017-09-15 | 上海青研科技有限公司 | 一种基于ar或vr的眼控智能家居系统及方法 |
| CN208207534U (zh) * | 2017-07-28 | 2018-12-07 | 美的智慧家居科技有限公司 | 一种基于虚拟显示技术的智能家电控制系统 |
| CN107682236A (zh) * | 2017-08-28 | 2018-02-09 | 深圳广田智能科技有限公司 | 基于计算机图像识别的智能家居交互系统及方法 |
| CN107703872A (zh) * | 2017-10-31 | 2018-02-16 | 美的智慧家居科技有限公司 | 家电设备的终端控制方法、装置及终端 |
| CN109088803A (zh) * | 2018-09-20 | 2018-12-25 | 塔普翊海（上海）智能科技有限公司 | 一种ar遥控装置、智能家居遥控系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115268293A (zh) * | 2022-09-29 | 2022-11-01 | 珠海进田电子科技有限公司 | 一种基于全屋智能家电控制的触屏控制面板 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106406119B (zh) | 基于语音交互、云技术及集成智能家居监控的服务机器人 | |
| CN106453630B (zh) | 一种智能社区的服务网络平台 | |
| CN104360599B (zh) | 基于led照明装置的智能家庭控制方法、设备及系统 | |
| CN105204351B (zh) | 空调机组的控制方法及装置 | |
| CN109271881A (zh) | 一种变电站内人员安全管控方法、装置及服务器 | |
| CN105843054A (zh) | 控制家居设备的方法、智能家居系统及移动设备 | |
| CN110322544A (zh) | 一种可视化三维扫描建模方法、系统、设备及存储介质 | |
| CN206075026U (zh) | 一种基于多手势控制的智能家居控制终端 | |
| CN111047708B (zh) | 一种基于混合现实的复杂设备高风险项目训练系统 | |
| CN108346456A (zh) | 一种智能体育健身管理系统 | |
| CN112785355A (zh) | 一种车载智能美妆系统 | |
| CN107682236A (zh) | 基于计算机图像识别的智能家居交互系统及方法 | |
| CN107885429A (zh) | 灯控模型的构建方法及灯控方法、系统、装置和存储介质 | |
| CN109788616A (zh) | 一种照明设备控制方法、装置及系统 | |
| CN108021880A (zh) | 一种基于手势识别的智能家居控制系统 | |
| CN107942691A (zh) | 一种具有亮度补偿的手势识别的智能家居控制系统 | |
| CN107514751A (zh) | 空调器的控制方法、装置及空调器 | |
| CN208013970U (zh) | 一种生物特征识别系统 | |
| CN110109370A (zh) | 基于gan算法和mr平台的智能家电控制系统 | |
| CN114578701A (zh) | 智能家居控制系统的学习方法及控制方法 | |
| WO2020078076A1 (zh) | 控制空调的方法及系统、空调器、家用电器 | |
| CN108227520A (zh) | 一种基于全景界面的智能设备的控制系统及控制方法 | |
| CN106780768A (zh) | 一种远程实时3d模拟化妆系统及其方法 | |
| CN107610294A (zh) | 一种开关锁系统及开关锁系统控制方法 | |
| CN209118375U (zh) | 一种智能人脸识别终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190809 |
|
| RJ01 | Rejection of invention patent application after publication |