CN106658130A - 一种家用电器可视化控制方法 - Google Patents
一种家用电器可视化控制方法 Download PDFInfo
- Publication number
- CN106658130A CN106658130A CN201710020022.8A CN201710020022A CN106658130A CN 106658130 A CN106658130 A CN 106658130A CN 201710020022 A CN201710020022 A CN 201710020022A CN 106658130 A CN106658130 A CN 106658130A
- Authority
- CN
- China
- Prior art keywords
- control
- electrical appliance
- household electrical
- visual
- control method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 title claims abstract description 30
- 238000006073 displacement reaction Methods 0.000 claims abstract description 5
- 238000012800 visualization Methods 0.000 claims description 9
- 238000004378 air conditioning Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract 1
- 230000001276 controlling effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42225—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details characterized by types of remote control, e.g. universal remote control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种家用电器可视化控制方法，其特征在于，通过视频图像识别，提取视频流中的家居元素，并加入控制单元，清晰直观，准确无误，可视化控制，实现可视，可感，可触。在实时图像上，手工对需要控制的家用电器设备进行分类，并记录各个需要控制的家用电器圈选矩形框的相对坐标；对当前实时图像进行图像识别，对识别的物体绘制矩形框框选分类；与自动图像识别圈选物体矩形框进行掩模干涉，让自动识别学习家用电器框选规则，并锁定家用电器矩形框，记录为最终家用电器分类矩形框相对坐标；绘制相同大小的透明控件，覆盖到实时图像对应的家用电器上，并在分类时，确定各个家用电器对应控件的单击、双击、滑动等操作事件及相应动作；之后每次操作，第一次利用摄像头得到家居实时图像时，进行物体自动识别，生成组合矩形框控件，旋转摄像头获取图像时，自动计算控件的相对位移坐标，所掩模的家用电器进入或退出当前界面，控件自动生效或失效。从而达到可视化控制操作。
Description
技术领域
本发明涉及家用电器控制、智能家居领域，尤其是一种家用电器可视化控制方法。
背景技术
随着移动互联网的快速发展，很多智能家电控制系统也从原来的单个个体控制、本地控制、局域网络控制，转换到手机APP远程控制，极大地拓宽了家用电器的控制、使用范围，家用电器厂商、智能家居系统集成商等纷纷推出各自的APP控制程序，呈现的网络家用电器越来越多，控制功能越发复杂，而其中人机交互的APP也越来越复杂，不同的家用电器、智能家居系统，需要不同的页面、控制逻辑去实现，每个厂商都是按照自己的协议、理解去实现各种操作界面，使得使用者要花更多的时间去理解、认知繁琐的使用流程、控制功能，使得简单的操作更加复杂化，造成更多的新的困扰，远离了智能家电操作简单、容易上手，让生活更轻松简单舒适的初衷。
发明内容
为了解决上述问题，本发明提供一种家用电器可视化远程控制方法。
本发明提供的技术方案实现如下。
一种家用电器可视化控制方法，其特征在于，通过视频图像识别，提取视频流中的家居元素，并加入控制单元，清晰直观，准确无误，可视化控制，实现可视，可感，可触。
一种家用电器可视化控制方法，在实时图像上，手工对需要控制的家用电器设备进行矩形框框选分类，并记录各个需要控制的家用电器圈选矩形框的相对坐标。
一种家用电器可视化控制方法，对当前实时图像进行图像识别，对识别的物体绘制矩形框框选分类；与自动图像识别圈选物体矩形框进行掩模干涉，让自动识别学习家用电器框选规则，并锁定家用电器矩形框，记录为最终家用电器分类矩形框相对坐标。
一种家用电器可视化控制方法，通过摄像头得到家居实时图像，进行物体自动识别，生成组合矩形框控件，和自动识别的物体分类进行掩模叠加，去除不相干物体，确定控件叠加位置。旋转摄像头获取图像时，自动计算控件的相对位移坐标，所掩模的家用电器进入或退出当前界面，控件自动生效或失效。达到可视化控制操作。
一种家用电器可视化控制方法，在类似空调、电视等红外控制设备中，可以在框选生成控件后，单击控件即可在实时图像上弹出对应遥控界面，从而实现实时的、随心所欲的控制。
一种家用电器可视化控制方法，其具体步骤如下：
1、通过摄像头获取家居环境实时图像；
2、在实时图像上，手工对需要控制的家用电器设备进行矩形框框选分类，并记录各个需要控制的家用电器圈选矩形框的相对坐标；
3、对当前实时图像进行图像识别，对识别的物体绘制矩形框框选分类；利用步骤2记录的矩形框，与自动图像识别圈选物体矩形框进行掩模干涉，让自动识别学习家用电器框选规则，并锁定家用电器矩形框，记录为最终家用电器分类矩形框相对坐标；
4、利用步骤3生成的矩形框相对坐标，绘制相同大小的透明控件，覆盖到实时图像对应的家用电器上，并在分类时，确定各个家用电器对应控件的单击、双击、滑动等操作事件及相应动作；
5、之后每次操作，第一次利用摄像头得到家居实时图像时，利用步骤3的自学习规则，进行物体自动识别，并利用步骤4生成的组合矩形框控件，和自动识别的物体分类进行掩模叠加，去除不相干物体，确定控件叠加位置。旋转摄像头获取图像时，自动计算控件的相对位移坐标，所掩模的家用电器进入或退出当前界面，控件自动生效或失效。从而达到可视化控制操作。
附图说明
图1为手工圈定家用电器并分类，图2为实时图像自动识别圈定物体分类；图3为可视化控制方法的流程图。
具体实施方式
本发明实现一种家用电器可视化控制方法，首先，在可控的智能家居房间或通道内安装可捕获现场图像的摄像头，通过网络将实时图像传送到手机APP；在APP的实时图像中，手工选择可控的家用电器实体并框选出来，如图1所示，后台或APP记录框选的位置坐标，间距等，后台或APP对实时图像进行灰度处理，并根据色域深度自动生成矩形圈选框，如图2所示；将手动框选区域灰度化并与自动生成的矩形框进行对比匹配，当有一个以上匹配时即可根据相对坐标自动将手动框选的其他控制框叠加到实时图像灰度图中，并保存相关区域的灰度值；去掉实时图像中不相关的控制框，并将实际控制框生成透明控件覆盖到实时图像对应的家用电器上；将控件进行分类，在分类时，确定各个家用电器对应控件的单击、双击、滑动等操作事件及相应动作；将相应事件绑定到底层实际家用电器控制接口；以后每次控制相应家用电器时，只需要控制摄像头转动，将相应家用电器置于实时画面内，通过识别得到当前设置的控件，通过在相应家用电器位置触发事件，即可实现可视化控制。
旋转摄像头获取图像时，自动计算控件的相对位移坐标，所掩模的家用电器进入或退出当前界面，控件自动生效或失效。如此，达到可视化控制操作。
特别的，在类似空调、电视等红外家电设备中，可以在框选生成控件后，单击控件即可在实时图像上弹出对应遥控界面，从而实现实时的、随心所欲的控制。
一种家用电器可视化控制方法在包含上面的一整套流程的同时，通过用户行为分析，智能家居环境采集，及每次控制数据收集处理，包括框选区域的图像随时间变化规律等，即可实现界面控制框随着物体的移动更改位置而更改，让视野内的家居实现可视化控制，不再局限于传统的智能家居、家用电器控制界面，让智能控制可视、可感、可触。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (8)
1.一种家用电器可视化控制方法，其特征在于，通过视频图像识别，提取视频流中的家居元素，并加入控制单元，清晰直观，准确无误，可视化控制，实现可视，可感，可触。
2.如权利要求1所述的一种家用电器可视化控制方法，在实时图像上，手工对需要控制的家用电器设备进行矩形框框选分类，并记录各个需要控制的家用电器圈选矩形框的相对坐标。
3.如权利要求1所述的一种家用电器可视化控制方法，对当前实时图像进行图像识别，对识别的物体绘制矩形框框选分类；与自动图像识别圈选物体矩形框进行掩模干涉，让自动识别学习家用电器框选规则，并锁定家用电器矩形框，记录为最终家用电器分类矩形框相对坐标。
4.如权利要求1所述的一种家用电器可视化控制方法，通过摄像头得到家居实时图像，进行物体自动识别，生成组合矩形框控件，和自动识别的物体分类进行掩模叠加，去除不相干物体，确定控件叠加位置；旋转摄像头获取图像时，自动计算控件的相对位移坐标，所掩模的家用电器进入或退出当前界面，控件自动生效或失效，达到可视化控制操作。
5.如权利要求1所述的一种家用电器可视化控制方法，在类似空调、电视等红外控制设备中，可以在框选生成控件后，单击控件即可在实时图像上弹出对应遥控界面，从而实现实时的、随心所欲的控制。
6.如权利要求1所述的一种家用电器可视化控制方法，通过用户行为分析，智能家居环境采集，及每次控制数据收集处理，包括框选区域的图像时间变化规律等，即可实现界面控制框随着物体的移动更改位置而更改，让视野内的家用电器实现可视化控制，不再局限于传统的智能家居、家用电器控制界面，让智能控制可视、可感、可触。
7.如权利要求1所述的一种家用电器可视化控制方法，在图像识别、处理过程中包括但不仅限于灰度处理等方法，类似的通过图像识别生成控件，从而实际控制设备的方法都属于本专利的范畴。
8.如权利要求1所述的一种家用电器可视化控制方法，包括但不仅限于家用电器等方法，类似的通过图像识别生成控件，从而实际控制设备的方法都属于本专利的范畴。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710020022.8A CN106658130A (zh) | 2017-01-12 | 2017-01-12 | 一种家用电器可视化控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710020022.8A CN106658130A (zh) | 2017-01-12 | 2017-01-12 | 一种家用电器可视化控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106658130A true CN106658130A (zh) | 2017-05-10 |
Family
ID=58843059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710020022.8A Pending CN106658130A (zh) | 2017-01-12 | 2017-01-12 | 一种家用电器可视化控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106658130A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108803371A (zh) * | 2018-08-13 | 2018-11-13 | 三星电子（中国）研发中心 | 一种电器设备的控制方法以及装置 |
| CN110336719A (zh) * | 2019-06-03 | 2019-10-15 | 武汉工程大学 | 一种实时视频家居环境设备识别交互的远程智能家居控制方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104597759A (zh) * | 2014-12-26 | 2015-05-06 | 深圳市兰丁科技有限公司 | 基于网络视频的家居控制方法和系统及智能家居管理系统 |
| CN104977904A (zh) * | 2014-04-04 | 2015-10-14 | 浙江大学 | 一种可见即可控的智能家居控制系统及控制方法 |
| CN106096612A (zh) * | 2016-06-01 | 2016-11-09 | 中国科学院动物研究所 | 实蝇图像识别系统及方法 |
-
2017
- 2017-01-12 CN CN201710020022.8A patent/CN106658130A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104977904A (zh) * | 2014-04-04 | 2015-10-14 | 浙江大学 | 一种可见即可控的智能家居控制系统及控制方法 |
| CN104597759A (zh) * | 2014-12-26 | 2015-05-06 | 深圳市兰丁科技有限公司 | 基于网络视频的家居控制方法和系统及智能家居管理系统 |
| CN106096612A (zh) * | 2016-06-01 | 2016-11-09 | 中国科学院动物研究所 | 实蝇图像识别系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108803371A (zh) * | 2018-08-13 | 2018-11-13 | 三星电子（中国）研发中心 | 一种电器设备的控制方法以及装置 |
| CN110336719A (zh) * | 2019-06-03 | 2019-10-15 | 武汉工程大学 | 一种实时视频家居环境设备识别交互的远程智能家居控制方法 |
| CN110336719B (zh) * | 2019-06-03 | 2021-10-12 | 武汉工程大学 | 一种实时视频家居环境设备识别交互的远程智能家居控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1753474B (zh) | 电子设备的控制装置及方法 | |
| Hsieh et al. | A real time hand gesture recognition system using motion history image | |
| CN103530613B (zh) | 一种基于单目视频序列的目标人手势交互方法 | |
| CN104378688B (zh) | 模式切换方法和装置 | |
| US8160746B2 (en) | System and method for graphically allocating robot's working space | |
| CN109074819A (zh) | 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备 | |
| CN104349045B (zh) | 一种图像采集方法及电子设备 | |
| CN106201173B (zh) | 一种基于投影的用户交互图标的交互控制方法及系统 | |
| CN104182232B (zh) | 一种创建上下文感知应用的方法及用户终端 | |
| CN109542219B (zh) | 一种应用于智能教室的手势交互系统及方法 | |
| CN103135453A (zh) | 家用电器控制方法及系统 | |
| CN112633313B (zh) | 一种网络终端的不良信息识别方法及局域网终端设备 | |
| CN106020448A (zh) | 基于智能终端的人机交互方法和系统 | |
| CN106527455A (zh) | 无人机降落控制方法及装置 | |
| CN103500335A (zh) | 一种基于手势识别的照片拍摄与浏览的方法及其装置 | |
| CN107817701B (zh) | 设备控制方法、装置、计算机可读存储介质及终端 | |
| CN103092332A (zh) | 电视数字图像交互方法及系统 | |
| CN109147056A (zh) | 一种电器控制方法、装置、存储介质及移动终端 | |
| CN103000054B (zh) | 智能厨房烹饪教学机及其控制方法 | |
| CN106658130A (zh) | 一种家用电器可视化控制方法 | |
| CN113110095A (zh) | 基于扫地机器人的HomeMap构建方法及构建系统 | |
| CN114821236A (zh) | 智慧家庭环境感知方法、系统、存储介质及电子装置 | |
| CN111339943A (zh) | 一种对象管理方法、系统、平台、设备及介质 | |
| CN107193384B (zh) | 基于Kinect彩色图像在鼠标和键盘模拟行为的切换方法 | |
| CN103425380A (zh) | 一种信息处理的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170510 |