CN107272424A - 控制智能家电的方法和设备 - Google Patents
控制智能家电的方法和设备 Download PDFInfo
- Publication number
- CN107272424A CN107272424A CN201710441315.3A CN201710441315A CN107272424A CN 107272424 A CN107272424 A CN 107272424A CN 201710441315 A CN201710441315 A CN 201710441315A CN 107272424 A CN107272424 A CN 107272424A
- Authority
- CN
- China
- Prior art keywords
- user
- intelligent appliance
- controlled
- distance
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000011217 control strategy Methods 0.000 claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000009977 dual effect Effects 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 17
- 230000003542 behavioural effect Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 7
- 230000005611 electricity Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明提一种控制智能家电的方法和设备，该方法包括：通过图像获取装置获取环境图像，当检测到环境图像中存在用户时，识别环境图像中的智能家电；检测环境图像中的每件智能家电与用户之间的距离，并基于每件智能家电与用户之间的距离确定待控制的智能家电；基于待控制的智能家电的控制策略，向待控制的智能家电发送控制指令，以控制待控制的智能家电执行预定操作。根据本发明的实施例的控制智能家电的方法和设备，通过图像获取装置来检测用户与智能家电之间的距离，基于该距离以及控制策略来控制智能家电，操作简单，并且仅设置一图像获取装置即可检测用户与所有智能家电之间的距离，无需在每个智能家电上都设置，节约了成本。
Description
技术领域
本发明涉及智能家居的技术领域。更具体地讲，涉及一种控制智能家电的方法和设备。
背景技术
目前，智能家电在日常生活中的应用越来越普及，而用户对智能家电的控制还局限在传统的方式上。比如，需要先打开移动终端上的智能家电控制应用，打开需要控制的智能家电的控制界面，通过点击控制界面上的按钮对该智能家电发送控制指令，最后该智能家电接收该控制指令并执行与该控制指令相应的操作。此种方式较为传统并且比较操作麻烦，尤其是对家里的老人和小孩来说，不易掌握其操作方法。
发明内容
本发明的目的在于提供一种控制智能家电的方法和设备，以解决现有的控制方法操作麻烦的问题。
本发明的一方面提供一种控制智能家电的方法，所述方法包括：通过图像获取装置获取环境图像；当检测到环境图像中存在用户时，识别环境图像中的智能家电；检测环境图像中的每件智能家电与用户之间的距离，并基于每件智能家电与用户之间的距离确定待控制的智能家电；基于待控制的智能家电的控制策略，向待控制的智能家电发送控制指令，以控制待控制的智能家电执行预定操作。
可选地，当所述控制策略仅与用户与待控制的智能家电之间的距离相关时，基于待控制的智能家电的控制策略，向待控制的智能家电发送控制指令，以控制待控制的智能家电执行预定操作的步骤包括：向待控制的智能家电发送与用户与待控制的智能家电之间的距离相关联的控制指令，以控制待控制的智能家电执行预定操作。
可选地，当所述控制策略与用户的动作相关，或者与用户与待控制的智能家电之间的距离以及用户的动作相关时，基于待控制的智能家电的控制策略，向待控制的智能家电发送控制指令，以控制待控制的智能家电执行预定操作的步骤包括：识别用户的动作；向待控制的智能家电发送与识别的用户的动作相关联的控制指令，以控制待控制的智能家电执行与识别的用户的动作相关联的预定操作，或者向待控制的智能家电发送与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的控制指令，以控制待控制的智能家电执行与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的预定操作。
可选地，当所述控制策略与用户与待控制的智能家电之间的距离、用户的动作以及做出动作的时间相关时，基于待控制的智能家电的控制策略，向待控制的智能家电发送控制指令，以控制待控制的智能家电执行预定操作的步骤包括：识别用户的动作并获取当前时间；向待控制的智能家电发送与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的控制指令，以控制待控制的智能家电执行与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的预定操作。
可选地，所述方法还包括：预先设置每件智能家电的控制策略。
可选地，利用以下至少一项特征来检测环境图像中的用户：相位一致特性、LBP特征、轮廓特征和纹理特征。
可选地，识别环境图像中的智能家电的步骤包括：对环境图像进行特征点提取，将提取的特征点与所有智能家电的标准特征点进行对比，将与和提取的特征点一致的标准特征点对应的智能家电作为识别的智能家电，其中，所述所有智能家电的标准特征点预先存储在本地存储器中或从云端获取。
可选地，所述图像获取装置是双摄像头，通过以下步骤来检测环境图像中的任意一件智能家电与用户之间的距离：利用双目测距方法计算所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离；根据所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离，利用余弦定理计算所述任意一件智能家电与用户之间的距离。
可选地，通过以下至少一种方法来识别用户的动作：基于模板的方法、基于概率统计的方法、基于语法的方法。
可选地，通过识别以下至少一种特征来识别用户的动作：静态特征、动态特征、时空特征和描述性特征。
本发明的另一方面提供一种控制智能家电的设备，所述设备包括：图像获取装置，用于拍摄环境图像；控制器，被配置为：通过图像获取装置获取环境图像；当检测到环境图像中存在用户时，识别环境图像中的智能家电；检测环境图像中的每件智能家电与用户之间的距离，并基于每件智能家电与用户之间的距离确定待控制的智能家电；基于待控制的智能家电的控制策略，生成用于控制待控制的智能家电执行预定操作的控制指令；发送器，在控制器的控制下向待控制的智能家电发送生成的控制指令。
可选地，控制器还被配置为：当所述控制策略仅与用户与待控制的智能家电之间的距离相关时，生成与用户与待控制的智能家电之间的距离相关联的控制指令。
可选地，控制器还被配置为：当所述控制策略与用户的动作相关，或者与用户与待控制的智能家电之间的距离以及用户的动作相关时，识别用户的动作，并生成与识别的用户的动作相关联的控制指令，以便控制待控制的智能家电执行与识别的用户的动作相关联的预定操作，或者生成与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的控制指令，以便控制待控制的智能家电执行与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的预定操作。
可选地，控制器还被配置为：当所述控制策略与用户与待控制的智能家电之间的距离、用户的动作以及做出动作的时间相关时，识别用户的动作并获取当前时间，并生成与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的控制指令，以便控制待控制的智能家电执行与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的预定操作。
可选地，每件智能家电的控制策略被预先设置。
可选地，控制器还被配置为利用以下至少一项特征来检测环境图像中的用户：相位一致特性、LBP特征、轮廓特征和纹理特征。
可选地，控制器还被配置为：对环境图像进行特征点提取，将提取的特征点与所有智能家电的标准特征点进行对比，将与和提取的特征点一致的标准特征点对应的智能家电作为识别的智能家电，其中，所述所有智能家电的标准特征点预先存储在本地存储器中或从云端获取。
可选地，所述图像获取装置是双摄像头，控制器还被配置为通过以下方式来检测环境图像中的任意一件智能家电与用户之间的距离：利用双目测距方法计算所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离；根据所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离，计算所述任意一件智能家电与用户之间的距离。
可选地，控制器还被配置为通过以下至少一种方法来识别用户的动作：基于模板的方法、基于概率统计的方法、基于语法的方法。
可选地，控制器还被配置为通过识别以下至少一种特征来识别用户的动作：静态特征、动态特征、时空特征和描述性特征。
本发明的另一方面提供一种计算机可读存储介质，存储有当被处理器执行时使得处理器执行如上述的控制智能家电的方法的程序指令。
根据本发明的实施例的控制智能家电的方法和设备，通过图像获取装置来检测用户与智能家电之间的距离，基于该距离以及控制策略来控制智能家电，操作简单，并且仅设置一图像获取装置即可检测用户与所有智能家电之间的距离，无需在每个智能家电上都设置，节约了成本。
此外，还可通过设置控制策略来调整对智能家电的控制方式，控制方式灵活，例如可设置为仅与用户与待控制的智能家电之间的距离相关，或者仅与用户的动作相关，或者与用户与待控制的智能家电之间的距离以及用户的动作相关，或者与用户与待控制的智能家电之间的距离、用户的动作以及做出动作的时间相关，从而用户可通过调整与智能家电之间的距离，或者做出相关的动作，或者通过调整与智能家电之间的距离以及做出相关的动作，或者在相应的时间段内，通过调整与智能家电之间的距离、做出相关的动作，来对智能家电进行相应的控制。
将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。
附图说明
通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：
图1是示出根据本发明的实施例的控制智能家电的方法的流程图；
图2是示出根据本发明的实施例的控制智能家电的设备的框图。
具体实施方式
下面参照附图详细描述本发明的实施例。
图1是示出根据本发明的实施例的控制智能家电的方法的流程图。根据本发明的实施例的控制智能家电的方法可应用于各种电子设备，例如，智能网关、移动通信终端、个人计算机、平板电脑、游戏机、数字多媒体播放器等。
参照图1，在步骤S10，通过图像获取装置获取环境图像。
所述图像获取装置可以是多摄像图，例如双摄像头。所述双摄像头可以是设置在上述电子设备上的摄像头，也可以是独立设置的摄像头。所述环境图像是指通过双摄像头获取的被控制的智能家电所在的空间的图像。
在步骤S20，检测环境图像中是否存在用户。
这里，可采用各种检测图像中是否存在人物的方法来检测环境图像中是否存在用户。例如，可利用环境图像中的以下至少一项特征来检测环境图像中是否存在用户：相位一致特性、局部二值模式(Local Binary Pattern，LBP)特征、轮廓特征和纹理特征。
当检测到环境图像中不存在用户时，返回执行步骤S10；当检测到环境图像中存在用户时，执行步骤S30，即，识别环境图像中的智能家电。
这里，可采用各种检测图像中的物体的方法来检测环境图像中的智能家电。例如，对环境图像进行特征点提取，将提取的特征点与所有智能家电的标准特征点进行对比，将与和提取的特征点一致的标准特征点对应的智能家电作为识别的智能家电。该识别的智能家电就是环境图像中的智能家电。所述所有智能家电的标准特征点预先存储在本地存储器中或从云端获取。
在步骤S40，检测环境图像中的每件智能家电与用户之间的距离，并基于每件智能家电与用户之间的距离确定待控制的智能家电。
这里，可采用各种检测图像中的物体之间的距离的方法来检测每件智能家电与用户之间的距离。例如，可通过以下步骤来检测环境图像中的任意一件智能家电与用户之间的距离：利用双目测距方法计算所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离；根据所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离，计算所述任意一件智能家电与用户之间的距离。具体说来，双摄像头与智能家电之间的距离是指双摄像头之间的连线的中点与智能家电之间的第一连线的长度，双摄像头与用户之间的距离是指双摄像头之间的连线的中点与用户之间的第二连线的长度。在利用余弦定理计算智能家电与用户之间的距离时，需要先确定第一连续和第二连线之间的夹角，再根据确定的夹角、第一连线的长度以及第二连线的长度，利用余弦定理计算智能家电与用户之间的距离。双目测距方法以及余弦定理是现有技术中常见的方法，在此不再赘述。
这里，可将与用户之间的距离小于或等于距离临界值的智能家电作为待控制的智能家电。每件智能家电的距离临界值可预先进行设置。
在步骤S50，基于待控制的智能家电的控制策略，向待控制的智能家电发送控制指令，以控制待控制的智能家电执行预定操作。
每件智能家电的控制策略可预先进行设置。针对不同的智能家电，控制策略可设置为仅与用户与待控制的智能家电之间的距离相关，即所述控制策略包括用户与待控制的智能家电之间的距离和控制指令的关联关系；也可设置为仅与用户的动作相关，即所述控制策略包括用户的动作和控制指令的关联关系，还可设置为与用户与待控制的智能家电之间的距离以及用户的动作相关，即所述控制策略包括用户与待控制的智能家电之间的距离、用户的动作和控制指令的关联关系；还可设置为与用户与待控制的智能家电之间的距离、用户的动作以及做出动作的时间相关，即所述控制策略包括用户与待控制的智能家电之间的距离、用户的动作、做出动作的时间和控制指令的关联关系。
当所述控制策略仅与用户与待控制的智能家电之间的距离相关时，在步骤S50，向待控制的智能家电发送与用户与待控制的智能家电之间的距离相关联的控制指令，以控制待控制的智能家电执行预定操作。例如，当智能房门的控制策略包括以下控制策略时：与用户与智能房门之间的距离在1米之内关联的控制指令为打开房门，如果检测到用户与智能房门之间的距离小于1米时，向所述智能房门发送打开房门的控制指令。
当所述控制策略与用户的动作相关，在步骤S50，识别用户的动作；向待控制的智能家电发送与识别的用户的动作相关联的控制指令，以控制待控制的智能家电执行与识别的用户的动作相关联的预定操作。例如，当智能冰箱的控制策略包括以下控制策略时：与用户向上挥手的动作关联的控制指令为开启智能冰箱，如果检测到用户进行向上挥手的动作时，向所述智能冰箱发送打开冰箱门的控制指令。
当所述控制策略与用户与待控制的智能家电之间的距离以及用户的动作相关时，向待控制的智能家电发送与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的控制指令，以控制待控制的智能家电执行与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的预定操作。例如，当智能冰箱的控制策略包括以下控制策略时：与用户向上挥手的动作以及用户与智能冰箱之间的距离在0.8米之内关联的控制指令为开启智能冰箱，如果检测到用户进行向上挥手的动作并且用户与智能冰箱之间的距离小于0.8米时，向所述智能冰箱发送打开冰箱门的控制指令。
当所述控制策略与用户与待控制的智能家电之间的距离、用户的动作以及做出动作的时间相关时，在步骤S50中，识别用户的动作并获取当前时间；向待控制的智能家电发送与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的控制指令，以控制待控制的智能家电执行与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的预定操作。例如，当智能窗帘的控制策略包括以下控制策略时：与用户向上挥手的动作、用户与智能窗帘之间的距离在0.5米之内以及做出动作的时间在早上6点至9点之间关联的控制指令为开启智能窗帘，如果检测到用户进行向上挥手的动作，用户与智能冰箱之间的距离小于0.5米，并且当前时间为早上7点时，向所述智能窗帘发送打开智能窗帘的控制指令。
在步骤S50中，可采用各种识别图片中的用户的动作的方法来识别用户的动作。例如，可通过以下至少一种方法来识别用户的动作：基于模板的方法、基于概率统计的方法、基于语法的方法。再如，可通过识别环境图像中的以下至少一种特征来识别用户的动作：静态特征、动态特征、时空特征和描述性特征。所述静态特征可包括大小、颜色、轮廓、形状和深度等特征。所述动态特征可包括光流、速度、速率、方向和轨迹等特征。所述时空特征可包括时空形状、时空兴趣点和时空上下文等特征。所述描述性特征可包括属性、场景、物体和姿态等特征。
图2是示出根据本发明的实施例的控制智能家电的设备的框图。根据本发明的实施例的控制智能家电的设备可以是各种电子设备，例如，智能网关、移动通信终端、个人计算机、平板电脑、游戏机、数字多媒体播放器等。
参照图2，本发明的实施例的控制智能家电的设备包括图像获取装置201、控制器202、和发送器203。
图像获取装置201用于获取环境图像。
所述图像获取装置201可以是多摄像图，例如双摄像头。所述双摄像头可以是设置在上述电子设备上的摄像头，也可以是独立设置的摄像头。所述环境图像是指通过双摄像头获取的被控制的智能家电所在的空间的图像。
控制器202检测环境图像中是否存在用户。
这里，可采用各种检测图像中是否存在人物的方法来检测环境图像中是否存在用户。例如，可利用环境图像中的以下至少一项特征来检测环境图像中是否存在用户：相位一致特性、局部二值模式(Local Binary Pattern，LBP)特征、轮廓特征和纹理特征。
当检测到环境图像中不存在用户时，返回启动图像获取单元201，即通过图像获取装置201获取环境图像；当检测到环境图像中存在用户时，控制器202识别环境图像中的智能家电。
这里，可采用各种检测图像中的物体的方法来检测环境图像中的智能家电。例如，对环境图像进行特征点提取，将提取的特征点与所有智能家电的标准特征点进行对比，将与和提取的特征点一致的标准特征点对应的智能家电作为识别的智能家电。该识别的智能家电就是环境图像中的智能家电。所述所有智能家电的标准特征点预先存储在本地存储器中或从云端获取。
控制器202检测环境图像中的每件智能家电与用户之间的距离，并基于每件智能家电与用户之间的距离确定待控制的智能家电。
这里，可采用各种检测图像中的物体之间的距离的方法来检测每件智能家电与用户之间的距离。例如，可通过以下步骤来检测环境图像中的任意一件智能家电与用户之间的距离：利用双目测距方法计算所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离；根据所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离，计算所述任意一件智能家电与用户之间的距离。具体说来，双摄像头与智能家电之间的距离是指双摄像头之间的连线的中点与智能家电之间的第一连线的长度，双摄像头与用户之间的距离是指双摄像头之间的连线的中点与用户之间的第二连线的长度。在利用余弦定理计算智能家电与用户之间的距离时，需要先确定第一连续和第二连线之间的夹角，再根据确定的夹角、第一连线的长度以及第二连线的长度，利用余弦定理计算智能家电与用户之间的距离。双目测距方法以及余弦定理是现有技术中常见的方法，在此不再赘述。
这里，可将与用户之间的距离小于或等于距离临界值的智能家电作为待控制的智能家电。每件智能家电的距离临界值可预先进行设置。
控制器202基于待控制的智能家电的控制策略，生成控制待控制的智能家电的控制指令。发送器203在控制器的控制下向待控制的智能家电发送生成的控制指令，以控制待控制的智能家电执行预定操作。
每件智能家电的控制策略可预先进行设置。针对不同的智能家电，控制策略可设置为仅与用户与待控制的智能家电之间的距离相关，即所述控制策略包括用户与待控制的智能家电之间的距离和控制指令的关联关系；也可设置为仅与用户的动作相关，即所述控制策略包括用户的动作和控制指令的关联关系，还可设置为与用户与待控制的智能家电之间的距离以及用户的动作相关，即所述控制策略包括用户与待控制的智能家电之间的距离、用户的动作和控制指令的关联关系；还可设置为与用户与待控制的智能家电之间的距离、用户的动作以及做出动作的时间相关，即所述控制策略包括用户与待控制的智能家电之间的距离、用户的动作、做出动作的时间和控制指令的关联关系。
当所述控制策略仅与用户与待控制的智能家电之间的距离相关时，控制器202生成与用户与待控制的智能家电之间的距离相关联的控制指令，以便控制待控制的智能家电执行预定操作。例如，当智能房门的控制策略包括以下控制策略时：与用户与智能房门之间的距离在1米之内关联的控制指令为打开房门，如果检测到用户与智能房门之间的距离小于1米时，生成打开房门的控制指令。
当所述控制策略与用户的动作相关，控制器202识别用户的动作；并生成与识别的用户的动作相关联的控制指令，以便控制待控制的智能家电执行与识别的用户的动作相关联的预定操作。例如，当智能冰箱的控制策略包括以下控制策略时：与用户向上挥手的动作关联的控制指令为开启智能冰箱，如果检测到用户进行向上挥手的动作时，生成打开冰箱门的控制指令。
当所述控制策略与用户与待控制的智能家电之间的距离以及用户的动作相关时，控制器202识别用户的动作；并生成与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的控制指令，以便控制待控制的智能家电执行与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的预定操作。例如，当智能冰箱的控制策略包括以下控制策略时：与用户向上挥手的动作以及用户与智能冰箱之间的距离在0.8米之内关联的控制指令为开启智能冰箱，如果检测到用户进行向上挥手的动作并且用户与智能冰箱之间的距离小于0.8米时，生成打开冰箱门的控制指令。
当所述控制策略与用户与待控制的智能家电之间的距离、用户的动作以及做出动作的时间相关时，控制器202识别用户的动作并获取当前时间；并生成与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的控制指令，以便控制待控制的智能家电执行与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的预定操作。例如，当智能窗帘的控制策略包括以下控制策略时：与用户向上挥手的动作、用户与智能窗帘之间的距离在0.5米之内以及做出动作的时间在早上6点至9点之间关联的控制指令为开启智能窗帘，如果检测到用户进行向上挥手的动作，用户与智能窗帘之间的距离小于0.5米，并且当前时间为早上7点时，生成打开智能窗帘的控制指令。
控制器202可采用各种识别图片中的用户的动作的方法来识别用户的动作。例如，可通过以下至少一种方法来识别用户的动作：基于模板的方法、基于概率统计的方法、基于语法的方法。再如，可通过识别环境图像中的以下至少一种特征来识别用户的动作：静态特征、动态特征、时空特征和描述性特征。所述静态特征可包括大小、颜色、轮廓、形状和深度等特征。所述动态特征可包括光流、速度、速率、方向和轨迹等特征。所述时空特征可包括时空形状、时空兴趣点和时空上下文等特征。所述描述性特征可包括属性、场景、物体和姿态等特征。
根据本发明的实施例的控制智能家电的方法和设备，通过图像获取装置来检测用户与智能家电之间的距离，基于该距离以及控制策略来控制智能家电，操作简单，并且仅设置一图像获取装置即可检测用户与所有智能家电之间的距离，无需在每个智能家电上都设置，节约了成本。
此外，还可通过设置控制策略来调整对智能家电的控制方式，控制方式灵活，例如可设置为仅与用户与待控制的智能家电之间的距离相关，或者仅与用户的动作相关，或者与用户与待控制的智能家电之间的距离以及用户的动作相关，或者与用户与待控制的智能家电之间的距离、用户的动作以及做出动作的时间相关，从而用户可通过调整与智能家电之间的距离，或者做出相关的动作，或者通过调整与智能家电之间的距离以及做出相关的动作，或者在相应的时间段内，通过调整与智能家电之间的距离、做出相关的动作，来对智能家电进行相应的控制。
根据本发明的实施例还提供一种计算机可读存储介质。该计算机可读存储介质存储有当被处理器执行时使得处理器执行如上述的控制智能家电的方法的程序指令。该计算机可读记录介质是可存储由计算机系统读出的数据的任意数据存储装置。计算机可读记录介质的示例包括：只读存储器、随机存取存储器、只读光盘、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。计算机可读记录介质也可分布于连接网络的计算机系统，从而计算机可读代码以分布式存储和执行。此外，完成本发明的功能程序、代码和代码段可容易地被与本发明相关的领域的普通程序员在本发明的范围之内解释。
此外，根据本发明的实施例的控制智能家电的设备中的各个程序模块可完全由硬件来实现，例如现场可编程门阵列或专用集成电路；还可以由硬件和软件相结合的方式来实现；也可以完全通过计算机程序来以软件方式实现。
尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。
Claims (21)
1.一种控制智能家电的方法，其特征在于，所述方法包括：
通过图像获取装置获取环境图像；
当检测到环境图像中存在用户时，识别环境图像中的智能家电；
检测环境图像中的每件智能家电与用户之间的距离，并基于每件智能家电与用户之间的距离确定待控制的智能家电；
基于待控制的智能家电的控制策略，向待控制的智能家电发送控制指令，以控制待控制的智能家电执行预定操作。
2.根据权利要求1所述的方法，其特征在于，当所述控制策略仅与用户与待控制的智能家电之间的距离相关时，基于待控制的智能家电的控制策略，向待控制的智能家电发送控制指令，以控制待控制的智能家电执行预定操作的步骤包括：
向待控制的智能家电发送与用户与待控制的智能家电之间的距离相关联的控制指令，以控制待控制的智能家电执行预定操作。
3.根据权利要求1所述的方法，其特征在于，当所述控制策略与用户的动作相关，或者与用户与待控制的智能家电之间的距离以及用户的动作相关时，基于待控制的智能家电的控制策略，向待控制的智能家电发送控制指令，以控制待控制的智能家电执行预定操作的步骤包括：
识别用户的动作；
向待控制的智能家电发送与识别的用户的动作相关联的控制指令，以控制待控制的智能家电执行与识别的用户的动作相关联的预定操作，或者向待控制的智能家电发送与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的控制指令，以控制待控制的智能家电执行与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的预定操作。
4.根据权利要求1所述的方法，其特征在于，当所述控制策略与用户与待控制的智能家电之间的距离、用户的动作以及做出动作的时间相关时，基于待控制的智能家电的控制策略，向待控制的智能家电发送控制指令，以控制待控制的智能家电执行预定操作的步骤包括：
识别用户的动作并获取当前时间；
向待控制的智能家电发送与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的控制指令，以控制待控制的智能家电执行与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的预定操作。
5.根据权利要求1至4中任一所述的方法，其特征在于，所述方法还包括：预先设置每件智能家电的控制策略。
6.根据权利要求1所述的方法，其特征在于，利用以下至少一项特征来检测环境图像中的用户：相位一致特性、LBP特征、轮廓特征和纹理特征。
7.根据权利要求1所述的方法，其特征在于，识别环境图像中的智能家电的步骤包括：对环境图像进行特征点提取，将提取的特征点与所有智能家电的标准特征点进行对比，将与和提取的特征点一致的标准特征点对应的智能家电作为识别的智能家电，其中，所述所有智能家电的标准特征点预先存储在本地存储器中或从云端获取。
8.根据权利要求1所述的方法，其特征在于，所述图像获取装置是双摄像头，通过以下步骤来检测环境图像中的任意一件智能家电与用户之间的距离：
利用双目测距方法计算所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离；
根据所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离，计算所述任意一件智能家电与用户之间的距离。
9.根据权利要求1所述的方法，其特征在于，通过以下至少一种方法来识别用户的动作：基于模板的方法、基于概率统计的方法、基于语法的方法。
10.根据权利要求3或4所述的方法，其特征在于，通过识别以下至少一种特征来识别用户的动作：静态特征、动态特征、时空特征和描述性特征。
11.一种控制智能家电的设备，其特征在于，所述设备包括：
图像获取装置，用于拍摄环境图像；
控制器，被配置为：通过图像获取装置获取环境图像；当检测到环境图像中存在用户时，识别环境图像中的智能家电；检测环境图像中的每件智能家电与用户之间的距离，并基于每件智能家电与用户之间的距离确定待控制的智能家电；基于待控制的智能家电的控制策略，生成用于控制待控制的智能家电执行预定操作的控制指令；
发送器，在控制器的控制下向待控制的智能家电发送生成的控制指令。
12.根据权利要求11所述的设备，其特征在于，控制器还被配置为：当所述控制策略仅与用户与待控制的智能家电之间的距离相关时，生成与用户与待控制的智能家电之间的距离相关联的控制指令。
13.根据权利要求11所述的设备，其特征在于，控制器还被配置为：当所述控制策略与用户的动作相关，或者与用户与待控制的智能家电之间的距离以及用户的动作相关时，识别用户的动作，并生成与识别的用户的动作相关联的控制指令，以便控制待控制的智能家电执行与识别的用户的动作相关联的预定操作，或者生成与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的控制指令，以便控制待控制的智能家电执行与识别的用户的动作以及用户与待控制的智能家电之间的距离相关联的预定操作。
14.根据权利要求11所述的设备，其特征在于，控制器还被配置为：当所述控制策略与用户与待控制的智能家电之间的距离、用户的动作以及做出动作的时间相关时，识别用户的动作并获取当前时间，并生成与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的控制指令，以便控制待控制的智能家电执行与用户与待控制的智能家电之间的距离、识别的用户的动作以及当前时间相关联的预定操作。
15.根据权利要求11至14中任一所述的设备，其特征在于，每件智能家电的控制策略被预先设置。
16.根据权利要求11所述的设备，其特征在于，控制器还被配置为利用以下至少一项特征来检测环境图像中的用户：相位一致特性、LBP特征、轮廓特征和纹理特征。
17.根据权利要求11所述的设备，其特征在于，控制器还被配置为：对环境图像进行特征点提取，将提取的特征点与所有智能家电的标准特征点进行对比，将与和提取的特征点一致的标准特征点对应的智能家电作为识别的智能家电，其中，所述所有智能家电的标准特征点预先存储在本地存储器中或从云端获取。
18.根据权利要求11所述的设备，其特征在于，所述图像获取装置是双摄像头，控制器还被配置为通过以下方式来检测环境图像中的任意一件智能家电与用户之间的距离：
利用双目测距方法计算所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离；
根据所述双摄像头与所述任意一件智能家电之间的距离以及所述双摄像头与用户之间的距离，计算所述任意一件智能家电与用户之间的距离。
19.根据权利要求11所述的设备，其特征在于，控制器还被配置为通过以下至少一种方法来识别用户的动作：基于模板的方法、基于概率统计的方法、基于语法的方法。
20.根据权利要求13或14所述的设备，其特征在于，控制器还被配置为通过识别以下至少一种特征来识别用户的动作：静态特征、动态特征、时空特征和描述性特征。
21.一种计算机可读存储介质，存储有当被处理器执行时使得处理器执行如权利要求1至10任一所述的控制智能家电的方法的程序指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710441315.3A CN107272424A (zh) | 2017-06-13 | 2017-06-13 | 控制智能家电的方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710441315.3A CN107272424A (zh) | 2017-06-13 | 2017-06-13 | 控制智能家电的方法和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107272424A true CN107272424A (zh) | 2017-10-20 |
Family
ID=60066573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710441315.3A Pending CN107272424A (zh) | 2017-06-13 | 2017-06-13 | 控制智能家电的方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107272424A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108600062A (zh) * | 2018-05-24 | 2018-09-28 | 珠海格力电器股份有限公司 | 家电设备的控制方法及装置、系统 |
| CN109358533A (zh) * | 2018-09-21 | 2019-02-19 | 珠海格力电器股份有限公司 | 厨电设备及其控制方法 |
| CN109491410A (zh) * | 2018-07-16 | 2019-03-19 | 珠海磐磊智能科技有限公司 | 位置调控系统及其控制方法 |
| CN109543569A (zh) * | 2018-11-06 | 2019-03-29 | 深圳绿米联创科技有限公司 | 目标识别方法、装置、视觉传感器及智能家居系统 |
| CN110096923A (zh) * | 2018-01-29 | 2019-08-06 | 九阳股份有限公司 | 一种烹饪系统的关联设备确定方法 |
| CN110320839A (zh) * | 2019-07-10 | 2019-10-11 | 珠海格力电器股份有限公司 | 一种控制智能窗帘的方法、装置、智能窗帘及存储介质 |
| CN112904451A (zh) * | 2021-01-20 | 2021-06-04 | 浙江洁特智慧科技有限公司 | 一种存在式感应器 |
| CN114035514A (zh) * | 2020-07-21 | 2022-02-11 | 云米互联科技(广东)有限公司 | 智能设备启动方法、移动终端及计算机可读存储介质 |
| CN114363384A (zh) * | 2021-12-22 | 2022-04-15 | 珠海格力电器股份有限公司 | 设备指向控制方法、装置、系统、电子设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201708869U (zh) * | 2010-03-31 | 2011-01-12 | 广东长虹电子有限公司 | 一种通过手势控制电视机的装置 |
| CN103368135A (zh) * | 2012-03-26 | 2013-10-23 | 鸿富锦精密工业（深圳）有限公司 | 儿童辅助系统及其方法 |
| US20140132499A1 (en) * | 2012-11-12 | 2014-05-15 | Microsoft Corporation | Dynamic adjustment of user interface |
| CN104977904A (zh) * | 2014-04-04 | 2015-10-14 | 浙江大学 | 一种可见即可控的智能家居控制系统及控制方法 |
| CN105068522A (zh) * | 2015-08-14 | 2015-11-18 | 南京信息工程大学 | 一种智能家电指令系统及家电控制方法 |
| CN105353639A (zh) * | 2015-12-10 | 2016-02-24 | 廖健恒 | 一种能够实现图像监测的智能家电控制系统 |
| CN105575009A (zh) * | 2015-12-16 | 2016-05-11 | 方正宽带网络服务有限公司 | 一种智能柜的柜门打开方法及装置 |
| CN105915987A (zh) * | 2016-04-15 | 2016-08-31 | 济南大学 | 一种面向智能电视的隐式交互方法 |
| CN106547582A (zh) * | 2015-09-22 | 2017-03-29 | 阿里巴巴集团控股有限公司 | 一种预处理方法及装置 |
| CN106791057A (zh) * | 2016-12-08 | 2017-05-31 | 北京小米移动软件有限公司 | 闹钟控制方法及装置 |
| CN106781324A (zh) * | 2017-01-09 | 2017-05-31 | 海南易成长科技有限公司 | 一种护眼护脊椎提醒系统及灯具 |
-
2017
- 2017-06-13 CN CN201710441315.3A patent/CN107272424A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201708869U (zh) * | 2010-03-31 | 2011-01-12 | 广东长虹电子有限公司 | 一种通过手势控制电视机的装置 |
| CN103368135A (zh) * | 2012-03-26 | 2013-10-23 | 鸿富锦精密工业（深圳）有限公司 | 儿童辅助系统及其方法 |
| US20140132499A1 (en) * | 2012-11-12 | 2014-05-15 | Microsoft Corporation | Dynamic adjustment of user interface |
| CN104977904A (zh) * | 2014-04-04 | 2015-10-14 | 浙江大学 | 一种可见即可控的智能家居控制系统及控制方法 |
| CN105068522A (zh) * | 2015-08-14 | 2015-11-18 | 南京信息工程大学 | 一种智能家电指令系统及家电控制方法 |
| CN106547582A (zh) * | 2015-09-22 | 2017-03-29 | 阿里巴巴集团控股有限公司 | 一种预处理方法及装置 |
| CN105353639A (zh) * | 2015-12-10 | 2016-02-24 | 廖健恒 | 一种能够实现图像监测的智能家电控制系统 |
| CN105575009A (zh) * | 2015-12-16 | 2016-05-11 | 方正宽带网络服务有限公司 | 一种智能柜的柜门打开方法及装置 |
| CN105915987A (zh) * | 2016-04-15 | 2016-08-31 | 济南大学 | 一种面向智能电视的隐式交互方法 |
| CN106791057A (zh) * | 2016-12-08 | 2017-05-31 | 北京小米移动软件有限公司 | 闹钟控制方法及装置 |
| CN106781324A (zh) * | 2017-01-09 | 2017-05-31 | 海南易成长科技有限公司 | 一种护眼护脊椎提醒系统及灯具 |
Non-Patent Citations (1)
| Title |
|---|
| 北京市图形图像学学会: "《图像图形技术研究与应用 2009》", 31 May 2009, 中国传媒大学出版社 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096923A (zh) * | 2018-01-29 | 2019-08-06 | 九阳股份有限公司 | 一种烹饪系统的关联设备确定方法 |
| CN108600062A (zh) * | 2018-05-24 | 2018-09-28 | 珠海格力电器股份有限公司 | 家电设备的控制方法及装置、系统 |
| CN109491410A (zh) * | 2018-07-16 | 2019-03-19 | 珠海磐磊智能科技有限公司 | 位置调控系统及其控制方法 |
| CN109358533A (zh) * | 2018-09-21 | 2019-02-19 | 珠海格力电器股份有限公司 | 厨电设备及其控制方法 |
| CN109543569A (zh) * | 2018-11-06 | 2019-03-29 | 深圳绿米联创科技有限公司 | 目标识别方法、装置、视觉传感器及智能家居系统 |
| CN110320839A (zh) * | 2019-07-10 | 2019-10-11 | 珠海格力电器股份有限公司 | 一种控制智能窗帘的方法、装置、智能窗帘及存储介质 |
| CN114035514A (zh) * | 2020-07-21 | 2022-02-11 | 云米互联科技(广东)有限公司 | 智能设备启动方法、移动终端及计算机可读存储介质 |
| CN114035514B (zh) * | 2020-07-21 | 2024-02-13 | 云米互联科技(广东)有限公司 | 智能设备启动方法、移动终端及计算机可读存储介质 |
| CN112904451A (zh) * | 2021-01-20 | 2021-06-04 | 浙江洁特智慧科技有限公司 | 一种存在式感应器 |
| CN114363384A (zh) * | 2021-12-22 | 2022-04-15 | 珠海格力电器股份有限公司 | 设备指向控制方法、装置、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107272424A (zh) | 控制智能家电的方法和设备 | |
| KR102251477B1 (ko) | 얼굴 인식-기반 인증 | |
| US10162308B2 (en) | Methods and systems for photorealistic human holographic augmented reality communication with interactive control in real-time | |
| CN106557678B (zh) | 一种智能终端模式切换方法及其装置 | |
| Betancourt et al. | The evolution of first person vision methods: A survey | |
| Lee et al. | Real-time gesture interface based on event-driven processing from stereo silicon retinas | |
| CN102193962B (zh) | 对照装置、数字图像处理系统、以及对照装置的控制方法 | |
| Gao et al. | Object tracking using firefly algorithm | |
| CN107204012A (zh) | 降低飞行时间深度成像的功耗 | |
| CN109643448A (zh) | 机器人系统中的细粒度物体识别 | |
| CN104635920A (zh) | 姿势识别装置及姿势识别装置的控制方法 | |
| CN107358241A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN108447159A (zh) | 人脸图像采集方法、装置和出入口管理系统 | |
| KR20190004073A (ko) | 적외선 영상을 이용한 사용자 인증 방법 및 장치 | |
| CN110414376A (zh) | 更新人脸识别模型的方法、人脸识别相机及服务器 | |
| EP3648015B1 (en) | A method for training a neural network | |
| CN106338926A (zh) | 基于人体感应的智慧家居控制系统 | |
| JP2017182531A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN105791674A (zh) | 电子设备和对焦方法 | |
| CN109145783A (zh) | 用于生成信息的方法和装置 | |
| US11343551B1 (en) | Bandwidth estimation for video streams | |
| CN109284715A (zh) | 一种动态物体识别方法、装置及系统 | |
| Peng et al. | Smart home system based on deep learning algorithm | |
| CN108255995A (zh) | 一种输出图像的方法及装置 | |
| Sabaghi et al. | Deep learning meets liveness detection: recent advancements and challenges |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171020 |