CN110780598A - 一种智能设备控制方法、装置、电子设备及可读存储介质 - Google Patents
一种智能设备控制方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN110780598A CN110780598A CN201911016548.4A CN201911016548A CN110780598A CN 110780598 A CN110780598 A CN 110780598A CN 201911016548 A CN201911016548 A CN 201911016548A CN 110780598 A CN110780598 A CN 110780598A
- Authority
- CN
- China
- Prior art keywords
- control
- scene graph
- intelligent
- intelligent device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012545 processing Methods 0.000 claims description 58
- 230000011218 segmentation Effects 0.000 claims description 56
- 238000013507 mapping Methods 0.000 claims description 28
- 238000011217 control strategy Methods 0.000 claims description 26
- 230000007613 environmental effect Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004040 coloring Methods 0.000 claims description 4
- 238000004378 air conditioning Methods 0.000 description 17
- 238000009877 rendering Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006854 communication Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Combined Controls Of Internal Combustion Engines (AREA)
- Selective Calling Equipment (AREA)
Abstract
本申请公开了一种智能设备控制方法、装置、电子设备及可读存储介质。该方法包括:获取场景图,所述场景图中包含至少一个智能设备区域;根据针对所述智能设备区域的第一控制指令确定控制请求;根据所述控制请求控制与所述智能设备区域对应的智能设备。还公开了相应的装置。本申请提出的通过场景图来控制智能设备的方式,提高了用户在选择控制智能设备时的操作效率,进而提高了对智能设备的控制效率。
Description
技术领域
本申请涉及物联网技术领域,尤其涉及一种智能设备控制方法、装置、电子设备及可读存储介质。
背景技术
随着物联网时代的到来,各种各样的智能电器进入人们的家里,比如智能冰箱、智能空调、智能洗衣机、智能台灯等为人们的生活带来了极大的便利。用户通常会借助遥控器来控制并使用这些智能电器,但是随着家里的智能电器越来越多,不同种类的智能电器可能需要不同的遥控器控制,而且可能出现遥控器找不到或没有电的情况。
于是,利用手机等终端统一管理并控制家里的各种电器受到用户的大力支持,在控制过程中,用户先从预先添加的众多电器名称中选择想要控制的电器所对应的命名比如“客厅的格力空调”,然后根据该命名来控制对应的电器。这种按照命名来控制电器的方式,需要用户记忆手机中添加的电器名称与家中具体位置处的电器之间的对应关系,随着电器的增多,用户需要记忆的对应关系也随之增多,导致用户在选择控制电器时的操作效率变低,进而导致控制效率变低。
发明内容
本申请提供一种智能设备控制方法、装置、电子设备及可读存储介质,以实现通过场景图来控制智能设备。
第一方面,提供了一种智能设备控制方法,包括:获取场景图,所述场景图中包含至少一个智能设备区域;根据针对所述智能设备区域的第一控制指令确定控制请求;根据所述控制请求控制与所述智能设备区域对应的智能设备。
在一种可能实现的方式中,所述根据针对所述智能设备区域的第一控制指令确定控制请求,包括:接收针对所述智能设备区域的第一控制指令,所述第一控制指令包括第一操作;根据所述第一操作确定控制请求。
在一种可能实现的方式中,所述至少一个智能设备区域与至少一个智能设备一一对应,所述根据针对所述智能设备区域的第一控制指令确定控制请求,包括:根据针对所述场景图中的第一智能设备区域的第一控制指令,确定所述第一智能设备区域对应的第一智能设备的所述控制请求。
在另一种可能实现的方式中,所述根据所述控制请求控制与所述智能设备区域对应的智能设备,包括:向服务器发送所述控制请求,所述控制请求用于指示所述服务器将指令库中的第二控制指令发送给所述第一智能设备。
在又一种可能实现的方式中,所述获取场景图之前,所述方法还包括:获取待处理图像,所述待处理图像中包括至少一个物体;所述获取场景图,包括:确定所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体为智能设备;对所述待处理图像进行处理,获得初始场景图;所述初始场景图中包括至少一个物体,所述初始场景图中的物体与所述待处理图像中的物体一一对应;从所述初始场景图中的至少一个物体中确定所述初始场景图中的智能设备;所述初始场景图中的智能设备在所述初始场景图中的位置与所述待处理图像中的智能设备在所述待处理图像中的位置相同;确定所述初始场景图中的智能设备覆盖的区域为所述智能设备区域,获得所述场景图。
在又一种可能实现的方式中,所述确定所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体为智能设备,包括:对所述待处理图像进行语义分割处理,获得包含至少一个区域的分割图;所述分割图中的至少一个区域与所述待处理图像中的至少一个物体一一对应;对所述分割图中的区域进行特征提取处理,获得所述区域的特征数据,作为所述物体的特征数据;将所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体作为智能设备。
在又一种可能实现的方式中,所述对所述待处理图像进行处理,获得初始场景图,包括:对所述待处理图像进行渲染处理,获得所述初始场景图。
在又一种可能实现的方式中,所述对所述待处理图像进行渲染处理,获得所述初始场景图之前,所述方法还包括:获取当前时间;所述对所述待处理图像进行渲染处理,获得所述初始场景图,包括:对所述待处理图像进行三维重建处理,获得实景三维图;在所述当前时间处于第一预设时间段内的情况下,对所述实景三维图进行第一预设处理,获得所述初始场景图;所述第一预设处理包括:在所述实景三维图中添加虚拟阳光;或,在所述当前时间处于第二预设时间段内的情况下,对所述实景三维图进行第二预设处理,获得所述初始场景图;所述第二预设处理包括:在所述实景三维图中添加虚拟灯光。
在又一种可能实现的方式中,所述对所述待处理图像进行处理,获得初始场景图,包括:对所述分割图中的区域进行上色,获得语义分割图;将所述语义分割图与所述待处理图像融合,获得所述初始场景图。
在又一种可能实现的方式中,所述根据针对所述场景图中的第一智能设备区域的第一控制指令,确定所述第一智能设备区域对应的第一智能设备的所述控制请求,包括:当接收到针对所述场景图中的第一智能设备区域的查看请求时,显示所述第一智能设备区域对应的第一智能设备的控制界面;接收用户通过所述控制界面输入的控制请求。
在又一种可能实现的方式中,所述接收到针对所述场景图中的第一智能设备区域的查看请求之前,所述方法还包括:获取智能设备的标识;建立所述场景图中的第一智能设备区域与所述智能设备的标识之间的映射关系;所述显示所述第一智能设备区域对应的第一智能设备的控制界面,包括:显示与所述第一智能设备区域具有映射关系的智能设备标识对应的智能设备的控制界面。
在又一种可能实现的方式中,所述显示所述第一智能设备区域对应的第一智能设备的控制界面之后,所述方法还包括:获取环境参数;根据所述环境参数与所述第一智能设备的类别,在所述控制界面上显示控制策略;所述控制策略用于指导用户调整所述第一智能设备的可调参数的状态值;所述接收用户通过所述控制界面输入的控制请求,包括:接收通过所述控制策略获得的所述第一智能设备的可调参数的目标状态值,作为所述控制请求。
在又一种可能实现的方式中,所述环境参数包括温度,所述根据所述环境参数与所述第一智能设备的类别,在所述控制界面上显示控制策略,包括:在所述温度大于第一阈值或小于第二阈值,且所述第一智能设备为空调的情况下,在所述控制界面上显示提示打开空调的信息;所述第一阈值大于所述第二阈值。
在又一种可能实现的方式中,所述环境参数包括湿度,所述根据所述环境参数与所述第一智能设备的类别,在所述控制界面上显示控制策略,包括:在所述湿度大于第三阈值,且所述第一智能设备为除湿机的情况下,在所述控制界面上显示提示打开除湿机的信息。
可选地,所述智能设备控制方法还包括:在接收到针对所述至少一个智能设备区域中的第二智能设备区域的删除指令的情况下,删除所述第二智能设备区域与第二智能设备标识的映射关系。
第二方面,提供了一种智能设备控制装置,包括:获取单元、确定单元、控制单元;所述获取单元与所述确定单元相连,所述确定单元与所述控制单元相连;所述获取单元获取场景图,所述场景图中包含至少一个智能设备区域;所述确定单元根据针对所述获取单元获取到的场景图中的智能设备区域的第一控制指令确定控制请求;所述控制单元根据所述确定单元所确定的控制请求以控制与所述智能设备区域对应的智能设备。
在一种可能实现的方式中,所述确定单元具体接收所述第一控制指令,所述第一控制指令包括第一操作;所述确定单元根据所述第一操作确定控制请求。
在一种可能实现的方式中,所述确定单元具体根据针对所述场景图中的第一智能设备区域的第一控制指令,确定所述第一智能设备区域对应的第一智能设备的所述控制请求。
在另一种可能实现的方式中,所述控制单元具体向服务器发送所述控制请求,所述控制请求用于指示所述服务器将指令库中的第二控制指令发送给所述第一智能设备。
在又一种可能实现的方式中,所述获取单元,还在所述获取场景图之前,获取待处理图像,所述待处理图像中包括至少一个物体;所述获取单元,确定所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体为智能设备;对所述待处理图像进行处理,以获得初始场景图;所述初始场景图中包括至少一个物体,所述初始场景图中的物体与所述待处理图像中的物体一一对应;从所述初始场景图中的至少一个物体中确定所述初始场景图中的智能设备;所述初始场景图中的智能设备在所述初始场景图中的位置与所述待处理图像中的智能设备在所述待处理图像中的位置相同;确定所述初始场景图中的智能设备覆盖的区域为所述智能设备区域,获得所述场景图。
在又一种可能实现的方式中,所述获取单元具体对所述待处理图像进行语义分割处理,以获得包含至少一个区域的分割图;所述分割图中的至少一个区域与所述待处理图像中的至少一个物体一一对应;对所述分割图中的区域进行特征提取处理,以获得所述区域的特征数据,作为所述物体的特征数据;将所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体作为智能设备。
在又一种可能实现的方式中,所述获取单元具体对所述待处理图像进行渲染处理,以获得所述初始场景图。
在又一种可能实现的方式中,所述获取单元,还在所述对所述待处理图像进行渲染处理,以获得所述初始场景图之前,获取当前时间;所述获取单元,具体对所述待处理图像进行三维重建处理,以获得实景三维图;在所述当前时间处于第一预设时间段内的情况下,对所述实景三维图进行第一预设处理,以获得所述初始场景图;所述第一预设处理包括:在所述实景三维图中添加虚拟阳光;或,在所述当前时间处于第二预设时间段内的情况下,对所述实景三维图进行第二预设处理,以获得所述初始场景图;所述第二预设处理包括:在所述实景三维图中添加虚拟灯光。
在又一种可能实现的方式中,所述获取单元,具体对所述分割图中的区域进行上色,以获得语义分割图;将所述语义分割图与所述待处理图像融合,以获得所述初始场景图。
在又一种可能实现的方式中,所述确定单元,具体当接收到针对所述场景图中的第一智能设备区域的查看请求时,显示所述第一智能设备区域对应的第一智能设备的控制界面;以及接收用户通过所述控制界面输入的控制请求。
在又一种可能实现的方式中,所述获取单元,在所述接收到针对所述场景图中的第一智能设备区域的查看请求之前,获取智能设备的标识;所述智能设备控制装置还包括:建立单元,所述控制单元与所述建立单元相连,所述建立单元根据获取单元获取到的智能设备的标识,建立所述场景图中的第一智能设备区域与所述智能设备的标识之间的映射关系;所述确定单元根据建立单元建立的映射关系,显示与所述第一智能设备区域具有映射关系的智能设备标识对应的智能设备的控制界面。
在又一种可能实现的方式中,所述获取单元,还在所述显示所述第一智能设备区域对应的第一智能设备的控制界面之后获取环境参数;所述智能设备控制装置还包括:显示单元,所述建立单元与所述显示单元相连,所述显示单元根据所述环境参数与所述第一智能设备的类别,在所述控制界面上显示控制策略;所述控制策略用于指导用户调整所述第一智能设备的可调参数的状态值;所述确定单元,还接收通过所述控制策略获得的所述第一智能设备的可调参数的目标状态值,作为所述控制请求。
在又一种可能实现的方式中,所述环境参数包括温度,所述显示单元,具体在所述温度大于第一阈值或小于第二阈值,且所述第一智能设备为空调的情况下,在所述控制界面上显示提示打开空调的信息;所述第一阈值大于所述第二阈值。
在又一种可能实现的方式中,所述环境参数包括湿度,所述显示单元,具体在所述湿度大于第三阈值,且所述第一智能设备为除湿机的情况下,在所述控制界面上显示提示打开除湿机的信息。
可选地,所述智能设备控制装置还包括:删除单元,在接收到针对所述至少一个智能设备区域中的第二智能设备区域的删除指令的情况下,删除所述第二智能设备区域与第二智能设备标识的映射关系。
第三方面,提供了一种电子设备,包括:处理器、存储器;所述处理器被配置为支持所述装置执行上述第一方面及其任一种可能的实现方式的方法中相应的功能。存储器用于与处理器耦合,其保存所述装置必要的程序(指令)和数据。可选的,所述装置还可以包括输入/输出接口,用于支持所述装置与其他装置之间的通信。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面及其任一种可能的实现方式的方法。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面及其任一种可能的实现方式的方法。
本申请通过对用户拍摄的环境照进行处理,获得初始场景图,并确定该初始场景图中包含的至少一个智能设备区域,获得场景图,该至少一个智能设备区域与至少一个智能设备一一对应;其次,当接收到针对该场景图中的第一智能设备区域对应的第一智能设备的控制请求时,向服务器发送该控制请求,该控制请求用于指示服务器将指令库中的第二控制指令发送给第一智能设备,从而实现对第一智能设备的控制。本申请提出的通过场景图来控制智能设备的方式,提高了用户在选择控制智能设备时的操作效率,进而提高了对智能设备的控制效率。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例提供的一种智能设备控制方法的流程示意图;
图2为本申请实施例提供的一种场景图的示意图;
图3为本申请实施例提供的另一种智能设备控制方法的流程示意图;
图4为本申请实施例提供的一种待处理图像及其分割图的示意图;
图5为本申请实施例提供的另一种智能设备控制方法的流程示意图;
图6为本申请实施例提供的一种空调控制界面的示意图;
图7为本申请实施例提供的另一种接收控制请求方法的流程示意图;
图8为本申请实施例提供的一种智能设备控制装置的结构示意图;
图9为本申请实施例提供的一种智能设备控制装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1,图1是本申请实施例提供的一种智能设备控制方法的流程示意图。
101、获取场景图。
所述场景图中包含至少一个智能设备区域。在本申请实施例中,场景图是根据用户在实际环境中拍摄的环境照而获得的,场景图可以有很多种风格、样式,但是场景图中包括的物体与环境照中包括的物体一一对应。比如,环境照中包括空调、椅子、台灯,那么场景图中相应地包括与环境照中同样的空调、椅子、台灯,并且空调、椅子、台灯在环境照中的位置分布与在场景图中的位置分布相同。环境照的视觉呈现效果主要取决于拍摄时的实际环境,比如,在傍晚拍摄的环境照可能由于室内光线等因素,导致环境照中的空调比较暗,而场景图可以视为具有另一种视觉呈现效果的环境照,此时提高环境照中的空调覆盖区域的亮度或对比度,将提高亮度或对比度后的环境照作为场景图。需要说明的是,将提高亮度或对比度后的环境照作为场景图,仅为改变环境照的原始视觉呈现效果获得相应的场景图的众多方式之一。
在本申请实施例中,上述场景图不仅具有区别于环境照的视觉呈现效果,还具有明确的智能设备区域。场景图中的智能设备区域是指智能设备(可以进行网络通信的设备)在场景图中的覆盖区域,比如,场景图中有空调、椅子、台灯,其中空调为智能空调、台灯为智能台灯,那么空调与台灯在场景图中的覆盖区域为智能设备区域,当场景图中仅有一个空调和一个台灯,则场景图中相应地包括两个智能设备区域。
102、根据针对智能设备区域的第一控制指令确定控制请求。
在本申请实施例中,一种可能的实现方式为,在101中所述的至少一个智能设备区域与至少一个智能设备一一对应的情况下,根据针对上述场景图中的第一智能设备区域的第一控制指令,确定该第一智能设备区域对应的第一智能设备的所述控制请求。
在本申请实施例中,至少一个智能设备区域与至少一个智能设备一一对应是指,场景图中的智能设备区域与实际场景中的实物对应,比如,场景图中的空调区域与实际场景中的空调实物对应,场景图中台灯区域与实际场景中的台灯实物对应。举例来说,图2为本申请提供的一种场景图的示意图,如图2所示,a为用户拍摄的环境照,b为场景图,c为空调实物,d为台灯实物。环境照a中的物体与场景图b中的物体一一对应,场景图b相对环境照a具有更加鲜明、突出物体间差异的视觉效果,此外,场景图b中具有明确的智能设备区域(图b中黑色标记区域),场景图b中的两个智能设备区域分别对应空调实物c、台灯实物d。
在本申请实施例中,由于场景图与现实环境的高度对应关系,用户可以根据场景图快速复现记忆中的现实环境中的物体及物体位置分布。当用户需要控制现实环境中的智能设备时,可以快速确定上述场景图中与该智能设备对应的智能设备区域。用户可以针对上述场景图中的任意一个智能设备区域对应的智能设备进行控制,根据智能设备的类别不同,控制请求也会相应不同。比如,接收到用户针对场景图中的空调区域的操作时,相应地确定对该空调区域对应的空调实物的控制请求,控制请求可以为“打开/关闭空调”,也可以为“调高/调低温度”等;接收到用户针对场景图中的台灯区域的操作时,相应地确定对该台灯区域对应的台灯实物的控制请求,控制请求可以为“调大/调小亮度”等。
在一种可能实现的方式中,上述第一控制指令包括第一操作,根据该第一操作确定控制请求。比如,第一操作可以是单击、双击、长按、滑动等等,“单击”可以对应于“打开设备”、“双击”可以对应于“关闭设备”,当接收到针对上述场景图中的第一智能设备区域的单击操作时,可以确定针对上述第一智能设备的控制请求为“打开”;当接收到针对上述场景图中的第一智能设备区域的双击操作时,可以确定针对上述第一智能设备的控制请求为“关闭”。另外,也可以通过上述第一操作来触发语音模块,从而获取用户的控制请求,具体地,以“单击”为例,当接收到针对上述场景图中的第一智能设备区域的单击操作时,可以显示用于控制上述第一智能设备的语音输入框,从而接收用户通过该语音输入框输入的语音控制请求;以“长按”为例,也可以在接收到针对上述场景图中的第一智能设备区域的长按操作时,显示用于控制上述第一智能设备的语音输入框,在该长按操作持续的期间接收用户发送的语音控制请求。
103、根据上述控制请求控制与上述智能设备区域对应的智能设备。
在本申请实施例中,一种可能的实现方式为,向服务器发送上述控制请求,该控制请求用于指示该服务器将指令库中的第二控制指令发送给上述智能设备区域对应的第一智能设备,从而实现对上述智能设备区域对应的第一智能设备的控制。
上述服务器与上述第一智能设备之间可以通过网络进行通信。向服务器发送的控制请求中包括上述第一智能设备的标识、针对上述第一智能设备的控制信息;服务器接收到上述控制请求时,先确定上述指令库中与该控制信息对应的第二控制指令,然后将该第二控制指令通过网络发送给该标识对应的第一智能设备。
本申请实施例根据现实生活中人们依据场景图快速复现记忆中的实际生活场景的能力,通过获取场景图,使用户根据该场景图选择控制相应的智能设备,场景图中包含至少一个智能设备区域,该至少一个智能设备区域与至少一个智能设备一一对应。在接收到针对该场景图中的第一智能设备区域对应的第一智能设备的控制请求时,向服务器发送该控制请求,该控制请求用于指示服务器将指令库中的第二控制指令发送给第一智能设备,从而实现对第一智能设备的控制。本申请实施例通过场景图来实现对智能设备的控制,提高了用户在选择控制智能设备时的操作效率,进而提高了对智能设备的控制效率。
请参阅图3,图3是本申请实施例提供的智能设备控制方法中步骤101的一种可能的实现方式的流程示意图。
301、获取待处理图像。
所述待处理图像中包括至少一个物体。在本申请实施例中,待处理图像为用户拍摄的原始环境照,比如,用户希望控制客厅的空调,就需要针对该空调及该空调的周围环境拍摄一张照片;用户希望控制卧室的台灯,就需要针对该台灯及该台灯的周围环境拍摄一张照片。用户拍摄的原始环境照中不仅包括用户希望控制的目标物体比如空调、台灯,还包括除目标物体以外的非目标物体比如桌子、椅子、书本等。
302、对上述待处理图像进行语义分割处理,获得包含至少一个区域的分割图。
上述分割图中的至少一个区域与上述待处理图像中的至少一个物体一一对应。在本申请实施例中,通过对上述待处理图像进行语义分割处理,可以实现对该待处理图像中的每一像素点进行分类,进一步地,对该待处理图像中的连通区域内同一类别的像素点划分至同一区域,即获得包含至少一个区域的分割图,该分割图中的区域与上述待处理图像中的物体一一对应,从而实现了对该待处理图像中的至少一个物体的分割。
303、对上述分割图中的区域进行特征提取处理,获得该区域的特征数据,作为上述物体的特征数据。
在本申请实施例中,如302中所述,上述分割图中的区域与上述待处理图像中的物体一一对应,对上述分割图中的区域进行特征提取处理,获得该区域的特征数据,该特征数据同样也为上述待处理图像中与该区域对应的物体的特征数据。比如,如图4所示,图4为本申请实施例提供的一种待处理图像及其分割图的示意图,图4中的a为待处理图像,b为分割图,待处理图像a中的空调与分割图b中的空调区域(黑色标记区域)对应,对该空调区域进行特征提取处理,获得特征数据,该特征数据即为待处理图像a中的空调的特征数据。
304、将上述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体作为智能设备。
在本申请实施例中,如301中所述,上述待处理图像中不仅包括用户希望控制的目标物体比如空调、台灯,还包括除目标物体以外的非目标物体比如桌子、椅子、书本等,该目标物体即为智能设备、该非目标物体为非智能设备。用户终端在获取到上述待处理图像时,需要确定出该待处理图像中的智能设备,因此,在获取上述待处理图像中的物体的特征数据的情况下,通过将该物体的特征数据与数据库中的特征数据进行匹配,将匹配成功的特征数据对应的物体作为智能设备。比如,上述待处理图像中包括空调、台灯、桌子、椅子、书本,对应地,获取到的空调的特征数据为A、台灯的特征数据为B、桌子的特征数据为C、椅子的特征数据为D、书本的特征数据为E;数据库中预先存储了大量的智能设备的特征数据,比如空调、冰箱、音响、电脑、洗衣机、台灯等等可以进行网络通信的设备的特征数据。当特征数据A、B、C、D、E与该数据库中的特征数据进行匹配时,若该数据库中存在特征数据与特征数据A匹配成功,则具有特征数据A的空调即为智能设备,剩余特征数据B、C、D、E对应的物体是否为智能设备的判断过程也是同样的原理,此处不再赘述。
305、对上述待处理图像进行处理,获得初始场景图。
所述初始场景图中包括至少一个物体,所述初始场景图中的物体与所述待处理图像中的物体一一对应。如101中所述,场景图可以视为具有另一种视觉呈现效果的环境照,需要说明的是,在本申请实施例中,用户在根据图像快速复现记忆中的实际生活场景时,可能倾向于选择视觉呈现效果更加生动、形象、突出物体间差异性的场景图来快速复现记忆中的实际生活场景,即该场景图以更加鲜明、突出的方式呈现实际环境中的物体及物体间的位置关系。
在一种可能实现的方式中,对上述待处理图像进行渲染处理,获得初始场景图;此时初始场景图为实景三维图,实景三维图可以多角度、更立体地展现实际生活场景中的物体及物体间的位置关系。可选地,在对上述待处理图像进行渲染处理前,可以获取当前时间,并在对上述待处理图像进行渲染处理时,先通过对上述待处理图像进行三维重建处理,获得实景三维图,再根据当前时间所处的时间段不同,对该实景三维图进行不同的预设处理。比如当前时间处于早上9:00至下午3:00的时间段内时,在该实景三维图中添加虚拟阳光,比如当前时间处于晚上7:00至晚上12:00的时间段内时,在该实景三维图中添加虚拟灯光。
在另一种可能实现的方式中,根据302中获得的分割图,对该分割图中的区域进行上色,获得语义分割图,再将该语义分割图与上述待处理图像融合,获得初始场景图,此时该初始场景图中的不同类别的物体具有不同的颜色标记、同一类别的物体具有相同的颜色标记,该初始场景图通过颜色差异来突出实际场景中物体之间的差异性。
306、从上述初始场景图中的至少一个物体中确定该初始场景图中的智能设备;确定该智能设备覆盖的区域为智能设备区域,获得场景图。
在本申请实施例中,上述初始场景图中的智能设备在上述初始场景图中的位置与上述待处理图像中的智能设备在上述待处理图像中的位置相同。根据305中所述的上述待处理图像中的物体与上述场景图中的物体之间的一一对应关系,如304中所述的确定出待处理图像中的智能设备后,根据上述初始场景图中的智能设备在该初始场景图中的位置与上述待处理图像中的智能设备在该待处理图像中的位置相同,相应地,上述初始场景图中的智能设备也可确定,则可以确定上述初始场景图中的智能设备覆盖的区域即为上述智能设备区域,从而获得场景图(确定出智能设备区域的初始场景图即为场景图)。
比如,如图2中的环境照a(即待处理图像)与场景图b所示,环境照a中的物体与初始场景图中的物体一一对应,若确定环境照a中的空调、台灯为智能设备,那么根据上述初始场景图中的智能设备在该初始场景图中的位置与上述待处理图像中的智能设备在该待处理图像中的位置相同,则可以确定初始场景图中位于与环境照a中的空调、台灯对应位置处的物体(即场景图b中的空调、台灯)也为智能设备,那么就可以确定初始场景图中的空调覆盖的区域、台灯覆盖的区域为上述智能设备区域,确定出智能设备区域的初始场景图即为场景图b。
本申请实施例不仅提供了两种方式来获得视觉呈现效果更加生动、形象、突出物体间差异性的初始场景图,还通过确定待处理图像中的智能设备来间接确定该初始场景图中的智能设备,并通过确定该初始场景图中智能设备覆盖的区域作为智能设备区域,从而获得场景图,一方面使得用户根据该场景图可以快速复现记忆中的实际生活场景,另一方面使得用户可以通过场景图中明确的智能设备区域来控制该智能设备区域对应的智能设备,提高了用户在通过场景图控制智能设备时的操作效率。
请参阅图5,图5是本申请实施例提供的智能设备控制方法中步骤102的一种可能的实现方式的流程示意图。
501、获取智能设备的标识。
在本申请实施例中,每一个智能设备都有唯一的区分性编码标识。用户终端或服务器等设备与智能设备进行通信时,无论是接收来自该智能设备的信息还是向该智能设备发送信息,都需要依据该智能设备的标识来完成相应的通信过程。对于不同种类、不同型号的智能设备,获取该智能设备的标识的方式也不同。
在一种可能实现的方式中,该智能设备内置有无线局域网(wireless fidelity,WIFI)模块,当该智能设备开启热点时,用户终端连接该智能设备的热点并将用户输入的当前场景下的WIFI信息发送给该智能设备;此时,该智能设备断开热点连接,而连接到当前场景下的WIFI;该智能设备通过WIFI将标识发送给服务器,由服务器将该标识转发给用户终端。可选地,当用户终端连接该智能设备的热点时,该智能设备也可以直接将标识发送给用户终端。
在另一种可能实现的方式中,该智能设备具有红外控制接口(比如,一些型号的电视机具备该接口),用户终端可以通过闪光灯以发送不可见光编码的方式将用户输入的当前场景下的WIFI信息发送给该智能设备,该智能设备连接到当前场景下的WIFI并通过WIFI将标识发送给服务器,由服务器将该标识转发给用户终端。
在又一种可能实现的方式中,该智能设备内置有蓝牙模块,用户终端连接该智能设备的蓝牙模块并将用户输入的当前场景下的WIFI信息发送给该智能设备,该智能设备连接到当前场景下的WIFI并通过WIFI将标识发送给服务器,由服务器将该标识转发给用户终端。
在又一种可能实现的方式中,该智能设备具体二维码识别信息,用户终端扫描该智能设备的二维码,通过对该二维码进行解析获得该智能设备的标识。
502、建立所述场景图中的第一智能设备区域与所述智能设备的标识之间的映射关系。
在本申请实施例中,建立场景图中的第一智能设备区域与该智能设备的标识之间的映射关系,实际上就建立了场景图中的第一智能设备区域与该智能设备之间的映射关系。如图2中的场景图b所示,当第一智能设备区域为空调区域时,建立该空调区域与图2中的空调实物c的标识之间的映射关系,可选地,可以为该空调区域添加标签,标签内容为空调实物c的标识。
在一种可能实现的方式中,上述映射关系可以通过在上述场景图中建立热点区域来实现。将该场景图中的第一智能设备区域设置为热点区域(热点区域,即为图像的局部区域定义超链接,当用户点击该热点区域时,会触发超链接并跳转到其他网页或者页面的位置。热点区域是一种特殊的超链接形式,常用来在图像中设置导航,可以在一幅图像中定义至少一个热点区域,以实现单击不同的热点区域连接到不同的页面)。当设置该场景图中的第一智能设备区域为热点区域时,定义该热点区域连接的页面的名称为上述智能设备的标识,即建立了上述场景图中的第一智能设备区域与该智能设备的标识之间的映射关系。
503、当接收到针对所述场景图中的第一智能设备区域的查看请求时,显示与所述第一智能设备区域具有映射关系的智能设备标识对应的智能设备的控制界面。
在本申请实施例中,用户终端接收到针对上述场景图中的第一智能设备区域的查看请求时,先根据502中建立的映射关系确定第一智能设备区域对应的智能设备标识,再根据该智能设备标识显示该标识对应的智能设备的控制界面。
在一种可能实现的方式中,当502中的映射关系通过在上述场景图中建立热点区域来实现时,比如,如图2中的场景图b和空调实物c所示,当第一智能设备区域为空调区域时,将该空调区域设置为热点区域,并定义该空调区域连接的页面的名称为图2中的空调实物c的标识,即建立了该空调区域与空调实物c的标识之间的映射关系;当用户点击场景图b中的空调区域时,会触发超链接,此时用户终端根据定义的该空调区域连接的页面的名称即空调实物c的标识,从数据库中确定该标识对应的智能设备的控制界面,从而使用户界面从当前页面跳转至该控制界面。
504、接收用户通过所述控制界面输入的控制请求。
在本申请实施例中,当用户终端显示上述智能设备的控制界面时,用户可以通过上述控制界面输入针对上述智能设备的控制请求,最终,用户终端可接收到该控制请求。如图6所示,图6为本申请实施例提供的一种空调控制界面的示意图,比如,当上述智能设备为空调时,相应地,用户终端显示该空调的控制界面,用户的控制请求可以为“设置空调的温度从当前2℃增加至25℃”,也可以为“设置上下摆风/左右摆风”等等,用户在该空调的控制界面上的温度选项或摆风选项处直接操作便可完成输入控制请求。
可选地,当接收到针对上述场景图中的第二智能设备区域的查看请求时,显示与该第二智能设备区域具有映射关系的智能设备标识对应的智能设备的控制界面。在一种可能的情况下,上述场景图中的第二智能设备区域对应的第二智能设备损坏,用户将该第二智能设备从实际场景中移除,此时,用户可以通过上述控制界面删除第二智能设备区域与该区域对应的第二智能设备之间的映射关系,即用户终端在接收到针对第二智能设备区域的删除指令的情况下,删除该第二智能设备区域与第二智能设备标识之间的映射关系。
本申请实施例通过在场景图中的智能设备区域建立热点区域,并定义该热点区域连接的页面的名称为该智能设备区域对应的智能设备的标识,实现了场景图中的智能设备区域与智能设备的映射关系,进而在接收到针对场景图中的智能设备区域的查看请求时,通过使用户页面跳转至该智能设备区域对应的智能设备的控制界面,以接收用户通过该控制界面输入的控制请求。本申请实施例提供了一种简单、便捷的接收用户的控制请求的方案,提高了用户在通过场景图来控制智能设备时的操作效率。
上述智能设备的控制界面除了可调参数的控制选项外,还可以提供一些时间信息、当前环境参数等供用户参考,辅助用户作出控制决策,提高用户针对上述智能设备所作出的控制决策的准确性。
请参阅图7,图7是本申请实施例提供的另一种接收用户通过控制界面输入的控制请求方法的流程示意图。
701、接收到针对所述场景图中的第一智能设备区域的查看请求时,显示所述第一智能设备区域对应的第一智能设备的控制界面。
702、获取环境参数。
在本申请实施例中,环境参数包括温度、湿度等自然环境参数,比如,“温度为15℃”、“湿度为70%”等。
703、根据所述环境参数与所述第一智能设备的类别,在所述控制界面上显示控制策略。
所述控制策略用于指导用户调整所述第一智能设备的可调参数的状态值。在本申请实施例中,用户终端显示上述第一智能设备的控制界面后,还可以在该控制界面上显示一些指导性的控制策略,用户根据该控制策略来控制该第一智能设备。
在一种可能实现的方式中,环境参数为温度,在该温度大于第一阈值或小于第二阈值,,且上述第一智能设备为空调的情况下,在上述控制界面上显示提示打开空调的信息,其中,第一阈值大于第二阈值。比如,夏天设置第一阈值为30℃、冬天设置第二阈值为5℃,当用户终端检测到当前温度为31℃(大于第一阈值30℃)时,此时上述控制界面为空调的控制界面,用户终端可以在该空调控制界面上显示一些关于控制该空调的提示性信息,比如,“当前温度为31℃,请问需要打开空调吗?”、“当前温度为31℃,请问需要调至26℃吗?”;当用户终端检测到当前温度为1℃(小于第二阈值5℃)时,在该空调控制界面上显示提示性信息如“当前温度为1℃,请问需要打开空调吗?”、“当前温度为1℃,请问需要调至26℃吗?”。
在另一种可能实现的方式中,环境参数为湿度,在该湿度大于第三阈值,且上述第一智能设备为除湿机的情况下,在上述控制界面上显示提示打开除湿机的信息。比如,设置第三阈值为60%(有研究表明,人在该湿度值下感到舒适),当用户终端检测到当前湿度为85%(大于第三阈值60%)时,上述控制界面为除湿机的控制界面,用户终端可以在该控制界面上显示一些关于控制该除湿机的提示性信息,比如,“当前湿度为85%,请问需要打开除湿机吗?”。
704、接收通过所述控制策略获得的所述第一智能设备的可调参数的目标状态值,作为所述控制请求。
在本申请实施例中,用户通过上述控制策略来调整上述第一智能设备的可调参数的状态值,用户可以直接接受上述控制策略作为上述控制请求,也可以接受上述控制策略作为指导信息并在该指导信息的提示下输入相应的控制请求。
在一种可能实现的方式中,用户终端在上述控制界面上显示控制策略,并为用户提供是否接受该控制策略作为控制请求的选项,比如,用户终端在空调的控制界面上显示“当前温度为31℃,请问需要打开空调吗?”,并弹出“是”、“否”的选项对话框,当用户点击“是”,即用户接受将该控制策略作为控制请求。
在另一种可能实现的方式中,用户终端在上述控制界面上显示控制策略,且用户按照该控制策略在上述控制界面上输入相应的控制请求,比如,用户终端在空调的控制界面上显示“当前温度为31℃,请问需要打开空调吗?”,用户在看到该提示信息时,在空调的控制界面上的电源选项处选择打开空调。
本申请实施例通过在控制界面上显示根据环境参数所设置的控制策略,使用户在采纳该控制策略的情况下可以快速、精准地作出控制决策,用户终端从而接收通过该控制策略获得的上述智能设备的可调参数的目标状态值,减少了用户作出控制决策所花费的时间,进一步提高了用户通过场景图来控制智能设备的操作效率。
可选地,本申请实施例还提供了一种应用于服务器的智能设备控制方法。
在本申请实施例中,服务器获取用户拍摄的环境照即待处理图像;然后,服务器对该待处理图像进行语义分割处理,获得包含至少一个区域的分割图,并对分割图中的区域进行特征提取处理,将获得的该区域的特征数据作为待处理图像中的物体的特征数据;其次,服务器将具有与数据库中的参考特征数据匹配的特征数据的物体作为智能设备,从而确定出了待处理图像中的智能设备;进一步,服务器对待处理图像进行处理,获得初始场景图,并根据待处理图像中确定出的智能设备,确定出该初始场景图中的智能设备,并通过确定该初始场景图中智能设备覆盖的区域为智能设备区域获得场景图;当服务器接收到针对该场景图中的第一智能设备区域对应的第一智能设备的控制请求时,服务器根据该控制请求将指令库中的控制指令发送给第一智能设备,从而实现了对该第一智能设备的控制。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图8,图8为本申请实施例提供的一种智能设备控制装置的结构示意图,该装置1包括:获取单元11、确定单元12、控制单元13、建立单元14及显示单元15。其中:
获取单元11与确定单元12相连,确定单元12与控制单元13相连,控制单元13与建立单元14相连,建立单元14与显示单元15。
获取单元11获取场景图,所述场景图中包含至少一个智能设备区域;
确定单元12根据针对获取单元11获取到的场景图中的智能设备区域的第一控制指令确定控制请求;
控制单元13根据确定单元12确定的控制请求以控制与所述智能设备区域对应的智能设备。
进一步地,确定单元12具体接收所述第一控制指令,所述第一控制指令包括第一操作;确定单元12根据所述第一操作确定控制请求。
进一步地,确定单元12具体根据针对所述场景图中的第一智能设备区域的第一控制指令,确定所述第一智能设备区域对应的第一智能设备的所述控制请求。
进一步地,控制单元13具体向服务器发送所述控制请求,所述控制请求用于指示所述服务器将指令库中的第二控制指令发送给所述第一智能设备。
进一步地,获取单元11,还在所述获取场景图之前,获取待处理图像,所述待处理图像中包括至少一个物体;获取单元11,具体确定所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体为智能设备;对所述待处理图像进行处理,以获得初始场景图;所述初始场景图中包括至少一个物体,所述初始场景图中的物体与所述待处理图像中的物体一一对应;从所述初始场景图中的至少一个物体中确定所述初始场景图中的智能设备;所述初始场景图中的智能设备在所述初始场景图中的位置与所述待处理图像中的智能设备在所述待处理图像中的位置相同;确定所述初始场景图中的智能设备覆盖的区域为所述智能设备区域,获得所述场景图。
进一步地,获取单元11具体对所述待处理图像进行语义分割处理,以获得包含至少一个区域的分割图;所述分割图中的至少一个区域与所述待处理图像中的至少一个物体一一对应;对所述分割图中的区域进行特征提取处理,以获得所述区域的特征数据,作为所述物体的特征数据;将所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体作为智能设备。
进一步地,获取单元11具体对所述待处理图像进行渲染处理,以获得所述初始场景图。
进一步地,获取单元11,还在所述对所述待处理图像进行渲染处理,以获得所述初始场景图之前,获取当前时间;获取单元11,具体对所述待处理图像进行三维重建处理,以获得实景三维图;在所述当前时间处于第一预设时间段内的情况下,对所述实景三维图进行第一预设处理,以获得所述初始场景图;所述第一预设处理包括:在所述实景三维图中添加虚拟阳光;或,在所述当前时间处于第二预设时间段内的情况下,对所述实景三维图进行第二预设处理,以获得所述初始场景图;所述第二预设处理包括:在所述实景三维图中添加虚拟灯光。
进一步地,获取单元11,具体对所述分割图中的区域进行上色,以获得语义分割图;将所述语义分割图与所述待处理图像融合,以获得所述初始场景图。
进一步地,确定单元12,具体当接收到针对所述场景图中的第一智能设备区域的查看请求时,显示所述第一智能设备区域对应的第一智能设备的控制界面;以及接收用户通过所述控制界面输入的控制请求。
进一步地,获取单元11,在所述接收到针对所述场景图中的第一智能设备区域的查看请求之前,获取智能设备的标识;所述智能设备控制装置还包括:建立单元14根据获取单元11获取到的智能设备的标识,建立所述场景图中的第一智能设备区域与所述智能设备的标识之间的映射关系;确定单元12根据建立单元14建立的映射关系,显示与所述第一智能设备区域具有映射关系的智能设备标识对应的智能设备的控制界面。
进一步地,获取单元11,还在所述显示所述第一智能设备区域对应的第一智能设备的控制界面之后获取环境参数;所述智能设备控制装置还包括:显示单元15,根据所述环境参数与所述第一智能设备的类别,在所述控制界面上显示控制策略;所述控制策略用于指导用户调整所述第一智能设备的可调参数的状态值;确定单元12,还接收通过所述控制策略获得的所述第一智能设备的可调参数的目标状态值,作为所述控制请求。
进一步地,所述环境参数包括温度,显示单元15具体在所述温度大于第一阈值或小于第二阈值,且所述第一智能设备为空调的情况下,在所述控制界面上显示提示打开空调的信息;所述第一阈值大于所述第二阈值。
进一步地,所述环境参数包括湿度,显示单元15具体在所述湿度大于第三阈值,且所述第一智能设备为除湿机的情况下,在所述控制界面上显示提示打开除湿机的信息。
图9为本申请实施例提供的一种智能设备控制装置的硬件结构示意图。该装置2包括处理器21,还可以包括输入装置22、输出装置23和存储器24。该输入装置22、输出装置23、存储器24和处理器21之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable readonly memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号,以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件,也可以是一个整体的器件。
处理器可以包括是一个或多个处理器,例如包括一个或多个中央处理器(centralprocessing unit,CPU),在处理器是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据,执行如下步骤:
在一个实现方式中,所述处理器用于执行如下步骤:获取场景图,所述场景图中包含至少一个智能设备区域;根据针对所述智能设备区域的第一控制指令确定控制请求;根据所述控制请求控制与所述智能设备区域对应的智能设备。
在另一个实现方式中,所述处理器用于执行如下步骤:接收针对所述智能设备区域的第一控制指令,所述第一控制指令包括第一操作;根据所述第一操作确定控制请求。
在另一个实现方式中,所述处理器用于执行如下步骤:所述至少一个智能设备区域与至少一个智能设备一一对应,所述根据针对所述智能设备区域的第一控制指令确定控制请求,包括:根据针对所述场景图中的第一智能设备区域的第一控制指令,确定所述第一智能设备区域对应的第一智能设备的所述控制请求。
在又一个实现方式中,所述处理器用于执行如下步骤:所述根据所述控制请求控制与所述智能设备区域对应的智能设备,包括:向服务器发送所述控制请求,所述控制请求用于指示所述服务器将指令库中的第二控制指令发送给所述第一智能设备。
在又一个实现方式中,所述处理器用于执行如下步骤:所述获取场景图之前,所述方法还包括:获取待处理图像,所述待处理图像中包括至少一个物体;所述获取场景图,包括:确定所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体为智能设备;对所述待处理图像进行处理,获得初始场景图;所述初始场景图中包括至少一个物体,所述初始场景图中的物体与所述待处理图像中的物体一一对应;从所述初始场景图中的至少一个物体中确定所述初始场景图中的智能设备;所述初始场景图中的智能设备在所述初始场景图中的位置与所述待处理图像中的智能设备在所述待处理图像中的位置相同;确定所述初始场景图中的智能设备覆盖的区域为所述智能设备区域,获得场景图。
在又一个实现方式中,所述处理器用于执行如下步骤:所述确定所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体为智能设备,包括:对所述待处理图像进行语义分割处理,获得包含至少一个区域的分割图;所述分割图中的至少一个区域与所述待处理图像中的至少一个物体一一对应;对所述分割图中的区域进行特征提取处理,获得所述区域的特征数据,作为所述物体的特征数据;将所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体作为智能设备。
在又一个实现方式中,所述处理器用于执行如下步骤:所述对所述待处理图像进行处理,获得初始场景图,包括:对所述待处理图像进行渲染处理,获得所述初始场景图。
在又一个实现方式中,所述处理器用于执行如下步骤:所述对所述待处理图像进行渲染处理,获得所述初始场景图之前,所述方法还包括:获取当前时间;所述对所述待处理图像进行渲染处理,获得所述初始场景图,包括:对所述待处理图像进行三维重建处理,获得实景三维图;在所述当前时间处于第一预设时间段内的情况下,对所述实景三维图进行第一预设处理,获得所述初始场景图;所述第一预设处理包括:在所述实景三维图中添加虚拟阳光;或,在所述当前时间处于第二预设时间段内的情况下,对所述实景三维图进行第二预设处理,获得所述初始场景图;所述第二预设处理包括:在所述实景三维图中添加虚拟灯光。
在又一个实现方式中,所述处理器用于执行如下步骤:所述对所述待处理图像进行处理,获得初始场景图,包括:对所述分割图中的区域进行上色,获得语义分割图;将所述语义分割图与所述待处理图像融合,获得所述初始场景图。
在又一个实现方式中,所述处理器用于执行如下步骤:所述根据针对所述场景图中的第一智能设备区域的第一控制指令,确定所述第一智能设备区域对应的第一智能设备的所述控制请求,包括:当接收到针对所述场景图中的第一智能设备区域的查看请求时,显示所述第一智能设备区域对应的第一智能设备的控制界面;接收用户通过所述控制界面输入的控制请求。
在又一个实现方式中,所述处理器用于执行如下步骤:所述接收到针对所述场景图中的第一智能设备区域的查看请求之前,所述方法还包括:获取智能设备的标识;建立所述场景图中的第一智能设备区域与所述智能设备的标识之间的映射关系;所述显示所述第一智能设备区域对应的第一智能设备的控制界面,包括:显示与所述第一智能设备区域具有映射关系的智能设备标识对应的智能设备的控制界面。
在又一个实现方式中,所述处理器用于执行如下步骤:所述显示所述第一智能设备区域对应的第一智能设备的控制界面之后,所述方法还包括:获取环境参数;根据所述环境参数与所述第一智能设备的类别,在所述控制界面上显示控制策略;所述控制策略用于指导用户调整所述第一智能设备的可调参数的状态值;所述接收用户通过所述控制界面输入的控制请求,包括:接收通过所述控制策略获得的所述第一智能设备的可调参数的目标状态值,作为所述控制请求。
在又一个实现方式中,所述处理器用于执行如下步骤:所述环境参数包括温度,所述根据所述环境参数与所述第一智能设备的类别,在所述控制界面上显示控制策略,包括:在所述温度大于第一阈值或小于第二阈值,且所述第一智能设备为空调的情况下,在所述控制界面上显示提示打开空调的信息;所述第一阈值大于所述第二阈值。
在又一个实现方式中,所述处理器用于执行如下步骤:所述环境参数包括湿度,所述根据所述环境参数与所述第一智能设备的类别,在所述控制界面上显示控制策略,包括:在所述湿度大于第三阈值,且所述第一智能设备为除湿机的情况下,在所述控制界面上显示提示打开除湿机的信息。
可以理解的是,图9仅仅示出了一种智能设备控制装置的简化设计。在实际应用中,智能设备控制装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等,而所有可以实现本申请实施例的智能设备控制装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存储存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。
Claims (15)
1.一种智能设备控制方法,其特征在于,包括:
获取场景图,所述场景图中包含至少一个智能设备区域;
根据针对所述智能设备区域的第一控制指令确定控制请求;
根据所述控制请求控制与所述智能设备区域对应的智能设备。
2.根据权利要求1所述的方法,其特征在于,所述根据针对所述智能设备区域的第一控制指令确定控制请求,包括:
接收所述第一控制指令,所述第一控制指令包括第一操作;
根据所述第一操作确定控制请求。
3.根据权利要求1所述的方法,其特征在于,所述至少一个智能设备区域与至少一个智能设备一一对应,所述根据针对所述智能设备区域的第一控制指令确定控制请求,包括:
根据针对所述场景图中的第一智能设备区域的第一控制指令,确定与所述第一智能设备区域对应的第一智能设备的所述控制请求。
4.根据权利要求3所述的方法,其特征在于,所述根据所述控制请求控制与所述智能设备区域对应的智能设备,包括:
向服务器发送所述控制请求,所述控制请求用于指示所述服务器将指令库中的第二控制指令发送给所述第一智能设备。
5.根据权利要求1所述的方法,其特征在于,所述获取场景图之前,所述方法还包括:
获取待处理图像,所述待处理图像中包括至少一个物体;
所述获取场景图,包括:
确定所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体为智能设备;
对所述待处理图像进行处理,获得初始场景图;所述初始场景图中包括至少一个物体,所述初始场景图中的物体与所述待处理图像中的物体一一对应;
从所述初始场景图中的至少一个物体中确定所述初始场景图中的智能设备;所述初始场景图中的智能设备在所述初始场景图中的位置与所述待处理图像中的智能设备在所述待处理图像中的位置相同;
确定所述初始场景图中的智能设备覆盖的区域为所述智能设备区域,获得所述场景图。
6.根据权利要求5所述的方法,其特征在于,所述确定所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体为智能设备,包括:
对所述待处理图像进行语义分割处理,获得包含至少一个区域的分割图;所述分割图中的至少一个区域与所述待处理图像中的至少一个物体一一对应;
对所述分割图中的区域进行特征提取处理,获得所述区域的特征数据,作为所述物体的特征数据;
将所述待处理图像中具有与数据库中的参考特征数据匹配的特征数据的物体作为智能设备。
7.根据权利要求6所述的方法,其特征在于,所述对所述待处理图像进行处理,获得初始场景图,包括:
对所述分割图中的区域进行上色,获得语义分割图;
将所述语义分割图与所述待处理图像融合,获得所述初始场景图。
8.根据权利要求3所述的方法,其特征在于,所述根据针对所述场景图中的第一智能设备区域的第一控制指令,确定与所述第一智能设备区域对应的第一智能设备的所述控制请求,包括:
当接收到针对所述场景图中的第一智能设备区域的查看请求时,显示所述第一智能设备区域对应的第一智能设备的控制界面;
接收用户通过所述控制界面输入的所述控制请求。
9.根据权利要求8所述的方法,其特征在于,所述接收到针对所述场景图中的第一智能设备区域的查看请求之前,所述方法还包括:
获取智能设备的标识;
建立所述场景图中的第一智能设备区域与所述智能设备的标识之间的映射关系;
所述显示所述第一智能设备区域对应的第一智能设备的控制界面,包括:
显示与所述第一智能设备区域具有映射关系的智能设备标识对应的智能设备的控制界面。
10.根据权利要求8所述的方法,其特征在于,所述显示所述第一智能设备区域对应的第一智能设备的控制界面之后,所述方法还包括:
获取环境参数;
根据所述环境参数与所述第一智能设备的类别,在所述控制界面上显示控制策略;所述控制策略用于指导用户调整所述第一智能设备的可调参数的状态值;
所述接收用户通过所述控制界面输入的控制请求,包括:接收通过所述控制策略获得的所述第一智能设备的可调参数的目标状态值,作为所述控制请求。
11.根据权利要求10所述的方法,其特征在于,所述环境参数包括温度,
所述根据所述环境参数与所述第一智能设备的类别,在所述控制界面上显示控制策略,包括:
在所述温度大于第一阈值或小于第二阈值,且所述第一智能设备为空调的情况下,在所述控制界面上显示提示打开空调的信息;所述第一阈值大于所述第二阈值。
12.一种智能设备控制装置,其特征在于,包括:获取单元、确定单元、控制单元;所述获取单元与所述确定单元相连,所述确定单元与所述控制单元相连;
所述获取单元获取场景图,所述场景图中包含至少一个智能设备区域;
所述确定单元根据针对所述获取单元获取到的场景图中的智能设备区域的第一控制指令以确定控制请求;
所述控制单元根据所述确定单元所确定的控制请求以控制与所述智能设备区域对应的智能设备。
13.根据权利要求12所述的装置,其特征在于,所述确定单元具体根据针对所述场景图中的第一智能设备区域的第一控制指令,以确定所述第一智能设备区域对应的第一智能设备的所述控制请求。
14.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至11任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1~11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911016548.4A CN110780598B (zh) | 2019-10-24 | 2019-10-24 | 一种智能设备控制方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911016548.4A CN110780598B (zh) | 2019-10-24 | 2019-10-24 | 一种智能设备控制方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110780598A true CN110780598A (zh) | 2020-02-11 |
CN110780598B CN110780598B (zh) | 2023-05-16 |
Family
ID=69387331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911016548.4A Active CN110780598B (zh) | 2019-10-24 | 2019-10-24 | 一种智能设备控制方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110780598B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114584415A (zh) * | 2022-01-24 | 2022-06-03 | 杭州博联智能科技股份有限公司 | 全屋智能的场景分布式实现方法、系统、装置和介质 |
CN116193017A (zh) * | 2022-11-23 | 2023-05-30 | 珠海格力电器股份有限公司 | 交互方法、装置、电子设备及存储介质 |
WO2023098781A1 (zh) * | 2021-12-02 | 2023-06-08 | 海尔智家股份有限公司 | 用于调节电器控制设置的系统和方法 |
WO2023142755A1 (zh) * | 2022-01-25 | 2023-08-03 | Oppo广东移动通信有限公司 | 设备控制方法、装置、用户设备和计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105259765A (zh) * | 2015-09-18 | 2016-01-20 | 小米科技有限责任公司 | 生成控制界面的方法及装置 |
EP3131235A1 (en) * | 2015-08-11 | 2017-02-15 | Xiaomi Inc. | Method and apparatus for controlling device |
WO2017147909A1 (zh) * | 2016-03-04 | 2017-09-08 | 华为技术有限公司 | 目标设备的控制方法和装置 |
CN108123855A (zh) * | 2017-12-04 | 2018-06-05 | 北京小米移动软件有限公司 | 终端控制方法及装置 |
WO2019080901A1 (zh) * | 2017-10-27 | 2019-05-02 | 腾讯科技(深圳)有限公司 | 交互界面的显示方法和装置、存储介质、电子装置 |
-
2019
- 2019-10-24 CN CN201911016548.4A patent/CN110780598B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3131235A1 (en) * | 2015-08-11 | 2017-02-15 | Xiaomi Inc. | Method and apparatus for controlling device |
CN105259765A (zh) * | 2015-09-18 | 2016-01-20 | 小米科技有限责任公司 | 生成控制界面的方法及装置 |
WO2017147909A1 (zh) * | 2016-03-04 | 2017-09-08 | 华为技术有限公司 | 目标设备的控制方法和装置 |
WO2019080901A1 (zh) * | 2017-10-27 | 2019-05-02 | 腾讯科技(深圳)有限公司 | 交互界面的显示方法和装置、存储介质、电子装置 |
CN108123855A (zh) * | 2017-12-04 | 2018-06-05 | 北京小米移动软件有限公司 | 终端控制方法及装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023098781A1 (zh) * | 2021-12-02 | 2023-06-08 | 海尔智家股份有限公司 | 用于调节电器控制设置的系统和方法 |
CN114584415A (zh) * | 2022-01-24 | 2022-06-03 | 杭州博联智能科技股份有限公司 | 全屋智能的场景分布式实现方法、系统、装置和介质 |
CN114584415B (zh) * | 2022-01-24 | 2023-11-28 | 杭州博联智能科技股份有限公司 | 全屋智能的场景分布式实现方法、系统、装置和介质 |
WO2023142755A1 (zh) * | 2022-01-25 | 2023-08-03 | Oppo广东移动通信有限公司 | 设备控制方法、装置、用户设备和计算机可读存储介质 |
CN116193017A (zh) * | 2022-11-23 | 2023-05-30 | 珠海格力电器股份有限公司 | 交互方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110780598B (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110780598A (zh) | 一种智能设备控制方法、装置、电子设备及可读存储介质 | |
CN107703872B (zh) | 家电设备的终端控制方法、装置及终端 | |
CN107168085B (zh) | 一种智能家居设备远程控制方法、装置、介质和计算设备 | |
CN110333836B (zh) | 信息的投屏方法、装置、存储介质和电子装置 | |
CN108319151B (zh) | 家电设备的控制方法、装置、系统、移动终端及存储介质 | |
CN113885345B (zh) | 基于智能家居仿真控制系统的交互方法、装置、设备 | |
US20230139553A1 (en) | Interaction method for establishing device linkage scene, storage medium, and electronic device | |
US11943498B2 (en) | Display method, display terminal and non-transitory computer readable storage medium | |
WO2022267706A1 (zh) | 信息处理方法、系统和装置 | |
US20190377485A1 (en) | Screen Control Method, Apparatus, Device and Computer Readable Storage Medium | |
US20180267488A1 (en) | Control device and operating method | |
CN108829486B (zh) | 一种背景设置方法、装置、设备和存储介质 | |
CN106597865A (zh) | 信息分享方法及装置 | |
CN103473259A (zh) | 一种显示界面变换系统及变换方法 | |
CN111459388A (zh) | 一种智慧家居信息的息屏显示方法、显示设备及存储介质 | |
CN113852646A (zh) | 一种智能设备的控制方法、装置、电子设备及系统 | |
CN113126870A (zh) | 参数设置方法、智能冰箱及计算机可读存储介质 | |
CN110908498A (zh) | 一种手势关联控制功能的方法及终端设备 | |
CN111314398A (zh) | 设备控制方法、配网方法、系统及设备 | |
CN113703351A (zh) | 一种设备控制方法、装置及系统 | |
CN113220991A (zh) | 自动推荐切换场景的方法、系统、装置及存储介质 | |
CN111176503A (zh) | 一种交互系统设置方法、装置及存储介质 | |
CN108206784B (zh) | 智能家居的网络拓扑生成方法和装置 | |
CN106201621A (zh) | 遥控器场景限时卡片的屏幕显示方法和装置 | |
CN113064538B (zh) | 设备参数设置方法、智能冰箱及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |