CN103577662A - 确定家用电器的用电状况或环境状况的方法及设备 - Google Patents

Abstract

提供了一种确定家用电器的用电状况或环境状况的方法及设备。该方法包括步骤：捕获特定环境中多个家用电器的操作面板的图像；通过分析所述图像来识别各个家用电器及其所处的状态；基于各个家用电器的状态从数据库中获取各个家用电器的功率；以及基于各个家用电器的功率获得所述特定环境中家用电器的用电状况。利用本发明的上述方案，能够向用户提供家庭中家用电器的用电状况或环境状况，方便用户节省能源或者操作家用电器来改善室内环境。

Description

确定家用电器的用电状况或环境状况的方法及设备

技术领域

本发明涉及家用电器的操作支持技术，具体涉及一种确定家用电器的用电状况或环境状况的方法及设备。

背景技术

目前，每个家庭都购置了大量的家用电器，例如空气净化器、洗衣机、冰箱、电视机等，每天都要消耗大量的电能。对于不熟悉电器操作的人或者老人而言，如何确定这些电器的用电功率比较困难。并且，在家用电器处在不同的运行状态下所消耗的电能是不同的，因此用户难以确定家庭中的家用电器的用电状况，导致无法合理地使用家用电器。这样会造成能源的浪费。

中国专利文献(CN102006548A)公开了一种提供信息的方法。该方法用手机的摄像头捕获目标的图像，将捕获的图像和放大倍数发送给基站侧，然后接收要叠加显示在捕获的图像上的信息，接下来将该信息项与捕获的图像合并进而显示合并的图像。这样，用户通过捕获家用电器的图像就能够获得该家用电器的相关信息。

上述专利文献能够向用户提供大量的信息，但是用户仍旧需要从大量的信息中寻找自己想要的信息。更为重要的是，该专利文献公开的技术只能提供该家用电器的一般性信息，无法向用户提供家庭中家用电器的用电状况或者家庭中的环境状况。

发明内容

考虑到现有技术的一个或多个问题，本发明的目的是提供一种确定特定环境中家用电器的用电状况或环境状况的方法及设备。

在本发明中，家用电器不但包括家庭使用的电器，例如冰箱、洗衣机和电饭锅等外，还包括例如在办公室中使用的电脑或者打印机之类的电器。在本发明的一个方面，提出了一种确定家用电器的用电状况的方法，包括步骤：捕获特定环境中多个家用电器的操作面板的图像；通过分析所述图像来识别各个家用电器及其所处的状态；基于各个家用电器的状态从数据库中获取各个家用电器的功率；以及基于各个家用电器的功率获得所述特定环境中家用电器的用电状况。

在本发明的另一个方面，提出了一种确定家用电器的用电状况的设备，包括：通信单元，接收在特定环境中捕获的多个家用电器的操作面板的图像；检测单元，通过分析所述图像来识别各个家用电器及其所处的状态；数据统计和分析单元，基于各个家用电器的状态从数据库中获取各个家用电器的功率，并且基于各个家用电器的功率获得所述特定环境中家用电器的用电状况。

在本发明的再一个方面，提供了一种确定环境状况的方法，包括步骤：捕获特定环境中多个家用电器的操作面板的图像；通过分析所述图像来识别各个家用电器及其所处的状态；以及基于各个家用电器的状态确定该家用电器所处空间中的环境状况。

在本发明的又一个方面，提供了一种确定环境状况的设备，包括：通信单元，接收在特定环境中捕获的多个家用电器的操作面板的图像；检测单元，通过分析所述图像来识别各个家用电器及其所处的状态；以及数据统计和分析单元，基于各个家用电器的状态确定该家用电器所处空间中的环境状况。

利用本发明的上述方案，能够向用户提供家庭中家用电器的用电状况或环境状况，方便用户节省能源或者操作家用电器来改善室内环境。

附图说明

从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，其中：

图1示出了根据本发明实施例的方法的示例性应用场景；

图2示出了根据本发明实施例的便携式终端和云端设备的结构示意图；

图3示出了根据本发明实施例的便携式终端所捕获的图像/视频的例子；

图4示出了在本发明实施例中确定的UI构成部分/声音状态的结果的例子；

图5示出了在本发明的实施例中产品数据库中存储的电力用量表的例子；

图6示出了在本发明实施例中家用电器数据库中存储的电力用量计算数据表的例子；

图7示出了在本发明实施例中的显示总的用电功率的例子；

图8示出了在本发明实施例中家用电器数据库中存储的总电力用量表的例子；

图9是描述本发明的另一实施例的表格；

图10是描述根据本发明的再一实施例的系统构成的示意图；

图11是描述根据本发明的又一实施例的系统构成的示意图；

图12示出了根据本发明另一实施例的便携式终端所捕获的图像/视频的例子；

图13A和13B示出了在本发明另一实施例中产品数据库中存储的空气净化器数据的例子；

图14示出了在本发明的另一实施例中确定的UI构成部分/声音状态的结果；

图15示出了在本发明的另一实施例中家用电器数据库中存储的室内健康数据库的例子；

图16示出了在本发明的另一实施例中用到的天气数据的例子；

图17示出了在本发明的另一实施例中用到的环境状况判定准则的例子；

图18示出了在本发明的另一实施例中向用户提供的室内环境建议的例子；

图19是描述在本发明的另一实施例中确定环境离子状况并向用户提供建议的例子的流程图；

图20是描述在本发明的另一实施例中确定环境湿度状况并向用户提供建议的另一例子的流程图；以及

图21是描述在本发明的另一实施例中确定环境灰尘状况并向用户提供建议的再一例子的流程图。

具体实施方式

下面，参考附图详细说明本发明的优选实施方式。在附图中，虽然示于不同的附图中，但相同的附图标记用于表示相同的或相似的组件。为了清楚和简明，包含在这里的已知的功能和结构的详细描述将被省略，否则它们将使本发明的主题不清楚。

根据本发明的一些实施例，利用便携式设备的摄像头捕获特定环境(例如某个室内)家用电器的操作面板(UI)的图像后，通过分析图像来识别出该图像中的操作面板所对应的家用电器及其所处的状态。然后，基于各个家用电器及其所处的状态来从数据库中获取各个家用电器的功率，进而获得该特定环境中家用电器的用电状况。可以将该用电状况通知给便携式设备。这样，用户就可以参考便携式设备的显示屏上显示的信息得知当前室内的家用电器的用电状况，或者进而操作家用电器对用电功率进行调整。

根据另一实施例，对于获得该特定环境中两个及以上家用电器的用电状况的情况，便携式设备的显示屏上显示的信息可以是对每捕获一个家用电器的操作面板的图像后实时显示该特定环境中已经捕获的家用电器的用电状况。根据再一实施例，也可以待用户确认捕获完毕后，再在便携式设备上显示该特定环境中所有捕获的家用电器的用电状况。另外，对于被捕获的家用电器的操作面板上含有计时信息的情况，也可提示用户相应时段后该特定环境中的家用电器的用电状况。

根据本发明的另一些实施例，可以利用便携式设备的摄像头捕获特定环境(例如某个室内)家用电器的操作面板(UI)的图像后，通过分析图像来识别出该图像中的操作面板所对应的家用电器及其所处的状态。然后，基于该家用电器及其所处的状态来确定该家用电器所处空间中的环境状况。可以将该用该特定环境中的环境状况通知给便携式设备。这样，用户就可以参考便携式设备的显示屏上显示的信息得知该特定环境中的环境状况，或者进而操作当前室内的家用电器的来调节室内环境。

图1示出了根据本发明实施例的方法的应用场景的示意图。如图1所示，根据本发明实施例的便携式终端(简称为终端)101捕获特定环境(例如某个室内)的家用电器的操作面板(UI)的图像/视频，将图像或者视频发送给云端设备(简称为云端)102。云端设备102对该室内的家用电器的型号和所处的状态进行识别，然后从数据库中获得家用电器的用电功率或者该特定环境中的环境状况描述。这样，当云端设备102将获得的信息发送给便携式终端101后，用户可以得知该特定环境中家用电器的用电功率或者环境状况，进而调节相应的家用电器的用电功率或者通过调节家用电器的功能来改善室内的环境。根据本发明的另一实施例，便携式终端设备101也可以对捕获的图像/视频进行处理后发送给云端设备102，这样能够减少发送的数据量。例如，便携式终端101提取所捕获的图像中的特征后，将这些特征发送给云端设备102，降低了发送的数据量。

图2示出了根据本发明实施例的便携式终端和云端设备的结构示意图。如图2所示，便携式终端201包括视频/图像捕获单元203、显示单元206和通信单元207。

视频/图像捕获单元203例如为摄像头，其在用户的操作下对准要捕获的目标，例如家用电器的操作面板(UI)，进行拍照或者摄像。所捕获的图像或者视频可以存储在存储器(未示出)中，也可以通过通信单元207直接传送到云端设备202，进行对象识别。根据另一实施例，该便携式终端201还可以具备声音信息采集单元，例如麦克风(未示出)，在捕获视频的同时捕获声音信息，作为辅助数据发送给云端设备。

显示单元206通过通信单元207接收来自云端设备的分析结果或者建议，显示在显示屏(未示出)上，或者叠加显示在所捕获的家用电器的UI图像上，方便用户进一步调节家用电器的用电功率或者其他的功能。

云端设备202包括通信单元208、产品检测单元209、UI构成部分位置检测单元210、UI构成部分/声音状态检测单元211、数据统计和分析单元213、家用电器数据库214和产品型号数据库215等部分。

产品检测单元209通过模板匹配来识别捕获的图像中的家用电器。例如，产品检测单元209提取所捕获的图像的特征，然后将提取的特征与数据库215中的模板进行匹配来得到识别结果。

根据另一实施例，产品检测单元209还可以基于要匹配的特征使用RANSAC算法来估计单应矩阵，并利用估计的单应矩阵过滤特征匹配的结果，然后基于经过过滤的特征匹配结果来得到识别结果。这样可以将特征匹配中那些明显不合理的特征匹配结果滤除掉，提高了识别结果的准确度。

根据本发明的再一实施例，该产品检测单元209将数据库215中与捕获的图像之间匹配的特征数目最多的那个模板所对应的家用电器作为识别结果。

UI构成部分位置检测单元210根据与所识别的家用电器相对应的模板来确定该操作面板上的各个部分的位置信息。例如，根据所确定的模板来获得操作面板上各个按键和/或指示灯的位置信息。根据本发明的另一实施例，UI构成部分位置检测单元210估计数据库215中与所识别的家用电器相对应的模板和所捕获的图像之间的单应矩阵(homography matrix)，然后基于该单应矩阵确定操作面板上各个部分的位置信息。这样，即使用户所捕获的图像不是正对着家用电器的操作面板，经过上述的单应矩阵的调整，也能够准确地确定捕获的图像中操作面板上各个按键的位置信息。例如，UI构成部分位置检测单元210基于捕获的图像中的一些特征和数据库中的相应模板中的对应特征相匹配，并利用匹配的特征之间的位置关系来产生单应矩阵，该矩阵表示捕获的图像中的特征与模板中的特征之间的位置映射关系。例如，利用Speed Up Robust Feature特征，并和模板中的对应特征相匹配，利用匹配的特征的位置关系进一步推导出位置映射关系。然后，UI构成部分位置检测单元210就可以基于该单应矩阵来准确地确定操作面板上各个部分的位置，即使所拍摄的图像并未正对着家用电器的操作面板。

上述捕获的图像可以是一幅图像，也可以是视频。在视频的情况下，对于视频的第一幅或者前几幅图像进行如上所述的识别和确定构成部分的位置的过程，然后UI构成部分位置检测单元210利用针对在先图像的识别结果来确定后续图像中的操作面板上的各个部分的位置信息。

根据另一实施例，UI构成部分位置检测单元210可以估计与所识别的家用电器相对应的模板和后续图像之间的单应矩阵，然后基于该单应矩阵确定后续图像中的操作面板上的各个部分的位置信息。

根据再一实施例，UI构成部分位置检测单元210可以将针对该在先图像所确定的位置信息作为针对该后续图像中各个部分的位置信息。这样可以大大降低计算量。

在图2所示的实施例中，产品检测单元209和UI构成部分位置检测单元210可以用专用的硬件例如图像处理单元(GPU)来实现，也可以用软件来实现。

图3是以空气净化器为例来描述视频/图像捕获单元203所捕获的图像帧301的示意图。如图3所示，在空气净化器的图像帧301中的操作面板302上有一个出气口303、一个按键304(用于改变工作模式的按键)、五个LED灯305，306，307，308和309。LED灯305-309指示工作模式。如果LED灯305或306或307为“开”分别表示工作模式为“低”、“中”、“高”。LED灯307为“开”时空气净化器301工作在“高”模式。

LED灯308指示出气口303中的叶片的状态。如图3所示，由于LED灯308闪烁，表明出气口303中的叶片处于缓慢工作的状态。这可以通过LED灯308的闪烁速度来确定，闪烁越快表示叶片工作越快。LED灯309表示用户设置了30分钟的休眠定时器。如果LED灯309为“开”，表示空气净化器302在30分钟内将进入休眠状态。

这样，产品检测单元209能够利用捕获的UI视频/图像来检测产品。在这个例子中，检测得到的产品名称为AP-001。产品检测单元209除了使用上述的方式来识别所捕获的视频/图像中的产品外，还可以使用其他的检测技术。

在确定产品后，UI构成部分位置检测单元210可以按照如上所述的方法得到UI上各个部分的位置。在此基础上UI构成部分/声音状态检测单元211识别上述的各个LED灯304-309所处的状态以及该空气净化器的声音状态。例如，对于LED灯来说，可以识别出LED灯是“关”、“开”、“快速闪烁”、“慢速闪烁”或者其他的工作模式。关于声音，在有视频的情况下，从捕获的视频中检测声音信号，例如UI构成部分/声音状态检测单元211检测捕获视频中的噪声水平和铃声等等信号来更为精确地确定空气净化器所处的状态。再如，在洗衣机的情况下，不同的洗衣模式或者不同重量的洗衣量所对应的工作声音的大小是明显不同的，利用这样的信息可以更为准确地确定洗衣机的工作状态。但是，在基本上不发声或者没有什么噪音的家用电器中，例如电冰箱中，不用考虑声音信息。

这样，在有声音的情况下，云端设备中的通信单元208还接收在捕获所述图像的同时捕获家用电器的工作过程中的声音信息。数据统计和分析单元213基于所述声音信息调整从数据库215中得到的功率。

图4示出了在本发明实施例中由确定的UI构成部分/声音状态的结果的例子。栏401-405中的值分别对应如图3所示的LED灯304-309的状态。由于对空气净化器来说，不考虑声音信息，所以在图4中与声音相应的一栏406中的值为空。

图5示出了在本发明的实施例中产品数据库中存储的电力用量表的例子。如图5所示，不同产品在相应状态下的电力用量表存储在数据库215中。图5所示的不同行501、502、503、504、505和506分别表示该产品在不同状态下的功率值。数据统计和分析单元213可以通过比较如图4所示的UI构成部分/声音状态与数据库215中的表格，可以得到空气净化器AP-001的当前工作状态对应于指示为503的那一行，因此确定相应的功率值为1.5W。数据库215的表格中的数据可以事先从空气净化器的制造商得到。

图6示出了在本发明实施例中家用电器数据库中存储的电力用量计算数据表的例子。上述确定的功率值与该家用电器的名称(家用电器ID)以及用户的名称(用户ID)相关联地存储在家用电器数据库214中，例如图6所示表格中的一行中。如图6所示，产品检测单元209所确定的家用电器的名称601存储在“产品”栏中，数据统计和分析单元213所确定的功率值602存储在“功率”栏中，家用电器的定时器的状态603存储在“定时器设置时间”栏中，定时器的下一状态604存储在“下一状态”栏中，用户名称605(例如用户首次使用本实施例的系统时注册的用户名或者账号等)存储在“用户ID”栏中。例如，在设置定时器的情况下，定时器超时(例如定时器设置为当前时间后30分钟：2012/1/1.12:30:00)状态存储在字段603中，而定时器超时后的相应状态存储在字段604中。在定时器超时的情况下，空气净化器关闭，功率变为零，因此在定时器超时后要将字段602中的值更新为零。

在家用电器数据库214中存储总的电力用量，例如存储在字段606中。因此，数据统计和分析单元213会通过通信单元208将统计的数据发送给终端201。

根据本发明的实施例，当存在多个家用电器的情况下，在数据库214中存储该用户的其他家用电器的功率，从而在如图6所示的字段606中得到总的功率为21.5W。相应地，在字段607-611中存储在与上述的字段601-605含义类似的值。

根据本发明的实施例，终端201向用户通知室内的电力用量。图7示出了在本发明实施例中的显示总的用电功率的例子。如图7所示，显示单元206将空气净化器当前状态下的用电功率显示在空气净化器的图像上。

在如图10所示的另一实施例中，在便携式终端201中还包括定位单元1001，它获得该家用电器所在环境的地理信息，例如地理位置，从而云端设备202就可以得到该家用电器所处的区域，进而将该用户室内的家用电器的用电功率与该地区的每户平均用电功率进行比较，并且将结果通知给用户，给出节电提示。如图8所示，不同用户A 801、B 805和C810的家庭中的家用电器的功率分别存储在相应的字段802、807和811之中，相应的位置存储在字段803、807和811之中，相应的国家名称存储在字段804、808和812中。由于如图10所示的实施例与图2的区别仅仅在于增加了定位单元1001，因此在此不对二者相同的部分进行描述，具体参见上述结合图2的描述。

如图9所示，上海901的家庭平均用电功率是20.75W，存储在平均值字段中。这样，云端设备可以得知该用户家庭的用电功率21.5W高于本地的平均值，并且向用户通知此结果，并给出节电提示。用户可以在此结果的基础上，根据节电提示，调节其家庭的用电功率。例如，云端设备202向用户发出通知“你家庭用电功率高于上海的平均值，可能是因为AP-003的功率太高”。

根据本发明的另一实施例，上述系统还可以用来向用户提供环境信息。图11是描述根据本发明的又一实施例的系统构成的示意图。如图11所示的云端设备在图10所示的系统的基础上还包括收集诸如温度、湿度和离子浓度之类环境数据的环境数据收集单元212，同时便携式终端201还包括输入环境空间尺寸数据的输入单元1101。因此，这里不再对其他与前述实施例的结构相同的部分进行描述，具体参见上述结合图2和图10的描述。

根据图11所示的实施例能够获得特定环境的空间尺寸和/或该环境中的环境数据，进而由云端设备对这些数据进行分析来获得关于该特定环境的环境状况的建议。

如图11所示，便携式终端201的视频/图像捕获单元203捕获家用电器的操作面板(UI)的视频/图像，或者再接收用户通过输入设备1101输入的环境空间尺寸，通过通信单元207发送给云端设备202。然后，由云端设备202基于所捕获的视频/图像和/或所输入的环境空间尺寸，分析该环境中的环境状况，向用户提出改善环境的建议。例如调整空气净化器的运行模式等来增加空气中负离子的浓度，改变空调器的运行模式来调节室内的温度和湿度等。

图12示出了根据本发明另一实施例的便携式终端所捕获的图像/视频的例子。如图12所示，空气净化器AP-002的UI图像中包括离子模式单元1201的工作状态的LED灯“低”、“中”和“高”，以及灰尘指示灯1202，湿度指示器1204、定时器1204、电源1205、加湿器1206和除尘器1207。在这个实施例中，辅助数据的例子是通过输入单元1101输入的环境空间尺寸。

产品检测单元209对图像进行分析来确定家用电器的名称，例如从家用电器的图像中抽取特征，将所抽取的特征与数据库215中的模板进行匹配来识别该家用电器，例如识别出该家用电器是空气净化器AP-002。

UI构成部分位置检测单元210根据与所识别的家用电器相对应的模板来确定该操作面板上的各个部分的位置信息。例如，根据所确定的模板来获得操作面板上各个按键和/或指示灯的位置信息。根据本发明的另一实施例，UI构成部分位置检测单元210估计数据库215中与所识别的家用电器相对应的模板和所捕获的图像之间的单应矩阵(homography matrix)，然后基于该单应矩阵确定操作面板上各个部分的位置信息。这样，即使用户所捕获的图像不是正对着家用电器的操作面板，经过上述的单应矩阵的调整，也能够准确地确定捕获的图像中操作面板上各个按键的位置信息。例如，UI构成部分位置检测单元210基于捕获的图像中的一些特征和数据库中的相应模板中的对应特征相匹配，并利用匹配的特征之间的位置关系来产生单应矩阵，该矩阵表示捕获的图像中的特征与模板中的特征之间的位置映射关系。例如，利用Speed Up Robust Feature特征，并和模板中的对应特征相匹配，利用匹配的特征的位置关系进一步推导出位置映射关系。然后，UI构成部分位置检测单元210就可以基于该单应矩阵来准确地确定操作面板上各个部分的位置，即使所拍摄的图像并未正对着家用电器的操作面板。

以图12所示的空气净化器为例，图13A示出了该型号的空气净化器在离子模式情况下的不同功率所支持的室内面积的情况，图13B示出了该型号的空气净化器在灰尘模式下不同的LED指示灯所对应的工作状态。如图13A所示，左栏1301表示功率水平，右栏1302表示相应支持的室内面积。当功率为零时，支持的室内面积为零。当功率指示器为低时，支持的室内面积为20平方米。当功率为中时，支持的室内面积为27平方米，当功率为高时，支持的室内面积为35平方米。

如图13B所示，左栏表示LED指示灯的不同颜色，右栏表示相应颜色下该空气净化器的工作状态1305，1306和1307。在灰尘模式下，当LED指示灯为绿色时，表示当前室内空气比较清洁，LED指示灯为黄色时，表示当前室内空气不太清洁，LED指示灯为红色时，表示当前室内空气比较脏。

这样，UI构成部分/声音状态检测单元211可以根据该加用电器操作面板上的指示灯的颜色来确定其工作状态。图14示出了在本发明的另一实施例中确定的UI构成部分/声音状态的结果。如图14所示，对于图12所示的空气净化器的视频帧，UI构成部分/声音状态检测单元211确定该空气净化器的工作状态并且将相应指示灯的状态存储在家用电器数据库214中。如图14所示，离子“低”指示灯为“关”，存储在字段1401中，离子“中”指示灯为“关”，存储在字段1402中，离子“高”指示灯为“开”，存储在字段1403中，灰尘指示灯为“红灯亮”，存储在字段1404中，湿度指示器的值为40，存储在字段1405中，定时器状态为“关”，存储在字段1406中。由于在本例中不考虑声音，因此声音字段1407为“空”。

图15示出了在本发明的另一实施例中家用电器数据库中存储的室内健康数据库的例子。如图15所示，所检测的家用电器AP-002的数据与用户名称以及室内面积大小相关联地存储在表格中。例如用户ID“A”存储在字段1501中，产品名称“AP-002”存储在字段1502中，离子指示灯状态“高”存储在字段1503中，室内灰尘指示灯状态“脏”存储在字段1504中，湿度值“40”存储在字段1505中，定时器设置时间存储在字段1506中(本例中未设置定时器，因此该字段值为“空”)，下一状态值存储在字段1507中，用户通过输入单元1101输入的房间大小存储在字段1508中。

在本实施例中，定位单元1001还获得该家用电器的位置信息，例如地理位置，并且发送给云端设备202。这样，环境数据收集单元213根据该地理位置从其他的位置(例如网络上的天气服务)获得该位置当前的天气数据，例如湿度、温度和离子浓度等等信息。如图16所示，环境数据收集单元213获得该位置当前的天气数据，并且将其存储在表格中。当前时间值“2012/5/315:00”存储在字段1601中，位置“上海”存储在字段1603中，国家“中国”存储在字段1604中，当前温度“27摄氏度”存储在字段1605中，离子浓度“40”存储在字段1606中，当前湿度“36％”存储在字段1607中，风速“3”存储在字段1608中。

然后，数据统计和分析单元213根据上述的数据以及预先制定的舒适度规则判断该室内当前的环境状况并且向用户提供建议。图17示出了在本发明的另一实施例中用到的环境状况判定准则的例子。如图17所示，分别规定了湿度和温度在不同季节中的值作为参考。

根据上述准则，数据统计和分析单元213获得该室内的环境状况并且给出如图18所示的建议。图18示出了在本发明的另一实施例中向用户提供的室内环境建议的例子。

图19是描述在本发明的另一实施例中确定环境离子状况并向用户提供建议的例子的流程图。如图19所示，在步骤1901，云端设备202的产品检测单元209检测UI得到其型号，在步骤1902UI构成部分位置检测单元210和UI构成部分/声音状态检测单元211检测UI得到LED灯状态。在步骤1903，云端设备的数据统计和分析单元213按照用户输入的室内尺寸计算相应所需的离子发生器功率，然后在步骤1904判断当前的离子发生器功率是否足够。如果足够的话，在步骤1908向用户提供在一台或者多台下离子发生器下的建议。如果不够，在步骤1905判断是否已经达到最大功率。如果达到了最大功率，则在步骤1907提出该室内所配备的离子发生器的功率太小的建议，否则在步骤1908提出打开另一离子发生器的建议。

图20是描述在本发明的另一实施例中确定环境湿度状况并向用户提供建议的另一例子的流程图。如图20所示，在步骤2001，云端设备202的产品检测单元209检测UI得到其型号，在步骤2002UI构成部分位置检测单元210和UI构成部分/声音状态检测单元211检测UI得到湿度LED灯状态。在步骤2003，云端设备的天气数据收集单元212收集该室内所在位置的天气数据。在步骤2004，数据统计和分析单元213按照预定的准则判断当前的湿度是否足够。如果足够的话，流程结束，如果不足的话，在步骤2005向用户提出建议：打开加湿器，并且在步骤2006将该建议发送给用户。

图21是描述在本发明的另一实施例中确定环境灰尘状况并向用户提供建议的另一例子的流程图。如图21所示，在步骤2101，云端设备202的产品检测单元209检测UI得到其型号，在步骤2102UI构成部分位置检测单元210和UI构成部分/声音状态检测单元211检测UI得到灰尘LED灯状态。在步骤2103，云端设备的天气数据收集单元212收集该室内所在位置的天气数据。在步骤2104，数据统计和分析单元213按照预定的准则判断当前的空气是否干净。如果干净的话，流程结束，如果不干净话，在步骤2105判断除尘器是否打开，如果打开则表明用户已经在除尘，因此流程结束，否则在步骤2106向用户提出建议：打开除尘器，并且在步骤2107判断室外空气是否干净，温度舒适且风速较低，如果否的话，流程结束，否则在步骤2108向用户建议选择打开窗户并且在步骤2109将该建议发送给用户。

虽然在以上描述中对云端设备和便携式终端采用了分立模块的方式进行描述，但是本领域的技术人员应该意识到，可以将一些模块合并在一起，例如将产品检测单元、UI构成部分位置检测单元和UI构成部分/声音状态检测单元形成为单一的检测单元。

以上的详细描述通过使用方框图、流程图和/或示例，已经阐述了企业应用服务器和/或方法的众多实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (28)

1.一种确定家用电器的用电状况的方法，包括步骤：

捕获特定环境中多个家用电器的操作面板的图像；

通过分析所述图像来识别各个家用电器及其所处的状态；

基于各个家用电器的状态从数据库中获取各个家用电器的功率；以及

基于各个家用电器的功率获得所述特定环境中家用电器的用电状况。

2.如权利要求1所述的方法，其中所述基于各个家用电器的功率获得所述特定环境中家用电器的用电状况的步骤包括：

汇总各个家用电器的功率，得到所述特定环境中家用电器的总功率，作为所述用电状况。

3.如权利要求1所述的方法，还包括获取该特定环境的地理位置信息的步骤，以及所述基于各个家用电器的功率获得家用电器的用电状况的步骤包括：

基于所述地理位置信息取得相应区域的每户平均用电功率；

汇总多个电器的功率，得到家庭中电器的总功率；以及

向用户通知所述总功率与所述每户平均用电功率。

4.如权利要求3所述的方法，还包括基于所述总功率与所述每户平均用电功率，形成节电提示，并向用户通知所述节电提示。

5.如权利要求1所述的方法，还包括步骤：

在捕获所述图像的同时捕获家用电器的工作过程中的声音信息；以及

基于所述声音信息调整从数据库中得到的功率。

6.如权利要求1所述的方法，所述通过分析所述图像来识别所述家用电器及其状态的步骤包括：

提取所捕获的图像的特征；

将提取的特征与数据库中的模板进行匹配来识别所述家用电器及其状态。

7.如权利要求6所述的方法，所述通过分析所述图像来识别所述家用电器及其状态的步骤还包括：

基于要匹配的特征使用RANSAC算法来估计单应矩阵；

利用估计的单应矩阵过滤特征匹配结果；

基于经过过滤的匹配结果来识别所述家用电器及其状态。

8.如权利要求1所述的方法，其中在捕获过程中实时在便携式终端的屏幕上显示当前特定环境中家用电器的用电状况或者在捕获过程结束之后在便携式终端的屏幕上显示当前特定环境中家用电器的用电状况。

9.如权利要求1所述的方法，其中在所述家用电器设置了定时器的情况下，除了获得所述特定环境中家用电器的当前用电状况外，还获取该家用电器在定时器所设定的时间过后的用电状况。

10.一种确定家用电器的用电状况的设备，包括：

通信单元，接收在特定环境中捕获的多个家用电器的操作面板的图像；

检测单元，通过分析所述图像来识别各个家用电器及其所处的状态；

数据统计和分析单元，基于各个家用电器的状态从数据库中获取各个家用电器的功率，并且基于各个家用电器的功率获得所述特定环境中家用电器的用电状况。

11.如权利要求10所述的设备，其中数据统计和分析单元汇总各个家用电器的功率，得到所述特定环境中家用电器的总功率，作为所述用电状况。

12.如权利要求0所述的设备，其中通信单元还接收该特定环境的地理位置信息，以及所述数据统计和分析单元基于所述地理位置信息取得相应区域的每户平均用电功率，汇总多个电器的功率，得到家庭中电器的总功率，并向用户通知所述总功率与所述每户平均用电功率。

13.如权利要求12所述的设备，其中所述数据统计和分析单元还基于所述总功率与所述每户平均用电功率，形成节电提示，以及所述通信单元向用户通知所述节电提示。

14.如权利要求10所述的设备，其中，所述通信单元还接收在捕获所述图像的同时捕获家用电器的工作过程中的声音信息，以及所述数据统计和分析单元基于所述声音信息调整从数据库中得到的功率。

15.如权利要求10所述的设备，所述分析单元提取所捕获的图像的特征，并且将提取的特征与数据库中的模板进行匹配来识别所述家用电器及其状态。

16.如权利要求15所述的设备，所述分析单元基于要匹配的特征使用RANSAC算法来估计单应矩阵，利用估计的单应矩阵过滤特征匹配结果，并基于经过过滤的匹配结果来识别所述家用电器及其状态。

17.一种确定环境状况的方法，包括步骤：

捕获特定环境中多个家用电器的操作面板的图像；

通过分析所述图像来识别各个家用电器及其所处的状态；以及

基于各个家用电器的状态确定该家用电器所处空间中的环境状况。

18.如权利要求17所述的方法，其中基于各个家用电器的状态确定该家用电器所处空间中的环境状况的步骤包括：

分析各个家用电器的状态参数，得到所述空间中的环境状况评价结果。

19.如权利要求17所述的方法，还包括获取该特定环境的地理位置信息的步骤，以及所述基于各个家用电器的状态确定该家用电器所处空间中的环境状况包括：

基于所述地理位置信息取得相应区域的天气状况；

参考所述天气状况形成调节家用电器的建议；以及

向用户通知如何调节家用电器的信息。

20.如权利要求17所述的方法，还包括步骤：

在捕获所述图像的同时捕获家用电器的工作过程中的声音信息；以及

基于所述声音信息调节所述家用电器的状态参数。

21.如权利要求17所述的方法，所述通过分析所述图像来识别所述家用电器及其状态的步骤包括：

提取所捕获的图像的特征；

将提取的特征与数据库中的模板进行匹配来识别所述家用电器及其状态。

22.如权利要求21所述的方法，所述通过分析所述图像来识别所述家用电器及其状态的步骤还包括：

基于要匹配的特征使用RANSAC算法来估计单应矩阵；

利用估计的单应矩阵过滤特征匹配结果；

基于经过过滤的匹配结果来识别所述家用电器及其状态。

23.一种确定环境状况的设备，包括：

通信单元，接收在特定环境中捕获的多个家用电器的操作面板的图像；

检测单元，通过分析所述图像来识别各个家用电器及其所处的状态；以及

数据统计和分析单元，基于各个家用电器的状态确定该家用电器所处空间中的环境状况。

24.如权利要求23所述的设备，其中所述数据统计和分析单元分析各个家用电器的状态参数，得到所述空间中的环境状况评价结果。

25.如权利要求23所述的设备，其中通信单元还接收该特定环境的地理位置信息，以及所述数据统计和分析单元基于所述地理位置信息取得相应区域的天气状况，参考所述天气状况形成调节家用电器的建议，并向用户通知如何调节家用电器的信息。

26.如权利要求23所述的设备，其中所述通信单元还接收在捕获所述图像的同时捕获家用电器的工作过程中的声音信息；以及所述数据统计和分析单元基于所述声音信息调节所述家用电器的状态参数。

27.如权利要求23所述的设备，其中所述检测单元提取所捕获的图像的特征，并且将提取的特征与数据库中的模板进行匹配来识别所述家用电器及其状态。

28.如权利要求27所述的设备，其中，所述检测单元基于要匹配的特征使用RANSAC算法来估计单应矩阵，利用估计的单应矩阵过滤特征匹配结果，并且基于经过过滤的匹配结果来识别所述家用电器及其状态。

Images