CN114364297A - 用于建议对象放置的系统和方法 - Google Patents

Abstract

用于提供视觉辅助的放置建议的系统和方法包括：获得构造成使对象保持在腔室内的架子的图像，多个对象在架子上的放置遵循预设约束，预设约束对应于多个对象中的相应对象的特征，该特征与架子上的相应位置的物理参数相关；分析图像，以确定对象在架子上的放置是否违反预设约束；以及根据对违反至少一个预设约束的确定，生成第一输出，第一输出提供遵守一个或多个预设约束而将第一对象正确地放置在架子上的指导，第一输出根据第一对象的物理特征且考虑已放置在架子上的其它对象而生成，物理特征与架子上的相应位置的物理参数相关。

Description

用于建议对象放置的系统和方法

相关申请的交叉引用

本申请要求于2019年11月4日提交的第16/673,831号美国申请的权益，该美国申请的公开内容通过整体引用并入本文中。

技术领域

本公开涉及对象放置建议的领域，尤其涉及用于自动提供在家用电器(例如，洗碗机)中优化放置具有预设约束的对象的建议的系统和方法。

背景技术

传统的家用电器，例如洗碗机，依赖于用户手动装载餐具。然而，用户很少注意与待清洗的产品相关联的说明或者在洗碗机的说明书上列出的装载餐具的说明。事实上，将餐具装载到洗碗机中的方式可以在清洗质量、资源消耗(水、能源、肥皂等)和时间消耗方面显著影响清洗过程的性能。有时，不合适的装载，例如将餐具装载到错误的架子上(例如，在顶部或底部)、装载在架子上的错误位置、朝向错误的方向，和/或将对洗碗机不安全的对象装载到洗碗机中，可导致餐具损坏，甚至导致洗碗机发生故障。例如，不当装载可堵塞排水系统，或导致零件在干燥过程中熔化，从而影响洗碗机的使用寿命。因此，这些传统的家用电器要求用户阅读、理解和实际运用知识，和/或获得与如何正确地将餐具装载到洗碗机中相关的重要经验。即使用户愿意查看洗碗机说明书或其它在线资源(例如，直观地演示如何装载洗碗机的图像或视频)以学习如何正确地装载洗碗机，用户在查看说明书或在线资源的同时握持和装载餐具，也不太方便。这样的过程可能不直观、繁琐和中断，使用户感到沮丧，努力转变并遵循从另一媒介演示的装载方案，以装载位于真实的厨房空间中的洗碗机。

出于这些原因，需要改进的方法和系统，来帮助用户将餐具装载到洗碗机的架子上，并提供关于这种装载过程的建议和指导。

发明内容

因此，需要一种方法和系统来帮助用户正确且有效地将餐具装载到洗碗机中，例如，通过视觉辅助建议系统来帮助用户正确且有效地将餐具装载到洗碗机中，该系统提供与正确的洗碗机装载相关的直观且方便的视觉或音频指导和/或建议。

下面描述的实施方式提供用于向用户提供视觉辅助的帮助的系统和方法，以正确地将餐具装载到洗碗机中。该视觉辅助的帮助使用安装在洗碗机上的一个或多个内置相机和/或用户的移动设备上的一个或多个相机来采集洗碗机腔室的视频和/或图像。不需要任何用户输入来启动图像采集过程或请求将餐具装载到洗碗机中的建议或指导，可响应各种触发事件来启动相机，触发事件例如当系统检测到用户打开洗碗机门时(例如，表明用户将要在洗碗机中的架子上装载餐具)，当系统检测到用户将架子推回(例如，表明用户已完成装载餐具且即将开始清洗过程)和/或系统(例如，用户的移动设备)检测到用户在用户的移动设备上启动应用程序时。

在采集图像之后，放置建议系统自动开始分析图像，以识别餐具的一个或多个特征(例如尺寸、形状、方向和/或材料)，并生成与如何正确地装载餐具和/或如何纠正架子上的一个或多个现有餐具的不当装载相关的建议和/或指导。该建议和/或指导可通过视觉输出(例如，在洗碗机上和/或在用户的移动设备显示屏上显示)、音频输出(例如，洗碗机上的扬声器和/或用户的移动设备的扬声器)和/或洗碗机中的其它更直观和交互的视觉提示(例如，向架子上的优化位置闪烁激光以引导用户将餐具放置在这样的位置上)来提供。因此，不需要额外的用户输入来指示放置建议系统开始执行图像分析并运行如本文所讨论的各种算法，以开始执行图像分析并运行如本文所讨论的各种算法以生成建议。这种视觉辅助的放置建议可有效且高效地引导用户将餐具正确地装载到洗碗机中，从而避免由于餐具放置不当而损坏餐具和/或洗碗机。

此外，如本文所讨论的建议过程可能不需要用户的手与洗碗机或移动电话之间的任何直接交互(例如，相机由特定触发事件触发，且在采集一个或多个图像之后自动开始建议分析)。这在用户的手被餐具占据、因脏的餐具而变得油腻、或不方便与洗碗机或移动电话交互时比较方便。例如，用户可能需要在他或她的手中握持餐具时，或者在用户的手因脏的餐具而变得油腻时，或者在用户可能在进行多重任务、查看他或她的电话或看电视且最小程度地注意将餐具装载到洗碗机中时加载建议。本文讨论的建议系统可以在相机采集图像之后自动开始分析和建议过程，而不需要任何额外的用户输入。在一些实施方式中，相机采集功能和/或建议过程的启动还可通过用户的语音输入来控制，从而将用户的手从这样的任务中完全解放出来。

如本文所公开的，在一些实施方式中，在设备(例如洗碗机或移动电话)中执行提供视觉辅助的放置建议的方法，该设备具有相机和一个或多个输出设备、一个或多个处理器和存储器。该方法包括：在对腔室内的多个对象执行预设操作时，获得构造成使多个对象保持在原位的架子的一个或多个图像，其中，多个对象在架子上的放置遵循一个或多个预设约束，一个或多个预设约束对应于多个对象中的相应对象的一个或多个特征，一个或多个特征与在预设操作期间架子放置在腔室内时，架子上的相应位置的一个或多个物理参数相关；分析一个或多个图像，以确定一个或多个对象在架子上的放置是否违反一个或多个预设约束；以及根据对至少第一对象在架子上的相应放置违反一个或多个预设约束中的至少一个预设约束的确定，生成第一输出，第一输出提供遵守一个或多个预设约束而将第一对象正确地放置在架子上的指导，其中，第一输出由设备根据第一对象的一个或多个物理特征且考虑已放置在架子上的一个或多个其它对象而生成，一个或多个物理特征与架子上的相应位置的一个或多个物理参数相关。

在一些实施方式中，在设备(例如洗碗机或移动电话)中执行方法，该设备具有相机、一个或多个输出设备、一个或多个处理器和存储器。该方法包括：检测触发事件，触发事件用于启动相机以采集机器的腔室内的安装架的一个或多个图像。在一些实施方式中，安装架构造成根据一个或多个预设约束(例如，特定类型的餐具将放置在洗碗机的顶部或底部架子上，或者由特定材料制成的餐具对洗碗机不安全，因此不应放置在洗碗机中，或者特定形状和/或尺寸的餐具应在洗碗机中放置在架子上的被设计成适合相应尺寸和/或形状的餐具的位置处)，使一个或多个对象保持在安装架上的一个或多个位置处。在一些实施方式中，机器还包括前门，当前门关闭时，前门使安装架和腔室与机器的外部隔离。在一些实施方式中，触发事件包括以下一个或多个事件：打开机器的前门；将安装架从延伸位置推回到腔室内的缩回位置；或者检测到用户从在显示器上在图形用户界面中显示的多个机器型号的列表中对机器型号的选择。在一些实施方式中，响应于触发事件，该方法还包括：启动设备上的相机并采集安装架的一个或多个图像。在一些实施方式中，当安装架延伸出去时和/或当安装架被推回到腔室中时，启动相机。在一些实施方式中，该方法还包括：基于由相机采集的一个或多个图像来检测对象的一个或多个特征，其中一个或多个特征用于根据预设约束来确定位置和方向，以将对象放置在安装架上。在一些实施方式中，对象的特征包括形状、尺寸、材料、方向等。在一些实施方式中，在将对象放置在安装架上之前，由用户握持对象；或者其中，对象放置在安装架上的第一位置处。根据检测对象的一个或多个特征，该方法还包括：根据预设约束，识别用于将对象放置在安装架上的第一位置和第一方向；在设备的显示器上提供与根据所识别的第一位置和第一方向而将对象放置在安装架上相关联的通知。在一些实施方式中，通知以音频形式提供，在显示器上提供，通过设备的腔室内指向放置对象的第一位置的视觉提示提供。在一些实施方式中，通知是用于以第一方向将对象放置在第一位置处的建议；其中，通知是与对象在安装架上的当前位置和方向与根据预设约束的第一位置和第一方向之间的差异相关联的警报。

在一些实施方式中，在设备(例如洗碗机)处执行方法，该设备具有：(1)安装架(例如，可延伸的-可延伸以将对象装载到架子上，并在完成装载之后缩回)，用于在设备的腔室内根据一个或多个预设约束分别使一个或多个对象保持在安装架上的一个或多个位置处；和(2)前门，当前门关闭时，前门使安装架和腔室与设备的外部隔离。该设备还包括一个或多个处理器和存储器。该方法包括：检测前门的第一动作(例如，打开前门)；响应于检测到前门的第一动作，启动安装在设备的腔室内的相机，以采集一个或多个图像来监视/检测用户的手在设备的腔室内的移动；在启动相机之后，基于所采集的一个或多个图像，检测用户的手在设备的腔室内和安装架上方的移动；根据由相机采集的用户的手的移动的一个或多个图像，确定用户的手的移动是否对应于朝向设备的腔室内部的移入动作(例如，使用手部跟踪算法来分析由相机采集的图像，以例如通过对比图像帧序列以确定用户的手的移动方向，来确定是否为手部移入动作)；根据对用户的手的移动对应于朝向腔室内部的移入动作的确定，确定用户的手是否握持对象以将对象放置在设备的腔室内的安装架上(例如，使用手势分析算法来分析手势，例如在用户的手中握持对象)。该方法还包括：根据确定了用户的手握持对象，基于由相机采集的一个或多个图像来(例如，使用对象检测算法)检测对象的一个或多个特征(例如对象的形状、尺寸、材料等)；在将对象放置在安装架上之前，将检测到的对象的一个或多个特征与用于将一个或多个对象装载到安装架上的预设约束进行比较；根据比较结果，在安装架上确定与在设备的腔体内根据预设约束将对象放置在安装架上相关联的第一位置和第一方向(例如，优化位置/方向或禁止位置/方向)；以及根据确定结果，提供与在设备的腔室内将对象放置在安装架上相关联的第一位置和第一方向的建议。在一些实施方式中，可使用各种建议形式，例如语音输出、内置显示器(例如，前门外表面上的屏幕)、发送到用户的移动设备、在设备的腔室内显示视觉提示(例如，向安装架上的第一位置闪烁激光)。

在一些实施方式中，在设备(例如洗碗机或移动电话)处执行方法，该设备具有：(1)安装架，用于在设备的腔室内根据预设约束分别使一个或多个对象保持在安装架上的一个或多个位置处；(2)前门，当前门关闭时，前门使安装架和腔室与设备的外部隔离；(3)一个或多个处理器；和(4)存储器。该方法包括：检测与设备的一部分的动作(例如，打开前门，或将安装架从延伸位置推回)相关联的触发事件；响应于检测到触发事件，启动安装在设备内的相机，以采集设备的腔室内的安装架的上表面的一个或多个图像；在启动相机之后，基于由相机采集的一个或多个图像，(例如，使用对象检测算法)检测在腔室内放置在安装架的上表面上的一个或多个对象和每个被检测对象的一个或多个特征；将检测到的一个或多个对象中的相应对象的一个或多个特征与用于将对象装载到安装架上的预设约束进行比较；根据比较结果，识别将第一对象装载到设备的腔室内的安装架上与预设约束之间的差异；以及提供关于差异的警报以及与根据预设约束将第一对象装载到设备的腔室内的安装架上相关联的优化方式的建议。在一些实施方式中，可以以各种形式提供建议，例如语音输出、内置显示器(例如，前门外表面上的屏幕)、在用户的移动设备上显示、和/或在设备的腔室内显示视觉提示(例如，向安装架上的一个或多个优化位置闪烁激光)。

在一些实施方式中，在移动设备处执行方法，该移动设备具有相机、一个或多个输出设备(例如，显示器)、一个或多个处理器和存储器。该方法包括：在显示器上，在图形用户界面中显示多个设备型号的列表，每个设备型号对应于相应设备，该设备包括：(1)安装架，用于在相应设备的腔室内根据预设约束分别使一个或多个对象保持在安装架上的一个或多个位置处；和(2)前门，当前门关闭时，前门使安装架和腔室与设备的外部隔离；接收用户从在图形用户界面中显示的多个设备型号的列表中对第一设备型号的选择；使用移动设备的相机，采集放置在所选择的第一设备型号的第一设备的腔室内的安装架的上表面上的一个或多个对象的图像；确定包括在由相机采集的图像中的一个或多个对象中的每一个对象的一个或多个特征；将检测到的一个或多个对象中的相应对象的一个或多个特征与用于将对象装载到安装架上的预设约束进行比较；根据比较结果，识别将第一对象装载到设备的腔室内的安装架上与预设约束之间的差异；提供关于差异的警报以及与根据预设约束将第一对象装载到设备的腔室内的安装架上相关联的优化方式的建议(例如，以各种建议形式提供，诸如移动设备和/或洗碗机上的音频输出、在移动设备和/或洗碗机的显示器上突出显示优化位置的视觉输出、诸如移动电话上的振动的触觉输出，以表示在电话和/或洗碗机的显示器上存在待核实的餐具放置建议)。

根据一些实施方式，设备(例如洗碗机或移动电话)包括相机、一个或多个输出设备、一个或多个处理器和存储指令的存储器，当指令由一个或多个处理器执行时，指令使得处理器执行本文所描述的方法中的任何方法的操作。根据一些实施方式，提供一种计算机可读存储介质(例如，非暂时性计算机可读存储介质)，计算机可读存储介质存储用于由语音控制设备的一个或多个处理器执行的一个或多个程序，一个或多个程序包括用于执行本文所描述的方法中的任何方法的指令。

根据下面的描述，本申请的各种优点是显而易见的。

附图说明

通过结合附图对优选实施例的详细描述，将在下文中更清楚地理解所公开的技术的上述特征和优点以及其附加特征和优点。

为了更清楚地描述现有技术或当前公开的技术的实施例中的技术方案，下面简要地介绍描述现有技术或实施例所需的附图。显然，以下描述中的附图仅示出了当前公开的技术的一些实施例，本领域普通技术人员无需付出创造性努力即可从这些附图中获得其它附图。

图1A示出了根据一些实施例的包括洗碗机的多个家用电器的操作环境的框图。

图1B示出了根据一些实施例的用于将对象放置在家用电器中的视觉辅助建议系统的框图。

图2A和图2B是示出根据一些实施例的在洗碗机上实施的放置建议系统的框图。

图3示出了根据一些实施例的使用放置建议系统和洗碗机上的内置相机来提供用于装载洗碗机的建议的过程的流程图。

图4示出了根据一些实施例的使用放置建议系统和洗碗机上的内置相机来提供用于装载洗碗机的建议的过程的流程图。

图5示出了根据一些实施例的使用放置建议系统和洗碗机上的内置相机来提供用于装载洗碗机的建议的过程的流程图。

图6A示出了根据一些实施例的使用放置建议系统和用户设备的相机来提供用于装载洗碗机的建议的过程的流程图。

图6B至图6E示出了根据一些实施例的用于选择洗碗机型号的用户界面、使用用户设备的相机拍摄洗碗机照片的用户界面、以及输入定制餐具类型和参数以接收定制放置方案的用户界面的示例。

图7是根据一些实施例的用于提供将对象放置在洗碗机中的建议的方法的流程图。

图8是示出根据一些实施例的具有放置建议系统的电器的框图。

图9是示出根据一些实施例的用户设备的框图，用户设备与放置建议系统中的电器结合工作。

在附图的多个视图中，相同的附图标记始终指示对应的部件。

具体实施方式

现在，将详细参考实施例，实施例的示例在附图中示出。在下面的详细描述中，阐述许多具体细节，以提供对本文提出的主题的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实施该主题。在其它实例中，没有详细描述公知的方法、过程、组件和电路，以避免不必要地模糊实施例的方面。

下面参考本申请的实施例中的附图，清楚且完整地描述本申请的实施例中的技术方案。所描述的实施例仅仅是本申请的一部分实施例，而不是全部实施例。由本领域普通技术人员基于本申请的实施例在不付出创造性努力的情况下获得的所有其它实施例应落入本申请的保护范围内。

图1A示出了根据一些实施例的多个家用电器的操作环境100的框图。在一些实施例中，操作环境100包括一个或多个家用电器(例如，电器A-洗碗机110，电器B-烤箱112和电器C-微波炉114)，一个或多个家用电器通过网络190(例如，诸如因特网的广域网或诸如智能家庭网络的局域网)连接到一个或多个服务器(例如，服务器系统120)且可选地连接到一个或多个用户设备(例如，用户设备A 111、用户设备B 113和用户设备C 115)。

在一些实施例中，一个或多个家用电器(例如，智能洗碗机、智能烤箱、智能微波炉等)配置成收集原始传感器数据(例如，图像、重量、温度、热图数据等)并将原始传感器数据发送到相应的用户设备(例如，智能手机、平板设备等)和/或服务器系统120(例如，由家用电器的制造商或该制造商的第三方服务提供商提供的服务器)。在一些实施例中，家用电器配置成从家用电器的控制面板、服务器120和/或相应的用户设备接收控制指令。例如，洗碗机110可从用户与安装在洗碗机上、用于操作洗碗机的一个或多个按钮和/或控制面板的交互中接收控制指令。洗碗机110还可基于洗碗机的架子的图像从服务器系统120接收与餐具在洗碗机内的优化放置相关的指令。洗碗机还可接收来自用户设备A 111的指令，以使用用户设备A 111采集洗碗机腔室内的餐具安装架的一个或多个图像。与一个或多个家用电器(例如，电器A 110、电器B 112和电器C 114)相关的附加细节参照本公开的其它部分来详细描述。

在一些实施例中，一个或多个家用电器中的相应电器(例如，洗碗机110)包括输入/输出用户接口。可选地，输入/输出用户接口包括一个或多个输出设备，一个或多个输出设备包括一个或多个扬声器和/或一个或多个视觉显示器，其能够呈现媒体内容。可选地，输入/输出用户接口还包括一个或多个输入设备，一个或多个输入设备包括便于用户输入的用户接口组件，例如键盘、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势采集相机或者其它输入按钮或控件。

在一些实施例中，一个或多个家用电器中的相应电器(例如，洗碗机110)还包括传感器，传感器感测相应电器的环境信息。传感器包括但不限于一个或多个光传感器、相机(还称为图像传感器)、湿度传感器、温度传感器、运动传感器、重量传感器、光谱仪和其它传感器。在一些实施例中，在操作环境100中的一个或多个设备和/或电器包括相应的相机和/或相应的运动传感器，以检测用户的手的存在和/或对象(例如，餐具)的外观。在一些实施例中，安装在洗碗机110上的相机用于采集与洗碗机110相关联的一个或多个图像。例如，相机成一定角度布置，以检测用户的手在洗碗机腔室内的运动，和/或监视或采集安装在洗碗机腔室内的架子上的餐具的图像。在一些实施例中，传感器还提供与室内环境相关的信息，例如温度、一天中的时间、照明、噪音水平、房间的活动水平。

在一些实施例中，一个或多个用户设备配置成采集与安装在洗碗机腔室内的餐具相关的图像，从相应的电器接收原始传感器数据(例如，对应于电器A 110的用户设备A 111配置成从电器A 110接收原始传感器数据)，执行图像分析以评估餐具在洗碗机内的放置，和/或提供用于优化餐具放置以改善电器性能和效率的建议。在一些实施例中，一个或多个用户设备配置成生成控制指令并向相应的电器发送控制指令(例如，用户设备A 111可向电器A 110发送指令，以打开/关闭电器A 110，或者采集放置在电器A 110的架子上的物品的一个或多个图像)。

在一些实施例中，一个或多个用户设备包括但不限于移动电话、平板电脑或计算机设备。在一些实施例中，超过一个用户设备可对应于一个电器(例如，计算机和移动电话都可对应于电器A 110(例如，在电器设置过程中计算机和移动电话都注册为电器A的控制设备)，使得电器A 110可将原始传感器数据发送到计算机和移动电话之一或这两者)。在一些实施例中，用户设备对应于电器(例如，用户设备A 111对应于电器A 110)(例如，与电器共享数据和/或与电器通信)。例如，电器A 110可收集数据(例如，原始传感器数据，诸如图像或温度数据)并将所收集的数据发送到用户设备A 111，使得用户可以在用户设备A 111上注释所收集的数据。

在一些实施例中，系统服务器120配置成从一个或多个家用电器(例如，电器110、112和114)接收原始传感器数据，和/或从一个或多个用户设备(例如，用户设备111、113和115)接收注释数据。在一些实施例中，系统服务器120配置成接收一个或多个图像，一个或多个图像包括洗碗机110的安装架上的餐具放置，和/或与将餐具放置在洗碗机110中相关联的手部运动。在一些实施例中，系统服务器120配置成从安装在洗碗机110和/或用户设备111上的相机接收与洗碗机110相关联的所采集的图像。在一些实施例中，系统服务器120配置成处理图像数据、识别放置在安装架上或握持在用户的手中以便放置在安装架上的对象(例如，餐具、炊具等)的特征，以及基于处理后的图像信息和洗碗机110的预设放置约束来提供放置建议。

在一些实施例中，家用电器(例如，电器110、112和114)、用户设备(例如，用户设备111、113和115)和服务器系统120通过一个或多个网络190连接(例如，与网络190共享数据和/或与网络190通信)。通信网络190的示例包括局域网(LAN)和广域网(WAN)，例如因特网。通信网络110可使用任何已知的网络协议来实施，网络协议包括各种有线或无线协议，例如以太网、通用串行总线(USB)、火线(FIREWIRE)、全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi、因特网协议语音(VoIP)、Wi-MAX或任何其它合适的通信协议。

图1B示出了根据一些实施例的用于将对象放置在家用电器中的视觉辅助建议系统101的框图。在一些实施例中，视觉辅助建议系统101可选地根据客户端-服务器模型来实施。在一些实施例中，视觉辅助建议系统101包括在家庭环境中操作的电器110和用户设备111，以及通过云网络190与家庭环境通信地耦合的服务器系统120。

用户设备111的示例包括但不限于蜂窝电话、智能手机、手持式计算机、可穿戴计算设备(例如，HMD)、个人数字助理(PDA)、平板计算机、笔记本计算机、台式计算机、增强型通用分组无线业务(EGPRS)移动电话、媒体播放器、导航设备、游戏机、电视机、遥控器、销售点(POS)终端、电子书阅读器、仿人机器人，或者这些数据处理设备或其它数据处理设备中的任意两个或更多个的组合。

在一些实施例中，用户设备111包括以下一个或多个：成像处理模块155、网络通信单元136和一个或多个数据库138。在一些实施例中，用户设备111还包括用户侧放置建议模块179和用户侧电器功能控制模块177，以有助于如本文所描述的系统101的视觉辅助放置建议和电器控制方面。

在一些实施例中，图像处理模块155获得由用户设备111的一个或多个相机采集的图像和/或由电器110的成像系统(例如，图像传感器141，图1B)采集的图像，并处理图像以进行分析。在一些实施例中，图像处理模块155识别在采集的图像中检测到的对象(例如，餐具)的一个或多个特征(例如，形状、尺寸、材料等)。在一些实施例中，图像处理模块155还检测电器(例如，洗碗机)内部的安装架，并根据预设约束来识别用于保持一个或多个对象的安装架凹槽和图案。在一些实施例中，图像处理模块155还根据预设约束来识别检测到的对象的放置的一个或多个放置错误。这里进一步描述电器110的成像系统141和图像处理模块155的功能。

在一些实施例中，网络通信单元136使得用户设备111能够通过一个或多个网络190与电器110和/或系统服务器120通信。

在一些实施例中，数据库138包括根据制造商设置或用户自定义设置的、用于将对象放置在家用电器110中的一个或多个预设约束的数据库。例如，用户设备111可下载用于将餐具放置在特定型号的洗碗机中的预设约束。在一些实施例中，用户可使用在用户设备111上运行的应用程序，根据用户的需要(例如，如参考图6B至图6D所讨论的)进一步编辑、修改或添加附加约束。在一些实施例中，数据库138还可包括与待放置在电器中的对象的一个或多个特征相关的数据。在一些实施例中，数据库138还包括与电器110的一个或多个型号相关的产品信息。

在一些实施例中，在用户设备111上运行的应用程序与系统服务器120和电器110结合来提供用户侧功能，例如用户侧放置建议和电器功能控制。在一些实施例中，应用程序还提供入口去联系制造商或服务提供商以获得与电器110相关的信息和服务。

在一些实施例中，用户侧放置建议模块149配置成根据对象的特征和用于将对象放置在电器内的架子上的预设约束来提供用于将对象放置在电器中的建议。

在一些实施例中，用户侧放置建议模块149配置成在本地自动生成放置建议。在一些实施例中，用户侧放置建议模块179向系统服务器120发送请求，并从系统服务器120实时接收放置建议。该请求包括由电器110或用户设备111采集的实时图像数据，并使用待放置在电器内的架子上的对象的特征和由制造商确定和/或由用户自定义的用于将对象放置在架子上的预设约束来确定结果。

在一些实施例中，用户侧电器功能控制模块177配置成提供使用户直接控制电器功能(例如，打开/关闭电器或设置电器参数等)的用户界面，和/或基于放置建议指令来生成通知。在一些实施例中，从用户侧放置建议模块179向用户侧电器功能控制模块177提供放置建议。

在一些实施例中，电器110包括一个或多个第一传感器(例如，图像传感器141)、一个或多个清洗单元143、显示器144、I/O模块145、用户界面146、网络通信单元147、机械单元148、控制模块155，以及可选地包括电器侧放置建议模块149和电器侧电器功能控制单元153。在一些实施例中，本文讨论的一个或多个设备和/或模块是电器110的内置单元。在一些实施例中，一个或多个模块可以在计算设备上实施，该计算设备与电器110通信地耦合以执行如本文所讨论的相应功能。

在一些实施例中，图像传感器141安装在洗碗机上，并配置成采集洗碗机内、包括用于安装餐具的架子的空间的图像(例如，图2A)。在一些实施例中，一个或多个清洗单元143包括水控制单元和热控制单元，水控制单元和热控制单元构造成清洗和干燥放置在洗碗机内部的餐具。在一些实施例中，电器140包括显示器144，显示器144可给用户提供关于电器110的信息(例如，洗碗机的清洗或干燥功能当前在运行)。在一些实施例中，显示器144可与I/O模块145和用户界面146集成，以使得用户能够将信息输入电器110中或从电器110读取信息。在一些实施例中，显示器144与I/O模块145和用户界面146结合来向用户提供建议、警报和通知信息，并从用户接收控制指令(例如，通过电器110提供的硬件和/或软件接口)。在一些实施例中，显示器144可以是触摸屏显示器或包括按钮的显示器。在一些实施例中，显示器144可以是不具有触摸屏特征的简单显示器(例如传统的LED或LCD显示器)，而用户界面146可以是可手动控制的硬件按钮或旋钮。在一些实施例中，用户界面146可选地包括以下一个或多个：显示器、扬声器、键盘、触摸屏、语音输入-输出接口等。

网络通信单元147在功能上类似于网络通信单元137。网络通信单元147使得电器110能够通过一个或多个网络190与用户设备111和/或系统服务器120通信。

本文所描述的机械单元148指的是电器110的硬件和相应的软件和固件组件，其构造成物理地改变洗碗机110的内部感测(例如，成像)、加热和/或清洗构造。

在一些实施例中，电器侧放置建议模块149包括类似于用户侧放置建议模块179的功能。例如，电器侧放置建议模块149配置成提供与对象在洗碗机110内的放置相关的建议。例如，电器侧放置建议模块149配置成基于由图像传感器141采集的图像数据来确定一个或多个对象在洗碗机的架子上的放置是否包括错误。在一些实施例中，电器侧放置建议模块149配置成在本地提供放置建议。在一些实施例中，电器侧放置建议模块149向系统服务器120发送请求，并从系统服务器120实时接收建议。

在一些实施例中，图像传感器141配置成采集非结构化图像数据。非结构化数据的示例包括RGB图像和热图像或红外图像。例如，图像传感器141可配置成采集或记录放置在电器110的架子上的对象的静止图像或视频。在一些实施例中，与图像传感器141相关联的成像系统142包括数据存储系统，数据存储系统存储待放置在架子上的对象的特征、架子的凹槽和图案的尺寸、相机与架子之间的距离，使得相机拍摄的图像可用于准确地确定图像中的对象的尺寸和形状。

在一些实施例中，当图像传感器检测到用户的手握持待放置在架子上的对象进入相机的视场时，触发图像采集。在一些实施例中，当洗碗机门打开时，触发图像采集，表示用户可能将要将一个或多个餐具放置在洗碗机中。在一些实施例中，当洗碗机(例如，通过安装在架子上的传感器或通过由图像传感器141采集的图像)检测到架子被推入时，触发图像采集，表示用户已完成将餐具装载到架子上且将要启动洗碗机，使得建议系统可检查是否需要执行对餐具在架子上的放置的任何调节。在一些实施例中，响应于用户的输入而手动触发图像采集，例如，当电器110在洗碗机110上的按钮或触摸显示器上接收到用户输入时，触发图像采集，或者当电器110接收到来自用户设备111的指令时，触发图像采集，该指令是响应于(例如，通过在用户设备111上运行的应用程序)在用户设备111上接收的用户指令而生成，以检查餐具在架子上的放置。手动触发器实施起来更容易且更不复杂，且使得用户能够根据用户的需要有目的地采集图像，以接收与餐具在架子上的放置相关的系统建议。在一些实施例中，图像处理模块161获得由一个或多个图像传感器141采集的图像，并基于基线图像(例如，在将餐具插入架子上之前采集的基线图像)对图像进行预处理，以从图像中去除背景。

在一些实施例中，控制模块154包括配置成控制和调节图像传感器141的传感器控制器162。例如，传感器控制器162可向图像传感器141发送指令以记录视频(例如，当跟踪手部的运动时)或静止图像(例如，在装载餐具之后采集用于放置检查的图像)。

在一些实施例中，电器侧电器功能控制模块153配置成控制和调节电器110的各种功能。例如，电器侧电器功能控制模块153可向清洗单元143发送指令以激活一个或多个加热单元的第一清洗单元，或者可向机械单元148发送指令。在一些实施例中，电器侧电器功能控制模块153基于预配置的操作协议生成控制指令并向电器110的各组件发送控制指令(例如，以实现电器110的正常例程功能)。在一些实施例中，电器侧电器功能控制模块153基于由电器内的图像传感器141监视的实时餐具装载进度来生成控制指令并向电器110的各组件发送控制指令(例如，以自动提供与在何处放置对象相关的指导或与对象在架子上的错误放置相关的警报)。在一些实施例中，电器侧电器功能控制模块153基于从用户设备接收或通过电器110的用户界面146接收的实时用户指令来生成控制指令并向电器110的各组件发送控制指令。

在一些实施例中，系统服务器120由电器110的制造商托管。在一些实施例中，系统服务器120包括一个或多个处理模块，例如图像分析模块172、服务器侧放置建议模块174、服务器侧电器功能控制模块176、去到用户设备111的I/O接口、去到电器111的I/O接口、去到外部服务的I/O接口，以及存储在数据库178中的数据和模型。

在一些实施例中，数据库178存储用于在特定型号的洗碗机的架子上放置具有不同特征的对象的放置约束。放置约束可由洗碗机的制造商定义和/或由用户自定义。在一些实施例中，数据库178还存储电器型号信息(例如，安装架的尺寸、相机与架子之间的距离等)。在一些实施例中，数据库还存储用户数据，例如用户的炊具和餐具信息(例如，尺寸)、自定义的放置约束、用户对装载和/或使用洗碗机的偏好。

在一些实施例中，系统服务器120通过网络240与外部服务(例如，电器制造商服务、家用电器控制服务、导航服务、消息传递服务、信息服务、日历服务、社交网络服务等)通信，以完成任务或获取信息。去到外部服务的I/O接口有助于这种通信。在一些实施例中，洗碗机的操作信息(例如，操作参数、预设装载约束)在系统服务器120处周期性地更新，并发送到电器110和/或用户设备111，以分别存储与电器110和/或用户设备111相关的更新信息。例如，当由新材料制成的新形状和/或尺寸的餐具可在市场上获得，或成为新趋势，或成为用户的新家庭选择时，用于将新餐具放置在洗碗机的架子上的预设约束被修改或更新，且这种更新的约束及时地或周期性地传输到洗碗机和/或移动电话以更新相应的信息。在一些实施例中，图像分析模块使用在系统服务器处训练的一个或多个机器学习模型，以用于手部运动跟踪、架子监视和/或对象识别，且机器学习模型在系统服务器处周期性地更新并发送到洗碗机和/或用户的移动电话，以更新洗碗机和/或移动设备上的相应图像分析模块。

在一些实施例中，图像分析模块172存储手部跟踪算法以在对象放置过程期间跟踪用户的手部运动。图像分析模块172可存储对象识别算法以用于识别对象特征，例如待安装或已放置在洗碗机的架子上的餐具的形状和尺寸。图像分析模块172可根据用于将对象放置在洗碗机的架子上的预设约束来执行对象放置检查。在一些实施例中，服务器侧放置建议模块174执行与本文所讨论的由用户侧放置建议模块179和/或电器侧放置建议模块149执行的功能相似的一个或多个功能。在一些实施例中，服务器侧电器功能控制模块176执行与由用户侧电器功能控制模块177和/或电器侧电器功能控制模块153执行的功能相似的一个或多个功能。

图1B中的放置建议系统101内的各系统的功能仅是说明性的。可能存在这些功能的其它配置和划分。在各实施例中，一个子系统的一些功能可以在另一子系统上实施。上面的示例仅仅是为了说明的目的而提供。下面结合其它附图和图示阐述各组件的功能的更多细节。可以理解，本文描述的一个或多个组件可独立于其它组件来使用。

图2A和图2B是分别示出根据一些实施例的在洗碗机200上实施的放置建议系统的侧视图和正视图的框图。在一些实施例中，洗碗机200与参考图1A和图1B所讨论的电器110相同。在一些实施例中，洗碗机200包括执行如参考图1B所讨论的一个或多个功能的一个或多个模块。例如，如图2A所示，洗碗机200包括嵌入式系统202，嵌入式系统202包括图像处理模块161(例如，图1B)，以用于基于由相机204采集的图像来分析餐具的一个或多个特征(例如，尺寸、形状、位置和方向)。在一些实施例中，相机204与图1B中所讨论的图像传感器141相同。在一些实施例中，相机204安装在洗碗机的顶部框架上，其视场包括用于使餐具保持在洗碗机腔室内的架子208。在一些实施例中，洗碗机200不具有内置相机，且放置建议系统的图像处理系统处理由诸如用户的手机206的用户设备采集的图像。在一些实施例中，嵌入式系统202还基于所采集的图像的分析结果提供放置建议。在一些实施例中，洗碗机200包括一个或多个传感器，一个或多个传感器用于检测触发事件(例如，当架子被推回时)以启动洗碗机或用户设备上的相机来开始采集包括洗碗机架子的图像。

在一些实施例中，内置相机或用户设备的相机用于监视餐具装载过程，且进一步核实架子上的餐具装载布局(例如，在装载特定型号的洗碗机之前的优化装载布局，或者在用户将餐具放置在架子上期间或之后的实际装载情况)。在一些实施例中，放置建议系统使用手部运动跟踪算法和/或架子监视或跟踪算法来容易且精确地识别餐具在架子上的位置。在一些实施例中，对于没有内置相机的洗碗机，需要用户将用户设备保持在与架子相距一定距离的范围内并保持处于特定方向以拍摄架子的图像，使得可从由用户设备采集的图像中准确地识别架子上的餐具或凹槽的位置。在一些实施例中，如图2B中洗碗机200的正视图所示的，洗碗机还包括位于洗碗机的前门外侧的显示屏，以向用户显示由放置建议系统生成的放置建议。

在一些实施例中，放置建议系统包括硬件，例如洗碗机200上的内置相机204或通过基于云的计算系统通信地耦合到洗碗机200的用户手机206上的相机。在一些实施例中，放置建议系统的硬件还包括显示屏，作为向用户显示关于餐具放置的建议的界面。

在一些实施例中，放置建议系统包括软件，该软件包括用于监视用户手部运动的手部检测算法，用于检测餐具类型、材料、尺寸、形状和在架子上的位置的对象检测算法，用于检测与餐具在架子上的放置相关的餐具方向的方向算法，和用于根据预设约束来识别用于在架子上放置检测对象的优化位置的建议算法。

图3示出了根据一些实施例的使用放置建议系统和洗碗机上的内置相机来提供用于装载洗碗机的建议的过程300的流程图。在一些实施例中，安装在洗碗机上的一个或多个传感器检测(302)用户打开洗碗机门，表示用户可能开始在洗碗机的架子上装载餐具。在一些实施例中，检测到的动作(例如，用户开门)触发(304)相机(例如，图2A的内置相机204，图1B的图像传感器141)以采集图像来跟踪用户的手部运动(例如，320)。在一些实施例中，相机以每秒F帧的频率拍摄其视场的图片。在一些实施例中，在相机开始采集图像以跟踪手部运动之后，嵌入式系统202(图2A)、电器侧放置建议模块149(图1B)或图像处理模块161(图1B)使用手部跟踪算法来分析(306)手部运动。在一些实施例中，手部检测算法检测所采集的图像中的所有手部。在一些实施例中，一旦检测到手部，则手部跟踪算法跟踪这些检测到的手部的移动。在一些实施例中，仅考虑移入的手部(例如，朝向洗碗机腔室的内部移动的手部)，以消除手部在洗碗机中移动但不是为了装载餐具的情况(例如，在清洗之后卸载餐具)。

在一些实施例中，当图像处理模块或放置建议模块发现移入的手部握持餐具时，放置建议系统检测(308)包括在所采集的图像中的餐具的特征，例如类型、材料、尺寸和形状。基于检测结果，放置建议系统确定(310)最优架子、最优位置、最优方向以将餐具装载到架子上。在一些实施例中，放置建议系统还提供(312)与将餐具正确地放置在架子上相关的指导或建议。在一些实施例中，放置建议系统以各种方式提供指导或建议，例如通过洗碗机的内置扬声器的语音输出(314)、在内置显示屏上显示文本或高亮显示地图的视觉输出(316)、或在手机的应用程序上显示的通知(318)。

图4示出了根据一些实施例的使用放置建议系统和洗碗机上的内置相机来提供用于装载洗碗机的建议的过程400的流程图。在一些实施例中，安装在洗碗机上的一个或多个传感器检测(402)洗碗机门打开，表示用户可能开始在洗碗机的架子上装载餐具。在一些实施例中，检测到的动作(例如，用户开门)触发(404)相机(例如，图2A的内置相机204，图1B的图像传感器141)以按每秒F帧的特定频率采集架子的图像，来监视架子以提供即时建议。在一些实施例中，建议系统使用相机来监视(406)在所采集的图像中餐具在洗碗机的架子上的放置。在一些实施例中，建议系统检测架子上是否存在放错位置的餐具。在一些实施例中，建议系统检测到有物品放置在架子上(例如，通过检测架子的连续图片之间的差异来实施)，建议系统使用架子监视算法来识别餐具的类型、材料、尺寸、形状和方向。基于识别结果，将进行优化的装载分析。在一些实施例中，建议系统基于预设约束来检测(408)对象在架子上的不当放置。例如，如果物品是无效的对象(例如，由对洗碗机不安全的材料制成的不可清洗的餐具420)或者如果物品是餐具，但是被不正确地装载(例如，在包括在图4中的图片中，杯子422错误地放置在底部架子上)。在一些实施例中，基于不当放置的检测结果，并基于从采集图像中识别的餐具的特征，放置建议系统基于预设约束(例如，具有特定尺寸且由特定材料制成的餐具将放置在架子上的特定位置上)确定(410)餐具在架子上的正确放置。在一些实施例中，放置建议系统提供(412)与餐具在架子上的优化放置相关的指导。例如，指导、警报和建议以各种方式提供给用户，例如通过洗碗机的内置扬声器的语音输出(414)、在内置显示屏上显示文本或高亮显示地图的视觉输出(416)、或在手机的应用程序上显示的通知(418)、或在内置显示屏上或在手机的应用程序上高亮显示地图或文本。

图5示出了根据一些实施例的使用放置建议系统和洗碗机上的内置相机来提供用于装载洗碗机的建议的过程500的流程图。在一些实施例中，安装在洗碗机上的一个或多个传感器检测(502)用户将架子推回到洗碗机腔室中，表示用户可能完成将餐具装载到洗碗机的架子上。在一些实施例中，检测到的动作(例如，用户将架子推入)触发(504)相机(例如，图2A的内置相机204，图1B的图像传感器141)以采集餐具在架子上的放置的图像。在一些实施例中，不是以特定频率采集多个图像，而是只需要一个或多个静止图像来检查架子上的装载结果。在一些实施例中，建议系统基于预设约束来检测(506)餐具(例如，图5的照片中的餐具520、522和524)在架子上的不当放置。例如，建议系统使用餐具检测和识别。基于识别结果，另一算法(例如，餐具替换算法)分析架子并给用户提供建议以调节装载。在一些实施例中，基于不当放置的检测结果，并基于从采集图像中识别的餐具的特征，放置建议系统基于预设约束(例如，具有特定尺寸且由特定材料制成的餐具将放置在架子上的特定位置上)确定(510)餐具在架子上的正确放置。在一些实施例中，放置建议系统提供(512)与如何纠正餐具在架子上的不当放置相关的建议。例如，用于纠正餐具在架子上的不当放置的警报和建议以各种方式提供给用户，例如通过洗碗机的内置扬声器的语音输出(514)、在内置显示屏上显示文本或高亮显示地图的视觉输出(516)、或在手机的应用程序上显示的通知(518)、或在内置显示屏上或在手机的应用程序上高亮显示地图或文本。

使用图5中的过程500的优点包括：建议系统不需要连续监视手部(例如，图3中的过程300)或架子(例如，图4中的过程400)，使得可通过采集装载后的情况的静止图像来降低建议系统的成本和复杂性。这对于具有低计算配置的廉价系统很有用。缺点包括：与过程300和过程400相比，更慢地给用户提供建议。

图6A示出了根据一些实施例的使用放置建议系统和用户设备的相机来提供用于装载洗碗机的建议的过程600的流程图。图6B至图6E示出了根据一些实施例的在用户设备上运行的应用程序的、用于选择洗碗机型号的用户界面、使用用户设备的相机拍摄洗碗机照片的用户界面、以及输入定制餐具类型和参数以接收定制放置方案的用户界面的示例。在一些实施例中，过程600用于不具有图像传感器(相机)的洗碗机。在这种情况下，当用户需要餐具装载建议时，可使用具有相机的移动电话来采集餐具在架子上的放置。

在一些实施例中，用户打开(602)在用户的移动电话上运行的应用程序。在一些实施例中，应用程序涉及管理或操作洗碗机。在一些实施例中，如图6B所示，用户从应用程序的用户界面上提供的洗碗机列表中选择(604)他或她的洗碗机型号。在一些实施例中，如图6C所示，应用程序可指示用户使用用户设备的相机来拍摄(606)他要放置在架子上的餐具的图片和架子的图片。在一些实施例中，如图6D所示，相机拍摄(606)装有餐具的架子的图片。在一些实施例中，建议系统使用应用程序中的算法来识别餐具的类型、材料、形状和尺寸。在一些实施例中，系统还从所采集的图像中分析(608)架子中的当前餐具布局，以检测餐具在架子上的不当放置。在一些实施例中，放置建议系统基于预设约束(例如，具有特定维度且由特定材料制成的餐具将放置在架子上的特定位置上)来确定(610)餐具在架子上的正确放置。在一些实施例中，放置建议系统提供(612)与餐具在架子上的正确放置相关的指导或建议。在一些实施例中，建议可由用户设备上的应用程序以语音或图形来表示。

在一些实施例中，如图6E所示，应用程序还可给用户提供选项以提供餐具的尺寸，而且基于特定类型的洗碗机的架子的尺寸和凹槽设计，应用程序可根据他或她需要将其特殊尺寸或形状的餐具放置在洗碗机的架子上来给用户生成定制的放置方案。例如，如图6E所示，可指示用户拍摄餐具(例如，不规则餐具、由特殊材料制成的餐具、具有特殊尺寸和/或形状的餐具等)的照片。在另一示例中，用户可直接输入餐具的尺寸。然后，建议系统提供在洗碗机的架子上装载特殊餐具的方案。

在一些实施例中，对于手部检测算法、餐具检测和识别算法、架子检测算法，可根据计算资源采用许多流行的算法。在一些实施例中，对于基于云的分布式系统，当洗碗机可远程访问云时，可使用一些高级计算算法(例如SSD、RetinaNet、MaskRCNN等)。在一些实施例中，对于所有计算都发生在边缘中的基于边缘的分布式系统，可采用一些低成本、轻量级的对象检测算法，例如MobileNet、SuffleNet。在一些实施例中，对于手部跟踪模块，可使用诸如CAMSHIFT、GOTURN等的算法。

在一些实施例中，对于具有内置相机并具有高计算配置的洗碗机，可使用过程300或400。过程300或400可给用户提供即时建议。在一些实施例中，对于具有内置相机但具有较低计算配置的洗碗机，可使用过程500。在一些实施例中，仅在用户完成餐具装载的最后一步且在他将架子推入的那一刻提供建议。在一些实施例中，对于不具有内置相机的洗碗机，可使用过程600。过程600需要用户拍摄他要装载的餐具和/或架子中当前餐具布局的照片，以获得建议。

图3至图5和图6A至图6E中讨论的示例是为了说明各个实施例的目的而提供。实施例可以在不同的过程中独立地工作，以给用户提供放置建议。可以理解，本文所描述的一个或多个实施例还可以在单个过程的一个实施例中一起使用。例如，在餐具装载的不同阶段提供不同类型的警报和/或指导。在另一示例中，可以在餐具装载过程中提供餐具放置指导。此外，可以在餐具装载结束时执行餐具放置检查(例如，通过检测到用户将架子推入洗碗机腔室中的动作而触发)和在运行洗碗机之前执行餐具放置检查，以识别餐具在架子上的任何不当放置并引导用户纠正餐具在架子上的任何不当放置。

在一些实施例中，用于触发相机以开始采集架子的图像、执行图像分析以指导餐具放置或通知用户餐具的任何不当放置、以及生成建议警报的标准可根据餐具装载的阶段和可用的信息而不同。例如，在将任何餐具放置在架子上之前，可通过检测洗碗机门的打开(例如，如参考图3所讨论的)触发通过相机采集图像，且手部运动跟踪算法用于跟踪手部运动，识别握持在用户的手上的餐具的特征，执行分析以识别放置餐具的一个或多个优化位置，并给用户提供视觉或音频指导以用于在架子上进行放置。在另一示例中，在餐具装载过程中，可通过检测洗碗机门打开(例如，如参考图4所讨论的)来触发图像采集，并使用架子监视算法来监视放置在架子上的餐具，且当系统检测到餐具在架子上的任何不当放置时给用户提供通知。在又一个示例中，在用户完成将餐具装载到架子上之后，且响应于检测到用户将架子推回(例如，如参考图5所讨论的)，相机拍摄一个或多个静止图像，且系统对所采集的图像执行图像分析，以识别餐具在架子上的任何不正确或未优化的放置，从而通过视觉显示和/或音频警报通知用户。应理解，这些实施例中的一个或多个实施例还可以在将餐具装载到洗碗机中的不同阶段一起使用。

此外，图6A至图6E中讨论的实施例可分别使用或与其它实施例一起使用，原因是除了从洗碗机接收通知之外，用户可使用在用户的移动电话上运行的应用程序来检查餐具装载结果。例如，用户可使用移动电话上的相机来检查装载到架子的一部分(例如，顶部架子、底部架子、顶部架子的左内角等)上的餐具，原因是有时候用户可能需要与如何将不规则的炊具或餐具装载到洗碗机的架子上相关的指导或建议。

图7是根据一些实施例的用于提供将对象放置在洗碗机中的建议的方法700的流程图。在一些实施例中，方法700在诸如洗碗机(例如，图1A和图1B的电器110或图2A和图2B的洗碗机200)或移动电话(例如，图1A和图1B的用户设备111)的设备处执行(702)。在一些实施例中，设备具有相机、一个或多个输出设备、一个或多个处理器和存储器。在一些实施例中，设备的一个或多个输出设备包括显示器、触摸屏、扬声器、音频输出生成器、触觉输出生成器、信号灯和/或投影仪。

在一些实施例中，方法700包括：在对腔室(例如，洗碗机腔室)内的多个对象执行预设操作(例如，清洗、擦洗、漂洗、干燥、消毒)时，获得(704)构造成使多个对象保持在原位的架子(例如，餐具架或餐具抽屉)的一个或多个图像。在一些实施例中，多个对象包括碟、碗、盆、锅、不同种类的器具、木勺、杯子、玻璃杯、水瓶、硅树脂模具、塑料容器、烘焙用具、刀、玻璃盖、铝锅。虽然在整个本公开中使用餐具，但是应理解，要装载或正装载在洗碗机中的对象可包括如上所列举的任何类型的对象。在一些实施例中，多个对象在架子上的放置遵循一个或多个预设约束，一个或多个预设约束对应于多个对象中的相应对象的一个或多个特征(例如，形状、尺寸、方向、材料等)，一个或多个特征与架子上的相应位置的一个或多个物理参数相关。在一些实施例中，当在预设操作期间将架子放置在腔室内时，这种放置考虑空间构造，例如架子上的行、层、线、齿、筐和/或夹子的尺寸和/或形状。在一些实施例中，当架子在外面时看起来很好地保持餐具的一些位置将不起作用，原因是这些位置可能无法由喷出的水到达，或者可阻止喷洒臂摆动，可阻止其它对象受到喷洒和清洁，或者一旦架子插入或在将架子插入洗碗机腔室中的位置的过程中，这些位置可被洗碗机腔室的其它部分阻挡，或者一旦架子放置在洗碗机腔室内，则餐具的高度可能不合适。

在一些实施例中，方法700包括：分析(706)一个或多个图像，以确定一个或多个对象在架子上的放置是否违反一个或多个预设约束。例如，如本文所讨论的，可使用诸如手部运动跟踪算法、架子监视算法、对象识别算法的一个或多个算法来分析一个或多个图像。

在一些实施例中，方法700包括：根据对至少第一对象在架子上的相应放置违反一个或多个预设约束中的至少一个预设约束的确定，生成(708)第一输出，第一输出提供遵守一个或多个预设约束而将第一对象正确地放置在架子上的指导。在一些实施例中，可以在放置第一对象期间或在放置所有对象之后检测这种违规。在一些实施例中，第一输出由设备根据第一对象的一个或多个物理特征且考虑已放置在架子上的一个或多个其它对象而生成，一个或多个物理特征与架子上的相应位置的一个或多个物理参数相关。在一些实施例中，第一输出根据在第一对象装载到架子上时已装载到架子上的其它对象的数量、位置和物理特性来生成。例如，一旦架子被推入洗碗机腔室中，则架子上的特定位置可被阻挡(例如，被已装载的其它对象、后来装载的对象和/或腔室的内部部分阻挡)、变得不可用(例如，被已装载的其它对象、后来装载的对象或腔室的内部部分(例如，喷洒器臂、肥皂分配器等)占据)、不适合于第一对象(例如，对于第一对象而言，底部架子的温度不合适)。

在一些实施例中，架子是洗碗机的一部分，当架子插入到洗碗机中时，洗碗机对多个对象执行预设餐具清洗操作。在一些实施例中，一个或多个预设约束包括由洗碗机的喷洒器在腔室内的位置强加的第一约束，喷洒器例如固定喷洒器或可移动喷洒器(例如，在执行预设操作期间进行横向运动或旋转运动)。

在一些实施例中，一个或多个预设约束包括由在执行预设操作期间腔室内的温度分布强加的第二约束。例如，腔室的上部(例如，顶部架子)具有较低的温度且适合于塑料对象，腔室的下部(例如，底部架子)具有较高的温度且适合于金属、玻璃和陶瓷对象。

在一些实施例中，一个或多个预设约束包括由之前装载的对象以相对于架子的预设部分面向第一方向的方式存在而强加的第三约束。例如，之前装载的对象(例如，餐具)面向架子的中心，而第三约束要求相邻对象也与之前装载的对象面向相同的方向。

在一些实施例中，一个或多个预设约束包括第四约束，第四约束防止相应对象的凹面在腔室中面朝上。例如，在餐具清洗期间，碟或碗不应面朝上。

在一些实施例中，设备是包括相机的洗碗机(例如，图1A和图1B的电器110、图2A和图2B的洗碗机200)。在一些实施例中，洗碗机包括触摸屏(例如，图2B的屏幕210)，在将对象装载到餐具架上时，在装载多个对象之后(例如，架子装满了)和/或在用户已完成装载之后(例如，用户试图将架子推入腔室中)，触摸屏显示与装载错误或装载建议相关的提示信息。在一些实施例中，设备包括对于被发现违反一个或多个约束的对象，在视觉上高亮显示建议位置和/或方向的信号。例如，洗碗机上的激光指示器(例如，在相机旁边)将光斑或标志(例如，静止箭头或动画箭头)投射到违规对象和/或建议位置上，以指示用户应使对象移动到哪里和/或用户应如何将对象定位在正确位置。在一些实施例中，生成音频输出(例如，语音、警报)以提示用户移动当前装载的对象。在一些实施例中，诸如由激光束在视觉上标记的高度限制和禁止区域的视觉引导物放置在架子上或上方的空间中。

在一些实施例中，设备是移动设备(例如，图1A和图1B的用户设备111、图2A的手机206)，移动设备具有用于选择对应于架子的型号标识符的用户界面。在一些实施例中，设备根据用户通过用户界面选择的第一型号标识符来检索一个或多个预设约束中的至少一些预设约束。在一些实施例中，设备可进一步从系统服务器120接收与对一个或多个预设约束的更新相关的更新。在一些实施例中，用户还可使用设备的用户界面来定制用于放置一个或多个餐具(例如，具有不规则形状或不常用尺寸)的一个或多个约束。如图6E中所讨论的，用户可拍摄餐具的照片或直接输入餐具的尺寸或其它特征，且系统可自动生成一个或多个建议，以用于将这种盘子放置在洗碗机的架子上。

在一些实施例中，响应于检测到腔室打开，执行：在对腔室内的多个对象执行预设操作时，获得构造成使多个对象保持在原位的架子的一个或多个图像。例如，响应于检测到洗碗机的前门打开而获得图像(例如，图3和图4)。在另一示例中，响应于检测到从腔室内部拉出架子而获得图像(例如，图5)。例如，设备(例如，洗碗机)包括附接到设备的门或设备的架子的致动传感器，且门或架子的移动生成触发事件，触发事件触发附接到设备前面(例如，在门后面，在洗碗机的门框上)的相机以采集一个或多个图像的序列。

在一些实施例中，响应于检测到在腔室打开之后对象朝向架子移动，执行：在对腔室内的多个对象执行预设操作时，获得构造成使多个对象保持在原位的架子的一个或多个图像。在一些实施例中，响应于检测到手部朝向架子移动而获得图像，且进一步跟踪手部的运动。然后，方法还包括当手部朝向架子移动时，识别由手部握持的对象。例如，设备(例如，洗碗机)包括附接到设备的门或设备的架子的致动传感器，且门或架子的移动生成触发事件，触发事件触发附接到设备前面(例如，在门后面，在洗碗机的门框上)的相机以采集视频，且每当新的对象朝向架子移动时，设备基于与当前对象的装载相对应的视频片段而开始对当前保持的对象进行新的分析。

在一些实施例中，响应于检测到架子移动进入腔室中，执行：在对腔室内的多个对象执行预设操作时，获得构造成使多个对象保持在原位的架子的一个或多个图像。例如，设备(例如，洗碗机)包括附接到设备的门或设备的架子的致动传感器，且架子移动进入设备的腔室中会生成触发事件，触发事件触发附接到设备前面(例如，在门后面，在洗碗机的门框上)的相机以采集示出了在装载所有对象之后的架子的一个或多个图像。

在一些实施例中，在将相应对象装载到架子上期间，以及在完成对相应对象负载的装载之后，执行：获得架子的一个或多个图像。例如，在装载每个对象期间评估该对象的放置，并给该对象提供位置/放置建议；且在所有装载对象放置之后，如果根据在装载完成时放置在架子中的其它对象确定相应对象违反预设约束，则提供警报。

在一些实施例中，根据是否在装载相应对象期间或者在完成装载之后发现违规，使用不同的标准集来生成第一输出。例如，在装载相应对象期间，使用更严格的标准来确定是否违反一个或多个约束(例如，正确的装载由最优的或建议的装载实践指南限定)，且如果基于当前已装载的对象及其在架子中的分布，对象的预期装载位置/方向(例如，基于手部的运动方向，以及如何握持对象)或初始位置/方向不是最优的位置/方向，则提供建议。在完成装载之后，所有对象都装载到架子中，并使用一组不太严格的要求来确定对象是否正确装载。例如，只要洗碗机能够正常工作，例如，喷洒器能够到达所有区域(例如，可能不是都具有相同的效率)，洗涤剂分配器门能够打开，以及喷洒器在操作期间不会堵塞，就认为装载正确。

在一些实施例中，第一输出包括第一分量，第一分量提供用于将第一对象正确地放置在架子上的建议或纠错指令，以及对建议或纠错指令的解释。例如，针对特定对象的错误或建议用作教学时刻的示例，以教导用户应如何装载洗碗机，使得用户下次在将其它类似对象装载到洗碗机中时可以做得更好。

在一些实施例中，分析一个或多个图像，以确定一个或多个对象在架子上的放置是否违反一个或多个预设约束包括：通过调节相应对象在架子上的位置和方向以及检查与相应对象在架子上的位置和方向相关的一个或多个固定规则，来优化与预设操作相关联的一个或多个性能参数(例如，洗涤剂、水和温度的最优分配、清洁效率、能量效率、水效率等)。例如，餐具不能堵塞喷洒器，而必须可由水和洗涤剂到达以进行充分的清洁和漂洗。在另一示例中，餐具必须能够正确排水，必须能够打开洗涤剂分配器，必须能够正确关门，以及保证整个机器的稳定性。

在一些实施例中，方法700还包括：在获得一个或多个图像之前，从移动设备获得待装载到架子上的所有对象的图像。例如，用户使用移动电话拍摄需要装载到洗碗机中的所有餐具的照片，并在她开始装载洗碗机之前将照片传输到洗碗机。在一些实施例中，第一输出由设备进一步根据考虑到待装载到架子上但尚未放置在架子上的所有对象中的其它对象所进行的分析而生成。

在一些实施例中，虽然响应于一个或多个触发事件(例如，用户打开洗碗机门，用户将架子推回到洗碗机腔室中等等)，触发洗碗机上和/或移动电话上的相机以开始采集图像，但是放置建议系统自动启动以分析所采集的图像，识别餐具的不当放置，识别用于放置餐具的优化位置，以及通过一个或多个输出形式给用户提供指导或建议，如本文所讨论的。换言之，用户可能不需要使用额外的用户输入来指示放置建议系统分析图像。

如本文所讨论的建议过程可能不需要用户的手与洗碗机或移动电话之间进行任何直接交互(例如，相机由特定触发事件触发，且在采集一个或多个图像之后自动开始建议分析)。当用户的手被占用或不方便与洗碗机或移动电话交互时，例如，当用户在他或她的手中握持餐具时，或者当用户的手因烹饪而变得油腻，用户可能不想触摸洗碗机或移动电话时，这就比较方便。建议系统可以在相机采集图像之后自动开始分析和建议过程，而不需要任何额外的用户输入。在一些实施例中，相机采集功能和/或建议过程的启动还可通过用户的语音输入来控制，从而将忙碌用户的手从厨房事务中解放出来。

图8是根据一些实施例的示例性电器800(例如，电器110或洗碗机200)的框图。电器800包括一个或多个处理单元(CPU)802、一个或多个网络接口804、存储器806以及用于使这些组件(有时称为芯片组)互连的一个或多个通信总线808。电器800还包括用户接口810。用户接口810包括能够呈现媒体内容的一个或多个输出设备812(例如，触摸屏210)，一个或多个输出设备包括一个或多个扬声器和/或一个或多个视觉显示器。用户接口810还包括一个或多个输入设备814，一个或多个输入设备包括便于用户输入的用户接口组件，例如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器(例如，触摸屏210)、触敏输入板、手势采集相机或者其它输入按钮或控件。在一些实施例中，电器800还包括传感器(例如，图像传感器141)，传感器采集电器800的图像。传感器包括但不限于一个或多个热传感器、光传感器、一个或多个相机、湿度传感器、一个或多个运动传感器、一个或多个生物传感器(例如，皮电电阻传感器、脉搏血氧计等)、重量传感器、光谱仪和其它传感器。

存储器806包括非易失性存储器，例如一个或多个磁盘存储器件、一个或多个光盘存储器件、一个或多个闪存器件或者一个或多个其它非易失性固态存储器件。可选地，存储器806包括远离一个或多个处理单元802布置的一个或多个存储器件。存储器806，或者替代地，存储器806内的非易失性存储器，包括非暂时性计算机可读存储介质。在一些实现方式中，存储器806或存储器806的非暂时性计算机可读存储介质存储以下程序、模块和数据结构，或存储以下程序、模块和数据结构的子集或超集：

·操作系统816，操作系统包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

·网络通信模块818，网络通信模块用于通过一个或多个网络接口804(有线或无线)连接到外部服务；

·呈现模块820，呈现模块用于实现信息的呈现；

·输入处理模块822，输入处理模块用于检测来自一个或多个输入设备814之一的一个或多个用户输入或交互，并解释检测到的输入或交互，例如检测触发事件(例如，打开洗碗机门或将架子推入洗碗机中)；

·图像处理模块824(例如，图1B的图像处理模块161)，图像处理模块用于分析所采集的图像以识别对象(例如，餐具)的特征、架子布局和/或手部运动；

·放置建议模块826(例如，图1B的电器侧放置建议模块149)，放置建议模块用于提供与如何根据餐具的特征、架子布局和如本文所讨论的一个或多个预设约束来将餐具放置在架子上相关的指导和/或建议；和

·电器功能控制单元828(例如，电器侧电器功能控制模块153)，电器功能控制单元用于控制电器800的各种操作，例如洗碗机的清洗、加热、消毒和/或干燥。

图9是示出根据一些实施例的用户设备900(例如，图1A和图1B的用户设备111、图2A的手机206)的框图。用户设备900通常包括一个或多个处理单元(CPU)952(例如，处理器)、一个或多个网络接口954、存储器956以及用于使这些组件(有时称为芯片组)互连的一个或多个通信总线958。用户设备900还包括用户接口960。用户接口960包括能够呈现媒体内容的一个或多个输出设备962，一个或多个输出设备包括一个或多个扬声器和/或一个或多个视觉显示器。用户接口960还包括一个或多个输入设备964，一个或多个输入设备包括便于用户输入的用户接口组件，例如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势采集相机、一个或多个相机、深度相机或者其它输入按钮或控件。此外，一些用户设备900使用麦克风和语音识别或者使用相机和手势识别来补充或替代键盘。在一些实施例中，用户设备900还包括传感器，传感器提供与用户设备900的当前状态相关或与用户设备900相关联的环境状况相关的上下文信息。传感器包括但不限于一个或多个麦克风、一个或多个相机(例如，用于响应于从在用户设备900上运行的应用程序的用户界面接收用户输入而采集洗碗机腔室的图像)、环境光传感器、一个或多个加速度计、一个或多个陀螺仪、GPS定位系统、蓝牙或BLE系统、温度传感器、一个或多个运动传感器、一个或多个生物传感器(例如，皮电电阻传感器、脉搏血氧计等)和其它传感器。

存储器956包括高速随机存取存储器，例如DRAM、SRAM、DDR RAM或其它随机存取固态存储器件；可选地，包括非易失性存储器，例如一个或多个磁盘存储器件、一个或多个光盘存储器件、一个或多个闪存器件或者一个或多个其它非易失性固态存储器件。可选地，存储器956包括远离一个或多个处理单元952布置的一个或多个存储器件。存储器956，或者替代地，存储器956内的非易失性存储器，包括非暂时性计算机可读存储介质。在一些实现方式中，存储器956或存储器956的非暂时性计算机可读存储介质存储以下程序、模块和数据结构，或存储以下程序、模块和数据结构的子集或超集：

·操作系统966，操作系统包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

·通信模块968，通信模块用于通过一个或多个网络接口954(有线或无线)将用户设备900连接到与一个或多个网络190连接的其它计算设备(例如，服务器系统120)；

·用户输入处理模块970，用户输入处理模块用于检测来自一个或多个输入设备964之一的一个或多个用户输入或交互，并解释检测到的输入或交互；

·由用户设备900执行的一个或多个应用程序972(例如，如图6B-6E所示用于管理和控制电器的、电器制造商托管的应用程序，支付平台，媒体播放器和/或其它基于web或不基于web的应用程序)；

·图像处理模块974(例如，图1B的图像处理模块155)，图像处理模块用于分析所采集的图像以识别对象(例如，餐具)的特征、架子布局和/或手部运动；

·放置建议模块976(例如，图1B的用户侧放置建议模块179)，放置建议模块用于提供与如何根据餐具的特征、架子布局和如本文所讨论的一个或多个预设约束来将餐具放置在架子上相关的指导和/或建议；和

·电器功能控制单元978(例如，图1B的用户侧电器功能控制模块177)，电器功能控制单元用于通过在用户设备900上运行的应用程序来控制电器110的各种操作，例如洗碗机的清洗、加热、消毒和/或干燥。

·数据库990(例如，图1B的数据库130)，数据库用于存储各种数据，模型和如本文所讨论的算法，其包括但不限于用户数据(例如，洗碗机使用偏好、餐具装载偏好、用户自定义的装载约束、与用户拥有和注册的电器相关联的电器型号和机器数据、客户姓名、年龄、收入水平、颜色偏好、之前购买的产品、产品类别、产品组合/捆绑、之前查询的产品、过去的送货地点、交互渠道、交互地点、购买时间、送货时间、特殊请求、身份数据、人口统计数据、社会关系、社交网络帐户名称、社交网络出版物或评论、与销售代表、客户服务代表或送货人员的交互记录、偏好、厌恶、情绪、信仰、迷信、个性、气质、交互风格等)。

上文识别的元件中的每一个可存储在之前提到的存储器件中的一个或多个存储器件中，且对应于用于执行上述功能的指令集。上文识别的模块或程序(即，指令集)不需要以单独的软件程序、程序、模块或数据结构来实现，因此这些模块的各种子集可以在各种实现方式中组合或以其它方式重新排列。在一些实现方式中，存储器506可选地存储上文识别的模块和数据结构的子集。此外，存储器506可选地存储上文未描述的附加模块和数据结构。

虽然上文描述了特定实施例，但是应理解，其意图不是将本申请限制于这些特定实施例。相反，本申请包括在所附的权利要求的精神和范围内的替代、修改和等同物。阐述许多具体细节，以提供对本文提出的主题的透彻理解。然而，对于本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实施该主题。在其它实例中，没有详细描述公知的方法、过程、组件和电路，以避免不必要地模糊实施例的方面。

Claims (17)

1.一种方法，包括：

在对腔室内的多个对象执行预设操作时，获得构造成使所述多个对象保持在原位的架子的一个或多个图像，其中，所述多个对象在所述架子上的放置遵循一个或多个预设约束，所述一个或多个预设约束对应于所述多个对象中的相应对象的一个或多个特征，所述一个或多个特征与在所述预设操作期间所述架子放置在所述腔室内时，所述架子上的相应位置的一个或多个物理参数相关；

分析所述一个或多个图像，以确定一个或多个对象在所述架子上的放置是否违反所述一个或多个预设约束；以及

根据对至少第一对象在所述架子上的相应放置违反所述一个或多个预设约束中的至少一个预设约束的确定，生成第一输出，所述第一输出提供遵守所述一个或多个预设约束而将所述第一对象正确地放置在所述架子上的指导，其中，所述第一输出由设备根据所述第一对象的一个或多个特征且考虑已放置在所述架子上的一个或多个其它对象而生成，所述一个或多个特征与所述架子上的相应位置的一个或多个物理参数相关。

2.根据权利要求1所述的方法，其中，所述架子是洗碗机的一部分，当所述架子插入到所述洗碗机中时，所述洗碗机对所述多个对象执行预设餐具清洗操作，并且其中，所述一个或多个预设约束包括由所述洗碗机的喷洒器在所述腔室内的位置强加的第一约束。

3.根据权利要求2所述的方法，其中，所述一个或多个预设约束包括由在执行所述预设操作期间所述腔室内的温度分布强加的第二约束。

4.根据权利要求1所述的方法，其中，所述一个或多个预设约束包括由之前装载的对象以相对于所述架子的预设部分面向第一方向的方式存在而强加的第三约束。

5.根据权利要求1所述的方法，其中，所述一个或多个预设约束包括第四约束，所述第四约束防止相应对象的凹面在所述腔室中面朝上。

6.根据权利要求1所述的方法，其中，所述设备为包括相机的洗碗机。

7.根据权利要求1所述的方法，其中，所述设备为移动设备，所述移动设备具有用于选择对应于所述架子的型号标识符的用户界面，且所述设备根据用户通过所述用户界面选择的第一型号标识符来检索所述一个或多个预设约束中的至少一些预设约束。

8.根据权利要求1所述的方法，其中，响应于检测到所述腔室打开，执行：在对腔室内的多个对象执行预设操作时，获得构造成使所述多个对象保持在原位的架子的一个或多个图像。

9.根据权利要求1所述的方法，其中，响应于检测到在所述腔室打开之后对象朝向所述架子移动，执行：在对腔室内的多个对象执行预设操作时，获得构造成使所述多个对象保持在原位的架子的一个或多个图像。

10.根据权利要求1所述的方法，其中，响应于检测到所述架子移动进入所述腔室中，执行：在对腔室内的多个对象执行预设操作时，获得构造成使所述多个对象保持在原位的架子的一个或多个图像。

11.根据权利要求1所述的方法，其中，在将相应对象装载到所述架子上期间，以及在完成对相应对象负载的装载之后，执行：获得架子的一个或多个图像。

12.根据权利要求11所述的方法，其中，根据是否在装载所述相应对象期间或者在完成所述装载之后发现违规，使用不同的标准集来生成所述第一输出。

13.根据权利要求1所述的方法，其中，所述第一输出包括第一分量，所述第一分量提供用于将所述第一对象正确地放置在所述架子上的建议或纠错指令，以及对所述建议或纠错指令的解释。

14.根据权利要求1所述的方法，其中，分析所述一个或多个图像，以确定一个或多个对象在所述架子上的放置是否违反所述一个或多个预设约束包括：通过调节相应对象在所述架子上的位置和方向以及检查与所述相应对象在所述架子上的位置和方向相关的一个或多个固定规则，来优化与所述预设操作相关联的一个或多个性能参数。

15.根据权利要求1所述的方法，包括：

在获得所述一个或多个图像之前，从移动设备获得待装载到所述架子上的所有对象的图像，其中，所述第一输出由所述设备进一步根据考虑到待装载到所述架子上但尚未放置在所述架子上的所有对象中的其它对象所进行的分析而生成。

16.一种设备，包括：

一个或多个处理器，以及

存储指令的存储器，当所述指令由所述一个或多个处理器执行时，所述指令使得所述处理器执行根据权利要求1至15中任一项所述的方法。

17.一种计算机可读存储介质，所述计算机可读存储介质存储指令，当所述指令由一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行根据权利要求1至15中任一项所述的方法。

Images