CN116457671A - 利用声学换能器信号信息的机器学习分析来监测洗衣机操作 - Google Patents

Abstract

描述了一种系统和方法，用于通过使用由洗衣机呈现的声学传感器数据来执行基于机器学习的自动洗衣机错误/降级状态检测和维护，并且应用于多个机器学习模型以与由洗衣机呈现的声学数据一起使用。

Description

利用声学换能器信号信息的机器学习分析来监测洗衣机操作

相关申请的交叉引用

本专利申请是2020年11月17日提交的美国临时申请号63/114,878的非临时申请，题为“商业洗衣操作的预测优化(Predictive Optimization of Commercial LaundryOperations)”，其全部内容通过引用明确并入本文，包括其中的任何引用。

技术领域

本公开总体上涉及洗衣机。更具体地，本公开涉及用于促进远程监测洗衣机操作状态的联网基础设施。更具体地，本公开涉及联网基础设施、声学传感器和机器学习，以监测洗衣机的操作状态并诊断这种机器的故障操作。

背景技术

洗衣机是一种复杂的机电装置，具有多种特征和功能。洗衣机包含相互操作的机械和电气部件，并且任何此类部件的故障都可能导致机器的失灵。当前的洗衣机系统不能可靠地检测/诊断故障/有故障的部件，因此这种机器/系统不能提供部件即将损坏或期望/最佳操作和功能丧失的警告。因此，在许多情况下，没有检测到故障部件，并且洗衣机的操作者直到失去期望的功能之后才意识到需要修理机器。在这种损坏的情况下，操作者面临潜在的长时间的停机时间，直到机器可以被维护和修理。

发明内容

在一个方面，描述了一种系统，其包括声学传感器数据接口，该声学传感器数据接口被配置为在洗衣机的操作期间从洗衣机的部件接收与感测到的声音相对应的数字声学信号数据。声学传感器至少包括麦克风，其被配置为在洗衣机的操作期间呈现由麦克风感测的声波的经转换电子信号。

根据本公开，该系统包括基于机器学习的处理系统，该处理系统被配置为呈现指示洗衣机当前操作状态的原因码。该处理系统包括处理器和含有计算机可执行指令的非暂时性计算机可读介质，该计算机可执行指令在由处理器执行时促进实施一种方法，该方法包括：接收从转换电子信号呈现的声学数据集；通过将机器学习模型应用于声学数据集来呈现指示洗衣机的操作状态的功能度量参数值；通过将一组条件应用于从功能度量参数值导出的一组预测性维护指标，来识别与洗衣机的降级操作状态相对应的原因码；以及根据该识别，发布与洗衣机的补救操作有关的电子维护警报。

在另一个方面，描述了一种由上述系统实施的方法。

从以下详细描述和附图中可以理解所公开原理的其他方面和替代方面以及特征。如将理解的，本文公开的与用于装置的系统、方法和软件及其操作相关的原理能够在其他实施例和不同的实施例中实施，并且能够在各个方面进行修改。因此，应当理解，前面的一般描述和以下详细描述都只是示例性的和解释性的，并且不限制所附权利要求的范围。

附图说明

虽然所附权利要求具体阐述了本发明的特征，但通过以下结合附图的详细描述可以最好地理解本发明及其优点，其中：

图1是根据本公开的示例性联网系统的示意图；

图2是根据本公开的声学传感器的示意性功能框图；

图3是根据本公开的声学数据应用服务的说明性示例的示意性功能框图；

图4是根据本公开的由系统生成和维护的示例性数据集；

图5是根据本公开的基于机器学习的洗衣机状态分析和报告平台的说明性示例的示意性功能框图；

图6是总结根据本公开的在使用多个机器学习模型和声学数据预测维护问题时执行的一组操作的流程图；

图7是总结与根据本公开的机器学习模型所呈现的洗衣机状态确定来执行修理/维护任务相关联地执行的一组操作的流程图；

图8是总结用于在机器学习模型平台上使用机器接口板数据和声学传感器数据的组合来生成洗衣机操作状态分数的一组步骤的流程图；以及

图9是总结由根据本公开的机器学习模型增强的路线优化功能的流程图。

具体实施方式

虽然本发明可采用许多不同形式的实施例，但附图中显示了这些实施例，并将在本文中详细描述了其具体实施例，同时理解本公开将被认为是本发明原理的范例。并不旨在将本发明限制于具体示出的实施例。

现在将详细参考具体实施例或特征，其示例如附图所示。在可能的情况下，在所有附图中将使用对应或相似的附图标记来指代相同或对应的零件。此外，当可能存在一个以上的相同类型的元件时，对本文所述的各种元件的引用是集体地或单独地进行的。然而，这种引用本质上仅仅是示例性的。可以注意到，除非在所附权利要求中明确提出，否则对单数形式的元件的任何引用也可以被解释为涉及复数形式，反之亦然，而不将本公开的范围限制为这些元件的确切数量或类型。

转向图1，提供了用于在洗衣机站点100处执行洗衣机102的远程监测的示例性联网系统的示意图。根据本公开，由安装在洗衣机102附近的声学传感器(麦克风)获取的声学数据被处理并应用于经过训练的机器学习模型，以呈现指示被监测的洗衣机102的操作状态的分析输出。这种系统的示例被配置为识别实际或潜在的机器操作故障事件，并为这种检测到的事件规定补救措施。故障检测是针对洗衣机的物理零件进行的。示例包括电机组件、传动带、滚筒、排水泵等。还针对洗衣机102的各种操作进行故障检测。示例包括各种操作周期，包括：填充、搅拌、旋转、最终提取等。

虽然图1中仅示出了一台洗衣机，但在实践中，存在洗衣机101的多个实例并结合到图1所示的系统中。举例来说，洗衣机101是一台洗衣机。然而，本公开还考虑了组合式洗衣机/干燥机。

继续参考图1，声学传感器104(例如麦克风或任何其他合适的声电信号转换器)被安装在洗衣机102的操作部件附近。声学传感器104(包括内部和外部麦克风)的细节在下文所述的图2中提供。例如，声学传感器104是物联网(IoT)传感器，其结合了网络通信接口、一个或多个麦克风和信号处理部件。这样，声学传感器104操作以向联网的声学数据处理系统提供基本声学传感器数据，联网的声学数据处理系统对基本声学传感器数据执行进一步处理以分析数据，从而呈现洗衣机操作状态信息，用于呈现机器状态和针对洗衣机102要采取的补救措施。这种分析包括基于对基本声学传感器数据的处理和分析，呈现与识别的零部件和洗衣机102的操作相关的维护问题的通知。

机器通信接口106(例如印刷电路板)提供无线接口，通过该无线接口将洗衣机102的机器部件状态信息(当前和以前的)(例如，操作信息、机载传感器的读数和错误状况)提供给远程接收者。此外，机器通信接口106提供远程控制能力，其包括对于洗衣机102进行启动、停止、重置和清除错误的能力。

例如，智能插头108是物联网设备，其被通信耦合以从远程连接的命令源(例如，移动电话应用)接收连接和断开洗衣机102的电源的命令。

继续参考图1中提供的说明性示例，洗衣机网关110将声学传感器104和机器接口板108以无线方式(例如，通过802.11和/或802.15.4协议连接到提供与互联网服务提供的连接的无线路由器)通信地连接到洗衣机声学数据采集和处理120。网关110包括声学传感器数据机载部件114，其提供用于从声学传感器104接收声学传感器数据的传感器连接和机载逻辑。机载部件114被配置为在声学传感器104和网关110之间提供安全连接。根据说明性示例，网关110包括声学数据处理/压缩部件116，其提供音频信号数据压缩、批处理、存储和传输功能，用于将声学数据从声学传感器104中继到洗衣机声学数据采集和处理平台120。声学数据处理/压缩部件116执行存储和转发的任务，其包括将接收到的声学数据转换成压缩的声学批数据，用于声学数据存储器中的本地存储，直到声学批数据准备好传输到洗衣机声学数据采集和处理平台120。

在示例性示例中位于远离洗衣机102处并且作为云服务操作的洗衣机声学数据采集和处理平台120包含一套声学数据接收和处理部件，其支持由声学传感器104为洗衣机102提供的声学传感器数据稍后执行的基于机器学习的分析。平台120包括IoT边缘设备通信接口122，其在与洗衣机102所支持的IoT接口(如上所述)的通信期间管理安全、加密的连接。在这方面，IoT边缘设备通信接口122管理向洗衣机102(以及本文所述的系统注册的所有洗衣机)提供安全连接所需的加密密钥和元数据。

声学数据消息输入队列124用作由洗衣机102的声学传感器104生成的音频数据消息的接收器部件。在说明性示例中，将接收到的消息接收，并按照接收的顺序临时存储在输入队列中。作为示例而非限制，存储在队列124中的单个接收到的消息包含来自声学传感器104的分批和压缩的音频数据。然而，可以设想替代的接收和临时消息存储布置。

声学数据处理部件126被配置为从队列124中检索消息，将消息数据组合并组织成更大的声学批数据，并将单个包中的组合消息转发到基于洗衣机声学数据机器学习的声学数据分析和报告平台130(机器学习平台130)。声学数据处理部件126访问洗衣机注册数据127，以将接收到的声学数据消息与特定注册的洗衣机(诸如图1中提供的说明性示例中的洗衣机102)相关联。此外，洗衣机注册数据127包括与声学传感器104、机器通信接口106有关的识别信息。这种识别信息促进将从特定洗衣机/设备接收的数据与存储的音频数据和由机器学习平台130呈现的分析输出相关联。

经处理的声学数据存储器128是用于长期存储从识别的洗衣机(例如洗衣机102)的声学传感器接收到的声学数据的存储库。

声学数据应用服务129是利用所公开的系统的数据(包括由机器学习平台130提供的分析输出)来提供预测性远程预防性和补救性维护功能和操作功能的一套服务。下文参考图3描述声学数据应用服务129的细节(服务示例)。

机器学习平台130执行训练多个洗衣机操作状态机器学习模型(在下文中讨论)以及执行这种机器学习模型的功能，以基于由声学传感器104提供的经处理的声学数据来呈现关于洗衣机102的操作状态输出。机器学习平台130被配置为能够基于声学传感器数据输入来训练和执行机器学习模型，用于呈现可操作的预测性维护警告、指令和命令(用于执行自动补救动作，包括例如向洗衣机102发出工作通知单以及直接命令，以避免进一步损坏或避免对洗衣机102或周围区域的整体损坏，诸如洪水造成的损坏)。机器学习平台130支持模型的持续训练，以基于观察到的机器102的实际状态来改善输出——与当前训练的学习模型呈现的状态形成对比。

声学数据预处理部件132转换检索到的声学数据，并以一组机器学习模型134可用的形式呈现数据。机器学习数据通信服务136是支持由外部服务请求机器学习模型134所呈现的分数、度量和指标的数据交换接口，包括提供用于训练(初始和更新)机器学习模型的反馈。下文参考图5进一步描述的机器学习模型134构成预测性故障检测和维护布置的分析核心，该预测性故障检测和维护布置基于先前提供的训练示例(识别的操作状态的声学信号特征)来呈现洗衣机102的部件和/或功能特征的当前操作状态。总之，机器学习模型134包含由输入(声学数据集)和对应的验证输出状态来配置和训练的可调谐(通过训练)决策分析。机器学习模型134从声学传感器104接收声学数据，并且经训练/调谐的分析呈现用于对洗衣机102执行预测性维护的对应的机器学习分数、度量和指标。

转向图2，为声学传感器104的说明性示例提供了附加细节。在说明性示例中，声学传感器104包括网络收发器202，其根据声学传感器104的版本，通过802.11和/或802.15.4网络协议经由无线网络连接将声学数据从声学传感器104传送到网关110。声学传感器处理器204被配置为执行数字信号处理、压缩和音频数据传输。处理器204还管理声学传感器104的通信连接。在说明性示例中，声学传感器104包括外部麦克风206(安装在洗衣机102外部)和(至少一个)内部麦克风208，该内部麦克风208安装在感测源自洗衣机102的声音的位置处，以在洗衣机102操作期间捕获指示洗衣机102(及其部件)的当前物理/操作状态的声学数据。举例来说，内部麦克风208被结合到声音隔离组件中。声音隔离组件被安装到洗衣机102的金属外板(源自洗衣机102内的声音的良导体)。内部麦克风208容纳在由吸声泡沫围绕的声锥(面向洗衣机102的金属外面板)内。内部麦克风208在物理上被配置/定位为主要捕获由洗衣机102的操作产生的声音。外部麦克风206感测周围/环境声音(包括由其他机器生成的声音)，例如由处理器204使用周围/环境声音来从由内部麦克风208呈现的声音记录中提取外部噪声分量。

在一些实施例中，在制造过程中声学传感器104被安装在洗衣机102上。附加地或可替选地，在一些实施例中，在现场改装过程中声学传感器104安装在洗衣机102上。在操作中，声学传感器104呈现由机器102生成的声波的数字记录，并且结合本文所述的其他联网声学数据处理部件，处理声波的数字记录以确定接收到的声波的记录是否指示洗衣机102的功能和/或部件的当前或未来故障。

转向图3，提供了声学数据应用服务129的说明性示例的附加细节。在说明性示例中，声学数据应用服务129包括基于声学数据机器学习的服务301和基于声学数据机器学习的数据库321的组合。

在说明性示例中，基于机器学习的服务301包括多种服务的组合，其涵盖了基于声学传感器数据的洗衣机操作状态的基于机器学习确定的所有方面。机群/传感器管理服务302维护关于所有洗衣机(例如洗衣机102)的记录，包括：物理位置、维修手册、保修信息和相关联的预测性维护硬件，诸如上文通过示例的方式讨论的声学传感器104。机器状态和控制服务304被配置为发布用于远程控制洗衣机(例如洗衣机102)的指令和命令，并收集指示洗衣机的状态(过去和当前)的洗衣机状态信息。

机器预防性维护服务306是与洗衣机(例如洗衣机102)的当前和历史操作状态相关的信息的接口，包括机器学习平台130对洗衣机102提供的声学传感器数据的操作而产生的机器状态和维护指令/命令。这些信息包括：汇编的机器状态报告；由于检测到的磨损和消耗、不当使用以及不正确的安装或现场条件而需要进行详细的预测性维护。机器预防性维护服务306还被配置为提供洗衣机102的零件和部件级所需的操作状态分数和预测性维护。还可以呈现总体操作状态分数。机器预防性维护服务306还提供趋势、图表、行动计划以及推荐的维修时间表和路线，以在洗衣机102发生故障之前减轻问题。

机器学习准确性/反馈服务308提供反馈机制，用于确认准确性并校正(重新训练机器学习分析)由机器学习平台130呈现的不准确的确定。例如，这种反馈可以涉及例如通过提供已完成的维修、磨损或损坏的零件以及现场技术人员发现的状况信息的预测模型的准确性。准确性/反馈服务308提供用于通知相关机器学习模型关于其准确性的接口，以确定故障类型并变得更加精细。对于给定的机器学习模型，机器学习模型的改进包括：提高识别真阳性的精度，减少假阳性，以及更准确地确定需要维护或更换的特定部件、子部件和零部件。

机器自动维修/维护服务310结合了算法和状态/控制机制，以通过直接向洗衣机102发出的命令自动解决检测到的错误，而无需人工干预。因此，机器自动维修/维护服务310提供安全机制，以确保关键错误被迅速解决(或不被忽视)，并且在自动错误解决期间通过读取实时机器状态和控制信息来考虑操作和用户安全。

继续参考图3，基于声学数据机器学习的数据库321包括促进基于声学数据机器学习的服务301的操作的信息，以提供预测性维护信息和操作。机群管理部件322维护用于管理预测性维护能力的安装和操作的信息，包括关于洗衣机(例如洗衣机102)、洗衣站点(例如洗衣站点100)、声学传感器(例如声学传感器104)、机器状态和控制、机器接口板(例如机器接口板106)，以及其他相关信息。

分析模型输入参数/指标324存储预测性维护(PdM)指标，其是洗衣机102和部件级别的高级聚合操作状态信息，包括历史信息、对故障和预测故障的可操作见解以及建议的部件维修和更换。

机器学习度量326存储机器学习度量，其是关于每个周期期间洗衣机102的操作状态以及相关部件和功能的单个洗涤机或烘干机周期级别度量。

机器学习分数328存储机器学习分数，其例如是与洗衣机102的操作状态以及相关部件和功能相关的逐秒分数。

现在转向图4，提供了由上述系统获取、生成和维护的信息类型的概要。声学数据400对应于由声学传感器104获取的基本信息，并形成本文所述的用于机器学习模型训练和执行的基础。由声学传感器104收集的音频数据包括从25到10000Hz的声音频率的频谱，其被压缩成32位振幅测量值，每秒记录一次。例如，记录的特定声音频率为(以Hz为单位)：25、31.5、40、50、63、80、100、125、160、200、250、315、400、500、630、800、1000、1250、1600、2000、2500、3100、4000、5000、6300、8000、10000。例如，声学数据被分批成包含许多秒到分钟数据的数据记录/文件。如上所述，分批的声学数据此后通过无线连接(使用线程协议802.15.4或通过Wi-Fi 802.11)被发送到洗衣机声学数据采集和处理平台120，以供声学数据处理部件126进一步处理，声学数据处理部件126将接收到的声学数据分批组合成更大的块(全部来自同一声学传感器104)，适用于由机器学习平台130的机器学习模型134消费和分析。

机器学习分数410包含由机器学习模型134每秒创建的最细粒度的操作状态分数信息，每个机器学习模型基于洗衣机102的当前操作功能(周期)评估当前与正常的偏差。例如，机器学习模型的每个模型为特定的机器功能提供从0到100的分数。机器学习模型134的多个模型在洗衣机102的操作期间对由声传感器提供的输入声学信号数据集同时操作。

机器学习度量420包含关于洗衣机102运行的每个周期期间洗衣机102的操作状态以及相关部件和功能的单个洗衣机周期级别度量。机器学习度量420基于机器学习分数410之上的附加机器学习模型和算法，以理解在单个周期的时期内各种机器学习模型的重要性和权重。结果是机器学习度量的二维矩阵(操作状态为0-100，并且操作状态为高/中/低)，其中矩阵的一个轴是机器功能，并且另一个轴是机器部件和/或错误状况。此外，还计算了整个周期的总体操作状态分数，同样是从0-100和高/中/低报告。

以下是洗衣机102的机器周期的机器学习度量参数的示例列表：

·设备id-声学传感器ID

·负载开始时间-时间戳

·持续时间-以分钟为单位

·持续时间操作状态-0至100

·操作状态综合-0到100

·总体操作状态-高/中/低

·电机组件填充冲洗操作状态度量等级-高/中/低

·电机组件填充冲洗操作状态度量值-0至100

·电机组件搅拌操作状态度量等级-高/中/低

·电机组件搅拌操作状态度量值-0至100

·电机组件最终提取操作状态度量等级-高/中/低

·电机组件最终提取操作状态度量值-0至100

·电机组件排水操作状态度量等级-高/中/低

·电机组件排水操作状态度量值-0至100

·供水填充冲洗操作状态度量等级-高/中/低

·供水填充冲洗操作状态度量值-0至100

·供水供应化学品进入操作状态度量等级-高/中/低

·供水供应化学品进入操作状态度量值-0至100

·排水机制最终提取操作状态度量等级-高/中/低

·排水机制最终提取操作状态度量值–0至100

·排水机制排水操作状态度量等级-高/中/低

·排水机制排水操作状态度量值-0至100

·门锁门移动操作状态度量等级-高/中/低

·门锁门移动操作状态度量值-0至100

预测性维护指标430包含预测性维护指标，其是洗衣机(例如洗衣机102)和部件级别处的高级别聚合操作状态信息，向系统通知潜在维护问题。使用机器学习度量420和工程数据维度来构建预测性维护(PdM)指标，所述工程数据维度量化重要数据特征，诸如分布、可变性和趋势。计算预测性维护指标值的长期状态考虑如下：由机器学习平台130呈现的基于机器学习的度量的当前值；机器学习度量值的历史趋势(例如一致性、斜率)；机器学习度量值的短期加速或减速；以及机器学习度量值之间的关系。

作为示例，预测性维护指标430被分配从0-100范围的分数，并被分配低/中/高评级，其中低评级意味着需要维护的可能性低，而高评级意味着要求维护的可能性高。PdM指标按洗衣机分类而不同。不同的机器类型可能具有不同的PdM指标。PdM指标识别洗衣机出现特定状况的可能性。

以下是顶负载洗衣机类型的自动检测错误/警告条件示例，用于经由将阈值和决策逻辑的组合应用于基于模型的PdM指标分数来评估洗衣机的当前操作状态：泡沫过大、不水平、传动带损坏、弹簧松动、电机轴承损坏、失衡、注水缓慢，排水堵塞。

以下是洗衣机在给定时间段内用于洗涤大量衣物的预测性维护指标记录的示例：

设备id-声学传感器ID

时间段开始-时间戳

时间段结束-时间戳

持续时间-以分钟为单位

电机组件操作状态分数-0至100

电机组件操作状态等级-高/中/低

排水操作状态分数-0至100

排水操作状态等级-高/中/低

供水操作状态分数-0至100

供水操作状态等级-高/中/低

总体操作状态分数-0至100

总体操作状态等级-高/中/低

不均衡状况操作状态分数-0至100

不均衡状况操作状态等级-高/中/低

失衡状况操作状态分数-0至100

失衡状况操作状态等级-高/中/低

过剩状况操作状态分数-0至100

过剩状况操作状态等级-高/中/低

操作状态综合-0到100

总体操作状态-高/中/低

维修状况-[传动带、排水管堵塞等]

现在转向图5，提供了使用基于机器学习的模型布置来识别特定类型的洗衣机问题的特定实施方式的说明性示例。在说明性实施方式中，多个模型被训练为：(1)识别对应于由特定洗衣机类型和型号执行的正常功能的特定声音特征；(2)识别特定的故障模式声音特征；以及(3)提供应该存在特定声音特征的洗衣负载处理时段的预期百分比(参见下文提供的表1和表2)。此外，一组事件分类模型被训练，以识别完整的洗衣负载处理时段内的事件序列(子周期)。此外，一组周期开始时间模型被训练，用于识别构成完整洗衣负载处理时段的一组周期中的每一个周期的开始。虽然本文的讨论针对单个洗衣负载处理时段来处理数字声音数据集，但是本文所述的处理可以针对相同识别的洗衣机在任意数量的洗衣负载处理时段上执行。通过处理多个洗衣负载的声音数据，可以实现改进的统计准确性。

根据当前公开，如先前参考图1所述，基于机器学习的说明性模型布置包括基于机器学习的洗衣机状态分析/报告平台(机器学习平台)130。机器学习平台一旦通过处理在特定类型和型号的洗衣机的操作期间(在正常和故障操作模式下)生成的数字声音数据进行训练，就从例如数据存储器128接收数字声音数据集。数字声音数据集从由特定识别的洗衣机在由识别的洗衣机器执行的满负荷处理时段期间记录的声音种生成，该识别的洗衣机器是先前针对其执行训练的特定洗衣机类型和型号。机器学习平台130将先前训练的模型(在下文中进一步描述)应用于所接收的数字声音数据集，以基于所接收和处理的数字声音集来呈现表示识别的洗衣机的当前操作状态的一组基于状态的度量值550(参见下文中提供的表1)。

继续参考图5，机器学习平台130包括参数值生成模块500，其呈现一组中间参数值，这是通过将经训练的模型应用于接收到的数字声音数据来呈现，以供基于洗衣机状态的度量值生成器540进一步处理，从而呈现基于状态的度量值550。在说明性实施方式中，事件识别模块510将针对表1中列出的识别的正常洗衣功能和表2中识别的故障模式中的每一个的训练的声音特征模型应用于接收到的数字声音数据，以针对表1和表2中列出的每个正常功能或故障模式，呈现在洗衣机负载处理时段期间声学感测特定功能/模式的洗衣机操作时间的百分比。例如，通过将感测到的正常功能或故障模式的发生的计数除以在洗衣负载时段内接收到的数字声音数据的经处理的声音样本的总计数来确定百分比。用于识别给定数字声音样本中存在的特定功能/模式的特定模型和分析技术可以是目前已知的各种已知声音类型识别技术中的任何一种，以及任何未来开发的分析技术。

表1

表2

事件分类模块515将经训练的分类模型应用于接收到的数字声音数据，以在洗衣机转换到洗衣负载处理时段的状态序列中的特定操作状态(例如，参见下面的表3)时识别洗衣负载处理时段中的特定点。

填充	0
		搅拌	1
无	2
		旋转	3
旋转/喷射	4
		旋转	5
无	6
		旋转	7
旋转/喷射	8
		旋转	9
旋转/喷射	10
		旋转	11
无	12
		最终旋转	13

表3

类似于事件分类模块515，当洗衣机转换到洗衣负载处理时段的周期序列中的特定周期(例如，填充、搅拌、旋转等)时，负载周期启动模块520将经训练的分类模型应用于接收到的数字声音数据，以识别洗衣负载处理时段中的特定点。

继续参考图5，基于洗衣机状态的度量值生成器540将基于功能/状态训练的模型(参见上面的表1、用于每个建模的事件标识的右侧值)应用于从参数值生成模块500接收到的针对洗衣负载时段(或多个这样的时段)的每种类型的可识别事件的编译(百分比)值，以呈现基于机器状态的度量值550(表示观察到的百分比与建模的百分比不同的程度)。举例来说，度量值550是由非线性概率函数呈现并缩放到绝对最大值(例如100)的统计生成的值，并且其中与基于模型的平均值的差为零导致最小值(例如0)。

输出度量值550被提供给PdM指标值和原因码生成器560。举例来说，PdM指标值和原因码生成器560被合并到上文所述的图3的机器状态和控制模块304中。最初，PdM指标值和原因码生成器560为在下文提供的表4的标题中标识的每个PdM指标类型呈现PdM值。举例来说，生成器560的实施方式通过根据下文表4中阐述的度量到PdM指标类型的映射来对接收到的度量值的值进行平均，来呈现针对PdM指标类型集合中的特定一个的总体PdM指标值。例如，PdM电机指标值被呈现为“spin_spray”、“drum_on”、“agitate”,“final spin”、“drum_on_drain_off”、“agitate_failure”和“drum_on_failure”的度量值550的度量值的平均值。在感测直接对应于机器故障的机器功能(即，对应于感测到的“x_failure”的声音)的情况下，声音本身的存在可以操作为故障部件/操作的绝对指示，这足以单独呈现“原因码”(维护/修理洗衣机102所需注意的指示)。这种“故障”模式与“正常”机器功能形成对比，根据本文提供的说明性示例，确定与期望值的偏差并对其进行评分。

表4

此外，生成器560的原因码方面将一组特定于错误状态的基于PdM指标的规则应用于先前生成的特定于PdM指标类型的值，以识别洗衣机是否在与基于指标的规则之一相对应的任何错误状态下操作。这种处理的结果是针对特定错误的一组原因码570，该特定错误通过将该组特定于错误状态的基于PdM指标的规则应用于先前呈现的支持的PdM指标类型的PdM指标值而被确定为存在。举例来说，根据一种实施方式，生成器560的原因码生成器部分针对表5(下文中)中列出的每个错误状态合并了基于PdM指标的规则。

原因码表

堵塞的排水管
	缓慢填充
传动带损坏
	松散弹簧机构
电机轴承损坏
	不均衡机器
失衡
	过剩

表5

此外，用于确定洗衣负载(或多个负载)的经处理的数字声音数据是否指示“失衡”错误的规则定义的具体示例被提供在下面的表6中。根据一个说明性的、非限制性的示例，当每个指定的PdM和功能故障条件——说明性示例中的不等式——都满足时，就会出现失衡错误状态。明确地注意到，规则的形式可以根据本文所描述的所描述的错误确定系统的各种实施方式而变化。

“失衡”错误规则集

表6

现在转向图6，流程图总结了由图1-5中总结的系统执行的一组示例性操作，用于根据当前公开的说明性示例来确定(通过统计预测建模)维护问题(与原因码相关联/对应)的存在。在610期间，对于具有附接的声学传感器104的洗衣机102，为洗衣负载洗涤序列(从开始到结束)呈现数字声音记录。所获取的数字声音记录被打包(可能与在其他洗衣负载洗涤序列期间获得的其他记录一起)，并在620期间被提供给洗衣机声学数据采集和处理平台120，在存储在数据存储器128中之前，在平台120处被进一步处理和分批。

此后，在630期间，机器学习平台130接收并处理用于特定识别的洗衣机(可能用于多个负载)的先前处理和存储的声音数据，以通过将观察到的声音样本数据与用于特定类型的可识别声音事件的一组建模数据(例如平均值)进行比较，来呈现一组基于机器状态的度量值(参见上面的表1)。

此后，在640期间，根据例如上文参考图5讨论的PdM指标值和原因码生成器560的操作来生成原因码570。

此后，在650期间，由声学数据应用服务129访问/接收产生的/存储的原因码，其中对用于特定识别的洗衣机的原因码进行分析(包括统计—例如趋势—分析)，并确定其有必要生成/发布警报消息。这种警报消息包括用于补救操作的自动执行补救操作的两个命令，其由所识别的洗衣机传送以供执行。或者，发出工作通知单(通过电子邮件、短信等传达)由所识别洗衣机现场的维护人员进行处理。

此外，声学数据应用服务129将各种原因码作为一组进行累积和处理，以各种方式呈现可视化的机器操作状态趋势，包括按操作状态映射机器和商业洗衣站点，按各种操作状态度量搜索和分拣机器和站点，查看机器的操作状态历史及其服务历史，并将机器操作状态和商业洗衣站点聚合操作状态与其他机器进行比较。

调度员用户使用该操作状态信息、操作状态历史和预测的维护警报来通知其服务技术人员的调度。严重程度较高的操作状态问题保证了更快的响应时间，但更常见的是，维护预测是在足够提前的警告下进行的，它们可以被调度和分批处理以提高效率。

由声学数据应用服务129(上面参考图3描述)执行和促进的各种过程在下面描述的图7-10的流程图中被提供/总结。转向图7，流程图总结了与根据由根据本公开的机器学习模型呈现的洗衣机状态确定进行修理/维护任务相关联地执行的操作。在710期间，机器状态和控制304生成一个或多个新的原因码。在720期间，根据更新，鉴于新的原因码和先前接收到的原因码，确定与新的原因码相关联的识别的洗衣机是否表现出需要补救注意的状态。如果需要补救措施，则控制转到730，其中，发出警报消息以调用关于识别的原因码和识别的洗衣机的进一步的重拨措施(自动或人工措施)。控制转到740，其中，机器状态和控制304更新数据存储器128以包括新的原因码。如果新的原因码没有改变洗衣机关于执行进一步的(先前未指定的)动作的状态，则控制直接从720转到740。

继续图7的讨论，在750期间，机器状态和控制304基于潜在的多个当前和过去接收的原因码来确定总体操作状态是否处于严重降级的操作状态。如果建立了这样的严重降级，则控制转到760，在760中，基于声学数据机器学习的服务301协同操作以发出即时服务呼叫来解决严重的机器降级。在操作没有严重降级的情况下，控制从750转到770，在770发出调度服务呼叫的请求。

无论退化是否被确定为严重，当声学数据应用服务129预测洗衣机需要维护时，从整个组件到单个零件，各种洗衣机部件的操作状态被确定。

服务技术人员可以进一步使用声学数据应用服务129来查看详细的服务历史、部件的操作状态预测和逐周期的操作状态信息，以更好地集中他们的维护工作并诊断问题的根本原因。一旦执行了维修或维护，服务技术人员就经由声学数据应用服务129提供反馈，记录在维护或维修中使用的零件和过程。

虽然图7中未示出，但可以在完成指示的维修/维护程序时执行进一步的操作，以通过基于由服务技术人员反馈提供的确认和/或矛盾信息执行模型的再训练来更新机器学习模型134，从而通过再训练场景或在一些情况下基于已知建模准确性差的区域为新场景创建全新的机器学习模型来改进故障和维护预测。

转向图8，流程图总结了用于使用洗衣机102提供的机器接口板数据和声学传感器数据的组合来生成洗衣机操作状态的一组示例性步骤。当洗衣机102运行时，存在用于预测所需维护的两个主要信息流。第一个由声学传感器104提供，声学传感器104记录/转换洗衣机102在操作期间的操作所产生的声音，从而在操作状态偏离预期状态不可接受的程度时生成原因码(在810期间呈现和存储)。第二信息由机器接口板106提供(在820期间接收)，其给出关于机器状态的信息，包括错误和用户周期选择信息。在830期间，洗衣机状态和控制304集成来自两个不同来源的数据，以提供与响应于相关联的识别的洗衣机来执行补救措施的警报和命令/请求的发布相关的增强的置信度和精度。因此，在830期间，声学数据应用服务129组合第一和第二信息流，以提供机器操作状态、部件操作状态、当前状态以及与每个机器和整个洗衣站点相关的历史信息的增强视图。这种组合视图呈现给用户的准确性比任何一个数据源单独提供的都要高。

虽然图8中未明确示出，但根据图7和图8中所示的操作组合的系统操作的效果是，机器学习模型促进系统基于由基于机器学习的决策过程检测到的错误状态来呈现针对特定洗衣机的补救措施的警报，该错误状态未被与洗衣机102的控制电路和机器接口板支持的错误检测/消息传递相关联的感测电路检测到。在某些情况下，当机器本身没有识别出问题时，声学传感器可以识别出不安全的情况。当遇到这些情况中的一种时，如果需要，则声学数据应用服务129经由远程机器接口板触发停止条件，或者经由智能插头切断电源，以停止洗衣机102，从而防止(进一步)损坏机器、其内容物和周围环境。

转向图9，流程图总结了在910期间基于机器学习平台130呈现的预测性维护输出来改进/增强路线计算的操作。此后，在920期间，考虑到所需的零件、每个站点所需的维护时间以及站点地址和预测的驾驶时间，为每个服务技术人员提供当天的优化服务路线。路线经过优化，以便每次访问照顾尽可能多的机器。

声学数据应用服务129使用部件操作状态和预测性维护数据来优化维护服务。通过预测所需的零件和服务程序/所需的时间，以及优先考虑一组洗衣机和站点的最大正常运行时间，声学数据应用服务129提前几天到几周规划服务技术人员路线。声学数据应用服务129确定给定数量的服务技术人员是否足以为一组洗衣机和站点提供服务，并提前向调度员提供需要调度更多服务技术人员以防止预测的停机的警报。

除非本文另有指示或与上下文明显矛盾，否则在描述本发明的上下文中(尤其是在以下权利要求的上下文中)使用术语“a”、“an”和“the”以及类似的指称应被解释为涵盖单数和复数。除非另有说明，否则术语“包括(comprising)”、“具有”、“包括(including)”和“包含”应解释为开放式术语(即，表示“包括但不限于”)。除非本文另有指示，否则本文中对值的范围的叙述仅旨在用作单独提及落在该范围内的每个单独值的简写方法，并且每个单独值被并入说明书中，就好像其在本文中被单独叙述一样。除非本文另有指示或与上下文明显矛盾，否则本文描述的所有方法都可以以任何合适的顺序执行。除非另有要求，否则本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地说明本发明，而不对本发明的范围构成限制。说明书中的任何语言都不应被解释为指示任何未要求保护的元件对于本发明的实践是必不可少的。

本文描述了发明人已知的用于实施本发明的示例性实施例。通过阅读前面的描述，这些实施例的变化对于本领域的普通技术人员来说可能变得显而易见。发明人期望熟练的技术人员在适当的情况下采用这样的变化，并且发明人打算以不同于本文具体描述的方式来实践本发明。因此，本发明包括适用法律允许的本发明所附权利要求中所述主题的所有修改和等同物。此外，除非本文中另有指示或上下文明显矛盾，否则本发明包括上述元件在其所有可能的变化中的任何组合。

虽然已经参照上述实施例具体示出和描述了本公开的各方面，但本领域技术人员将理解，在不脱离所公开内容的精神和范围的情况下，可以通过对公开的机器、系统和方法的修改来设想各种附加的实施例。这种实施例应当被理解为落入基于权利要求及其任何等同物所确定的本公开的范围内。

Claims (20)

1.一种系统，包括：

声学传感器数据接口，其被配置为在洗衣机的操作期间从所述洗衣机的部件接收与感测到的声音相对应的数字声学信号数据，其中，所述声学传感器至少包括麦克风，所述麦克风被配置为在所述洗衣机的操作期间呈现由所述麦克风感测到的声波的转换电子信号；以及

基于机器学习的处理系统，其被配置为呈现指示所述洗衣机的当前操作状态的原因码，所述处理系统包括处理器和含有计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在由所述处理器执行时促进实施一种方法，所述方法包括：

接收从所述转换电子信号呈现的声学数据集；

通过将机器学习模型应用于所述声学数据集来呈现指示所述洗衣机的操作状态的功能度量参数值；

通过将一组条件应用于从所述功能度量参数值导出的一组预测性维护指标，来识别与所述洗衣机的降级操作状态相对应的原因码；以及

根据识别，发布与所述洗衣机的补救操作有关的电子维护警报。

2.根据权利要求1所述的系统，其中，所述机器学习模型定义由所述洗衣机执行的对应正常功能的声学特征。

3.根据权利要求2所述的系统，其中，所述机器学习模型定义由所述洗衣机处理洗衣负载的总操作时间的百分比，其中识别的正常功能是用所述机器学习模型的对应声学特征来声学感测的和可识别的。

4.根据权利要求3所述的系统，其中，所述呈现是在与所述洗衣机处理洗衣负载相对应的时段内获取的声学信号样本集上执行的。

5.根据权利要求1所述的系统，其中，所述机器学习模型定义所述洗衣机的对应操作故障模式的声学特征。

6.根据权利要求1所述的系统，其中，所述原因码涉及电机的操作。

7.根据权利要求1所述的系统，其中，所述原因码涉及桶填充操作的操作。

8.根据权利要求1所述的系统，其中，所述原因码涉及桶排水操作。

9.根据权利要求1所述的系统，其中，所述原因码涉及旋转操作。

10.根据权利要求1所述的系统，其中，所述声学数据集包括与由两个不同的麦克风同时获得的至少两个单独的转换声音信号相对应的数字声音数据，其中，第一麦克风被配置为感测由所述洗衣机生成的声音，并且其中，第二麦克风被配置为感测源自所述洗衣机外部的环境声音。

11.一种由系统实施的方法，所述系统包括：

声学传感器数据接口；以及

基于机器学习的处理系统；

其中所述方法包括：

在洗衣机的操作期间通过所述声学传感器数据接口从所述洗衣机的部件接收与感测到的声音相对应的数字声学信号数据，其中，所述声学传感器至少包括麦克风，所述麦克风被配置为在所述洗衣机的操作期间呈现由所述麦克风感测的声波的转换电子信号；以及

由所述基于机器学习的处理系统呈现指示所述洗衣机的当前操作状态的原因码，

其中，所述处理系统包括处理器和含有计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在由所述处理器执行时在所述呈现期间促进实施一种方法，所述方法包括：

接收从所述转换电子信号呈现的声学数据集；

通过将机器学习模型应用于所述声学数据集来呈现指示所述洗衣机的操作状态的功能度量参数值；

通过将一组条件应用于从所述功能度量参数值导出的一组预测性维护指标，来识别与所述洗衣机的降级操作状态相对应的原因码；以及

根据识别，发布与所述洗衣机的补救操作有关的电子维护警报。

12.根据权利要求11所述的方法，其中，所述机器学习模型定义由所述洗衣机执行的对应正常功能的声学特征。

13.根据权利要求12所述的方法，其中，所述机器学习模型定义由所述洗衣机处理洗衣负载的总操作时间的百分比，其中，识别的正常功能是用所述机器学习模型的对应声学特征来声学感测的和可识别的。

14.根据权利要求13所述的方法，其中，所述呈现是在与所述洗衣机处理洗衣负载相对应的时间段内获取的声学信号样本集上执行的。

15.根据权利要求11所述的方法，其中，所述机器学习模型定义所述洗衣机的对应操作故障模式的声学特征。

16.根据权利要求11所述的方法，其中，所述原因码涉及电机的操作。

17.根据权利要求11所述的方法，其中，所述原因码涉及桶填充操作的操作。

18.根据权利要求11所述的方法，其中，所述原因码涉及桶排水操作。

19.根据权利要求11所述的方法，其中，所述原因码涉及旋转操作。

20.根据权利要求11所述的方法，其中，所述声学数据集包括与由两个不同的麦克风同时获得的至少两个单独的转换声音信号相对应的数字声音数据，其中，第一麦克风被配置为感测由所述洗衣机生成的声音，并且其中，第二麦克风被配置为感测源自所述洗衣机外部的环境声音。