CN114729488A

CN114729488A - 智能洗衣机

Info

Publication number: CN114729488A
Application number: CN202080076077.0A
Authority: CN
Inventors: 尹珍植; 李炳柱
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2019-11-01
Filing date: 2020-05-29
Publication date: 2022-07-08
Also published as: EP4053322A4; EP4053322A1; KR20210052916A; US20220349102A1; WO2021085778A1

Abstract

公开了一种智能洗衣机。根据本发明的实施方式的用于智能洗衣机的控制方法可以：从用户信息中预测洗衣机周期；根据预测的洗衣机周期控制洗衣机；在洗衣机正在被控制的同时借助于相机获取滚筒内的图像；通过使用获取的图像预测滚筒内的污染水平；以及根据预测的结果执行附加的控制操作。智能洗衣机可以链接到人工智能模块、无人驾驶飞行器(UAV)、机器人、增强现实(AR)装置、虚拟现实(VR)装置、与5G服务相关的装置等。

Description

智能洗衣机

技术领域

本公开涉及智能洗衣机。

背景技术

人工智能(AI)系统是实现人类级智能的计算机系统，并且是机器自身进行学习并确定的系统，这与现有的基于规则的智能系统不同。AI系统被使用地越多，AI系统的识别率越高。此外，AI系统可以更准确地理解用户的偏好。因此，现有的基于规则的智能系统正在逐渐被基于深度学习的AI系统替换。

AI技术由机器学习(深度学习)和使用机器学习的要素技术组成。

机器学习是可以自身对输入数据的特征进行分类/学习的算法技术。要素技术是用于使用诸如深度学习之类的机器学习算法模仿人类大脑的感知和决策能力的技术，并且包括诸如语言理解、视觉理解、推断/预测、知识表达和运动控制之类的技术领域。

在这种繁忙的现代社会中，人们每天花费约三小时做家务。为了减少在家务上花费的时间并增加休息时间，对于自身进行决定和控制的基于AI的智能洗衣机的需求正在出现。

发明内容

技术问题

本公开的一个目的是解决上述和其它需要和/或问题。

本公开的另一目的是实现一种根据用户来自身确定和/或设置最佳洗涤过程(course)的智能洗衣机。

本公开的另一目的是实现一种分析洗涤状态并执行附加的控制操作的智能洗衣机。

本公开的另一目的是实现一种检测不适合洗衣机的目的的物件的智能洗衣机。

本公开的另一目的是实现一种检测衣物缠结并且根据检测的结果控制电机的RPM的智能洗衣机。

技术方案

在本公开的一个方面中，提供了一种控制智能洗衣机的方法，该方法包括以下步骤：从用户的图像中识别用户；基于所识别的用户信息来预测与用户信息相对应的第一洗涤过程；基于预测的第一洗涤过程来执行控制操作；在正在执行控制操作的同时通过相机收集滚筒内的图像；基于滚筒内的图像和预先学习的预测模型来预测滚筒内的污染水平；以及基于预测的污染水平来将第一洗涤过程改变为第二洗涤过程。

预测第一洗涤过程的步骤可以包括：将用户信息应用于预先学习的基于人工神经网络的过程推荐模型；以及基于过程推荐模型的输出值来确定洗涤过程。

预测第一洗涤过程的步骤可以包括：响应于门的关闭而通过相机收集滚筒内的图像；基于滚筒内的图像来识别织物的类型；以及将所识别的织物的类型和用户信息应用于预先学习的基于人工神经网络的过程推荐模型以确定第一洗涤过程。

用户的识别信息可以以ID的形式被存储。

第一洗涤过程和第二洗涤过程可以包括洗涤行程、漂洗行程或旋转-干燥行程中的至少一个。在操作顺序、操作模式、操作时间或RPM中的至少一个中，第二洗涤过程中包括的行程不同于第一洗涤过程的对应行程。

该方法还可以包括以下步骤：通过麦克风收集通过使桶旋转而产生的噪声；从每分钟转速(RPM)的改变量来检测不平衡量；以及基于不平衡量和噪声的水平来检测衣物缠结。

该方法还可以包括以下步骤：基于感测到衣物缠结，向用户设备发送关于衣物缠结的消息。

该方法还可以包括以下步骤：基于感测到衣物缠结，在控制操作中将桶的RPM控制为小于或等于衣物附着速度。

该方法还可以包括以下步骤：基于未感测到衣物缠结，在控制操作中将桶的RPM控制为大于或等于衣物附着速度的恒定速度。

该方法还可以包括以下步骤：基于控制操作被完成，收集垫圈的图像；搜索用户的使用历史；以及基于垫圈的图像和使用历史来确定何时清洁滚筒。

使用历史可以包括用户信息、织物的类型、洗涤时间、洗涤频率、清洁桶的次数、桶的清洁频率、或控制操作中的附加用户过程设置中的至少一个。

该方法还可以包括以下步骤：分析滚筒内的图像并检测在滚筒内的图像中包括的一个或更多个物品(item)当中的不适合用于洗衣机的注意物品；以及基于检测到注意物品，向用户设备发送警告消息。

该方法还可以包括以下步骤：基于改变的洗涤过程的信息来对预测模型进行强化学习。

在本公开的另一方面中，提供了一种智能洗衣机，其包括：通信模块；存储器；相机，其被配置为捕获包括用户的图像和滚筒内的图像；以及处理器，其被配置为：从包括用户的图像中识别用户；基于所识别的用户信息来预测与用户信息相对应的第一洗涤过程；在正在基于预测的第一洗涤过程执行控制操作的同时通过相机收集滚筒内的图像；基于滚筒内的图像和预先学习的预测模型来预测滚筒内的污染水平；以及基于预测的污染水平来将第一洗涤过程改变为第二洗涤过程。

有利效果

根据本公开的实施方式的智能洗衣机的效果描述如下。

本公开能够根据用户来自身确定和/或设置最佳洗涤过程。

本公开能够分析洗涤状态并执行附加的控制操作。

本公开能够检测不适合于洗衣机的目的的物件。

本公开能够检测衣物缠结并且依据检测的结果控制电机的RPM。

可以利用本公开实现的效果不限于上文仅通过示例的方式描述的那些效果，并且本公开的其它效果和优点将由本公开所属领域的技术人员从以下描述中更清楚地理解。

附图说明

附图被包括以提供对本公开的进一步理解并且构成具体实施方式的一部分，附图例示了本公开的实施方式并且用于与说明书一起解释本公开的技术特征。

图1例示了本公开中描述的方法适用的无线通信系统的配置的框图。

图2例示了无线通信系统中的信号发送/接收方法的示例。

图3例示了5G通信系统中的用户设备(UE)和5G网络的基本操作的示例。

图4是根据本公开的实施方式的AI装置的框图。

图5例示了电子装置的框图。

图6例示了智能洗衣机的外观。

图7例示了应用于本公开的实施方式的智能洗衣机的相机。

图8是例示根据本公开的实施方式的智能洗衣机的配置的框图。

图9是示意性地例示根据本公开的实施方式的智能洗衣机的控制方法的流程图。

图10例示了图9的步骤S110。

图11是例示根据本公开的实施方式的洗涤过程预测方法的流程图。

图12例示了图11的洗涤过程预测方法的实现示例。

图13是例示根据本公开的另一实施方式的洗涤过程预测方法的流程图。

图14例示了图13的洗涤过程预测方法的实现示例。

图15是例示根据本公开的实施方式的注意物品检测方法的流程图。

图16例示了图15的注意物品检测方法的实现示例。

图17是例示根据本公开的实施方式的洗衣机的控制方法的流程图。

图18例示了图17的污染水平测量方法的实现示例。

图19是例示根据本公开的实施方式的针对衣物缠结的控制方法的流程图。

图20是例示根据本公开的实施方式的确定何时清洁滚筒的方法的流程图。

图21例示了图20中的确定何时清洁滚筒的方法的实现示例。

具体实施方式

现在将详细参考本公开的实施方式，其示例在附图中例示。在尽可能的情况下，贯穿所有附图将使用相同的附图标记来指代相同或相似的部件。通常，诸如“模块”和“单元”之类的后缀可以用于指代元件或组件。本文中使用此类后缀仅旨在辅助本公开的描述，并且后缀本身并不旨在给出任何特殊含义或功能。将注意的是，如果确定已知技术的详细描述会混淆本公开的实施方式，则将省略对已知技术的详细描述。附图用于帮助容易地理解各种技术特征，并且应当理解，本文呈现的实施方式不受附图的限制。这样，本公开应当被解释为扩展到除了在附图中具体指出的那些之外的任何更改、等同物和替代物。

包括诸如第一、第二等的序数的术语可以用于描述各种组件，但是组件不受此类术语的限制。术语仅用于将一个组件与其它组件区分开的目的。

当任何组件被描述为“连接”或“联接”到其它组件时，这应当被理解为意味着另一组件可以存在于它们之间，但是任何组件可以直接连接或联接到其它组件。相反，当任何组件被描述为“直接连接”或“直接联接”到其它组件时，这应当被理解为意味着它们之间不存在组件。

单数表达可以包括复数表达，只要在上下文中不具有明显不同的含义即可。

在本公开中，术语“包括”和“具有”应当被理解为旨在指定所例示的特征、数量、步骤、操作、组件、部件或其组合存在，并且不排除一个或更多个不同的特征、数量、步骤、操作、组件、部件或其组合的存在或者其添加的可能性。

A.UE和5G网络的框图的示例

参照图1，包括AI模块的装置(AI装置)被定义为第一通信装置910(参见图1)，并且处理器911可以执行详细的自主操作。

包括与AI装置通信的另一装置(AI服务器)的5G网络被定义为第二装置920(参见图1)，并且处理器921可以执行详细的AI操作。

5G网络可以被表示为第一通信装置，并且AI装置可以被表示为第二通信装置。

例如，第一通信装置或第二通信装置可以是基站(BS)、网络节点、发送器UE、接收器UE、无线装置、无线通信装置、车辆、具有自驾驶功能的车辆、连网的汽车、无人机(无人驾驶飞行器(UAV))、人工智能(AI)模块、机器人、增强现实(AR)装置、虚拟现实(VR)装置、混合现实(MR)装置、全息装置、公共安全装置、MTC装置、IoT装置、医疗装置、FinTech装置(或金融装置)、安全装置、气候/环境装置、与5G服务相关的装置、或与第四工业演进领域相关的装置。

例如，终端或用户设备(UE)可以包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、板式PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜和头戴式显示器(HMD))等。例如，HMD可以是佩戴在用户的头部上的显示装置。例如，HMD可以用于实现VR、AR或MR。例如，无人机可以是飞行载具，其在没有人在飞行载具上的情况下通过无线电控制信号进行飞行。例如，VR装置可以包括实现虚拟世界的物体或背景等的装置。例如，AR装置可以包括通过将虚拟世界的物体或背景连接到现实世界的物体或背景等来实现的装置。例如，MR装置可以包括通过将虚拟世界的物体或背景与现实世界的物体或背景等合并来实现的装置。例如，全息装置可以包括通过被称为全息成像的两个激光束相遇时生成产生的光的干涉现象来记录和再现立体信息以实现360度立体图像的装置。例如，公共安全装置可以包括可穿戴在用户的身体上的图像装置或图像中继装置。例如，MTC装置和IoT装置可以是不需要人的直接干预或操纵的装置。例如，MTC装置和IoT装置可以包括智能仪表、自动售货机、温度计、智能灯泡、门锁、各种传感器等。例如，医疗装置可以是用于诊断、治疗、缓解、治愈或预防疾病的目的的装置。例如，医疗装置可以是用于诊断、治疗、缓解或校正损伤或病症的目的的装置。例如，医疗装置可以是用于检查、替换或修改结构或功能的目的的装置。例如，医疗装置可以是用于控制怀孕的目的的装置。例如，医疗装置可以包括医疗装置、手术装置、(体外)诊断装置、助听器或用于外科手术的装置等。例如，安全装置可以是被安装以防止可能的危险并保持安全的装置。例如，安全装置可以包括相机、CCTV、记录器或黑匣子等。例如，FinTech装置可以是能够提供诸如移动支付之类的金融服务的装置。

参照图1，第一通信装置910和第二通信装置920包括处理器911和921、存储器914和924、一个或更多个Tx/Rx射频(RF)模块915和925、Tx处理器912和922、Rx处理器913和923以及天线916和926。Tx/Rx模块也被称为收发器。每个Tx/Rx模块915经由每个天线926发送信号。处理器实现上述功能、处理和/或方法。处理器921可以与存储程序代码和数据的存储器924相关。存储器可以被称为计算机可读介质。更具体地，Tx处理器912在DL(从第一通信装置到第二通信装置的通信)中实现关于L1(即，物理层)的各种信号处理功能。Rx处理器实现L1(即，物理层)的各种信号处理功能。

以与和第二通信装置920中的接收器功能相关联地描述的方式类似的方式，在第一通信装置910中处理UL(从第二通信装置到第一通信装置的通信)。每个Tx/Rx模块925经由每个天线926接收信号。每个Tx/Rx模块向Rx处理器923提供RF载波和信息。处理器921可以与存储程序代码和数据的存储器924相关。存储器可以被称为计算机可读介质。

B.无线通信系统中的信号发送/接收方法

图2例示了无线通信系统中的信号发送/接收方法的示例。

参照图2，当UE上电或进入新小区时，UE执行诸如与BS的同步之类的初始小区搜索操作(S201)。对于该操作，UE可以从BS接收主同步信道(P-SCH)和辅同步信道(S-SCH)，以与BS同步并获取诸如小区ID之类的信息。在LTE和NR系统中，P-SCH和S-SCH分别被称为主同步信号(PSS)和辅同步信号(SSS)。在初始小区搜索之后，UE可以通过从BS接收物理广播信道(PBCH)来获取小区中的广播信息。此外，UE可以在初始小区搜索步骤中接收下行链路参考信号(DL RS)以检查下行链路信道状态。在初始小区搜索之后，UE可以通过根据物理下行链路控制信道(PDCCH)和包括在PDCCH中的信息接收物理下行链路共享信道(PDSCH)来获取更详细的系统信息(S202)。

当UE初始接入BS或没有用于信号传输的无线电资源时，UE可以执行针对BS的随机接入过程(RACH)(步骤S203至S206)。为此，UE可以经由物理随机接入信道(PRACH)(S203和S205)发送特定序列作为前导码，并且经由PDCCH和对应的PDSCH(S204和S206)接收针对前导码的随机接入响应(RAR)消息。对于基于竞争的RACH，可以附加地执行竞争解决过程。

在UE执行上述过程之后，UE可以执行PDCCH/PDSCH接收(S207)和物理上行链路共享信道(PUSCH)/物理上行链路控制信道(PUCCH)发送(S208)作为正常上行链路/下行链路信号发送过程。具体地，UE在PDCCH上接收下行链路控制信息(DCI)。UE根据对应的搜索空间配置，在服务小区上的配置为一个或更多个控制元素集(CORESET)的监测时机中监测PDCCH候选的集合。要由UE监测的PDCCH候选集合是在搜索空间集方面定义的，并且搜索空间集可以是公共搜索空间集或UE特定的搜索空间集。CORESET由持续时间为一至三个OFDM符号的(物理)资源块的集合组成。网络可以将UE配置为具有多个CORESET。UE监测一个或更多个搜索空间集中的PDCCH候选。这里，监测意味着尝试解码搜索空间中的PDCCH候选。如果UE成功解码搜索空间中的PDCCH候选中的一个，则UE确定已经从PDCCH候选中检测到PDCCH，并且基于检测到的PDCCH内的DCI来执行PDSCH接收或PUSCH发送。PDCCH可以用于调度PUSCH上的DL传输和PUSCH上的UL传输。这里，PDCCH上的DCI包括与物理下行链路共享信道相关并且至少包括调制和编码格式以及资源分配信息的下行链路指派(即，下行链路授权(DL授权))，或者与物理上行链路共享信道相关并且包括调制和编码格式以及资源分配信息的上行链路授权(UL授权)。

参照图2附加地描述了5G通信系统中的初始接入(IA)过程。

UE可以执行小区搜索、系统信息获取、用于初始接入的波束对准、以及基于SSB的DL测量。SSB可与同步信号/物理广播信道(SS/PBCH)块互换地使用。

SSB包括PSS、SSS和PBCH。SSB由四个连续的OFDM符号组成，并且每个OFDM符号地发送PSS、PBCH、SSS/PBCH或PBCH。PSS和SSS中的每一个由一个OFDM符号和127个子载波组成，并且PBCH由3个OFDM符号和576个子载波组成。

小区搜索是指UE获取小区的时间/频率同步并且检测小区的小区标识符(ID)(例如，物理层小区ID(PCI))的过程。PSS用于检测来自小区ID组的小区ID，并且SSS用于检测小区ID组。PBCH用于检测SSB(时间)索引和半帧。

存在336个小区ID组，并且每个小区ID组存在3个小区ID。存在总共1008个小区ID。经由小区的SSS来提供/获取关于小区的小区ID所属的小区ID组的信息，并且经由PSS来提供/获取关于336个小区ID组中的小区ID的信息。

根据SSB周期周期性地发送SSB。在初始小区搜索期间由UE假设的默认SSB周期被定义为20ms。在小区接入之后，SSB周期可以被网络(例如，BS)设置为{5ms、10ms、20ms、40ms、80ms、160ms}之一。

接下来，描述系统信息(SI)的获取。

SI被划分为主信息块(MIB)和多个系统信息块(SIB)。除了MIB之外的SI可以被称为剩余最小系统信息。MIB包括用于监测调度载送SIB1(SystemInformationBlock1)的PDSCH的PDCCH的信息/参数并且由BS经由SSB的PBCH发送。SIB1包括与剩余SIB(以下称为SIBx，x是等于或大于2的整数)的可用性和调度(例如，传输周期和SI-窗口大小)相关的信息。SIBx包括在SI消息中并且在PDSCH上发送。在周期性产生的时间窗口(即，SI-窗口)内发送每个SI消息。

参照图2附加地描述了5G通信系统中的随机接入(RA)过程。

随机接入过程用于各种目的。例如，随机接入过程可以用于网络初始接入、切换和UE触发的UL数据传输。UE可以通过随机接入过程来获取UL同步和UL传输资源。随机接入过程被分类为基于竞争的随机接入过程和无竞争的随机接入过程。基于竞争的随机接入过程的详细过程如下。

UE可以在UL中经由PRACH来发送作为随机接入过程的Msg1的随机接入前导码。支持具有两个不同长度的随机接入前导码序列。长序列长度839被应用于1.25kHz和5kHz的子载波间隔，并且短序列长度139被应用于15kHz、30kHz、60kHz和120kHz的子载波间隔。

当BS从UE接收到随机接入前导码时，BS向UE发送随机接入响应(RAR)消息(Msg2)。调度载送RAR的PDSCH的PDCCH由随机接入(RA)无线电网络临时标识符(RNTI)(RA-RNTI)进行CRC掩蔽并发送。在检测到由RA-RNTI掩蔽的PDCCH时，UE可以从由PDCCH载送的DCI调度的PDSCH接收RAR。UE检查RAR是否包括关于由UE发送的前导码(即，Msg1)的随机接入响应信息。可以根据关于由UE发送的前导码的随机接入前导码ID的存在或不存在来确定关于由UE发送的Msg1的随机接入信息的存在或不存在。如果没有对Msg1的响应，则UE可以在执行功率斜升的同时，小于预定次数地重传RACH前导码。UE基于最近的路径损耗和功率斜升计数器来计算用于前导码重传的PRACH发送功率。

UE可以基于随机接入响应信息在物理上行链路共享信道上执行作为随机接入过程的Msg3的UL传输。Msg3可以包括RRC连接请求和UE ID。网络可以将Msg4作为对Msg3的响应而发送，并且Msg4可以作为DL上的竞争解决消息来进行处置。UE可以通过接收Msg4来进入RRC连接状态。

C.5G通信系统的波束管理(波束管理)过程

可以将BM过程划分成(1)使用SSB或CSI-RS的DL BM过程以及(2)使用探测参考信号(SRS)的UL BM过程。此外，每个BM过程可以包括用于确定Tx波束的Tx波束扫描和用于确定Rx波束的Rx波束扫描。

描述了使用SSB的DL BM过程。

在RRC_CONNECTED中配置信道状态信息(CSI)/波束时，执行使用SSB的波束报告的配置。

-UE从BS接收CSI-ResourceConfig IE，CSI-ResourceConfig IE包括用于BM的SSB资源的CSI-SSB-ResourceSetList。RRC参数“csi-SSB-ResourceSetList”表示一个资源集中的用于波束管理和报告的SSB资源的列表。SSB资源集可以被配置为{SSBx1、SSBx2、SSBx3、SSBx4…}。可以在0到63的范围中定义SSB索引。

-UE基于CSI-SSS-ResourceSetList从BS接收SSB资源上的信号。

-当与用于SSBRI和参考信号接收功率(RSRP)的报告相关的CSI-RS报告配置被配置时，UE向BS报告最佳SSBRI和与此相对应的RSRP。例如，当CSI-RS reportConfig IE的reportQuantity被配置为“ssb-Index-RSRP”时，UE向BS报告最佳SSBRI和与此相对应的RSRP。

当CSI-RS资源被配置为与SSB相同的OFDM符号并且‘QCL-TypeD’适用时，UE可以假设CSI-RS和SSB从‘QCL-TypeD’的视角是准共位(QCL)的。这里，“QCL-TypeD”可以意味着天线端口与空间Rx参数的视角准共位。当UE接收到具有QCL-TypeD关系的多个DL天线端口的信号时，可以应用相同的Rx波束。

接下来，描述使用CSI-RS的DL BM过程。

依次描述了UE的Rx波束确定(或细化)过程和使用CSI-RS的BS的Tx波束扫描过程。重复参数在UE的Rx波束确定过程中被设置为“ON”，并且在BS的Tx波束扫描过程中被设置为“OFF”。

首先，描述UE的Rx波束确定过程。

-UE经由RRC信令从BS接收NZP CSI-RS资源集IE，其包括用于“重复”的RRC参数。RRC参数“重复”被设置为“ON”。

-UE通过BS的相同Tx波束(或DL空间域发送滤波器)在不同的OFDM符号中重复地接收其中将RRC参数“重复”设置为“ON”的CSI-RS资源集中的资源上的信号。

-UE确定其RX波束。

-UE跳过CSI报告。也就是说，当RRC参数“重复”被设置为“ON”时，UE可以跳过CSI报告。

接下来，描述BS的Tx波束确定过程。

-UE经由RRC信令从BS接收NZP CSI-RS资源集IE，其包括用于“重复”的RRC参数。RRC参数“重复”被设置为“OFF”并且与BS的Tx波束扫描过程相关。

-UE在BS的不同Tx波束(DL空间域发送滤波器)中接收其中RRC参数“重复”被设置为“OFF”的CSI-RS资源集中的资源上的信号。

-UE选择(或确定)最佳波束。

-UE向BS报告所选择的波束的ID(例如，CRI)和相关质量信息(例如，RSRP)。也就是说，当针对BM发送CSI-RS时，UE向BS报告关于其的CRI和RSRP。

接下来，描述使用SRS的UL BM过程。

-UE从BS接收RRC信令(例如，RS-Config IE)，RRC信令包括被配置为“波束管理”的(RRC参数)目的参数。RS-Config IE用于配置SRS传输。RS-Config IE包括SRS资源的列表和SRS-ResourceSet的列表。每个SRS资源集指的是SRS资源的集合。

UE基于包括在RS-Config IE中的SRS-SpatialRelation Info来确定要发送的SRS资源的Tx波束成形。SRS-SpatialRelation Info被每个SRS资源地配置并且表示对于每个SRS资源是否应用与用于SSB、CSI-RS或SRS的波束成形相同的波束成形。

-当RS-SpatialRelationInfo被配置用于SRS资源时，与用于SSB、CSI-RS或SRS的波束成形相同的波束成形被应用并发送。然而，当SRS-SpatialRelationInfo未被配置用于SRS资源时，UE随机地确定Tx波束成形并且通过所确定的Tx波束成形来发送SRS。

接下来，描述波束故障恢复(BFR)过程。

在波束成形系统中，由于UE的旋转、移动或波束成形阻挡，可能频繁地发生无线电链路故障(RLF)。因此，在NR中支持BFR以防止RLF的频繁发生。BFR类似于无线电链路故障恢复过程，并且可以在UE知道新的候选波束时被支持。对于波束故障检测，BS向UE配置波束故障检测参考信号，并且当来自UE的物理层的波束故障指示的数量在经由BS的RRC信令配置的时段内达到经由RRC信令配置的阈值时，UE宣称波束故障。在波束故障检测之后，UE通过在PCell上发起随机接入过程来触发波束故障恢复，并且通过选择合适的波束来执行波束故障恢复(当BS为某些波束提供专用随机接入资源时，这些波束被UE优先化)。随机接入过程的完成被认为是波束故障恢复的完成。

D.超可靠和低时延通信(URLLC)

在NR中定义的URLLC传输可以指(1)相对低的业务大小，(2)相对低的到达速率，(3)极低的时延要求(例如，0.5ms和1ms)，(4)相对短的传输持续时间(例如，2个OFDM符号)，(5)紧急服务/消息等。在UL中，特定类型(例如，URLLC)的业务的传输需要与提前调度的另一传输(例如，eMBB)复用，以便满足更严格的时延要求。在这点上，提供了一种方法，该方法向预先调度的UE提供指示对特定资源的抢占的信息，并且允许URLLC UE使用对应的资源用于UL传输。

NR支持eMBB和URLLC之间的动态资源共享。可以在非重叠的时间/频率资源上调度eMBB和URLLC服务，并且URLLC传输可以在被调度用于正在进行的eMBB业务的资源中发生。eMBB UE可能不确定对应的UE的PDSCH传输是否已经被部分地打孔，并且由于被破坏的编码比特，UE可能不对PDSCH进行解码。鉴于此，NR提供抢占指示。抢占指示还可以被称为中断的传输指示。

关于抢占指示，UE经由RRC信令从BS接收DownlinkPreemption IE。当UE被提供有DownlinkPreemption IE时，UE被配置有由DownlinkPreemption IE中的参数int-RNTI提供的INT-RNTI，以用于监测传达DCI格式2_1的PDCCH。UE附加地被配置有通过包括由servingCellID提供的服务小区索引的集合的INT-ConfigurationPerServing小区根据一组服务小区和positionInDCI的DCI格式2_1中的字段的位置的对应集合，被配置有通过dci-Payloadsize的DCI格式2_1的信息有效载荷大小，并且被配置有通过timeFrequencySect的时间-频率资源的指示粒度。

UE基于DownlinkPreemption IE从BS接收DCI格式2_1。

如果UE检测到用于服务小区的配置集合中的服务小区的DCI格式2_1，则UE可以假设在DCI格式2_1所属的监测时段之前的最后监测时段中的在一组PRB和一组符号中的由DCI格式2_1指示的符号和PRB中没有到UE的传输。例如，UE假设由抢占指示的时间-频率资源中的信号不是调度给UE的DL传输，并且基于在剩余资源区域中接收的信号来解码数据。

E.大规模MTC(mMTC)

大规模机器类型通信(mMTC)是用于支持与大量UE同时通信的超连接服务的5G场景之一。在该环境中，UE间歇地执行具有非常低的速度和移动性的通信。因此，mMTC的主要目标是以低成本操作UE较长的时间。关于mMTC技术，3GPP处理MTC和窄带(NB)-IoT。

mMTC技术具有诸如重复发送，跳频，重调谐，以及PDCCH、PUCCH、物理下行链路共享信道(PDSCH)、PUSCH等的保护时段之类的特征。

也就是说，重复地发送包括特定信息的PUSCH(或PUCCH(特别地，长PUCCH))和包括对特定信息的响应的PDSCH(或PDCCH)。通过跳频来执行重复发送。对于重复发送，在保护时段中执行从第一频率资源到第二频率资源的(RF)重调谐，并且可以通过窄带(例如，6个资源块(RB)或1个RB)发送/接收特定信息和对特定信息的响应。

F.使用5G通信的AI基本操作

在S1中，UE向5G网络发送特定信息。5G网络对特定信息执行5G处理(S2)。5G处理可以包括AI处理。在S3中，5G网络向UE发送包括AI处理的结果的响应。

G.在5G通信系统中的UE与5G网络之间应用的操作

下面参照图1和图2以及上文所述的无线通信技术(BM过程、URLLC、mMTC等)更详细地描述使用5G通信的AI操作。

首先，描述了下文要描述的根据本公开的方法和5G通信的eMBB所应用于的应用的操作的基本过程。

如在图3的步骤S1和S3中，UE在图3的步骤S1前与5G网络执行初始接入过程和随机接入过程，以便向5G网络发送信号、信息等/从5G网络接收信号、信息等。

更具体地，UE基于SSB来执行与5G网络的初始接入过程，以便获取DL同步和系统信息。可以将波束管理(BM)过程和波束故障恢复过程添加到初始接入过程，并且可以在UE从5G网络接收信号的过程中添加准共位(QCL)关系。

此外，UE执行与5G网络的随机接入过程以用于UL同步获取和/或UL传输。5G网络可以向UE发送用于调度特定信息的传输的UL授权。因此，UE基于UL授权将特定信息发送到5G网络。另外，5G网络向UE发送用于调度针对特定信息的5G处理的结果的传输的DL授权。因此，5G网络可以基于DL授权向UE发送包括AI处理的结果的响应。

接下来，描述了下文要描述的根据本公开的方法和5G通信的URLLC所应用于的应用的操作的基本过程。

如上所述，在UE执行与5G网络的初始接入过程和/或随机接入过程之后，UE可以从5G网络接收DownlinkPreemption IE。然后，UE基于DownlinkPreemption IE从5G网络接收包括抢占指示的DCI格式2_1。UE不在由抢占指示指示的资源(PRB和/或OFDM符号)中执行(或预期或假设)eMBB数据的接收。此后，当UE需要发送特定信息时，UE可以从5G网络接收UL授权。

接下来，描述了下文要描述的根据本公开的方法和5G通信的mMTC所应用于的应用的操作的基本过程。

描述将集中在图3的步骤中的根据mMTC的应用而改变的部分。

在图3的步骤S1中，UE从5G网络接收UL授权，以便向5G网络发送特定信息。UL授权可以包括关于特定信息的传输的重复次数的信息，并且可以基于关于重复次数的信息来重复地发送特定信息。也就是说，UE基于UL授权来向5G网络发送特征信息。可以通过跳频来执行特定信息的重复发送，可以在第一频率资源中执行特定信息的第一传输，并且可以在第二频率资源中执行特定信息的第二传输。可以在6个资源块(RB)或1个RB的窄带上发送特定信息。

上文描述的5G通信技术可以与下文要描述的根据本公开的方法组合地应用，或者可以被补充以指定或阐明本公开中所描述的方法的技术特征。

AI装置的框图

图4是根据本公开的实施方式的AI装置的框图。

AI装置20可以包括包含能够执行AI处理的AI模块的电子装置、或者包含AI模块的服务器等。AI装置20可以被包括为图5所示的装置100的至少部分配置，以执行AI处理的至少一部分。

AI处理可以包括与图5所示的装置100的控制相关的所有操作。例如，自主车辆可以对感测数据或驾驶员数据执行AI处理以执行处理/确定操作和控制信号产生操作。例如，自主车辆还可以通过对通过与自主车辆中包括的其它电子装置的交互获得的数据执行AI处理来执行自主驾驶控制。

AI装置20可以包括AI处理器21、存储器25和/或通信单元27。

AI装置20是能够学习神经网络的计算装置，并且可以被实现为包括服务器、台式PC、笔记本PC、平板PC等的各种电子装置。

AI处理器21可以使用存储在存储器25中的程序来学习神经网络。具体地，AI处理器21可以学习用于识别装置相关数据的神经网络。用于识别装置相关数据的神经网络可以被设计为在计算机上模拟人脑结构，并且可以包括具有模拟人类神经网络中的神经元的权重的多个网络节点。多个网络节点可以根据每个连接关系来发送和接收数据，使得神经元模拟通过突触发送和接收信号的神经元的突触活动。在本文中，神经网络可以包括已经从神经网络模型演进的深度学习模型。在深度学习模型中，多个网络节点可以被布置在不同的层中，并且可以根据卷积连接关系来发送和接收数据。神经网络模型的示例可以包括各种深度学习技术，诸如深度神经网络(DNN)、卷积深度神经网络(CNN)、递归玻尔兹曼机(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)和深度Q-网络，并且适用于包括计算机视觉、语音识别、自然语言处理和语音/信号处理等的领域。

执行上述功能的处理器可以是通用处理器(例如，CPU)，但是可以是用于AI学习的AI专用处理器(例如，GPU)。

存储器25可以存储AI装置20的操作所需的各种程序和数据。存储器25可以被实现为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)或固态驱动器(SSD)等。存储器25可以由AI处理器21访问，并且AI处理器21可以读取/写入/修改/删除/更新数据。此外，根据本公开的实施方式，存储器25可以存储由用于数据分类/识别的学习算法创建的神经网络模型(例如，深度学习模型26)。

AI处理器21还可以包括用于学习用于数据分类/识别的神经网络的数据学习单元22。数据学习单元22可以学习关于使用哪个学习数据来确定数据分类/识别以及如何使用学习数据对数据进行分类和识别的标准。数据学习单元22可以通过获取要在学习中使用的学习数据并将所获取的学习数据应用于深度学习模型来对深度学习模型进行学习。

数据学习单元22可以以至少一个硬件芯片的形式制造并且安装在AI装置20上。例如，数据学习单元22可以以用于人工智能(AI)的专用硬件芯片的形式制造，或者可以被制造为通用处理器(例如，CPU)或图形专用处理器(例如，GPU)的一部分并且安装在AI装置20上。此外，数据学习单元22可以被实现为软件模块。如果数据学习单元22被实现为软件模块(或包括指令的程序模块)，则软件模块可以被存储在非暂时性计算机可读介质中。在这种情况下，至少一个软件模块可以由操作系统(OS)提供，或者由应用提供。

数据学习单元22可以包括学习数据获取单元23和模型学习单元24。

学习数据获取单元23可以获取用于对数据进行分类和识别的神经网络模型所需的学习数据。例如，学习数据获取单元23可以获取要输入到神经网络模型的车辆的数据和/或样本数据作为学习数据。

通过使用所获取的学习数据，模型学习单元24可以进行学习以使得神经网络模型具有用于确定如何对预定数据进行分类的标准。在这种情况下，模型学习单元24可以通过监督式学习来训练神经网络模型，监督式学习使用学习数据的至少一部分作为用于确定的标准。另选地，模型学习单元24可以通过无监督学习来训练神经网络模型，无监督学习通过允许神经网络模型在不监督的情况下使用学习数据来自己学习来找到用于确定的标准。此外，模型学习单元24可以通过使用关于是否对情况做出正确决策的反馈进行学习的强化学习来训练神经网络模型。此外，模型学习单元24可以使用包括误差反向传播或梯度下降的学习算法来训练神经网络模型。

如果神经网络模型被训练，则模型学习单元24可以将经训练的神经网络模型存储在存储器中。模型学习单元24可以将经训练的神经网络模型存储在通过有线或无线网络连接到AI装置20的服务器的存储器中。

数据学习单元22还可以包括学习数据预处理单元(未示出)和学习数据选择单元(未示出)，以便改进识别模型的分析结果或节省创建识别模型所需的资源或时间。

学习数据预处理单元可以预处理所获取的数据，使得所获取的数据可以用于针对确定情况的学习。例如，学习数据预处理单元可以将所获取的学习数据处理成预定格式，使得模型学习单元24可以在针对识别图像的学习中使用所获取的学习数据。

此外，学习数据选择单元可以在由学习数据获取单元23获取的学习数据或由预处理单元预处理的学习数据当中选择学习所需的数据。所选择的学习数据可以被提供给模型学习单元24。例如，学习数据选择单元可以检测由车辆的相机获得的图像中的特定区域以仅选择特定区域中包括的物体的数据作为学习数据。

此外，数据学习单元22还可以包括用于改进神经网络模型的分析结果的模型评估单元(未示出)。

模型评估单元可以将评估数据输入到神经网络模型，并且如果从评估数据输出的分析的结果不满足预定标准，则可以允许模型学习单元22再次学习神经网络模型。在这种情况下，评估数据可以是预定义用于评估识别模型的数据。例如，如果对评估数据学习的识别模型的分析结果当中具有不准确的分析结果的评估数据的数量或比例超过预定阈值，则模型评估单元可以将分析结果评估为不满足预定标准。

通信单元27可以向外部电子装置发送由AI处理器21进行的AI处理的结果。

尽管图4所示的AI装置20被描述为在功能上被分离成AI处理器21、存储器25、通信单元27等，但是以上组件可以被集成到一个模块中并且被称为AI模块。

图5例示了电子装置的框图。

参照图5，电子装置100可以包括至少一个处理器110、存储器120、输出装置130、输入装置140、输入/输出接口150、传感器模块160和通信模块170。

处理器110可以包括至少一个应用处理器(AP)、至少一个通信处理器(CP)或至少一个人工智能(AI)处理器。应用处理器、通信处理器或AI处理器可以分别被包括在不同的集成电路(IC)封装中，或者可以被包括在一个IC封装中。

应用处理器可以通过运行操作系统或应用程序来控制连接到应用处理器的多个硬件或软件组件，并且执行包括多媒体数据的各种数据处理/操作。例如，应用处理器可以被实现为片上系统(SoC)。处理器110还可以包括图形处理单元(GPU)(未示出)。

通信处理器可以执行管理数据链路并转换电子装置100与经由网络连接的其它电子装置之间的通信中的通信协议的功能。例如，通信处理器可以被实现为SoC。通信处理器可以执行多媒体控制功能的至少一部分。

此外，通信处理器可以控制通信模块170的数据发送和接收。通信处理器可以被实现为被包括为应用处理器的至少一部分。

应用处理器或通信处理器可以在易失性存储器上加载并处理从连接到应用处理器和通信处理器中的每一个的非易失性存储器或其它组件中的至少一个接收的命令或数据。此外，应用处理器或通信处理器可以将从其它组件中的至少一个接收或由其它组件中的至少一个产生的数据存储在非易失性存储器中。

存储器120可以包括内部存储器或外部存储器。内部存储器可以包括易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或非易失性存储器(例如，一次可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、NAND闪存存储器、NOR闪存存储器等)中的至少一个。根据实施方式，内部存储器可以采用固态驱动器(SSD)的形式。外部存储器可以包括闪存驱动器，例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极端数字(xD)或记忆棒等。

输出装置130可以包括显示模块或扬声器中的至少一个。输出装置130可以向用户显示包括多媒体数据、文本数据、语音数据等的各种类型的数据，或者输出数据作为声音。

输入装置140可以包括触摸板、数字笔传感器、键或超声输入装置等。例如，输入装置140可以是输入/输出接口150。触摸板可以识别电容型、压敏型、红外型或超声型中的至少一者中的触摸输入。此外，触摸板还可以包括控制器(未示出)。在电容式触摸板的情况下，不仅直接触摸而且接近识别是可能的。触摸板还可以包括触觉层。在这种情况下，触摸板可以向用户提供触觉反应。

数字笔传感器可以使用与接收用户触摸输入相同或类似的方法或单独的识别层来实现。键可以使用键板或触摸键。超声输入装置是能够通过在用户设备(UE)处通过产生超声信号的笔检测微声波来确认数据并能够进行无线识别的装置。电子装置100还可以使用通信模块170从连接到通信模块170的外部装置(例如，网络、计算机或服务器)接收用户输入。

输入装置140还可以包括相机模块和麦克风。相机模块是能够拍摄图像和视频的装置，并且可以包括一个或更多个图像传感器、图像信号处理器(ISP)或闪光LED。麦克风可以接收语音信号并将其转换为电信号。

输入/输出接口150可以通过输入装置或输出装置通过总线(未示出)向处理器110、存储器120、通信模块170等发送从用户输入的命令或数据。例如，输入/输出接口150可以向处理器110提供通过触摸板输入的用户触摸输入的数据。例如，输入/输出接口150可以通过输出装置130输出通过总线从处理器110、存储器120、通信模块170等接收的命令或数据。例如，输入/输出接口150可以通过扬声器向用户输出由处理器110处理的语音数据。

传感器模块160可以包括姿势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、抓握传感器、接近传感器、RGB(红、绿、蓝)传感器、生物计量传感器、温度/湿度传感器、照度传感器或紫外线(UV)传感器中的至少一个。传感器模块160可以测量物理量或感测电子装置100的操作状态以将测量或感测的信息转换为电信号。附加地或另选地，传感器模块160可以包括电子鼻传感器、心电图(EMG)传感器、脑电图(EEG)传感器(未示出)、心率监测仪(ECG)传感器、光电容积脉搏波描记(PPG)传感器、心率监测器(HRM)传感器、出汗传感器、指纹传感器等。传感器模块160还可以包括用于控制其中包括的至少一个传感器的控制电路。

通信模块170可以包括无线通信模块或RF模块。无线通信模块可以包括例如Wi-Fi、BT、GPS或NFC。例如，无线通信模块可以使用射频来提供无线通信功能。附加地或另选地，无线通信模块可以包括用于将电子装置100连接到网络(例如，互联网、LAN、WAN、电信网络、蜂窝网络、卫星网络、POTS或5G网络等)的网络接口或调制解调器等。

RF模块可以负责发送和接收数据，例如发送和接收RF信号或所谓的电子信号。例如，RF模块可以包括收发器、功率放大模块(PAM)、频率滤波器或低噪声放大器(LNA)等。此外，RF模块还可以包括用于在无线通信中在自由空间中发送和接收电磁波的组件，例如导体或引线等。

根据本公开的各种实施方式的电子装置100可以包括TV、冰箱、烤箱、服装造型器、机器人清洁器、无人机、空调、空气净化器、PC、扬声器、家庭CCTV、电灯、洗衣机和智能插头中的至少一个。由于图5所示的电子装置100的组件被例示为通常在电子装置中提供的组件，所以根据本公开的实施方式的电子装置100不限于上述组件，并且如果需要或期望，可以省略和/或添加组件。电子装置100可以通过从图4所示的AI装置接收AI处理的结果来执行基于人工智能的控制操作，或者可以通过包括其中AI装置的组件被集成到一个模块中的AI模块以装置上的方式执行AI处理。

图6例示了智能洗衣机的外观。

参照图6，在其上实现根据本公开的实施方式的控制方法的智能洗衣机10可以包括形成外观的柜体402、设置在桶(未示出)内的滚筒410、使滚筒410旋转的电机(未示出)、安装在柜体402的前表面上的柜体盖416、联接到柜体盖416的门418、以及用于输入智能洗衣机10的操作指令的控制面板420。

柜体盖416安装到柜体402的前部并且包括形成在中央处的衣物入口。门418可移动地安装在柜体盖416上并且打开和关闭衣物入口。控制面板420包括输入键，该输入键设置在柜体盖416的上部上并且显示洗衣机的操作状态并且给出智能洗衣机的操作指令。

图7例示了应用于本公开的实施方式的智能洗衣机的相机。

在本公开的实施方式中，相机CAM1可以设置在洗衣机10的门418中。相机CAM1可以设置在外盖418A与内玻璃418B之间，但不限于此。作为示例，由于相机CAM1设置在外盖418A和内玻璃418B之间的空间中，因此本公开可以有效地防止来自智能洗衣机10的外部的冲击或异物，并且防止由于滚筒410中的洗涤水或衣物引起的污染或接触。

根据智能洗衣机10的功能和用途，可以提供至少一个相机CAM1。例如，相机CAM1可以被实现为包括多个图像传感器的立体相机(或3D相机)或被实现为包括一个图像传感器的2D相机，但不限于此。用于捕获滚筒410的内部的这种相机CAM1可以被定义为滚筒相机CAM1。

多个相机CAM1可以设置在外盖418A的内壁上以便面向内玻璃418B，并且可以在处理器710(参见图8)的控制下获得包括内玻璃418B的图像的图像数据。处理器710(参见图8)可以处理并合并由相应相机CAM1获得的门图像，或选择门图像之一并将其应用于一个或更多个基于人工神经网络的学习模型中的一者。

根据本公开的实施方式，垫圈416A可以围绕衣物入口的周边形成，以防止滚筒中的洗涤水溅出。例如，垫圈416A可以防止洗涤水从滚筒410与柜体之间、滚筒410与门418之间等溅出。垫圈416A可以由橡胶制成，但不限于此。

根据本公开的实施方式，多个相机中的一个可以被配置为捕获垫圈416A并获得包括垫圈416A的图像的图像数据。由于内玻璃418B在门418关闭的状态下位于相机CAM2和垫圈416A之间，所以处理器710(参见图8)可以以在门418打开的状态下获得垫圈图像的方式进行控制。用于捕获垫圈416A的图像的这种相机CAM2可以被定义为垫圈相机CAM2。

图8是例示根据本公开的实施方式的智能洗衣机的配置的框图。图8的智能洗衣机10集中于和上面参照图5描述的组件的差异来进行描述，并且省略了冗余。

参照图8，智能洗衣机10可以包括处理器710、存储器720、输出装置730、输入装置740、传感器模块750和通信模块760。智能洗衣机10可以对应于上面参照图4描述的AI装置的示例。

输出装置730可以包括用于向用户通知与智能洗衣机10的操作相关的各种信息的输出装置。例如，输出装置730可以包括作为音频输出装置的扬声器或蜂鸣器，并且包括作为图形或文本输出装置的显示器。例如，输出装置730可以设置在图4的控制面板上，但不限于此。

输入装置740可以包括通过用户操纵向智能洗衣机10输入预定的信号或数据的至少一个输入装置。例如，输入装置740可以包括按钮、拨号盘、触摸板、麦克风等。输入装置740可以设置在控制面板上，但不限于此。

根据本公开的实施方式，输入装置740可以包括一个或更多个相机CAM1和CAM2，并且相机CAM1和CAM2可以包括上述门相机CAM1和垫圈相机CAM2。

处理器710可以控制智能洗衣机10的整体操作。处理器710可以执行包括洗涤行程(stroke)、漂洗行程、旋转-干燥行程或干燥行程的控制操作。处理器710可以根据预设算法执行控制操作，并且可以根据每个行程来控制电机773、进水阀771、排放泵772等的操作。

在本公开的实施方式中，处理器710可以从用户的语音或图像中识别用户，并且从所识别的用户信息中预测与用户信息相对应的洗涤过程。此外，处理器710可以基于预测的洗涤过程控制智能洗衣机10。

处理器710可以在正在执行控制操作时通过相机CAM收集滚筒内的图像，并且使用预先学习的预测模型来预测滚筒内的污染水平。处理器710可以控制智能洗衣机10以根据预测的污染水平执行附加的控制操作。

处理器710可以基于不平衡量和噪声水平来检测衣物。在这种情况下，处理器710可以通过麦克风收集在桶旋转时产生的噪声，并且根据RPM的改变量来检测不平衡量。基于如上所述的收集和检测到的信息，处理器710可以检测衣物缠结。处理器710可以根据是否检测到衣物缠结来执行各种控制过程。

处理器710可以基于滚筒内的图像来检测注意物品。注意物品是指不适合于洗衣机的使用的物品。

处理器710可以基于附加控制操作的信息来增强和学习预测模型。

下面详细描述本公开中描述的智能洗衣机10的控制方法。

参照图9，在S110中，处理器710可以从用户的语音或图像中识别用户。

智能洗衣机10可以通过麦克风或相机接收用户的语音或图像。在此情况下，可将图像理解为包含静止图像和移动图片两者。

处理器710可以将用户的语音或图像以及在语音或图像上标记的标识信息设置为学习数据集以学习基于人工神经网络的用户识别模型。处理器710可以将用户的语音或图像应用于预先学习的识别模型，并且从识别模型的输出值识别与语音或图像相对应的用户。

在S120中，处理器710可以根据所识别的用户的信息来预测与用户信息相对应的洗涤过程。

可以使用基于人工神经网络的过程推荐模型来预测洗涤过程。

处理器710可以通过将用户信息和在用户信息上标记的洗涤过程设置为学习数据集来预先学习根据本公开的实施方式的第一过程推荐模型。处理器710可以将在S110中识别的用户信息应用于第一过程推荐模型并根据输出值来预测与用户信息对应的洗涤过程。

在这种情况下，用户信息可以以ID格式存储。例如，用户信息可以以与特定用户相对应的ID格式存储，例如，ID#01的父亲(○○○)、ID#02的母亲(△△△)和ID#03的女儿(◇◇◇)。包括在第一过程推荐模型的类中的至少一个洗涤过程可以由用户的使用历史来确定。使用历史的信息可以包括用户信息、织物的类型、洗涤时间、洗涤频率或控制操作期间的附加用户过程设置中的至少一个。

根据本公开的另一实施方式的第二过程推荐模型可以由处理器710通过将用户信息和织物的类型设置为输入数据并且将输入数据上标记的洗涤过程设置为学习数据集来进行预先学习。处理器710可以将在S110中识别的用户信息以及通过滚筒相机CAM识别的滚筒中的织物的类型应用于第二过程推荐模型并且可以根据输出值来预测洗涤过程。

智能洗衣机10可以使用第一过程推荐模型和第二过程推荐模型中的一个，并且还可以通过在操作上组合第一过程推荐模型和第二过程推荐模型来一起使用第一过程推荐模型和第二过程推荐模型。

在本公开的各种实施方式中，可以基于用户的使用历史来确定标记的洗涤过程。可以通过分析用户的使用历史将标记的洗涤过程设置为最常用的洗涤过程。

在S130中，当正在执行控制操作时，处理器710可以通过相机CAM收集滚筒内的图像。

处理器710可以在执行洗衣机的控制操作的同时通过相机CAM产生滚筒内的图像。在这种情况下，所产生的图像可以被定义为滚筒图像。

在S140中，处理器710可以使用预先学习的预测模型来预测滚筒内的污染水平。

回归模型、神经网络(NN)或长短期记忆(LSTM)递归神经网络中的至少一个可以用于预测污染水平。

预测模型可以是通过将从滚筒内的图像提取的特征值和响应于特征值而标记的污染水平设置为学习数据来训练的学习模型。处理器710可以将滚筒内的图像应用于预测模型并且基于预测模型的输出值来预测滚筒内的污染水平。

在S150中，处理器710可以根据预测的污染水平执行附加的控制操作。

在本公开的实施方式中，处理器可以基于根据预测的污染水平识别的用户信息将预测的第一洗涤过程改变为第二洗涤过程。第一洗涤过程和第二洗涤过程可以包括洗涤行程、漂洗行程或旋转-干燥行程中的至少一个。在第二洗涤过程中包括的至少一个行程可以在操作顺序、操作模式、操作时间或RPM中的至少一个中与对应的第一洗涤过程的对应的至少一个行程不同。在本公开的各种实施方式中，当预测的污染水平等于或大于预设阈值时，处理器710可以控制以执行附加漂洗行程。此外，处理器710可以设置漂洗行程，使得漂洗行程中漂洗的次数和时间与预测的污染水平成比例地增加。

图10例示了图9的步骤S110。

参照图10，相机CAM可以设置在洗衣机的门418上。相机CAM可以设置在外盖与内玻璃之间，但不限于此。

根据智能洗衣机10的功能和用途，可以提供至少一个相机CAM。例如，相机CAM可以被实现为包括多个图像传感器的立体相机(或3D相机)或者被实现为包括一个图像传感器的2D相机，但不限于此。用于捕获滚筒的内部的这种相机可以被定义为滚筒相机。

根据本公开的实施方式的相机可以响应于门418的打开而产生用户的图像。具体地，相机CAM可以具有被设置为捕获用户的面部区域的广角。处理器710可以通过相机CAM产生用户的面部图像，并且基于面部图像来识别谁当前正在放置衣物(或衣服)。

在这种情况下，产生的图像可以应用于以上参照图8描述的至少一个基于人工神经网络的学习模型，并且可以用于产生各种推断结果。

参照图11，在S210中，处理器710可以从用户的语音或图像中识别用户，并且将所识别的用户信息应用于过程推荐模型。

如上所述，根据本公开的实施方式的过程推荐模型可以由处理器710通过将用户信息和在用户信息上标记的洗涤过程设置为学习数据集来预先学习。处理器710可以将在S110中识别的用户信息应用于过程推荐模型并且根据输出值来预测与用户信息对应的洗涤过程。

在S220中，处理器710可以基于过程推荐模型的输出值来确定洗涤过程。

图12例示了图11的洗涤过程预测方法的实现示例。

参照图12，如上所述，当智能洗衣机10的门418转换为打开状态的事件发生时，处理器710可以通过相机CAM识别用户的面部。处理器710可以根据识别的结果来查询所检测到的用户的用户信息。用户信息可以包括用户的ID。

如以上参照图11所描述的，处理器710可以将用户信息应用于过程推荐模型。处理器710可以从过程推荐模型针对用户信息的输出值中确定洗涤过程。

处理器710可以根据所确定的洗涤过程控制洗衣机的操作。例如，处理器710可以基于用户的面部识别结果将用户识别为ID#01。当ID#01被输入时，过程推荐模型可以推荐其中执行洗涤行程并然后漂洗行程被重复3次30分钟的洗涤过程。

参照图13，在S310中，处理器710可以响应于门418的关闭而通过相机CAM产生滚筒内的图像。

处理器710可以通过包括在智能洗衣机10中的至少一个传感器来感测门418的关闭。例如，包括在门418中的输入传感器可以检测门418关闭时的压力变化，并且基于压力变化产生信号。例如，包括在门418中的超声波传感器可以基于超声波信号的接收量的变化来感测门418的关闭。例如，包括在门418中的光学传感器可以基于传感器周围的照度的变化来感测门418的关闭。根据本公开的感测门关闭的传感器不限于上述示例。

当处理器710感测到门418的关闭时，处理器710可以控制相机CAM以产生滚筒内的图像。结果，当门418关闭时，处理器710可以产生滚筒内的图像。

在S320中，处理器710可以基于滚筒内的图像来识别织物的类型。

织物的类型可以包括丝绸、毛皮、棉花等。处理器710可以从滚筒内的图像中提取特征信息，并且使用所提取的特征信息来识别织物的类型。在这种情况下，所提取的特征信息可以包括织物的类型、材料、重量或数量中的至少一者。

在S330中，处理器710可以将所识别的织物的类型和用户信息应用于过程推荐模型并且从过程推荐模型的输出值中确定洗涤过程。

如上所述，根据本公开的另一实施方式的过程推荐模型可以由处理器710通过将用户信息和织物的类型设置为输入数据并且将输入数据上标记的洗涤过程设置为学习数据集来预先学习。处理器710可以将在S110中识别的用户信息和通过滚筒相机识别的滚筒中的织物的类型应用于过程推荐模型并且可以根据输出值来预测洗涤过程。

图14例示了图13的洗涤过程预测方法的实现示例。

参照图14，如上所述，处理器710可以基于用户信息和在执行控制操作的同时通过相机CAM获得的滚筒内的图像来确定洗涤过程。

处理器710可以通过经由门418的相机CAM识别用户来产生用户信息。处理器710还可以通过门418的相机CAM来识别滚筒内的织物的类型。

处理器710可以使用用户信息和由此识别的织物的类型来确定洗涤过程。

例如，处理器710可以基于用户的面部识别结果来确定用户是ID#02。在门418关闭的时刻，处理器710可以将位于滚筒中的织物的类型识别为羊毛。

在这种情况下，处理器710可以将ID#02和羊毛作为输入数据应用于洗涤过程推荐模型，并且可以将用户频繁使用的羊毛洗涤过程设置为基于输出值的控制操作。

参照图15，在S410中，处理器710可以产生滚筒内的图像并且识别所产生的滚筒内的图像中包括的一个或更多个物品。

在S420中，处理器710可以检测滚筒内的图像中包括的一个或更多个物品中的注意物品。

注意物品指的是不适合洗衣机的目的的物品。注意物品可以包括易受水影响的物品，诸如贵重物品和电子装置。例如，当智能电话被放入洗衣机中时，处理器710可以检测智能电话。

在本公开的实施方式中，处理器710可以使用预先学习的基于人工神经网络的分类模型来检测注意物品。预先学习的分类模型可以是使用多个训练图像以及对应于多个训练图像的标记数据进行预先训练的学习模型。在这种情况下，标记数据可以是注意物品信息。此外，标记数据可以由用户预设。

如果存在注意物品(S420中的“是”)，则在S430中，处理器710可以向用户设备1500发送警告消息。

警告消息可以包括滚筒内的图像和通知存在注意物品的文本消息。在这种情况下，滚筒内的图像可以是其中仅裁剪包括注意物品的区域的图像。在本公开的实施方式中，如果存在注意物品，则处理器710可以控制智能洗衣机10的控制操作停止。

如果不存在注意物品(S420中的“否”)，则处理器710可以分析滚筒内的图像以预测和/或确定洗涤过程。

图16例示了图15的注意物品检测方法的实现示例。

参照图16，当在智能洗衣机10的滚筒中检测到智能电话1500时，处理器710可以向用户设备1500发送关于智能电话1500的检测的消息。

例如，可以通过分析在智能洗衣机10的门418关闭的时刻获得的滚筒内的图像来执行注意物品的检测。也就是说，通过在执行洗涤行程之前检测注意物品，可以通过将由于洗涤水引起的对注意物品的损坏的发生引导至发生损坏之前来防止由于注意物品的损坏而导致的对用户的损害。

如上所述，注意物品是指不适合于洗衣机的目的的物品。注意物品可以包括易受水影响的物品，诸如贵重物品和电子装置。例如，当智能电话1500被放入洗衣机中时，处理器710可以检测智能电话1500。

参照图17，在S510中，处理器710可以接收滚筒内的图像。

在S520和S530中，处理器710可以从滚筒内的图像中提取特征信息并且使用所提取的特征信息确定污染水平。

可以使用卷积神经网络(CNN)模型来执行图像的特征提取。处理器710可以将滚筒内的图像应用于CNN模型并且从CNN模型的输出值推断特征信息。从输入图像提取的特征可以是矢量或多个矢量的形式。

当污染水平超过预设阈值(S540中的“是”)时，在S550中，处理器710可以控制智能洗衣机10执行附加的漂洗行程。

图18例示了图17的污染水平测量方法的实现示例。

参照图18，处理器710可以在执行洗涤行程、漂洗行程或旋转-干燥行程中的至少一个的控制操作的同时通过相机CAM获得滚筒内的图像。

在实现方式中，处理器710可以在正在执行洗涤行程的同时获得滚筒内的图像，并且将所获得的图像应用于预测模型以预测滚筒内的污染水平。如上所述，通过在执行洗涤行程的同时预测污染水平，处理器710可以修改洗衣机的控制操作，使得进一步执行附加的洗涤行程或增加漂洗行程的时间。

在另一实现方式中，处理器710可以在正在执行漂洗行程的同时获得滚筒内的图像且将所获得的图像应用于预测模型以获得滚筒内的图像。如上所述，通过在执行漂洗行程的同时预测污染水平，处理器710可以修改洗衣机的控制操作，使得进一步执行附加的漂洗行程。

在又一实现方式中，处理器710可以在执行旋转-干燥行程的同时获得滚筒内的图像，并且将所获得的图像应用于预测模型以获得滚筒内的图像。如上所述，通过在执行旋转-干燥行程的同时预测污染水平，处理器710可以修改洗衣机的控制操作，使得进一步执行附加的洗涤行程。

图19是例示根据本公开的实施方式的用于衣物缠结的控制方法的流程图。

当在洗涤之后用于洗涤的洗涤水被排放到外部时，执行漂洗行程，并且处理器710可以高速旋转电机773以通过离心力将附着到滚筒410的内壁的衣物旋转-干燥。在这种情况下，如果衣物不均匀地分布在滚筒中，则发生不平衡并且桶过度振动。

相反，如果衣物均匀地分布在滚筒中并且因此不平衡量较小，则滚筒410的旋转是均匀的，并且因此由于桶的振动而引起的噪声水平可以是较低的。

例如，如果衣物均匀地分布，则噪声水平在洗涤行程和/或漂洗行程期间可以小于或等于58dB，并且在旋转-干燥行程期间可以小于或等于63dB。例如，如果衣物不是均匀分布的，则噪声水平在洗涤行程和/或漂洗行程期间可以大于或等于58dB，并且在旋转-干燥行程期间可以大于或等于63dB。

下面描述根据本公开的实施方式的智能洗衣机10关于衣物缠结和噪声的控制方法。

参照图19，在S610中，处理器710可以通过麦克风收集通过旋转桶而产生的噪声。

在S620中，处理器710可以根据每分钟转速(RPM)的改变量来检测不平衡量。不平衡量可以根据RPM的改变量来预测，并且本公开的实施方式中的处理器710可以使用UB预测模型来预测RPM的改变量。可以利用RPM的改变量和对应于RPM的改变量的标记数据来训练UB预测模型。标记数据可以是不平衡量。因此，处理器710可以测量RPM的改变量并且根据所测量的RPM的改变量来检测不平衡量。

在S630中，处理器710可以基于不平衡量和噪声水平来检测衣物缠结。

如果存在衣物缠结，则桶的噪声水平可以增加，并且不平衡量可以增加，因为衣物不是均匀分布的。相反，如果没有衣物缠结，则桶的噪声水平在正常范围内，并且不平衡量是正常的，因为衣物是均匀分布的。

基于该点，不平衡量和噪声水平被设置为输入数据，并且可以利用与输入数据相对应的标记数据来训练衣物缠结检测模型。处理器710可以使用衣物缠结检测模型来识别衣物缠结。

如果检测到衣物缠结(S640中的“是”)，则在S651中，处理器710可以向用户设备1500发送关于衣物缠结的消息。

关于衣物缠结的消息可以包括指示衣物缠结已经发生的文本消息和滚筒内的图像中的至少一个。

如果检测到衣物缠结(S640中的“是”)，则在S652中，处理器710可以将桶的RPM控制为小于或等于衣物附着速度。

如果未检测到衣物缠结(S640中的“否”)，则在S653中，处理器710可以将桶的RPM控制为大于或等于衣物附着速度的恒定速度。

当在洗衣机的控制操作中执行附加控制操作时，根据本公开的各种实施方式的智能洗衣机10的控制方法可以基于附加控制操作的信息来对预测模型进行强化学习。在这种情况下，附加控制操作可以包括根据衣物缠结是否发生的附加控制操作以及根据滚筒内的污染水平的附加控制操作中的至少一个。

参照图20，在S710中，处理器710可以根据预测的污染水平执行附加的控制操作，并且可以在完成控制操作时通过相机CAM收集垫圈图像。

在本公开的实施方式中，相机可以是垫圈相机。

在S720中，处理器710可以搜索用户的使用历史。

在这种情况下，用户的使用历史可以包括用户信息、织物的类型、洗涤时间、洗涤频率、清洁桶的次数、桶的清洁频率或控制操作中的附加用户过程设置信息中的至少一个。

在S730中，处理器710可以基于垫圈图像和使用历史来确定何时清洁滚筒410。

处理器710可以使用从垫圈图像提取的特征信息和使用历史来确定何时清洁滚筒410。处理器710可以将垫圈图像和使用历史应用于何时清洁滚筒的预先学习的预测模型，并且可以从作为应用的结果的输出值确定何时清洁滚筒410。

在本公开的实施方式中，如果确定了何时清洁滚筒410，则处理器710可以向用户设备1500发送引导消息。

图21例示了图20中的确定何时洗涤滚筒的方法的实现示例。

参照图21，当智能洗衣机10的控制操作完成或检测到门418的打开时，处理器710可以产生垫圈图像。

处理器710可以将垫圈图像应用于垫圈416A的污染水平检测模型，提取垫圈图像的特征信息，并且基于所提取的特征信息来确定何时清洁滚筒410。

例如，垫圈416A的污染水平检测模型的权重值可以由处理器710计算，使得清洁滚筒410的时间被推断为接近与垫圈416A的污染水平成比例的当前时间。

已经通过示例的方式基于其中洗涤桶被水平地设置的前装载洗衣机描述了本公开，但不限于此。例如，本公开可以以相同的方式应用于顶部装载洗衣机。例如，顶部装载洗衣机可以包括在门的内侧上的至少一个相机，并且可以执行相同的AI处理。例如，顶部装载洗衣机可以包括在衣物入口的圆周表面上的至少一个相机，并且可以执行预测何时清洁洗涤桶的AI处理。也就是说，可以基于以上参照附图6至图21描述的各种控制方法来控制和/或管理顶部装载洗衣机。

上面描述的本发明可以使用其上记录有用于由处理器执行以执行本文呈现的各种方法的程序的计算机可读介质来实现。计算机可读介质包括能够存储可由计算机系统读取的数据的所有种类的记录装置。计算机可读介质的示例包括硬盘驱动器(HDD)、固态盘(SSD)、光盘驱动器(SDD)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置、本文呈现的其它类型的存储介质及其组合。如果需要，计算机可读介质可以以载波的形式(例如，通过互联网的传输)来实现。因此，前面的描述仅仅是示例，而不应被认为是对本发明的限制。本发明的范围应当由所附权利要求的合理解释来确定，并且本发明的等同范围内的所有变化都包括在本发明的范围内。

Claims

1.一种控制智能洗衣机的方法，所述方法包括以下步骤：

从用户的图像中识别所述用户；

基于所识别的用户信息来预测与所述用户信息相对应的第一洗涤过程；

基于预测的第一洗涤过程来执行控制操作；

在正在执行所述控制操作的同时通过相机收集滚筒内的图像；

基于所述滚筒内的所述图像和预先学习的预测模型来预测所述滚筒内的污染水平；以及

基于预测的所述污染水平来将所述第一洗涤过程改变为第二洗涤过程。

2.根据权利要求1所述的方法，其中，预测所述第一洗涤过程的步骤包括以下步骤：

将所述用户信息应用于预先学习的基于人工神经网络的过程推荐模型；以及

基于所述过程推荐模型的输出值来确定所述洗涤过程。

3.根据权利要求1所述的方法，其中，预测所述第一洗涤过程的步骤包括以下步骤：

响应于门的关闭而通过所述相机收集所述滚筒内的图像；

基于所述滚筒内的所述图像来识别织物的类型；以及

将所识别的织物的类型和所述用户信息应用于预先学习的基于人工神经网络的过程推荐模型以确定所述第一洗涤过程。

4.根据权利要求1所述的方法，其中，所述用户的标识信息以ID的形式被存储。

5.根据权利要求1所述的方法，其中，所述第一洗涤过程和所述第二洗涤过程包括洗涤行程、漂洗行程或旋转-干燥行程中的至少一个，并且

其中，在操作顺序、操作模式、操作时间或RPM中的至少一个中，所述第二洗涤过程中包括的行程不同于所述第一洗涤过程的对应行程。

6.根据权利要求1所述的方法，所述方法还包括以下步骤：

通过麦克风收集通过使桶旋转而产生的噪声；

从每分钟转速RPM的改变量来检测不平衡量；以及

基于所述不平衡量和所述噪声的水平来检测衣物缠结。

7.根据权利要求6所述的方法，所述方法还包括以下步骤：

基于感测到所述衣物缠结，向用户设备发送关于所述衣物缠结的消息。

8.根据权利要求6所述的方法，所述方法还包括以下步骤：

基于感测到所述衣物缠结，在所述控制操作中将所述桶的所述RPM控制为小于或等于衣物附着速度。

9.根据权利要求6所述的方法，所述方法还包括以下步骤：

基于未感测到所述衣物缠结，在所述控制操作中将所述桶的所述RPM控制为大于或等于衣物附着速度的恒定速度。

10.根据权利要求1所述的方法，所述方法还包括以下步骤：

基于所述控制操作被完成，收集垫圈的图像；

搜索所述用户的使用历史；以及

基于所述垫圈的所述图像和所述使用历史来确定何时清洁所述滚筒。

11.根据权利要求10所述的方法，其中，所述使用历史包括所述用户信息、织物的类型、洗涤时间、洗涤频率、清洁桶的次数、所述桶的清洁频率、或所述控制操作中的附加用户过程设置中的至少一个。

12.根据权利要求1所述的方法，所述方法还包括以下步骤：

分析所述滚筒内的图像并检测在所述滚筒内的图像中包括的一个或更多个物品当中的不适合用于所述洗衣机的注意物品；以及

基于检测到所述注意物品，向用户设备发送警告消息。

13.根据权利要求1所述的方法，所述方法还包括以下步骤：

基于改变的洗涤过程的信息来对所述预测模型进行强化学习。

14.一种智能洗衣机，所述智能洗衣机包括：

通信模块；

存储器；

相机，所述相机被配置为捕获包括用户的图像和滚筒内的图像；以及

处理器，所述处理器被配置为：

从包括所述用户的所述图像中识别所述用户；

在正在基于预测的第一洗涤过程执行控制操作的同时通过所述相机收集所述滚筒内的图像；

基于所述滚筒内的图像和预先学习的预测模型来预测所述滚筒内的污染水平；以及

15.根据权利要求14所述的智能洗衣机，其中，所述用户的标识信息以ID的形式被存储。

16.根据权利要求14所述的智能洗衣机，其中，所述第一洗涤过程和所述第二洗涤过程包括洗涤行程、漂洗行程或旋转-干燥行程中的至少一个，并且

17.根据权利要求14所述的智能洗衣机，所述智能洗衣机还包括：

麦克风，所述麦克风被配置为收集通过使桶旋转而产生的噪声；

其中，所述处理器还被配置为从每分钟转速RPM的改变量来检测不平衡量并且基于所述不平衡量和所述噪声的水平来检测衣物缠结。

18.根据权利要求17所述的智能洗衣机，其中，所述处理器还被配置为：基于感测到所述衣物缠结，通过所述通信模块向用户设备发送关于所述衣物缠结的消息。

19.根据权利要求17所述的智能洗衣机，其中，所述处理器还被配置为：基于感测到所述衣物缠结，在所述控制操作中将所述桶的所述RPM控制为小于或等于衣物附着速度。

20.根据权利要求17所述的智能洗衣机，其中，所述处理器还被配置为：基于未感测到所述衣物缠结，在所述控制操作中将所述桶的所述RPM控制为大于或等于衣物附着速度的恒定速度。