CN110273259A - 基于事物感测设定功能的洗衣机、云服务器及其设定方法 - Google Patents

基于事物感测设定功能的洗衣机、云服务器及其设定方法 Download PDF

Info

Publication number
CN110273259A
CN110273259A CN201910197840.4A CN201910197840A CN110273259A CN 110273259 A CN110273259 A CN 110273259A CN 201910197840 A CN201910197840 A CN 201910197840A CN 110273259 A CN110273259 A CN 110273259A
Authority
CN
China
Prior art keywords
information
washings
washing
washing machine
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910197840.4A
Other languages
English (en)
Other versions
CN110273259B (zh
Inventor
黄盛睦
金相润
朴润植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN110273259A publication Critical patent/CN110273259A/zh
Application granted granted Critical
Publication of CN110273259B publication Critical patent/CN110273259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00Control of operations performed in washing machines or washer-dryers 
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00Control of operations performed in washing machines or washer-dryers 
    • D06F33/30Control of washing machines characterised by the purpose or target of the control 
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00Control of operations performed in washing machines or washer-dryers 
    • D06F33/30Control of washing machines characterised by the purpose or target of the control 
    • D06F33/47Responding to irregular working conditions, e.g. malfunctioning of pumps 
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/14Arrangements for detecting or measuring specific parameters
    • D06F34/18Condition of the laundry, e.g. nature or weight
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F37/00Details specific to washing machines covered by groups D06F21/00 - D06F25/00
    • D06F37/30Driving arrangements 
    • D06F37/304Arrangements or adaptations of electric motors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2103/00Parameters monitored or detected for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2103/02Characteristics of laundry or load
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2103/00Parameters monitored or detected for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2103/02Characteristics of laundry or load
    • D06F2103/04Quantity, e.g. weight or variation of weight
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2103/00Parameters monitored or detected for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2103/24Spin speed; Drum movements
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2103/00Parameters monitored or detected for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2103/26Imbalance; Noise level
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2103/00Parameters monitored or detected for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2103/44Current or voltage
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/46Drum speed; Actuation of motors, e.g. starting or interrupting
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F23/00Washing machines with receptacles, e.g. perforated, having a rotary movement, e.g. oscillatory movement, the receptacle serving both for washing and for centrifugally separating water from the laundry 
    • D06F23/04Washing machines with receptacles, e.g. perforated, having a rotary movement, e.g. oscillatory movement, the receptacle serving both for washing and for centrifugally separating water from the laundry  and rotating or oscillating about a vertical axis
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00Control of operations performed in washing machines or washer-dryers 
    • D06F33/30Control of washing machines characterised by the purpose or target of the control 
    • D06F33/48Preventing or reducing imbalance or noise
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/04Signal transfer or data transmission arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Control Of Washing Machine And Dryer (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

本发明涉及一种基于利用人工智能的事物感测而设定功能的洗衣机、云服务器以及对所述云服务器进行控制的方法,根据本发明一实施例的基于事物感测设定功能的洗衣机,基于洗涤物的高度、图像、重量以及在洗涤过程中产生的物理信息或电气信息,算出适合于洗涤物的洗涤行程设定信息,或者从云服务器接收适合于洗涤物的洗涤行程设定信息,由此进行动作。

Description

基于事物感测设定功能的洗衣机、云服务器及其设定方法
技术领域
本发明涉及一种基于利用人工智能的事物感测而设定功能的洗衣机、云服务器以及对所述云服务器进行控制的方法。
背景技术
通常,洗衣机将马达作为主动力源,并利用洗衣剂的乳化作用和水流的摩擦作用、冲击作用等来去除附着于衣物的污渍的装置,进行洗涤、漂洗以及脱水行程。
根据洗涤对象物的投入位置,洗衣机可划分为顶部投入(top loading)式和前方投入(front loading)式。顶部投入式洗衣机是采用洗涤物从洗衣机的上侧投入或取出的洗衣机。顶部投入式洗衣机通过具有垂直排列的旋转轴的马达进行旋转。另一方面,前方投入式洗衣机是洗涤物采用从洗衣机的前方侧投入或取出的洗衣机。
上述多种洗衣机的装载方式利用洗涤物、洗衣剂、水且通过旋转力来执行洗涤、漂洗以及脱水的功能。
另一方面,在根据洗涤物的种类或特性准确设定功能的情况下,可以最大限度地利用洗衣机的性能。
图1是重新配置美国公开专利2010-0205823中的用于确认洗涤物的绒毛(fluff)的技术性步骤的图。若洗衣机的滚筒进行旋转(S1),则将图像数量设定为0(S2),并且将进行图像截取所需的时间信息设定为0(S3)。之后,截取图像(S4)。对截取到的图像进行分析(S5),确认所获取到的图像的数量是否与作为目标的数量相对应(S6),当未达到目标数量时,图像数量增加1。另外,确认所经过的时间是否大于1除以影像比率(S8),在更大的情况下,执行S4步骤。在反复进行S4步骤至S6步骤的过程中,如S9步骤所示,若图像的数量与目标数量相对应,则确认衣物是否处于被绒毛覆盖的状态(S9)。通过其确认洗涤物的绒毛是否为规定等级以上,由此确定适合于其的动作参数(S10)。
在图1中,通过拍摄洗涤物的内部来对洗涤物的绒毛状态进行判断,为了实现这一点,将会存在需要具有能够对绒毛进行确认的高分辨率摄像头(camera)的问题。另外,由于应对绒毛的洗涤功能是非常有限的,因此存在有难以完整地确认洗涤物的特性的局限。
因此,需要有在用户将洗涤物投入到洗衣机时判断洗涤物的特性,并且自动地设定与洗涤物特性相对应的洗涤控制的洗衣机。
对此,在本说明书中,公开了洗衣机算出洗涤物的特性,并且基于所算出的结果进行动作的洗衣机及其的控制方法。
发明内容
本说明书是为解决上述问题而提出的,其目的在于,提供一种,其通过掌握洗涤物的特性来对洗衣机的动作进行控制,由此在洗衣机的功能设定过程中与洗涤物不对应的情况下对其进行弥补的装置和方法。
本说明书的目的还在于,提供一种,为了确认洗涤物对洗衣机的动作施加负荷的特殊情况,通过获取针对洗涤物的物理信息或图像信息并输入到基于所述信息进行学习的模块中,来算出洗涤行程的装置和方法。
本说明书的目的还在于,还提供一种在为了算出洗涤物的特性而提取特征的过程中,通过应用多种滤波器来提取设定行程中所需的信息的装置和方法。
本发明的目的并不限于以上提及到的目的,本领域的技术人员通过以下的记载能够理解未被提及到的其他目的和优点,并且,通过本发明的实施例能够更加明确地理解。另外,能够容易理解通过权利要求书中描述的技术方案和其组合来能够实现本发明的目的和优点。
本发明一实施例的基于事物感测设定功能的洗衣机,基于洗涤物的高度、图像、重量以及在洗涤过程中产生的物理信息或电气信息(electrical information),算出适合于洗涤物的洗涤行程设定信息,或者从云服务器接收适合于洗涤物的洗涤行程设定信息,由此进行动作。
本发明一实施例的基于事物感测设定功能的洗衣机,包括用于算出与特殊负荷物相对应的行程设定信息的学习部,所述学习部通过从洗涤物的体积、图像信息以及由洗衣机所测量到的信息中提取特征,来算出与学习的结果相对应的行程设定信息。
本发明一实施例的基于事物感测设定功能的洗衣机,利用基于针对洗涤物的特征信息的学习结果,来预测或确认水溅或洗涤物的偏重状态,由此对洗衣机的功能进行控制。
本发明一实施例的基于事物感测设定功能的云服务器,其从多个洗衣机接收洗涤物的高度、图像、重量以及在洗涤过程中产生的物理信息或电气信息,并且通过将其应用于学习部来算出适合于洗涤物的洗涤行程设定信息,之后将其提供给各个洗衣机。
本发明一实施例的基于事物感测设定功能的方法,其包括:洗衣机测量作为洗涤物特征的信息,并且将其传输到云服务器的步骤;云服务器将接收到的信息输入到学习部,并且算出行程设定信息的步骤;以及云服务器通过将算出的信息传输到洗衣机,来对洗衣机的功能进行控制的步骤。
在应用本发明的这些实施例的情况下,可通过感测(sensing)洗涤物的体积或重量、或者图像来对用于指示与感测到的信息相对应的洗衣机的特殊行程的动作进行控制,由此能够降低洗衣机发生错误的可能性,并且能够提供洗衣机中的未被用户确认到的功能,从而能够提高洗涤功能和设备的安全性。
在应用本发明的实施例的情况下,通过获取针对洗涤物的物理信息或图像信息来确认洗涤物对洗衣机的动作施加负荷的特殊情况,由此能够与所确认到的特殊情况而选择洗涤行程,并且,在一系列的进行学习的模块中实现这种选择过程,从而能够与洗涤物对应地提供准确的洗涤功能。
在应用本发明的实施例的情况下,在为了算出洗涤物的特性而提取特征的过程中,通过使用多种滤波器来将行程设定中必需的信息输入到学习模块,从而能够提高选择洗涤功能的准确度。
本发明的效果不限于上述效果,本领域的技术人员能够容易从本发明的特征中导出本发明的多种效果。
附图说明
图1是重新配置美国公开专利2010-0205823中的用于确认洗涤物的绒毛的技术性步骤的图。
图2是表示本发明一实施例的洗衣机的结构的图。
图3是表示本发明一实施例的洗衣机的动作过程的图。
图4是表示本发明一实施例的基于负荷和用户的洗涤行程设定的自动设定(setting)过程的图。
图5是表示在本发明一实施例的顶部投入式洗衣机中配置有传感器的结构的图。
图6是表示本发明一实施例的详细动作过程的图。
图7是表示本发明一实施例的云服务器进行学习的图。
图8和图9是示出将规定的滤波器适用于图像的实施例的图。
图10是表示本发明一实施例的基于羽绒服的图像和卷积滤波器(convolutionfilter)而算出图像的特征(features)过程的图。
图11是表示本发明一实施例的云服务器和洗衣机之间交换信息的过程的图。
图12是表示本发明一实施例的学习部的构成的图。
附图标记说明
100:洗衣机 110:距离传感器
120:图像传感器 130:学习部(洗衣机)
170:测量部 200:云服务器
230:学习部(云服务器) 250:数据库部
具体实施方式
下面,参照附图对本发明的实施例进行详细说明,使得本领域的普通技术人员能够容易实施。本发明可以以多种不同的方式实现,并不限于此处进行说明的实施例。
为了清楚地说明本发明而省略了与说明无关的部分,在整个说明书中对相同或相似的结构要素赋予了相同的附图标记。另外,参照附图对本发明的部分实施例进行详细说明。在对各个附图中的结构要素赋予附图标记时,即使相同的结构要素表示在不同的附图,但尽可能赋予相同的附图标记。另外,当判断为对于相关的公知结构或功能的说明会模糊本发明的要旨时,省略其详细说明。
在对本发明的结构要素进行说明的过程中,可以使用第一、第二、A、B、(a)、(b)等的术语。但是,这种术语仅用于将一个结构要素与另一个结构要素区分,并不是对该结构要素的本质、顺序、顺序以及数量进行限定的。当记载为某个结构要素“连结”、“结合”或“连接”于其它结构要素时,应该理解为上述结构要素可直接连结或连接上述其它结构要素,并且,也可以在各个结构要素之间“连结”、“结合”或“连接”有另一结构要素。
另外,在说明本发明的过程中,为了便于说明可以细分化结构要素而进行说明,但是,这些结构要素可以在一个装置或一个模块内实现,或者一个结构要素分配到多个装置或模块中而实现。
在本说明书中,对基于洗涤物的图像和用户设定行程的学习,而自动设定洗涤行程的方法以及实现该方法的装置进行说明。另外,在此过程中使用配置于洗衣机内的摄像头,以在无需用户的介入的情况下,自动地解决在主要洗涤过程中因具有特定的种类或特性的洗涤物可能会发生的问题。在本说明书中,对利用摄像头识别洗涤物的特性,并且自动设定洗涤控制的实施例进行说明。在此过程中,为了掌握洗涤物的特性,洗涤物的位置和高度或重量等信息也可以一并采用。
在本说明书中,主要以顶部投入式的洗衣机为中心进行说明。但是,本发明不限于此,即使在前方投入式洗衣机的情况下,也可以根据与顶部投入式洗衣机对应的位置和结构应用。
图2是表示本发明一实施例的洗衣机的结构的图。
洗衣机100包括:洗涤功能部190,其用于对洗涤槽和马达等的洗涤中直接需要的功能进行控制;以及控制模块101,其为了使洗涤功能部190进行动作,提供设定功能、生成信息以及进行存储等的功能。洗涤功能部190提供收纳洗涤物并进行洗涤的物理功能和电气功能。控制模块101是为了便于说明的一些逻辑性结构要素的单元,多种结构要素实际上可以一体或分开地呈现在洗衣机100内。
控制模块101内的结构要素,通过提取投入到洗衣机中的洗涤物的特性来设定与其相对应的洗涤功能,由此对洗涤功能部190的动作进行控制。
距离传感器110可配置于洗涤功能部190的上部或侧面,上部是指,构成洗涤功能部190的洗涤槽盖(图5中的附图标记191),或者洗涤功能部190的上部角落部分等高于洗涤物的位置。侧面是指,在前方投入式洗衣机的情况下,位于洗涤槽的侧面中的最上方的部分,并且实际上对洗涤物的高度进行感测的区域。距离传感器110用于算出距离信息(深度(depth)信息)。作为一个实施例,距离传感器110可配置于顶部投入式洗衣机的上端部,并且测量堆积在洗涤槽中的洗涤物的高度。可以使用射频信号和红外线信号。将TOF(Time ofFlight Sensor:飞行时间传感器)传感器或深度传感器(Depth Sensor)作为一实施例。
图像传感器120算出颜色信息(或者,灰色对比信息(information on grayscalecontrast)),并且与距离传感器110相同地可配置于洗涤功能部190的上部或侧面。图像传感器120可配置于顶部投入式洗衣机的上端部,由此感测堆积在洗涤槽中的洗涤物的颜色。可以将RGB摄像头作为一实施例。也可以与前述的深度传感器结合而算出RGBD(RGB+Depth)信息。
测量部170用于测量洗涤物的重量、或者在洗涤过程中产生的物理信息或电气信息。控制部150基于行程设定信息对洗涤功能部190进行控制,所述行程设定信息是配置于洗衣机内的学习部130或配置于洗衣机外部的云服务器200对应由距离传感器110算出的距离信息、由图像传感器120算出的图像信息、由测量部170算出的测量信息而算出的。
洗衣机的学习部130或云服务器200的学习部230,能够使学习和提取洗涤物的特征的过程或者算出与该过程相对应的行程设定信息,在洗衣机100或云服务器200中的任意一方实现。
图3是表示本发明一实施例的洗衣机的动作过程的图。
利用传感器110、120,算出图像信息和距离信息(S11)。另外,利用测量部170,算出由洗衣机测量到的信息(时间、RPM、偏心状态、振动、重量、马达的电压和电流等)(S12)。
将在S11步骤和S12步骤中算出的信息作为输入信息,并且将与其对应的行程设定信息作为输出信息,由此基于这些信息进行学习(S13)。学习也可以在经由通信部140与洗衣机100连接的服务器中实现。S11步骤至S13步骤是指学习过程。将洗衣机内的学习部130或外部的云服务器200在之前执行的洗涤过程中所算出的距离信息、图像信息以及测量信息作为输入因子,并且将在所述洗涤过程中所设定的行程设定信息作为输出因子并进行多种学习。
根据本发明的另一实施例,也可以通过控制部150内的学习部130实现。即,将外部的云服务器基于由各种洗衣机提供的特征和输出信息而进行学习,并且在结束学习的情况下向洗衣机100提供进行判断时所需的信息的情形,作为一实施例。另外,将学习部130基于由该洗衣机100提供的特征和输出信息,自行进行学习的情形,作为另一实施例。
若结束学习,则将控制部150或服务器控制成,基于由传感器感测到的图像信息和距离信息而判断特殊负荷,并且与其对应地自动设定行程(S14)。S14步骤是指,在结束学习之后,学习部130或云服务器200算出适合于所输入的信息的行程设定信息的过程。即,学习部130或云服务器200在从控制部150接收距离信息、图像信息以及测量信息之后,若洗涤物为特殊负荷洗涤物,则算出与其对应的行程设定信息。
为了提高洗衣机的基本性能,会存在引起问题状况(水溅/UB断电/织物扭结)的负荷(洗涤物),将其可称为特殊负荷(special load)。作为引起水溅(water splash)、UB断电(unbalanced Power Off)、织物扭结(twisted or knotted laundry)等状况的负荷,有着羽绒服、被褥、毛毯、枕头、运动衣物、礼服衬衫等。若对其适用图3中的工序,则洗衣机100可以识别例如为羽绒服/被褥/毛毯/枕头的相当于特殊负荷的洗涤物的体积、形状以及所述负荷。
更详细地说,洗衣机根据当前状态的信息(测量到的信息)和从传感器(TOF/RGBD摄像头传感器)接收到的影像/深度信息,确认洗涤物是否为特殊负荷,并且通过对水溅、UB断电、织物扭结进行预测,来能够自动进行用于解决所述问题的行程设定或洗涤功能的设定。
下面,对图3进行说明。洗衣机100或云服务器200将由传感器(TOF/RGBD)算出的图像、距离信息和由测量部170测量的洗衣机测量信息(重量、马达的电压和电流等)用作输入因子。洗衣机或云服务器将基于其的用户的行程设定信息用作输出信息并进行学习,之后,洗衣机对输入的类似的负荷特性(TOF/RGBD)进行控制,以自动设定行程。
若通过仅重复学习步骤S11至步骤S13来如深度学习(deep learning)那样确定隐藏层的节点(node)和边缘(edge)的权重(weight)和偏差等,则如步骤S14那样,开始进行洗涤过程,并且能够算出适合于其的行程设定信息。
在步骤S11和步骤S12中,洗衣机100通过针对距离传感器(TOF传感器)110和图像传感器(RGBD传感器)120的图像信息和距离信息的学习来能够识别负荷,可以将图像信息作为用于学习的输入特征(feature)应用,所述图像信息是将卷积(convolution)滤波器适用于获得(raw)图像而生成的。
在步骤S13中,洗衣机100可以利用洗涤槽(tube)内的洗涤物的距离信息来推定洗涤物的体积,并且通过与图像信息关联来判断负荷特性。根据负荷特性,洗衣机100将对洗衣机产生主要影响的负荷识别为特殊负荷,作为以这种方式能够被识别的对象有被褥、羽绒服、玩偶等。并且,在步骤S14中,根据特殊负荷设定洗涤模式和相关的控制参数,由此设定过程。
作为设定可能的行程的例子有:i)洗涤模式自动设定(供水量、洗涤行程);ii)水溅(基于泵体强度的调节的水流强度自动设定)控制;iii)UB断电(马达RPM的调节、脱水时的振动阈值设定等)控制等。
以水溅控制作为一实施例,水溅控制是指,在像被褥或羽绒服一样的洗涤物的情况下,由于与重量相比其体积庞大,因此在供水过程中对水压进行调节而防止水飞溅。因洗涤物较多或具有浮于水的特性的纤维材质,可能会发生洗涤物上升到洗涤槽内的上方部分的状态,在该情况下,若在供水过程中水飞溅到洗涤槽外侧,则可能会发生漏水或产品故障,因此需要对水溅进行控制。
UB(偏心)断电是指对如下状况进行控制的现象,所述状况是当洗涤物在洗涤过程中持续着在洗涤槽内偏向一侧的状态时,使以规定速度进行旋转的所述马达的三个端子断开,之后重新启动的状态。即,是指控制成纠正洗涤物偏向一侧的现象。当洗涤物的位置在洗涤槽内偏向一侧的状态进行脱水时,在偏移的重心上产生振动,当振动水准达到限制基准时处于马达停止的状态,将该状态称作UB断电。在UB断电的状态下,洗衣机使马达停止并执行用于分散洗涤物的功能,使得洗涤物在洗涤槽内均匀分布。
除此之外,如织物扭结控制那样,为了解决洗涤物缠在一起的现象,对洗涤槽的旋转方向进行控制的行程也属于该织物扭结控制。
如图3所示,基于在洗涤槽内配置的洗涤物的图像信息和距离信息,确认洗涤物具有的特殊的负荷状态,洗衣机100可以与其相对应地自动设定特殊负荷所需的行程。这是为了,在行程设定中提高用户的便利性,并且,可以事先防止因洗涤物的特殊负荷而可能会产生的噪音或振动、水溅等,由此减小消费者的不便。另外,还能够缩短洗涤时间,并且提高结束时间的预测准确度。
尤其,如此前所述,在对特殊负荷的洗涤物未能自动设定适当的洗涤行程的情况下,也有可能损坏洗涤物或洗衣机。例如,当未考虑到洗涤物的特征时,通常会与洗涤物的种类无关地,累积用户以前设定过的行程履历信息,并且通过针对频度较高的菜单进行设定组合来能够设定行程。
这种基于频度的行程设定,在洗涤频度较低的特殊洗涤物或功能性衣物的情况下可能会成为不适合的洗涤功能。在应用图3中的实施例的情况下,学习洗涤物的图像信息和用户行程设定信息之后,当判断为相似的洗涤物时,通过设定所学到的过程信息来对洗衣机能够提供的多种行程进行自动设定,由此能够提高洗涤性能。
图4是表示本发明一实施例的基于负荷和用户的洗涤行程设定的自动设定过程的图。在图4中,洗衣机的学习部130或云服务器200的学习部230,通过洗涤物的图像、体积、重量等信息和用户所设定的洗涤行程的学习来进行学习。并且,图4是表示洗衣机100根据学习结果与洗涤物的负荷相对应地,进行匹配自动洗涤行程设定的过程的图。
将之前在图3中进行说明的步骤和各个结构要素之间的相互作用作为重点进行说明。首先,具有特殊负荷的洗涤物如附图标记21、22、23那样可以配置于洗涤功能部190的洗涤槽内。在洗涤槽内,附图标记21表示配置的被褥,附图标记22表示配置的玩偶,附图标记23表示配置的针织类。
距离传感器110和图像传感器120通过对如附图标记21、22、23那样配置于洗涤槽内的洗涤物进行感测来获得图像、距离等信息(S31)。所获得的信息可以是一个特征(feature),作为一实施例可以与图像、体积相匹配。在体积的情况下,可以利用距离信息。
并且,测量部170通过感测重量来生成特征。三个特征信息(featureinformation)(重量、体积、图像),作为输入因子提供给洗衣机100内的学习部130,或者提供给为学习而与洗衣机100进行通信的云服务器。学习部130和云服务器是以相同的原理进行动作的学习模块,在图4中,学习模块由附图标记25表示。即,学习模块25是均包括学习部130和云服务器的概念。具有输入因子和输出因子,并且在这些之间设定节点和链路(link)的权重和偏差等。
另一方面,在附图标记21、22以及23的状况下,用户所选择的行程信息(例如,行程1、行程2、行程3等)可以作为输出因子而提供。
学习模块25、即学习部130或云服务器基于所输入的因子(重量、体积、图像)和用户所设定的行程信息(行程1、行程2、行程3)进行学习,并且算出用于设定输入因子和输出因子之间的对应关系的各个节点和各个链路(边缘(edge))的权重(weight)和偏差(bias)。在此,作为行程1、行程2、行程3的一实施例,可以是如被褥洗涤过程、玩偶洗涤过程、羽绒服洗涤过程等的与特殊负荷相对应的额外的行程设定信息。或者,可以包括与各个特殊负荷相对应的详细的行程信息(水量、旋转速度、漂洗强度、织物扭结解决等)。
若学习模块25结束学习,则洗衣机100反映学习信息(S33),并且根据洗涤物在洗涤槽内的配置状况自动地设定行程(S34)。
下面,对图4进行说明。将由传感器110、120算出的特征信息和由测量部170算出的特征信息提供给学习模块25,学习模块25将用户所设定的过程信息作为输出信息而进行学习。
当结束学习之后,若向洗涤槽内投入洗涤物,则传感器110、120和测量部170算出针对该洗涤物的特征信息,若将该特征信息输入到学习模块25,则自动地导出相对应的行程,由此控制部150可以以所导出的行程对洗涤功能部190的动作进行控制。
另一方面,当在服务器中实现学习时,在学习过程中,可以将基于洗涤物具有的负荷的匹配行程菜单提供给服务器。另外,控制部150在洗衣机以该行程进行动作的过程中,对时间延迟的状况进行监控,并且可将其纳入学习过程中。例如,在用户因错误地设定行程并持续使用洗衣机的情况下,对由此而发生的时间延迟或在洗衣机进行动作时所发生的UB断电、织物扭结、水溅等进行确认,由此在发生错误的行程设定的情况下,也能将由用户设定的错误行程所带来的错误部分反映到学习中。
在图4中,除了步骤S34中自动设定行程的实施例之外,还可以输出例外处理状况的信息。例如,将提取到的特征输入到学习模块25的结果,可以算出为预测水溅或预测织物扭结、UB断电。
图5是表示在本发明一实施例的顶部投入式洗衣机中配置有传感器的结构的图。作为一实施例,在洗涤槽盖191可以配置有图像传感器120,由此对洗涤槽内的洗涤物的图像进行拍摄。并且,在洗涤槽的侧面可配置有距离传感器110,由此利用距洗涤槽内的洗涤物的距离来感测洗涤物的高度。
当然,也可以将距离传感器110和图像传感器120全部配置于洗涤槽盖191,还可以将距离传感器110和图像传感器120全部配置于洗涤槽的侧面。
作为与图5不同的结构,通过在洗涤槽盖191配置距离传感器110来能够对洗涤槽内的洗涤物的高度进行感测,并且通过在洗涤槽的侧面配置图像传感器120来能够对洗涤槽内的洗涤物的图像进行拍摄。
图6是表示本发明一实施例的详细动作过程的图。
配置于规定高度的距离传感器110和图像传感器120,获取深度数据(距离信息)和图像。并且,根据包含距离信息的深度图像、由图像传感器120生成的RGB或灰色图像信息,判断是否为特殊负荷还是一般负荷。特殊负荷是指,需要执行特殊的洗涤功能的特殊类型的洗涤物。一般负荷是指,不需要执行特殊的洗涤功能的洗涤物。
关于详细的负荷判断还是可以由学习模块25执行。例如,学习模块25将输入深度图像(1-channel)+GrayImage(1channel)或RGB图像(3channel)作为输入因子或输入矩阵,并且通过在之前基于学习模块25的学习的权重矩阵(Weight matrix)、偏差向量(biasvector)、滤波器矩阵(Filter matrix)等,来最终判断是否为被褥/玩偶/羽绒服/一般负荷(S41)。
学习模块25的判断(S41),是为了对与一般洗涤物不同的、如比重量相比体积庞大或密度较小的被褥、玩偶、羽绒服那样的特殊洗涤物(负荷)进行判断的步骤。并且,通过判断特殊的洗涤物来算出适合于其的洗涤行程信息,由此对如供水、脱水等的主要洗涤过程(洗涤行程)产生影响,从而能够事先防止洗涤时间延迟或如水溅、振动、或噪音增加的问题。
即,学习模块25利用洗涤物的图像信息、距离信息、体积信息等,来学习负荷特性。另外,在对该洗涤物进行洗涤的过程中,学习模块25判断是否对洗衣机产生恶劣影响,由此算出适合于该洗涤物的洗涤模式和用于进行控制的行程设定信息。
并且,在通过对负荷的识别来判断为特殊负荷的情况下(S42),如步骤S43至步骤S52所示那样,设定适合于所述负荷的行程,而在判断为不是特殊负荷的情况下,设定为标准洗涤(S55)。
进一步详细进行说明。在步骤S41中,基于特征信息对负荷进行判断,若判断为不是特殊负荷,则确认是否可以以标准洗涤进行洗涤(S42)。通过针对负荷的识别来设定标准洗涤(S55)或设定被褥洗涤/玩偶洗涤/羽绒服洗涤(S43),自动地设定适合负荷的供水量和RPM、脱水时间等(S43、S55)。
并且,将特征信息(例如,作为距离信息的深度图像、RGB或从RGB转换的灰色图像、洗涤行程信息或测量信息)等转换为矩阵(输入矩阵)形态的信息结构,并且将其提供给学习模块25。
作为输入矩阵可以是相当于距离信息的深度图像(1channel),而作为用于区分洗涤物的图像可以是GrayImage(1channel)或RGB图像(3channel)。另外,洗衣机内部的数据(测量或行程信息等的1channel)可以是输入矩阵。并且,输入矩阵输入到学习模块25(S44),并且通过对学习模块25内的链路和节点设定的权重矩阵(Weight matrix)、偏差向量(bias vector)、滤波器矩阵(Filter matrix)等,来最终导出是否为水溅/UB预测/正常动作状况的对应状况信息(S45)。
对应状况信息的导出,可以是适合当前洗涤物的行程设定,也可以是针对可能会发生的例外状况的信息。在对应状况信息的导出是适合当前洗涤物的行程设定(过程设定)的情况下,将分别对应于水溅、UB断电或正常动作而设定的行程作为一实施例。在对应状况信息的导出是针对可能会发生的例外状况的信息(例外状况)的情况下,将用于指示水溅、UB断电或正常动作的信息作为一实施例。
在对应状况信息的导出是针对可能会发生的例外状况的信息的情况下,即在例外状况为水溅的情况下(S46),控制部150预测水溅(S47),并且设定用于解决水溅的行程(S48)。例如,控制部150向洗涤功能部190发送中止指令,并且通过将旋转和水压调整为适合洗涤物的类型、形状、体积的RPM速度来设定行程,以解决水溅现象。
学习部130或云服务器200的学习部230、即学习模块25,可以对水溅生成与否进行判断。例如,学习模块25基于距离信息、图像信息以及测量信息,将洗涤物判断为比重量相比体积庞大的洗涤物。即,在虽然堆放的洗涤物的体积和量较大,但重量不大的情况下,或者在体积或量过大的情况下,学习模块25判断为在为进行洗涤而供水时发生水溅的概率较高。
例如,学习模块25可判断为:洗涤槽的盖191和洗涤物之间的距离(深度信息)越小或洗涤物的体积越大,发生水溅的概率越高。在水溅的发生可能性较高的特殊负荷洗涤物的情况下,学习模块25可以将用于防止水溅的行程设定信息作为行程设定信息算出。所算出的行程设定信息可以包括降低供水的速度或降低供水的量等的行程设定。
作为其他实施例,为了解决水溅问题,控制部150可以使洗涤功能部190的泵体停止工作,并且以适合洗涤物体积的RPM速度进行旋转,而且对水压进行调节。并且,持续地累积针对洗涤物的图像信息、距离信息或测量信息,由此通过学习模块25确认是否需要新的行程设定信息。或者,洗衣机100的控制部150可重新启动洗涤功能部190的泵体,或者调节水压。
另外,在UB(偏心)断电的情况下,学习模块25在洗涤物的量和体积为规定以上且偏向一侧的情况下,判断为发生偏心的概率较高。例如,基于控制部150的控制可执行:用行程设定信息使脱水动作停止,并且适当地向洗涤物供水,由此使洗涤物均匀地展开的步骤。另外,在供水或排水之后,也可以以适合洗涤物的体积的RPM速度进行运转,并且通过重新设定适合洗涤物的振动阈值来防止发生过度的振动。
除此之外,控制部150在虽判断为特殊负荷但用户设定了错误行程的情况下,对界面部180进行控制以向用户告知所述错误行程。
若学习部130或云服务器200的学习部230、即学习模块25基于距离信息、图像信息以及测量信息,判断洗涤物在洗涤功能部190内配置成偏向一侧,则判断为UB断电的发生可能性较大。
例如,在从洗涤槽的盖191进行拍摄的洗涤物的高度不恒定或只偏向某一侧的情况下,为了在感测到的重量结果为洗涤物偏斜等的情况下解决偏重了的状态,学习模块25可以将用于使洗涤物均匀配置于所述洗涤功能部内的行程设定信息作为行程设定信息而算出。通过停止洗涤或脱水且进行供水,来能够消除洗涤物的缠绕或偏重。或者,也可以实施降低供水的速度或降低供水的量等的行程设定。由此,通过预测UB断电或非断电(不存在偏重)状态(S51),控制部150设定用于解决洗涤物的缠绕或偏心的行程(S52)。
例如,控制部150可通过停止洗涤功能部190的脱水,并且投入适合洗涤物的形状或体积的水,来使洗涤物均匀展开之后进行排水,然后使洗涤功能部190以适合负荷的RPM速度进行动作。
为此,在投入洗涤物时,也可以通过学习模块25来设定适合的负荷判断或行程。另外,在对洗涤物进行洗涤的过程中,持续地提取特征信息,并且通过学习模块25执行适合的负荷判断,由此变更为适合于其的行程或选择额外的功能。
图7是表示本发明一实施例的云服务器进行学习的示意图。
云服务器200的学习部230与多个洗衣机(100a、100b、…、100n)进行通信,并且基于由这些洗衣机所提供的特征信息(图像信息、距离信息、体积、重量信息等)和由用户所设定的洗涤行程信息(洗涤行程,脱水行程等)而进行学习。之后,若结束学习,则云服务器200的学习部230预测与由洗衣机所提供的特征信息相对应的行程设定信息或有关例外状况的信息等,由此能够提供适合的行程设定信息。
数据库部250用于存储由这些洗衣机所提供的特征信息,作为一实施例,用于存储洗涤物的体积或重量、由传感器算出的图像(作为深度图像的距离信息、作为RGB或灰色图像的用于识别洗涤物类型的图像信息等)以及由各个洗衣机的测量部170算出的测量信息(例如,马达信息等)。
云服务器200将主要特征信息作为参数而存储于数据库部250。云服务器200的学习部230在相同的负荷下算出针对洗涤时间的正规分布,并且在洗衣机的状态超出正常水准的情况下,可以向洗衣机提供有关洗衣机的非正常状态的通知。例如,在固定体积和重量下,当超出执行可能的洗涤时间的正规分布范围时,学习部230判断为洗衣机出现了异常,云服务器200利用通信部210可以向洗衣机通知该情况,或者可以通过移动通信装置提供通知。另外,数据库部250用于存储当前设定、由客户输入的行程设定信息或者基于学习部230的学习结果而导出的行程设定信息。
另外,数据库部250累积并存储针对相似负荷和在相同行程下的振动、洗涤时间的信息,由此在与收集到云服务器200的DB统计值(statistic)比较分析结果判断发生异常现象时,可以向客户提供通知。例如,在发生异常现象的情况下,云服务器200的通信部210可以向洗衣机传送异常通知消息。
与洗衣机100的学习部130相同地,图7中的云服务器200或云服务器200的学习部230也成为此前提及到的学习模块25的一个实施例。
另外,在用户通过应用针对由云服务器200收集到的相似负荷的用户洗涤行程信息来欲了解洗涤方法的情况下,提供较多地适用于经过学习而判断的负荷的洗涤行程,并且对相同负荷和行程下的洗涤时间进行比较,由此在洗涤时间发生异常延迟时能够提供售后服务和检查指南。
在图7所示的结构中,洗衣机(100a、100b,…、100n)的通信部140将在洗涤过程中所算出的距离信息、图像信息以及测量信息传输到云服务器200,云服务器200的通信部210接收该信息。此处,也可以选择性地将已设定于洗衣机的行程设定信息、洗衣机的型号、或识别信息等一并传输。
云服务器200的学习部230基于距离、图像、测量信息,判断该洗涤物是否为特殊负荷洗涤物,并且在是特殊负荷洗涤物的情况下,对其算出行程设定信息。并且,若云服务器200的通信部210提供所算出的行程设定信息,则洗衣机(100a、100b,…、100n)的通信部140接收该信息。
之后,洗衣机(100a、100b、…、100n)的控制部150基于所接收到的行程设定信息,对洗涤功能部190的功能进行控制。
图8和图9是示出将规定的滤波器适用于图像的实施例的图。图8是表示应用本发明一实施例的卷积(convolution)的过程的图。对于基于卷积的学习进程(process),以在图像内使特定的滤波器(例如,3x3滤波器)进行移动,并且提取特征的进程作为一实施例。在图8中,图像60的各个像素的值被设定为1或0。在此,若应用3x3核心滤波器(kernelfilter)65而执行卷积运算,则示出在步骤S67中将滤波器65应用于图像60中的第一个3x3矩阵60a的结果、即4(66a)。
并且,通过向右侧移动(shift)滤波器,可以确认到在S68的图像60中将滤波器65应用于第二个3x3矩阵60b的结果、即3(66b)。
图9是通过本发明另一实施例的最大池化(max pooling)方式来应用一个滤波器,由此设定为该单元内的最大值的实施例。通过将2x2滤波器应用于图像70,来将四个像素中的最大值如附图标记75那样进行存储。
在图8和图9中,示出了用于从算出的图像中提取特征的实施例。在图8和图9中,若将滤波器应用于洗涤物的图像,则能够提取图像的特征。尤其,在应用多种滤波器的情况下,转换后的图像可成为多种形态,当将其输入到学习模块时,可以确定适合于行程设定的图像滤波器。
下面,对应用图8和图9而确认羽绒服的过程进行说明。可以将特定的滤波器应用于对羽绒服进行拍摄的图像81。例如,若将拍摄有羽绒服的图像可能会具有的各种子图像包括于各个滤波器(例如,由特定的颜色、图案等的子图像构成的滤波器),并且将其应用于图像,则能够提取只与这种子图像相对应的部分,由此能够提取如图像82所示的特征。
并且,通过将额外的卷积滤波器或最大池化滤波器应用于如图像82那样算出的图像,来能够算出如图像83所示的图像。将羽绒服的图像作为一实施例,可以应用子图像,其包括斜线纹、颜色混合的图案等。滤波器可根据欲过滤的洗涤物的种类构成为不同。
因此,根据情况,滤波器可划分为可应用于被褥的滤波器、可应用于羽绒服的滤波器、可应用于玩偶的滤波器等,并且在生成用于向输入矩阵提供的图像的过程中,基于各种滤波器中的最能准确地算出洗涤物的特征的滤波器而进行学习。
图10是表示本发明一实施例的基于羽绒服的图像和卷积滤波器而算出图像的特征(features)的过程的图。图像81是由图像传感器120算出的图像信息。对此,为了在羽绒服图像中刻画特定的要素,如此前的图8所示,若将第一卷积滤波器应用于原来的图像81,则如图像82所示那样转换为强调了羽绒服的外观和主要图像部分的图像。
另外,通过应用第二卷积滤波器,来能够算出如图像83所示的黑/白分明的图像的特征。参照图10,基于包括子图像的卷积滤波器,能够从图像中算出特征。
参照图10,在将预先准备的滤波器应用于特定类型的洗涤物的情况下,能够提取洗涤物的特征,并且基于提取到的特征而确认洗涤物的类型。当然,除此之外,利用洗涤物所配置的高度和重量等信息来算出体积信息,并且基于所算出的信息确认洗涤物的类型。
综上,为确认洗涤物的特征而算出的图像信息,可以是RGB或灰色图像。另外,可以是,通过将卷积滤波器或最大池化滤波器中的任意一个以上应用于由图像传感器120检测到的图像,来进行特征提取的图像信息。进行特征提取的图像,能够更准确地对特殊的洗涤物(例如,羽绒服、被褥、玩偶等)进行判断。
图11是表示本发明一实施例的云服务器和洗衣机之间交换信息的过程的图。
可执行步骤S90至步骤S92的学习过程,使得云服务器200能够对应特殊负荷而进行动作。多个洗衣机100a、100b向云服务器200传输由所述洗衣机的距离传感器110算出的距离信息、由洗衣机的图像传感器120算出的图像信息、由洗衣机的测量部170算出的测量信息以及对应这些而在洗衣机中设定的行程设定信息(S90、S91)。
通过规定的学习次数,结束针对构成云服务器200的学习部230的信息的更新。之后,云服务器200从洗衣机100a接收距离信息、图像信息、测量信息(S93)。云服务器200将所接收到的信息输入到学习部230,由此学习部230算出适合于这些的行程设定信息(S94)。并且,云服务器200的通信部210将算出的行程设定信息传输给该洗衣机100a(S95),洗衣机100a基于行程设定信息对洗涤功能部190进行控制(S96)。
步骤S90至步骤S92可以预先进行并结束。即,一部分洗衣机可以参与学习过程(S90至S92)中。另一部分洗衣机可以在没有学习过程(S90至S92)的情况下基于已在云服务器200的学习部230中进行的步骤S93至步骤S96的过程,从云服务器200接收对应于洗涤物的行程设定信息。另外,洗衣机可以在洗涤开始的时间点基于步骤S93至步骤S96的过程而设定行程,也可以在洗涤途中发生异常现象(水溅,UB断电等)时,基于步骤S93至步骤S96的过程而接收与当前已设定的行程不同的行程设定信息,并进行动作。
下面,对图11中的过程进行说明。
洗衣机100a的通信部140将由洗衣机100a的距离传感器110算出的距离信息、由洗衣机100a的图像传感器120算出的图像信息、由洗衣机的测量部170算出的测量信息,传输给云服务器(S93)。
已经在步骤S90至步骤S92中结束学习的云服务器200的学习部230,通过将距离信息、图像信息以及测量信息输入至输入节点,来算出行程设定信息(S94)。并且,云服务器200的通信部向所述洗衣机的通信部传输所算出的行程设定信息(S95)。之后,洗衣机的控制部基于从云服务器200接收到的行程设定信息,对所述洗涤功能部的功能进行控制(S96)。其结果,基于针对洗涤物的事物感知,能够设定洗衣机的功能。
图12是表示本发明一实施例的学习部的构成的图。洗衣机100的学习部130或云服务器200的学习部230通过包括由输入层、隐藏层以及输出层构成的深度学习模块来进行学习,若结束学习,则与输入层对应地从输出层算出信息。
输入层,将以深度图像作为一实施例的距离信息320、以RGB或灰色图像作为一实施例的图像信息310、以及以洗涤行程信息或物理/电气测量信息作为一实施例的测量信息330,设定为输入节点的输入因子。
另外,如图8至图10所示,学习部130、230通过重复应用使用卷积滤波器的卷积层(convolution layer)、使用最大池化滤波器的最大池化层(max pooling layer),来能够设定为隐藏层350的输入节点。如附图标记340所示,其为学习部130、230以适合学习的方式从图像信息310或其他输入信息提取特征的过程。即,卷积滤波器或最大池化滤波器不仅可以应用于图像信息,还可以应用于距离信息、测量信息。
如此前图8所示,卷积层是,将输入数据整体以规定大小的核(Kernel)尺寸且以规定大小进行移动(shift),并且采用卷积(convolution)技术而求出的层。将来自卷积层的输入数据以规定的大小尺寸且以规定大小进行移动,并且在核内采取最大值的层是最大池化层。这些卷积层和最大池化层可以交替配置,在此过程中,能够刻画图像信息、距离信息、测量信息的特征。
在图12中,三种类型的信息可以是转换为矩阵形态的输入因子,并且通过在此前所述的学习过程中所学到的卷积神经网络(Convolution Neural Network)结构,来最终能够形成预测模型。
并且,作为隐藏层(Hidden layer)350的一实施例,可以是将权重(weight)、偏差(bias)作为参数的神经网络。输出层(Output layer)采用了soft max技术,由此算出四个结果(正常、水溅、UB断电、扭结)中的概率值最高的指数(index),从而作为行程设定信息进行应用,或者作为针对洗涤物的预测值算出。
输出节点390可以将设定的行程设定信息作为输出因子。可以构成在输入层和输出层之间配置的隐藏层350,以与设定的行程设定信息和输入因子之间的关系相对应。
隐藏层350在输入节点310、320、330或340和输出节点390之间,可以具有一个以上的层。
配置于隐藏层和各个输入/输出因子的链路、偏差(bias)或各个链路的权重(weight),可以在学习过程中生成,这些隐藏层、链路、偏差、权重可以存储从外部更新而至的信息。即,学习过程中输入节点和输出节点之间的构成隐藏层的节点和边缘的权重或偏差,在学习过程中被更新。
洗衣机100内的学习部130在该洗衣机100中进行学习,可以从外部接收构成学习部130的隐藏层的节点和边缘的权重或偏差值,由此进行更新。
在云服务器200的情况下,从多个洗衣机接收学习因子(输入因子、输出因子),由此可以使学习部230进行学习。另外,云服务器200持续地向学习部230输入由多个洗衣机提供的学习因子,由此对学习部230进行更新。
就更新而言,包括学习部130、230将输入节点和输出节点之间的构成隐藏层的节点和边缘的权重在学习过程中更新的情况,随着向输入和输出提供的数据的增加,更能准确地进行更新。这种更新过程是指,学习部130、230进行学习的过程。
若结束更新,则洗衣机100内的学习部130或云服务器200的学习部230可对应规定的输入而算出输出节点的行程设定信息。即,若前述的距离信息320、图像信息310、测量信息330输入到学习部130、230,则在隐藏层350中对这些信息进行处理,由此最终对应所输入的信息而算出由输出层的输出节点进行特定的值(用于指示特定的行程设定信息的值)。
当应用本发明一实施例时,洗衣机100基于洗涤物的高度、图像、重量、以及在洗涤过程中产生的物理信息或电气信息,算出适合于洗涤物的洗涤行程设定信息,或者基于从云服务器接收适合洗涤物的洗涤行程设定信息而进行动作。另外,洗衣机100包括学习部130,所述学习部130用于算出与特殊负荷物对应的行程设定信息的学习部130,所述学习部130从洗涤物的体积、图像信息、以及由洗衣机100测量到的信息中提取特征,并且算出与进行学习的结果相对应的行程设定信息。并且,洗衣机100通过基于针对洗涤物的特征信息的学习结果,来预测或确认水溅或洗涤物的偏重的状态,从而对洗衣机的功能进行控制。
当应用本发明一实施例时,云服务器200从多个洗衣机100接收洗涤物的高度、图像、重量、以及在洗涤过程中产生的物理信息或电气信息。并且,云服务器200应用学习部230接收到的信息而算出适合于洗涤物的洗涤行程设定信息,并且将其提供给各个洗衣机100。
当应用本发明的实施例时,洗衣机100或云服务器200通过对距离信息、图像信息以及测量信息进行学习,来识别投入到洗衣机内的负荷(洗涤物),由此能够设定适合于其的过程。这能够提供有效且便利性得到改善的洗涤功能。为此,可以执行一系列的学习过程,通过用于拍摄洗涤槽内的距离传感器和图像传感器获取到的针对洗涤物的信息、测量信息以及由用户设定的行程信息(菜单选择信息)之间的学习,之后在对属于相同类型的洗涤物进行洗涤的情况下,能够自动地设定适合于其的行程。
另外,洗衣机100或云服务器200通过学习在进行洗涤时对供水、时间、振动或噪音产生主要影响的特殊负荷(玩偶,羽绒服,被褥等)来进行识别,并且根据特殊负荷自动地设定适合于洗涤运转(供水,洗涤模式)的行程,从而洗衣机能够应对各种各样的问题状况(水溅、UB断电)。由此,即便在用户没有对特殊的洗涤物选择洗衣机的特殊功能的情况下,通过自动地提供功能,来也能节约能源且提高水的利用率、脱水性能等。
在本说明书中,以构成本发明的实施例的所有结构要素结合为一体或相互结合而进行动作的情况进行了说明,但是,本发明并不必须限定于这些实施例,在本发明的目的范围内,所有的结构要素也可以选择性地结合成一个以上并进行动作。另外,所有的结构要素各自也可以由一个独立的硬件实现,但是,选择性地组合各个结构要素的一部分或全部,并且由具有用于执行组合于一个或多个硬件中一部分或全部的功能的程序模块的计算机程序实现。本发明的普通技术人员能够容易推论出构成该计算机程序的代码和代码段。这种计算机程序存储于计算机可读的存储介质(Computer Readable Media)中,并且由计算机读取并执行,由此实现本发明的实施例。作为计算机程序的存储介质,包括磁存储介质、光存储介质、半导体存储元件。另外,用于实现本发明的实施例的计算机程序,包括经由外部装置实时传输的程序模块。
以上,以本发明的实施例为中心进行了说明,但是本领域的普通技术人员能够进行各种变更或变形。因此,可理解为这种变更和变形在不脱离本发明的范围内均属于本发明。

Claims (15)

1.一种基于事物感测设定功能的洗衣机,其中,包括:
洗涤功能部,用于收纳洗涤物并进行洗涤;
距离传感器,配置于所述洗涤功能部的上部或侧面,利用距所述洗涤物的距离来感测洗涤物的高度;
图像传感器,配置于所述洗涤功能部的上部或侧面,用于感测所述洗涤物的图像;
测量部,用于对所述洗涤物的重量、或在洗涤过程中产生的物理信息或电气信息进行测量;以及
控制部,基于行程设定信息对所述洗涤功能部进行控制,所述行程设定信息是,配置于洗衣机内的学习部或配置于所述洗衣机外部的云服务器对应于由所述距离传感器算出的距离信息、由所述图像传感器算出的图像信息以及由所述测量部算出的测量信息而算出的。
2.根据权利要求1所述的基于事物感测设定功能的洗衣机,其中,
所述学习部通过将在之前执行的洗涤过程中算出的距离信息、图像信息以及测量信息作为输入因子,并且将在所述洗涤过程中设定的行程设定信息作为输出因子,来进行多种学习,
所述学习部在通过所述控制部接收所述距离信息、所述图像信息以及所述测量信息之后,判断所述洗涤物是否为特殊负荷洗涤物,在所述洗涤物为特殊负荷洗涤物的情况下,算出与所述特殊负荷洗涤物相对应的所述行程设定信息。
3.根据权利要求1所述的基于事物感测设定功能的洗衣机,其中,
所述学习部包括:
输入层,将所述距离信息、所述图像信息以及所述测量信息设定为输入节点的输入因子;
输出层,将设定的所述行程设定信息设定为输出节点的输出因子;以及
一个以上的隐藏层,配置在所述输入层和所述输出层之间,
在所述学习部的学习过程中,对构成所述隐藏层的节点和边缘的权重或偏差进行更新。
4.根据权利要求1所述的基于事物感测设定功能的洗衣机,其中,
还包括通信部,所述通信部将在洗涤过程中算出的距离信息、图像信息以及测量信息传输至云服务器,并且在所述洗涤物为特殊负荷洗涤物的情况下,从所述云服务器接收与所述特殊负荷洗涤物相对应的所述行程设定信息,
所述控制部基于接收到的所述行程设定信息对所述洗涤功能部的功能进行控制。
5.根据权利要求1所述的基于事物感测设定功能的洗衣机,其中,
在所述学习部或所述云服务器基于所述距离信息、所述图像信息以及所述测量信息,将所述洗涤物判断为与体积相比重量小的洗涤物的情况下,
所述行程设定信息是用于防止水溅的行程设定信息。
6.根据权利要求1所述的基于事物感测设定功能的洗衣机,其中,
在所述学习部或所述云服务器基于所述距离信息、所述图像信息以及所述测量信息,判断为所述洗涤物配置成偏向所述洗涤功能部内的一侧的情况下,
所述行程设定信息是用于使所述洗涤物均匀地配置于所述洗涤功能部内的行程设定信息。
7.根据权利要求1所述的基于事物感测设定功能的洗衣机,其中,
所述图像信息、所述距离信息以及所述测量信息是,通过应用卷积滤波器或最大池化滤波器中的任意一个以上来进行特征提取的信息。
8.一种基于事物感测设定功能的云服务器,其中,包括:
通信部,用于从多个洗衣机接收有关洗涤物的距离信息、图像信息、测量信息以及在所述洗衣机中设定的行程设定信息;
学习部,包括:将所述距离信息、所述图像信息以及所述测量信息设定为输入节点的输入因子的输入层;将设定的所述行程设定信息设定为输出节点的输出因子的输出层;以及配置在所述输入层和所述输出层之间的一个以上的隐藏层,在学习过程中,所述学习部对构成所述隐藏层的节点和边缘的权重或偏差进行更新;以及
数据库部,用于存储所述距离信息、所述图像信息、所述测量信息以及所述行程设定信息,
若所述通信部从洗衣机接收到在所述洗衣机的洗涤过程中算出的有关洗涤物的距离信息、图像信息以及测量信息,则所述学习部将所述距离信息、所述图像信息以及所述测量信息作为输入因子而输入到输入节点,
若所述学习部对应于所述输入而算出输出节点的行程设定信息,则所述通信部将算出的所述行程设定信息传输至所述洗衣机。
9.根据权利要求8所述的基于事物感测设定功能的云服务器,其中,
在所述学习部基于所述通信部从洗衣机接收到的在所述洗涤过程中算出的所述距离信息、所述图像信息以及所述测量信息,将所述洗涤物判断为与体积相比重量小的洗涤物的情况下,
所述行程设定信息是用于防止水溅的行程设定信息。
10.根据权利要求8所述的基于事物感测设定功能的云服务器,其中,
在所述学习部基于所述通信部从洗衣机接收到的在所述洗涤过程中算出的所述距离信息、所述图像信息以及所述测量信息,将所述洗涤物判断为配置成偏向所述洗涤功能部内的一侧的洗涤物的情况下,
所述行程设定信息是用于使所述洗涤物均匀地配置于所述洗涤功能部内的行程设定信息。
11.根据权利要求8所述的基于事物感测设定功能的云服务器,其中,
所述图像信息、所述距离信息以及所述测量信息是,通过应用卷积滤波器或最大池化滤波器中的任意一个以上来进行特征提取的信息。
12.一种基于事物感测设定功能的方法,其中,包括:
第一步骤,洗衣机的通信部将由所述洗衣机的距离传感器算出的距离信息、由洗衣机的图像传感器算出的图像信息以及由洗衣机的测量部算出的测量信息,传输至云服务器;
第二步骤,所述云服务器的学习部通过将所述距离信息、所述图像信息以及所述测量信息输入至输入节点,来算出行程设定信息;
第三步骤,所述云服务器的通信部将算出的所述行程设定信息传输至所述洗衣机的通信部;以及
第四步骤,所述洗衣机的控制部基于从所述云服务器接收到的所述行程设定信息,对用于收纳洗涤物并进行洗涤的洗涤功能部的功能进行控制。
13.根据权利要求12所述的基于事物感测设定功能的方法,其中,
所述学习部包括:
输入层,将所述距离信息、所述图像信息以及所述测量信息设定为输入节点的输入因子;
输出层,将设定的所述行程设定信息设定为输出节点的输出因子;以及
一个以上的隐藏层,配置在所述输入层和所述输出层之间,
在所述第一步骤之前,还包括:
所述云服务器的通信部从多个洗衣机接收有关洗涤物的距离信息、图像信息、测量信息以及在所述洗衣机中设定的行程设定信息的步骤;以及
所述学习部在学习过程中,对所述输入节点和所述输出节点之间的节点和边缘的权重进行更新的步骤。
14.根据权利要求12所述的基于事物感测设定功能的方法,其中,
在所述学习部基于所述第一步骤的所述距离信息、所述图像信息以及所述测量信息,将所述洗涤物判断为与体积相比重量小的洗涤物的情况下,
所述行程设定信息是用于防止水溅的行程设定信息。
15.根据权利要求12所述的基于事物感测设定功能的方法,其中,
在所述学习部基于所述第一步骤的所述距离信息、所述图像信息以及所述测量信息,判断为所述洗涤物配置成偏向所述洗涤功能部内的一侧的情况下,
所述行程设定信息是用于使偏重的所述洗涤物均匀配置于所述洗涤功能部内的行程设定信息。
CN201910197840.4A 2018-03-15 2019-03-15 基于事物感测设定功能的洗衣机、云服务器及其设定方法 Active CN110273259B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180030456A KR102111110B1 (ko) 2018-03-15 2018-03-15 인공지능을 이용한 사물 감지에 기반하여 기능을 설정하는 세탁기, 클라우드 서버 및 이를 설정하는 방법
KR10-2018-0030456 2018-03-15

Publications (2)

Publication Number Publication Date
CN110273259A true CN110273259A (zh) 2019-09-24
CN110273259B CN110273259B (zh) 2021-09-10

Family

ID=65817904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910197840.4A Active CN110273259B (zh) 2018-03-15 2019-03-15 基于事物感测设定功能的洗衣机、云服务器及其设定方法

Country Status (4)

Country Link
US (1) US11299838B2 (zh)
EP (1) EP3540111B1 (zh)
KR (1) KR102111110B1 (zh)
CN (1) CN110273259B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113463327A (zh) * 2021-06-30 2021-10-01 无锡小天鹅电器有限公司 衣物展示方法和装置、电子设备、计算机可读存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210012645A (ko) 2019-07-26 2021-02-03 삼성전자주식회사 세탁기 및 그 제어 방법
KR20210075534A (ko) 2019-12-13 2021-06-23 삼성전자주식회사 세탁기 및 그 제어 방법
CN113201905B (zh) * 2020-01-15 2024-08-23 青岛海尔洗衣机有限公司 一种衣物处理设备的衣物体积估计方法、控制方法及衣物处理系统
US20210355621A1 (en) * 2020-05-15 2021-11-18 Sarbjit S. PARHAR Artificial intelligent washer system
US20220282417A1 (en) * 2021-03-04 2022-09-08 Whirlpool Corporation Automatic laundry treatment appliance with load height detection
US11773531B2 (en) * 2021-05-27 2023-10-03 Haier Us Appliance Solutions, Inc. Method of operating a dryer appliance based on the remaining moisture content of a load of clothes
KR102533010B1 (ko) 2022-07-26 2023-05-16 지성산업 주식회사 인공지능 음식물 분쇄기 및 음식물 분쇄 방법
US11866869B1 (en) 2022-09-12 2024-01-09 Haier Us Appliance Solutions, Inc. Systems and methods using image recognition processes and determined device orientation for laundry load size determinations

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5172490A (en) * 1991-02-28 1992-12-22 Kabushiki Kaisha Toshiba Clothes dryer with neurocontrol device
TW227583B (zh) * 1991-02-28 1994-08-01 Toshiba Co Ltd
CN104250907A (zh) * 2013-06-25 2014-12-31 海尔集团公司 一种带内循环波轮洗衣机的洗衣程序及洗衣机
CN106702667A (zh) * 2016-12-22 2017-05-24 Tcl家用电器(合肥)有限公司 洗衣机及其智能洗衣方法
CN107574625A (zh) * 2017-08-18 2018-01-12 珠海格力电器股份有限公司 衣物的洗涤方法、装置、存储设备、移动终端及洗衣机

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19961459A1 (de) 1999-12-20 2001-07-12 Bsh Bosch Siemens Hausgeraete Gerät zur Behandlung von Textilien mit einer Auswerteschaltung zur Erkennung der Textilart und/oder der Feuchte eines Wäschestücks
KR20050050260A (ko) * 2003-11-25 2005-05-31 주식회사 대우일렉트로닉스 세탁기의 세탁물 양 감지 방법 및 장치
PL1779762T3 (pl) * 2005-10-27 2011-02-28 Electrolux Home Products Corp Nv Sieć sterowanych programowo urządzeń gospodarstwa domowego
US8682733B2 (en) 2006-06-08 2014-03-25 Whirlpool Corporation System for product demonstration
US8522452B2 (en) 2009-02-19 2013-09-03 Whirlpool Corporation Laundry treating appliance with state of dryness based imaging control
DE102016212984A1 (de) 2016-07-15 2018-01-18 Henkel Ag & Co. Kgaa Prüfen auf potentiell unerwünschte Wäschestücke
US20180038037A1 (en) * 2016-08-08 2018-02-08 Lap Shun Hui Systems and methods for washing and drying using an altered pressure environment
KR101789690B1 (ko) * 2017-07-11 2017-10-25 (주)블루비스 딥 러닝 기반 보안 서비스 제공 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5172490A (en) * 1991-02-28 1992-12-22 Kabushiki Kaisha Toshiba Clothes dryer with neurocontrol device
TW227583B (zh) * 1991-02-28 1994-08-01 Toshiba Co Ltd
CN104250907A (zh) * 2013-06-25 2014-12-31 海尔集团公司 一种带内循环波轮洗衣机的洗衣程序及洗衣机
CN106702667A (zh) * 2016-12-22 2017-05-24 Tcl家用电器(合肥)有限公司 洗衣机及其智能洗衣方法
CN107574625A (zh) * 2017-08-18 2018-01-12 珠海格力电器股份有限公司 衣物的洗涤方法、装置、存储设备、移动终端及洗衣机

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113463327A (zh) * 2021-06-30 2021-10-01 无锡小天鹅电器有限公司 衣物展示方法和装置、电子设备、计算机可读存储介质
CN113463327B (zh) * 2021-06-30 2024-03-12 无锡小天鹅电器有限公司 衣物展示方法和装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
US20190284743A1 (en) 2019-09-19
EP3540111B1 (en) 2023-11-29
CN110273259B (zh) 2021-09-10
EP3540111A1 (en) 2019-09-18
KR20190108855A (ko) 2019-09-25
KR102111110B1 (ko) 2020-05-14
US11299838B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN110273259A (zh) 基于事物感测设定功能的洗衣机、云服务器及其设定方法
CN106757976B (zh) 洗衣机及其基于图像识别衣物体积的洗涤控制方法和装置
CN107904856A (zh) 洗衣机启动方法及装置
CN103820971B (zh) 一种基于无线自动识别技术的洗衣机智能洗涤方法
CN107398072A (zh) 游戏画面的显示方法和装置
CN106454289B (zh) 控制方法、控制装置及电子装置
CN109137388B (zh) 衣物洗涤方法、装置和衣物处理装置
CN105088632B (zh) 洗衣机及其衣物负载的判断方法
CN114174579A (zh) 洗衣机及其控制方法
CN106604001B (zh) 图像处理方法、图像处理装置、成像装置及电子装置
EP3800288B1 (en) Clothing treatment apparatus having camera, and control method therefor
CN107904860A (zh) 洗衣机内衣物处理方法及装置
CN112080896B (zh) 用于准备和执行衣物洗涤循环的方法和系统
CN105862324A (zh) 洗衣机待洗物品的检测方法及装置
CN113463327B (zh) 衣物展示方法和装置、电子设备、计算机可读存储介质
US11821128B2 (en) Artificial intelligence washing machine and controlling method therefor
EP3617370B1 (en) Artificial intelligence washing machine and controlling method therefor
CN109868613A (zh) 一种基于物联网的智能洗衣机控制方法及系统
US11313064B2 (en) Apparatus and method for treating laundry
CN108038410A (zh) 洗衣机震动处理方法及装置
CN113201905B (zh) 一种衣物处理设备的衣物体积估计方法、控制方法及衣物处理系统
CN114000303A (zh) 洗衣机的控制方法、装置、存储介质及洗衣机
EP3617364A1 (en) Artificial intelligence washing machine and controlling method therefor
CN114507968A (zh) 洗衣机衣物检测方法、装置、设备及存储介质
US20240011211A1 (en) Washing machine appliance and augmented reality control features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant