CN108962236A - 家用电器及语音识别服务器系统的动作方法 - Google Patents

家用电器及语音识别服务器系统的动作方法 Download PDF

Info

Publication number
CN108962236A
CN108962236A CN201810478564.4A CN201810478564A CN108962236A CN 108962236 A CN108962236 A CN 108962236A CN 201810478564 A CN201810478564 A CN 201810478564A CN 108962236 A CN108962236 A CN 108962236A
Authority
CN
China
Prior art keywords
electrical appliance
household electrical
phonetic order
speech recognition
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810478564.4A
Other languages
English (en)
Inventor
金成学
权民九
申圭烈
吴桢奎
林泰亨
韩东雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108962236A publication Critical patent/CN108962236A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)

Abstract

本发明提供一种家用电器及语音识别服务器系统的动作方法,本发明的一方式的家用电器的动作方法包括:激活语音识别功能的步骤;进入用于输入包含有预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式的步骤;通过包括一个以上的麦克风(MIC)的音频输入部接收唤醒(wake up)语音信号的步骤;在预先设定的经过时间期间进入用于输入用户的语音指令的指令语等待模式的步骤;通过音频输入部接收语音指令的步骤;以及将包含预先设定的经过时间以内接收到的语音指令及调用语的语音数据传送给语音识别服务器系统的步骤。由此,能够更加准确地识别出用户的语音指令。

Description

家用电器及语音识别服务器系统的动作方法
技术领域
本发明涉及家用电器及语音识别服务器系统的动作方法,更详细而言,涉及一种能够识别用户的自然语言语音指令并进行动作的家用电器及语音识别服务器系统的动作方法。
背景技术
家庭或办公室等规定空间中使用的空调机、洗衣机、吸尘器等家用电器(Homeappliance)分别根据用户的操作来执行固有的功能和动作。
例如,空调机是包括用于压缩制冷剂的压缩机、用于冷凝被压缩的制冷剂的冷凝器、用于膨胀被冷凝的制冷剂的膨胀阀、使被膨胀的制冷剂与室内空气进行热交换的蒸发器并对室内空间进行制冷制热的装置,其执行调整室内温度的功能。
并且,冰箱用于储存食物,洗衣机用于处理洗涤物,吸尘器执行清扫功能,烹调装置执行烹调食物的功能等。
为使这样的空调机等家用电器进行动作,用户可以使用遥控器等远程控制装置,以避免需要直接操作家用电器本体上设置的按键等,或者每次移动到本体并进行输入的不便。
但是,即使在使用遥控器的情况下,用户也需要按不同的功能选择操作键并进行输入,其使用上仍然存在不便,在室内较暗的情况下,需要有用于识别遥控器及操作键的额外的照明。
因此,针对利用语音识别技术来控制家用电器的方案相关的研究呈增加的趋势。
在现有技术1(韩国公开特许公报10-1999-00069703号)中,空调机用遥控器设置有语音输入部及信号处理部,以生成、传送与语音识别对应的操作信号。
在现有技术2(韩国公开特许公报10-2006-0015092号)中,将输入的语音信号变换为数字信号及文本后,确认数据库内是否存在相一致的控制指令,如果有相一致的控制指令,则对空调机内各装置进行控制,如果没有相一致的控制指令,则提取关键字并根据相联系的控制指令来对空调机内各装置进行控制。
但是,在遥控器及空调机等个别装置所能够具有的系统资源上存在有局限。尤其是,由于并不仅仅识别单纯的几种单词,而是需要有高运算量以能够识别自然语言,仅利用个别装置中安装的嵌入模块则很难实现。
因此,现有技术1和现有技术2的语音识别技术在识别并处理全世界用户的多种自然语言语音指令方面上存在有局限。
因此,要求提供一种不受到个别装置的系统资源的制约而能够识别并处理自然语言,并且能够方便地控制家用电器的方案。
并且,需要提供一种通过使识别并处理用户的语音指令的过程中可能会发生的误识别达到最少,从而使用户不便达到最少的语音识别方法。
现有技术文献
专利文献
专利文献1:韩国公开特许公报10-1999-00069703号(公开日1999.9.6.)
专利文献2:韩国公开特许公报10-2006-0015092号(公开日2006.2.18.)
发明内容
本发明的目的在于提供一种能够有效地识别、处理自然语言的语音识别方法及系统。
本发明的目的在于提供一种根据用户的语音指令来进行控制的家用电器及其动作方法。
本发明的目的在于提供一种语音识别方法,通过使语音识别过程及家用电器控制过程中可能会发生的误识别达到最少,从而使用户不便达到最少并增大可靠性及用户便利性。
为了实现上述或其它目的,本发明的一方式的家用电器的动作方法可以包括:激活语音识别功能的步骤;进入用于输入包含有预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式的步骤;通过包括一个以上的麦克风(MIC)的音频输入部接收唤醒语音信号的步骤;在预先设定的经过时间期间进入用于输入用户的语音指令的指令语等待模式的步骤;通过音频输入部接收语音指令的步骤;以及将包含预先设定的经过时间以内接收到的语音指令及调用语的语音数据传送给语音识别服务器系统的步骤。由此,能够更加准确地识别出用户的语音指令。
为了实现上述或其它目的,本发明的一方式的语音识别服务器系统的动作方法可以包括:从家用电器接收语音数据的步骤;从接收到的语音数据中分离调用语和指令语的步骤;将指令语变换为文本(text)数据的步骤;对文本数据进行分析以判别语音指令的步骤。
为了实现上述或其它目的,本发明的一方式的语音识别服务器系统的动作方法可以包括:从家用电器接收语音数据的步骤;将接收到的语音数据变换为文本(text)数据的步骤;从文本数据中删除调用语的步骤;对调用语被删除的文本数据进行分析以判别语音指令的步骤。
根据本发明的实施例中的至少一种,根据语音输入来使家用电器进行动作,从而用户无需操作遥控器,能够增大用户便利性。
并且,根据本发明的实施例中的至少一种,能够有效地识别、处理自然语言。
并且,根据本发明的实施例中的至少一种,通过使语音识别过程及家用电器控制过程中可能会发生的误识别达到最少,从而使用户不便达到最少并增大可靠性。
另外,将在后述的本发明的实施例的详细说明中直接或暗示披露除此之外的多种效果。
附图说明
图1是简略示出本发明的一实施例的包括语音识别服务器系统及家用电器的智能家居系统的图。
图2是说明家用电器的多种例的图。
图3A是本发明的一实施例的语音识别服务器系统的一例。
图3B是本发明的一实施例的语音识别服务器系统的一例。
图4至图6是例示出本发明的一实施例的语音识别服务器系统的信号流动的图。
图7至图9是例示出本发明的一实施例的语音识别服务器系统的信号流动的图。
图10是示出本发明的一实施例的服务器的内部框图的一例的图。
图11是示出本发明的一实施例的家用电器的内部框图的一例的图。
图12是示出本发明的一实施例的空调机的内部框图的一部分的图。
图13和图14是简略示出本发明的一实施例的空调机的外观的图。
图15是示出本发明的一实施例的家用电器的动作方法的流程图。
图16是示出本发明的一实施例的包括语音识别服务器系统及家用电器的智能家居系统的动作方法的流程图。
图17和图18是在本发明的一实施例的家用电器进行语音识别及控制过程中提供的信息相关的说明中作为参照的图。
图19是例示出本发明的一实施例的家用电器为空调机的情况下执行的反馈动作的图。
图20是示出仅将指令语传送给语音识别服务器系统的实施例的家用电器的动作方法的流程图。
图21A和图21B是在图20的动作方法的语音识别过程中可能会发生的误识别相关的说明时作为参照的图。
图22是示出本发明的一实施例的家用电器的动作方法的流程图。
图23是示出本发明的一实施例的语音识别服务器系统的动作方法的流程图。
图24是示出本发明的一实施例的语音识别服务器系统的动作方法的流程图。
图25是例示出本发明的一实施例的家用电器和语音识别服务器系统的信号流动的图。
图26至图28是在本发明的一实施例的语音识别服务器系统及家用电器的多种动作相关的说明中作为参照的图。
图29是示出本发明的一实施例的家用电器的内部框图的另一例的图。
图30例示出图11、图29的驱动部的内部框图的一例。
图31是图29的电机驱动装置的内部电路图的一例。
图32是图31的逆变器控制部的内部框图。
附图标记的说明
100:语音识别服务器系统 110:语音服务器
111:ASR服务器 112:NLP服务器
113:TTS服务器 120:联系服务服务器
130:家电控制服务器 200:家用电器
200a:空调机
具体实施方式
以下参照附图对本发明的实施例进行详细的说明。但是,本发明并不限定于这样的实施例,而是可以变形为多种形态。
附图中,为了清楚且简略地说明本发明而省去了与说明无关的部分的图示,在整个说明书的范围内,对于相同或极其类似的部分将使用相同的附图标记。
另外,在以下说明中使用的针对结构要素的接尾词“模块”及“部”仅是考虑到便于说明书的撰写而被赋予,其自身并不带有相互区分的含义或作用。因此,所述“模块”及“部”可以彼此混用。
图1是简略示出本发明的一实施例的包括语音识别服务器系统及家用电器的智能家居系统的图,图2是说明家用电器的多种例的图。
参照图1,本发明的一实施例的智能家居系统10可以包括:家用电器200(homeappliance),具有通信模块(未图示)以能够与其它装置进行通信或连接到网络;语音识别服务器系统100,包括用于语音识别及家电控制的多个服务器。
参照图2,家用电器200可以是具有通信模块的空调机200a、机器人吸尘器200b、冰箱200c、洗衣机200d、烹调装置200e等。
并且,本发明的一实施例的智能家居系统10可以包括智能手机(smart phone)、掌上(Tablet)PC等便携终端(未图示)。
家用电器200可以在内部具有通信模块,以与智能家居系统10内/外部的电子装置进行通信。
本发明的一实施例的智能家居系统10可以还包括访问点(access point:AP)装置300,家用电器200通过访问点装置300连接到无线因特网网络并与其它装置进行通信。
访问点装置300(access point)可以向智能家居系统10内的电子装置分配基于规定通信方式的无线信道,并通过相应信道执行无线数据通信。
其中,规定通信方式可以是无线局域网(Wi-Fi)通信方式。与此对应地,家用电器200所具有的通信模块可以是无线局域网通信模块,但是本发明并不限定于通信方式。
或者,家用电器200可以具有其它种类的通信模块或具有多个通信模块。例如,家用电器200可以包括NFC模块、紫蜂(zigbee)通信模块、蓝牙(BluetoothTM)通信模块等。
家用电器200可以通过无线局域网(wi-fi)通信模块等与语音识别服务器系统100中包括的服务器或外部的规定服务器、用户的便携终端等相连接,并可以支持远程监视、远程控制等智能功能。
用户可以通过便携终端确认智能家居系统10内的家用电器200相关的信息或控制家用电器200。
另外,在用户需要在家庭内控制家用电器200或确认规定信息的情况下,如果必须要使用便携终端,则可能会觉得不便。
例如,在用户不清楚便携终端的当前位置或位于其它场所的情况下,如果有能够以其它方式来控制家用电器200的构件则更加有效率。
本发明的一实施例的家用电器200可以接收用户的语音输入,语音识别服务器系统100可以对用户的语音输入进行识别、分析,从而控制家用电器200。
由此,用户无需操作便携终端、远程控制装置也能够控制家用电器200。
另外,所述语音识别服务器系统100中包括的服务器中的至少一部分可以是由家用电器的制造商、销售商运营的服务器,或者是制造商或销售商委托服务的公司运营的服务器。
图3A是本发明的一实施例的语音识别服务器系统的一例。
参照图3A,本发明的一实施例的语音识别服务器系统可以包括:语音服务器110,从家用电器200a接收语音数据,对接收的语音数据进行分析,从而判别语音指令。
语音服务器110可以从家用电器200a接收语音数据,将所述接收的语音数据变换为文本(text)数据,对文本数据进行分析,从而判别语音指令。
并且,语音服务器110可以将与判别的语音指令对应的信号发送给规定服务器。
例如,本发明的一实施例的语音识别服务器系统可以包括:联系服务服务器120,从所述语音服务器110接收与所述判别的语音指令对应的信号,生成与所述判别的语音指令对应的请求信号;家电控制服务器130,将基于从所述联系服务服务器120接收的请求信号的控制信号发送给所述家用电器200a。
所述家用电器200a可以接收用户发出的语音指令输入,并将基于接收的语音指令输入的语音数据发送给所述语音服务器110。
所述语音服务器110可以包括:自动语音识别(Automatic Speech Recognition:ASR)服务器111,从家用电器200a接收语音数据,将接收的语音数据变换为文本(text)数据;自然语言处理(Natural Language Processing:NLP)服务器112,从所述自动语音识别服务器111接收所述文本数据,对接收的文本数据进行分析以判别语音指令,将基于所述判别的语音指令的响应信号发送给所述家用电器200a;以及文本语音变换(Text to Speech:TTS)服务器113,从所述家用电器200a接收包含与所述响应信号对应的文本的信号,将接收的信号中包含的文本变换为语音数据并发送给所述家用电器200a。
所述自动语音识别服务器111可以对从家用电器200a接收的语音数据执行语音识别,以生成文本数据并发送给所述自然语言处理服务器112。
所述自然语言处理服务器112可以根据自然语言处理算法对从所述自动语音识别服务器111接收的文本数据进行分析,从而判别语音指令。
所述自然语言处理服务器112可以根据自然语言处理算法对作为人们日常使用的语言的自然语言进行处理,并能够对用户的意图(intent)进行分析。所述自然语言处理服务器112可以对从所述自动语音识别服务器111接收的文本数据执行自然语言处理,从而判别与用户的意图相符合的语音指令。
由此,即使用户以日常的使用语言输入语音指令,所述自然语言处理服务器112也能够判别与用户的意图相符合的语音指令。
所述自然语言处理服务器112可以将与自然语言处理结果对应的信号,即,与判别的语音指令对应的信号发送给所述联系服务服务器120。
所述联系服务服务器120可以从所述自然语言处理服务器112接收与所述判别的语音指令对应的信号。
如果判别的语音指令与家用电器200a相关,所述联系服务服务器120与所述家电控制服务器130进行通信以执行对应的动作。
或者,如果判别的语音指令与家用电器200a不相关,所述联系服务服务器120可以与外部的外部服务121进行通信以执行对应的动作。
例如,如果判别的语音指令为用于请求天气、股票、新闻等信息的指令,所述联系服务服务器120可以向提供与请求的信息对应的服务的服务器请求相应信息并接收。
并且,所述联系服务服务器120可以将接收的信息发送给语音服务器110,所述自然语言处理服务器112可以将接收的信息发送给家用电器200a。
如果判别的语音指令与家用电器200a相关,所述联系服务服务器120可以生成与所述判别的语音指令对应的请求信号并发送给所述家电控制服务器130。
所述家电控制服务器130可以将基于从所述联系服务服务器120接收的请求信号的控制信号发送给所述家用电器200a。
例如,如果接收到用于变更空调机200a的设定温度的请求,所述家电控制服务器130可以向所述空调机200a发送变更设定温度的控制信号。
另外,家用电器200a可以根据从所述家电控制服务器130接收的控制信号执行对应的动作。
并且,家用电器200a可以在执行所请求的动作后,将用于提示动作已执行的信号发送给所述家电控制服务器130。
并且,所述家电控制服务器130可以从所述家用电器200a接收对所述控制信号的响应信号,并将与所述响应信号对应的处理结果信息发送给所述联系服务服务器120。
所述语音服务器110可以将包含所述处理结果信息的响应信号发送给所述家用电器200a。
并且,所述语音服务器110可以从所述家用电器200a接收包含与所述处理结果信息对应的输出语句文本的信号,将所述接收的输出语句文本变换为语音数据并传送给所述家用电器200a。
在此情况下,所述自然语言处理服务器112向所述家用电器200a发送的基于所述判别的语音指令的响应信号可以包含所述处理结果信息。
另外,家用电器200a可以从所述自然语言处理服务器112接收基于所述判别的语音指令的响应信号。其中,响应信号可以包含与所述判别的语音指令对应的响应的文本数据。
例如,在用户输入用于变更空调机的设定温度的语音指令的情况下,所述响应信号可以包含用于示出设定温度已变更的文本数据。
另外,家用电器200a可以将包含与接收的响应信号对应的文本的信号发送给所述文本语音变换服务器113。其中,包含与所述响应信号对应的文本的信号可以包含与所述处理结果信息对应的输出语句文本。
另外,所述文本语音变换服务器113可以将接收的信号中包含的文本变换为语音数据并发送给所述家用电器200a。其中,变换的语音数据可以包含音源文件。
所述家用电器200a可以通过扬声器输出基于接收的语音数据的语音引导消息。
另外,所述联系服务服务器120可以基于与所述判别的语音指令对应的信号向所述家电控制服务器130请求所述家用电器200a的状态信息,所述家电控制服务器130可以将所述家用电器200a的状态信息发送给所述联系服务服务器120。在处于未确保有所述家用电器200a的状态信息的状态的情况下,所述家电控制服务器130可以向所述家用电器200a请求状态信息并接收。
另外,在基于所述家用电器200a的状态信息可以支持所述判别的语音指令的情况下,所述联系服务服务器120可以向所述家电控制服务器130发送与所述判别的语音指令对应的请求信号。
或者,在基于所述家用电器200a的状态信息无法支持所述判别的语音指令的情况下,所述联系服务服务器120可以向所述自然语言处理服务器112发送用于提示其为当前状态下不支持的功能的信号。
在此情况下,家用电器200a也可以向所述文本语音变换服务器113请求、接收语音数据,从而输出用于提示其为当前状态下不支持的功能的语音引导消息。
根据实施例,所述语音服务器110可以判别所述判别的语音指令的可支持与否。例如,对用户的语音指令的意图进行分析的所述自然语言处理服务器112可以判别所述判别的语音指令的可支持与否。
在此情况下,在所述判别的语音指令包含无法支持的指令的情况下,所述自然语言处理服务器112发送的基于所述判别的语音指令的响应信号可以是用于提示所述判别的语音指令为所述家用电器200a不支持的功能的信号。
本发明的一实施例的语音服务器110及包括其的语音识别服务器系统100可以有机地连接为实现自然语言语音处理而执行多种作用的服务器。
家用电器200可以执行语音指令的接收及前处理、服务器传送为止的动作,语音服务器110可以执行语音/文本变换、意图分析、指令识别等自然语言处理过程。
通过使语音服务器110执行自然语言处理,能够减小家用电器内部嵌入模块的CPU、存储器等的负担。
另外,联系服务服务器120可以与外部服务及家电控制服务器130进行通信,从而执行基于用户的语音指令的动作。
另外,家用电器200可以从语音服务器110接收包含音源文件的语音数据,并将语音引导消息以音频方式进行输出,从而能够以听觉反馈方式回应用户的语音输入。
家用电器200能够以流(streaming)方式接收从语音服务器110传送的语音文件,并向用户播放、输出语音引导消息。因此,家用电器200中无需存储多种音源文件。
另外,在与其它服务器不相冲突的情况下,可以通过联系服务服务器120与多种外部服务进行联系。并且,在通过外部服务联动服务器进行意图分析时,可以反映外部信息以提高意图分析成功率。
本发明的一实施例的语音识别服务器系统100通过多个服务器来确保兼容性及连接性,最终控制指令则使用家电控制服务器130,从而能够杜绝语音识别过程和通过家电控制服务器130利用无线局域网通信的家电控制之间的冲突以及通过便携终端的家电控制和基于通过家用电器200的语音输入的家电控制间的冲突。
在本发明的一实施例的语音识别服务器系统100中,通过服务器间的有机连接能够减少因依赖某一个服务器而负载集中到特定服务器的情形,并且各个服务器的作用彼此不同,在特定服务器中出现问题的情况下,可以通过与执行相同的作用的其它服务器的联系来容易进行应对。
并且,由于能够独立地随时更新多个服务器,有利于改善性能。
图3B是本发明的一实施例的语音识别服务器系统的一例。
图3B所例示的语音识别服务器系统改善了图3A所例示的语音识别服务器系统中将用于语音引导消息输出的语音数据传送给家用电器200a的过程,从而提高语音控制响应时间。
因此,图3A和图3B所例示的语音识别服务器系统的除了所述区别以外的动作可以实质上相同地执行,以下对于相同的部分则简略进行描述。
参照图3B,本发明的一实施例的语音识别服务器系统可以包括:语音服务器110,从家用电器200a接收语音数据,对接收的语音数据进行分析以判别语音指令。
并且,本发明的一实施例的语音识别服务器系统可以还包括:联系服务服务器120,从所述语音服务器110接收与所述判别的语音指令对应的信号,生成与所述判别的语音指令对应的请求信号;家电控制服务器130,将基于从所述联系服务服务器120接收的请求信号的控制信号发送给所述家用电器200a。
在图3B所例示的语音识别服务器系统中,在没有家用电器200a的请求的情况下,所述语音服务器110也可以将包含基于所述语音指令的处理结果信息的语音数据发送给所述家用电器200a。
所述语音服务器110可以包括:自动语音识别服务器111,从家用电器200a接收语音数据,将接收的语音数据变换为文本(text)数据;自然语言处理服务器112,从所述自动语音识别服务器111接收所述文本数据,对接收的文本数据进行分析以判别语音指令;以及文本语音变换服务器113,将基于所述语音指令的响应信号变换为语音数据并发送给所述家用电器200a。
同样地在本实施例中,所述家电控制服务器130可以从所述家用电器200a接收对所述控制信号的响应信号,将与所述响应信号对应的处理结果信息发送给所述联系服务服务器120。
所述联系服务服务器120可以向语音服务器110,更详细而言向自然语言处理服务器112传送所述处理结果信息。
在此情况下,所述文本语音变换服务器113向所述家用电器200a发送的语音数据可以包含所述处理结果信息。
并且,所述联系服务服务器120可以基于与所述判别的语音指令对应的信号来向所述家电控制服务器请求所述家用电器200a的状态信息,所述家电控制服务器可以将所述家用电器200a的状态信息发送给所述联系服务服务器120。
并且,在基于所述家用电器200a的状态信息可以支持所述判别的语音指令的情况下,所述联系服务服务器120可以向所述家电控制服务器130发送与所述判别的语音指令对应的请求信号。
或者,在基于所述家用电器200a的状态信息无法支持所述判别的语音指令的情况下,所述联系服务服务器120可以向所述语音服务器110发送用于提示其为当前状态下不支持的功能的信号。
例如,所述联系服务服务器120可以向所述自然语言处理服务器112发送用于提示其为当前状态下不支持的功能的信号。
并且,所述自然语言处理服务器112可以向所述文本语音变换服务器113传送其为当前状态下不支持的功能的信号,所述文本语音变换服务器113生成对应的语音数据并发送给家用电器200a。
家用电器200a可以从所述文本语音变换服务器113接收语音数据,并输出用于提示其为当前状态下不支持的功能的语音引导消息。
根据实施例,所述语音服务器110可以判别所述判别的语音指令的可支持与否。例如,对用户的语音指令的意图进行分析的所述自然语言处理服务器112可以判别所述判别的语音指令的可支持与否。
在此情况下,在所述判别的语音指令包含无法支持的指令的情况下,所述自然语言处理服务器112发送的基于所述判别的语音指令的响应信号可以是用于提示所述判别的语音指令为所述家用电器200a所不支持的功能的信号。
在家用电器200a进行动作后,最后向用于语音引导的文本语音变换服务器113请求对相应动作的引导语的情况下,动作和引导语之间将可能产生时间差。
但是,根据本发明的一实施例,在意图分析完毕而从自然语言处理服务器112发送动作请求时,可以与此同时地向文本语音变换服务器113提供信息。
并且,可以从家电控制服务器130向家用电器200a下达控制指令的时点为基准,从文本语音变换服务器113向家用电器200a提供引导语。
由此,可以在家用电器200a进行动作的同时或紧接着发出引导语。
根据本实施例,通过将自然语言处理服务器112和文本语音变换服务器113直接连接,能够使通过家电控制服务器130的控制指令和引导语之间的时间差达到最小。
另外,虽然在图3A和图3B中作为家用电器200例示出空调机200a并进行了说明,但是本发明并不限定于此。例如,家用电器200中除了空调机200a以外,还可以有机器人吸尘器200b、冰箱200c、洗衣机200d、烹调装置200e等。
另外,根据本发明的一方式,与图3A和图3B不同地,用于语音识别及处理的自动语音识别服务器111、自然语言处理服务器112、文本语音变换服务器113可以由一个整合服务器来构成。
并且,根据实施例,联系服务服务器120和家电控制服务器130可以由一个整合服务器来构成。
根据本发明,通过使家用电器根据语音输入来进行动作,用户无需操作遥控器等远程控制装置、便携终端等,从而能够增大用户便利性。
并且,如参照图3A和图3B进行了说明,本发明中利用多个服务器来识别用户的自然语言语音指令并执行对应的控制动作,从而不受到家用电器、各服务器的系统资源的限制,能够有效地识别、处理自然语言。
图4至图6是例示出本发明的一实施例的语音识别服务器系统的信号流动的图,其是例示出图3A所例示的语音识别服务器系统的信号流动的图。
图4例示出家用电器根据用户的语音指令进行动作的通常的状况下的信号流动。
以下作为家用电器200例示出空调机200a进行说明,但是本发明并不限定于此。
参照图4,本发明的一实施例的家用电器200,例如,空调机200a可以接收用户的语音指令(步骤S410),并将接收的用户的语音指令发送给语音服务器110(步骤S420)。
例如,当从用户接收如“LG WHISEN,温度调到18度”的用于变更温度设定的指令时,空调机200a可以将接收的语音指令变换为波形(wave)文件等规定格式的数字语音数据并发送给自动语音识别服务器111。
另外,空调机200a可以在接收包含调用语的唤醒信号后,等待指令语输入并将输入的语音指令发送给语音服务器110。
或者,空调机200a可以接收包含调用语及语音指令的连续的语音输入。在此情况下,空调机200a可以识别调用语,并将语音指令发送给语音服务器110。
另外,在系统10内部中装置之间进行通信时,所收发的信号除了收发的主数据以外,还可以包含各装置的识别信息、所执行的作业(task)相关的会话(session)值等。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S431),并将所述文本数据发送给自然语言处理服务器112(步骤S433)。
自然语言处理服务器112可以执行对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S441)。
例如,自然语言处理服务器112可以在“LG WHISEN,温度调到18度”中判别出用户的将空调机200a的设定温度变更为18度的意图的语音指令。
自然语言处理服务器112可以将与所述判别的语音指令对应的信号发送给联系服务服务器120(步骤S443)。
当联系服务服务器120向家电控制服务器130请求空调机200a的当前状态信息时(步骤S451),家电控制服务器130可以检索空调机200a的当前状态信息(步骤S453),并向联系服务服务器120发送空调机200a的当前状态信息(步骤S455)。
如果家电控制服务器130不具有空调机200a的当前状态信息,家电控制服务器130则可以向空调机200a请求当前状态信息并接收。
另外,接收到状态信息的联系服务服务器120可以根据判别的语音指令向家电控制服务器130发送用于将相应空调机200a的设定温度变更为18度的请求信号(步骤S461)。
家电控制服务器130可以基于所述请求信号生成控制信号并发送给空调机200a,从而控制空调机200a(步骤S463)。
并且,家电控制服务器130可以在空调机200a的控制后从所述家用电器接收对所述控制信号的响应信号,并将用于提示针对请求的动作成功的处理结果信息发送给联系服务服务器120(步骤S465)。
联系服务服务器120可以将“将空调温度设定为18度”等与处理结果信息对应的信号发送给自然语言处理服务器112(步骤S470),自然语言处理服务器112可以将基于判别的用户的语音指令的响应信号发送给所述家用电器200a(步骤S481)。其中,基于判别的用户的语音指令的响应信号可以包含所述处理结果信息。
另外,家用电器200a发送包含与所述响应信号对应的文本(输出语句)的信号(步骤S483),接收到此信号的文本语音变换服务器113可以将接收的信号中包含的文本变换为语音数据(步骤S485),并发送给所述家用电器200a(步骤S487)。
家用电器200a可以基于接收的语音数据来输出“将空调温度设定为18度”等语音引导消息(步骤S490)。
图5例示出在请求相应家用电器的不支持功能的情况下的信号流动。
参照图5,本发明的一实施例的空调机200a可以接收“LG WHISEN,开始洗衣”等空调机200a不支持的洗衣功能相关的用户的语音指令(步骤S510)。
空调机200a可以将接收的用户的语音指令发送给语音服务器110(步骤S520)。空调机200a可以将接收的语音指令变换为波形(wave)文件等规定格式的数字语音数据并发送给自动语音识别服务器111。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S531),并将所述文本数据发送给自然语言处理服务器112(步骤S533)。
自然语言处理服务器112可以执行针对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S541)。
并且,自然语言处理服务器112可以判别所述判别的语音指令的可支持与否。在本实施例中,自然语言处理服务器112可以判别出用户请求了空调机200a不支持的洗衣功能。
随后,自然语言处理服务器112可以向空调机200a发送用于提示所述判别的语音指令为所述家用电器不支持的功能的响应信号(步骤S543)。
另外,家用电器200a可以发送包含与所述响应信号对应的文本(输出语句)的信号(步骤S551),接收到此信号的文本语音变换服务器113可以将接收的信号中包含的文本变换为语音数据(步骤S553),并发送给所述家用电器200a(步骤S555)。
家用电器200a可以基于接收的语音数据来输出“不支持的功能”等语音引导消息(步骤S560)。
图6例示出在相应家用电器的当前动作模式下请求不支持功能的情况下的信号流动。
参照图6,本发明的一实施例的空调机200a可以接收“LG WHISEN,开始强力制冷”等用于指示空调机200a的特定模式运转的用户的语音指令(步骤S610)。
空调机200a可以将接收的用户的语音指令发送给语音服务器110(步骤S620)。空调机200a可以将接收的语音指令变换为波形(wave)文件等规定格式的数字语音数据并发送给自动语音识别服务器111。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S631),并将所述文本数据发送给自然语言处理服务器112(步骤S633)。
自然语言处理服务器112可以执行针对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S641)。
例如,自然语言处理服务器112可以在“LG WHISEN,开始强力制冷”中判别出用户的将空调机200a运转为强力制冷模式的意图的语音指令。
自然语言处理服务器112可以将与所述判别的语音指令对应的信号发送给联系服务服务器120(步骤S643)。
当联系服务服务器120向家电控制服务器130请求空调机200a的当前状态信息时(步骤S651),家电控制服务器130可以检索空调机200a的当前状态信息(步骤S653),并向联系服务服务器120发送空调机200a的当前状态信息(步骤S655)。
如果家电控制服务器130不具有空调机200a的当前状态信息,家电控制服务器130可以向空调机200a请求当前状态信息并接收。
另外,接收到状态信息的联系服务服务器120能够以空调机200a的当前状态信息为基准来判别所述判别的语音指令的可支持与否(步骤S657)。例如,在当前空调机200a以除湿模式运转中,并且仅在制冷模式中支持强力制冷模式的情况下,自然语言处理服务器112可以判别出用户请求了当前状态下不支持的强力制冷模式。
随后,联系服务服务器120可以向自然语言处理服务器112发送用于提示所述判别的语音指令为所述家用电器200a在当前状态下不支持的功能的响应信号(步骤S660)。
并且,自然语言处理服务器112可以向所述家用电器200a发送用于提示所述判别的语音指令为当前状态下不支持的功能的响应信号(步骤S671)。
另外,家用电器200a可以发送包含与所述响应信号对应的文本(输出语句)的信号(步骤S673),接收到此信号的文本语音变换服务器113可以将接收的信号中包含的文本变换为语音数据(步骤S675),并发送给所述家用电器200a(步骤S677)。
家用电器200a可以基于接收的语音数据来输出“仅在制冷模式中支持强力制冷”等语音引导消息(步骤S680)。
图7至图9是例示出本发明的一实施例的语音识别服务器系统的信号流动的图,其是例示出图3B所例示的语音识别服务器系统的信号流动的图。
图7例示出家用电器根据用户的语音指令来进行动作的通常的状况下的信号流动。
参照图7,本发明的一实施例的家用电器200,例如,空调机200a可以接收用户的语音指令(步骤S710),并将接收的用户的语音指令发送给语音服务器110(步骤S720)。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S731),并将所述文本数据发送给自然语言处理服务器112(步骤S733)。
自然语言处理服务器112可以执行针对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S741)。
例如,自然语言处理服务器112可以在“LG WHISEN,温度调到18度”中判别出用户的将空调机200a的设定温度变更为18度的意图的语音指令。
自然语言处理服务器112可以将与所述判别的语音指令对应的信号发送给联系服务服务器120(步骤S743)。
当联系服务服务器120向家电控制服务器130请求空调机200a的当前状态信息时(步骤S751),家电控制服务器130可以检索空调机200a的当前状态信息(步骤S753),并向联系服务服务器120发送空调机200a的当前状态信息(步骤S755)。
如果家电控制服务器130不具有空调机200a的当前状态信息,家电控制服务器130则可以向空调机200a请求当前状态信息并接收。
另外,接收到状态信息的联系服务服务器120可以根据判别的语音指令向家电控制服务器130发送用于将相应空调机200a的设定温度变更为18度的请求信号(步骤S761)。
家电控制服务器130可以基于所述请求信号生成控制信号并发送给空调机200a,从而控制空调机200a(步骤S763)。
并且,家电控制服务器130可以在空调机200a的控制后从所述家用电器接收对所述控制信号的响应信号,并将用于提示针对请求的动作成功的处理结果信息发送给联系服务服务器120(步骤S765)。
联系服务服务器120可以将“将空调温度设定为18度”等与处理结果信息对应的信号发送给自然语言处理服务器112(步骤S770)。
另外,自然语言处理服务器112可以将基于判别的用户的语音指令的响应信号发送给文本语音变换服务器113(步骤S781)。其中,基于判别的用户的语音指令的响应信号可以包含所述处理结果信息。
另外,文本语音变换服务器113可以将基于所述语音指令的响应信号变换为语音数据(步骤S783),并发送给所述家用电器200a(步骤S785)。
家用电器200a可以基于接收的语音数据来输出“将空调温度设定为18度”等语音引导消息(步骤S790)。
图8例示出在请求相应家用电器的不支持功能的情况下的信号流动。
参照图8,本发明的一实施例的空调机200a可以接收“LG WHISEN,开始洗衣”等空调机200a不支持的洗衣功能相关的用户的语音指令(步骤S810)。
空调机200a可以将接收的用户的语音指令发送给语音服务器110(步骤S820)。空调机200a可以将接收的语音指令变换为波形(wave)文件等规定格式的数字语音数据并发送给自动语音识别服务器111。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S831),并将所述文本数据发送给自然语言处理服务器112(步骤S833)。
自然语言处理服务器112可以执行针对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S841)。
并且,自然语言处理服务器112可以判别所述判别的语音指令的可支持与否。在本实施例中,自然语言处理服务器112可以判别出用户请求了空调机200a不支持的洗衣功能。
随后,自然语言处理服务器112可以向文本语音变换服务器113发送用于提示所述判别的语音指令为所述家用电器不支持的功能的响应信号(步骤S843)。
文本语音变换服务器113可以将基于所述语音指令的响应信号变换为语音数据(步骤S845),并发送给所述家用电器200a(步骤S847)。
家用电器200a可以基于接收的语音数据来输出“不支持的功能”等语音引导消息(步骤S850)。
图9例示出在相应家用电器的当前动作模式下请求不支持功能的情况下的信号流动。
参照图9,本发明的一实施例的空调机200a可以接收“LG WHISEN,开始强力制冷”等用于指示空调机200a的特定模式运转的用户的语音指令(步骤S910)。
空调机200a可以将接收的用户的语音指令发送给语音服务器110(步骤S920)。空调机200a可以将接收的语音指令变换为波形(wave)文件等规定格式的数字语音数据并发送给自动语音识别服务器111。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S931),并将所述文本数据发送给自然语言处理服务器112(步骤S933)。
自然语言处理服务器112可以执行针对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S941)。
例如,自然语言处理服务器112可以在“LG WHISEN,开始强力制冷”中判别出用户的将空调机200a运转为强力制冷模式的意图的语音指令。
自然语言处理服务器112可以将与所述判别的语音指令对应的信号发送给联系服务服务器120(步骤S943)。
当联系服务服务器120向家电控制服务器130请求空调机200a的当前状态信息时(步骤S951),家电控制服务器130可以检索空调机200a的当前状态信息(步骤S953),并向联系服务服务器120发送空调机200a的当前状态信息(步骤S955)。
如果家电控制服务器130不具有空调机200a的当前状态信息,家电控制服务器130可以向空调机200a请求当前状态信息并接收。
另外,接收到状态信息的联系服务服务器120能够以空调机200a的当前状态信息为基准来判别所述判别的语音指令的可支持与否(步骤S957)。例如,在当前空调机200a以除湿模式运转中,并且仅在制冷模式中支持强力制冷模式的情况下,自然语言处理服务器112可以判别出用户请求了当前状态下不支持的强力制冷模式。
随后,联系服务服务器120可以向自然语言处理服务器112发送用于提示所述判别的语音指令为所述家用电器200a在当前状态下不支持的功能的响应信号(步骤S960)。
并且,自然语言处理服务器112可以向文本语音变换服务器113发送用于提示所述判别的语音指令为当前状态下不支持的功能的响应信号(步骤S971)。
另外,文本语音变换服务器113可以将基于所述语音指令的响应信号变换为语音数据(步骤S973),并发送给所述家用电器200a(步骤S975)。
家用电器200a可以基于接收的语音数据来输出“仅在制冷模式中支持强力制冷”等语音引导消息(步骤S980)。
根据本发明,在未能理解用户的指令的情况下,可以实现针对无法提供的功能的情况等提供相适应的语音引导的用户经验。
通过提供与指令处理中发生的各种状况和时点相适应的引导语,能够使用户的不便达到最小。
图10是示出本发明的一实施例的服务器的内部框图的一例的图,所述服务器可以是自动语音识别服务器111、自然语言处理服务器112、文本语音变换服务器113、联系服务服务器120、家电控制服务器130。
参照图10,服务器可以具有通信模块1020、存储部1030以及处理器1010。
处理器1010可以控制服务器的整体上的动作。
通信模块1020可以从便携终端、空调机等家用电器、其它服务器等接收状态信息、动作信息、操作信息、语音数据、文字数据等各种数据。
此外,通信模块1020可以将与接收的各种信息对应的数据直接或在进行规定处理后发送给便携终端、空调机等家用电器、其它服务器等。
为此,通信模块1020可以具有因特网模块、移动通信模块等一个以上的通信模块。
存储部1030可以存储所接收的信息,并具有用于生成与之对应的结果信息的数据。
存储部1030可以存储用于相应服务器的动作的数据。例如,在存储部1030中,在自动语音识别服务器111的情况下,可以存储自动语音识别算法等,在家电控制服务器130的情况下,可以存储家用电器的产品信息、状态信息、用于家用电器的控制的数据。
另外,服务器可以是空调机等家用电器制造商运营的服务器或服务提供商运营的服务器,其可以是一种云(Cloud)服务器。
图11是示出本发明的一实施例的家用电器的内部框图的一例的图。
参照图11,本发明的一实施例的家用电器200可以包括:相机210;音频输入部220,用于接收用户的语音指令;操作部230;存储器250,用于存储各种数据;通信部270,与其它电子装置进行无线方式的通信;驱动部280,用于执行各家用电器中实现的动作;显示器292,以影像方式显示规定信息;音频输出部291,以音频方式输出规定信息;以及控制部240,用于控制整体上的动作。
音频输入部220可以接收外部的音频信号、用户语音指令。为此,音频输入部220可以具有一个以上的麦克风(MIC)。并且,为了更加准确地接收用户的语音指令,音频输入部220可以具有多个麦克风221、222。多个麦克风221、222可以在彼此不同的位置以隔开的方式进行配置,可以通过获取外部的音频信号来将其处理为电信号。
图11等中示出音频输入部220具有第一麦克风221和第二麦克风222这两个麦克风的例,但是本发明并不限定于此。
音频输入部220可以包括用于将模拟声音变换为数字数据的处理部,或者与处理部相连接并将用户输入语音指令进行数据化,从而能够在控制部240或规定服务器中对其进行识别。
另外,音频输入部220可以使用多种去噪算法,以去除接收用户的语音指令的过程中产生的噪音(noise)。
并且,音频输入部220可以包括从各麦克风221、222接收的音频信号中去除噪音的滤波器、对从滤波器输出的信号进行放大并输出的放大器等用于音频信号处理的结构。
存储器250用于记录家用电器的动作所需的各种信息,其可以包括易失性或非易失性记录介质。记录介质存储可以被微型处理器(micro processor)读取的数据,其可以包括HDD(Hard Disk Drive)、SSD(Solid State Disk)、SDD(Silicon Disk Drive)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等。
根据实施例,存储器250中可以存储用户输入的语音指令的音源文件,存储的音源文件可以通过通信部270传送给语音识别服务器系统100。并且,所述存储的音源文件可以在经过预先设定的时间或者执行预先设定的动作后被删除。
另外,在存储器250可以存储用于语音识别的数据,控制部240可以对通过音频输入部220接收的用户的语音输入信号进行处理并执行语音识别过程。
或者,根据实施例,家用电器200可以还包括语音识别模块(未图示),语音识别模块可以执行调用语识别等简单的语音识别。对于包括语音识别模块的实施例,将参照图29详细地进行后述。
并且,存储器250中可以存储用于判别语音信号是否包含调用语的调用语判断算法。
所述控制部240及语音识别模块可以基于所述调用语判断算法来判别所述语音信号是否包含所述调用语。
另外,简单的语音识别可以由家用电器200来执行,自然语言处理等高层次的语音识别由语音识别服务器系统100来执行。
例如,在接收到包含预先设定的调用语的唤醒(wake up)语音信号的情况下,家用电器200可以转换为用于接收语音指令语的状态。在此情况下,家用电器200可以仅执行至调用语语音输入与否的语音识别过程,而之后的对用户语音输入的语音识别可以由语音识别服务器系统100来执行。
由于家用电器在系统资源上存在有局限,复杂的自然语言识别及处理可以由语音识别服务器系统100来执行。
或者,对于调用语语音输入与否的判断可以在家用电器200和语音识别服务器系统100中以双重方式执行。由此,能够减少调用语语音输入判断的误识别并提高识别率。
在所述存储器250可以存储有限的数据。例如,在所述存储器250可以存储用于识别包含预先设定的调用语的唤醒(wake up)语音信号的数据。在此情况下,所述控制部240可以从通过所述音频输入部220接收的用户的语音输入信号中识别出包含预先设定的调用语的唤醒(wake up)语音信号。
另外,所述调用语可以由制造商来进行设定,并且可以按不同的家用电器设定不同的调用语。例如,在空调机的情况下,可以设定“LG WHISEN”作为调用语,在冰箱的情况下,可以设定“LG DIOS”作为调用语。
并且,所述调用语可以由用户进行设定变更。
控制部240可以控制将唤醒(wake up)语音信号的识别之后输入的用户的语音指令通过通信部270发送给语音识别服务器系统100。
通信部270可以具有一个以上的通信模块,以与其它电子装置执行无线方式的通信而收发各种信号。例如,通信部270可以与智能家居系统10内/外部的电子装置进行通信。
并且,通信部270可以与访问点装置300进行通信,并且通过访问点装置300连接到无线因特网网络以与其它装置进行通信。
并且,控制部240可以通过通信部270将家用电器200的状态信息、用户的语音指令等传送给语音识别服务器系统100等。
另外,当通过所述通信部270接收到控制信号时,控制部240可以控制家用电器200以使其根据接收的控制信号进行动作。
显示器292以影像方式显示与用户的指令输入对应的信息、与用户的指令输入对应的处理结果、动作模式、动作状态、出错状态等。
根据实施例,显示器292可以与触摸板彼此构成层次结构而构成触摸屏。在此情况下,显示器292除了作为输出装置以外,还可以作为可实现基于用户的触摸的信息的输入的输入装置使用。
并且,音频输出部291可以根据控制部240的控制以音频方式输出警告音、动作模式、动作状态、出错状态等提示消息、与用户的指令输入对应的信息、与用户的指令输入对应的处理结果等。
另外,音频输出部291可以将来自控制部240的电信号变换为音频信号并进行输出。为此,可以具有扬声器等。
并且,本发明的一实施例的家用电器200可以提供考虑到语音识别过程及家用电器控制过程中可能会发生的多种状况的用户经验(User Experience,UX)。
控制部240可以控制音频输出部291及显示器292,以与语音识别过程及家用电器控制过程的各步骤对应地利用视觉/听觉构件向用户提供规定信息。
控制部240可以控制显示器292,以与语音识别过程及家用电器控制过程的各步骤对应地提供视觉信息。
并且,控制部240可以控制音频输出部291,以与语音识别过程及家用电器控制过程的各步骤对应地提供听觉信息。
对于在语音识别过程及家用电器控制过程中通过音频输出部291、显示器292提供的用户经验,将参照图17、图18等详细地进行后述。
驱动部280用于执行家用电器中实现的动作,其可以按照各家用电器不同地构成。
例如,在家用电器为冰箱的情况下,驱动部280可以包括用于驱动向冷藏室供应被冷却的空气的冷藏室风机的冷藏室驱动部、用于驱动向冷冻室供应被冷却的空气的冷冻室风机的冷冻室驱动部、用于使压缩制冷剂的压缩机进行动作的压缩机驱动部等。
作为另一例,在家用电器为洗衣机的情况下,驱动部280可以包括用于驱动滚筒或洗衣桶的驱动部等。
作为又一例,在家用电器为空调机的情况下,驱动部280可以包括用于驱动室外机内的压缩机的压缩机驱动部、用于使用于热交换的室外机风机进行动作的室外机风机驱动部、用于使用于热交换的室内机风机进行动作的室内机风机驱动部等。
作为又一例,在家用电器为烹调装置的情况下,驱动部280可以包括用于向机腔(cavity)内输出微波的微波驱动部等。
作为又一例,在家用电器为吸尘器的情况下,驱动部280可以包括用于吸入空气的风机电机驱动部等。
另外,驱动部280可以包括电机驱动部,并且为了驱动电机而可以包括逆变器420等。对于电机驱动部将参照图30至图32详细地进行后述。
另外,家用电器200可以还包括:用于用户输入的操作部230;能够拍摄家用电器200周边规定范围的相机210。
操作部230可以具有多个操作键,从而能够将与输入的按键对应的信号传送给控制部240。
相机210用于拍摄家用电器200周边、外部环境等,这样的相机可以按各部位设置有多个以提高拍摄效率。
例如,相机210可以包括:图像传感器(例如,CMOS image sensor),包括至少一个光学镜头和利用通过光学镜头的光来成像的多个光二极管(photodiode,例如,pixel);数字信号处理器(DSP:Digital Signal Processor),基于从光二极管输出的信号来构成影像。数字信号处理器不仅可以生成静态影像,还可以生成由静态影像构成的帧来构成的动态影像。
另外,所述相机210所拍摄并获取的影像可以存储于存储器250。
图12是示出本发明的一实施例的空调机的内部框图的一部分的图,图13和图14是简略示出本发明的一实施例的空调机的外观的图。
更详细而言,图12例示出在图11所例示的家用电器为图13和图14所例示的空调机200a的情况下,空调机200a的驱动部280a中包括的叶片驱动部1210和风机驱动部1220。
图13和图14是简略示出本发明的一实施例的空调机的室内机外观的图。
参照图11至图14,本发明的一实施例的空调机200a可以包括:麦克风221、222,接收用户的语音指令;通信部270,与其它电子装置以无线方式进行通信;控制部240,控制整体上的动作;以及叶片驱动部1210,根据所述控制部240的控制来驱动叶片。
并且,本发明的一实施例的空调机200a可以还包括:风机驱动部1220,根据所述控制部240的控制来驱动风机。
麦克风221、222可以接收外部的音频信号、用户语音指令。并且,麦克风221、222可以获取外部的音频信号、用户语音指令并处理为电信号。
本实施例的空调机200a可以包括:吸入主体202,形成有空气吸入口(未图示);热交换机(未图示),吸入到空气吸入口的空气通过所述热交换机;风机(未图示),向空气吸入口吸入空气,使所述空气通过热交换机后进行送风;吐出口207R、207U、207D,使空气再次吐出到室内。
并且,在吐出口207R、207U、207D可以配置有用于开闭吐出口190并对吐出的空气的风向进行调节的百叶窗(未图示)和/或叶片261R、261L、261U、261D等风向调节构件,可以根据控制部240的控制来驱动电机等,从而转换风向调节构件的角度及方向。由此,可以调节通过吐出口207R、207U、207D吐出的空气的风向。并且,可以通过控制风向调节构件的动作来调节气流的送风方向、送风范围等。
例如,可以将叶片261R、261L、261U、261D固定为朝向某一个方向,从而使其朝某一个方向进行送风,也可以实施使叶片的方向在设定的范围内继续变化的动作(以下称为“摇摆(swing)动作”),从而在设定的范围内以使送风方向继续变化的形态来执行针对设定的范围的送风。并且,可以通过调节实现叶片261R、261L、261U、261D的摇摆动作的角度范围,来使实现送风的范围变得稍微更窄或更宽。
另外,在空调机内部设置有用于对吸入到吸入口的室内的空气通过吐出口207R、207U、207D向室内空间排出的流动进行控制的风机,所述风机利用风机驱动部1220来调节其旋转,所述风机驱动部1220的运行由控制部240来进行控制。
由此,控制部240可以通过控制叶片驱动部1210及风机驱动部1220来控制从空调机200a吐出的空气的流动(气流)的方向。控制部240可以通过控制风机电机的速度来控制气流的量和速度,并通过控制百叶窗、叶片等风向调节构件来控制气流的方向。
另外,空调机可以包括多个叶片261R、261L、261U、261D。并且,多个叶片261R、261L、261U、261D中的至少一部分能够以彼此不同的方式进行动作。
例如,上侧叶片261U能够以可升降的方式配置于风机的上部,从而在动作时进行升降并驱动。为此,空调机200a可以包括用于使上侧叶片261U进行升降的升降机构1211。
并且,上侧叶片261U可以上升并作用为上部吐出主体的功能,从而使通过空气吐出口207U从风机吹送的空气中的至少一部分向室内吐出。
吸入主体202可以设置于底座201上侧。吸入主体202可以与底座201一同形成空调机的背面侧的外观。吸入主体202可以形成空调机的背面上部外观。吸入主体202可以与底座201一同构成空调机的后壳,吸入主体202可以是空调机的后上壳,底座201可以是空调机的后下壳。
在底座201可以设置有用于控制空调机的各种电气部件的控制部240。其中,空调机的各种电气部件可以包括风机等。在底座201可以设置有配置于底座201的前方的底座盖225。
空调机可以还包括用于对空气进行净化的净化单元(未图示)。净化单元可以配置于吸入主体202。净化单元可以在空气流动方向上配置于热交换机之前。净化单元可以配置于吸入主体202和热交换机之间,也可以配置于吸入主体202的后方。净化单元可以包括用于过滤空气中的杂质的过滤器。净化单元可以包括用于向空气产生离子的离子发生器。净化单元可以包括用于对空气中的杂质进行放电以实现集尘的电集尘器。净化单元可以包括过滤器、离子发生器、电集尘器中的至少一种。
热交换机可以位于空气吸入口前方。热交换机可以使吸入到空气吸入口的空气与制冷剂进行热交换。热交换机能够以位于空气吸入口和风机之间的方式进行设置。
空调机在室外机上设置的压缩机进行驱动时,热交换机中可以通过低温低压的制冷剂,热交换机可以对通过空气吸入口的空气进行冷却。在压缩机开启时,热交换机可以使制冷剂和空气进行热交换以冷却空气,空调机可以作用为制冷机的功能。
风机可以位于热交换机的前方。风机可以由吸入后方的空气并朝上、下、左、右侧中的至少一个方向吹送的离心式风机构成。风机可以由横流式风机构成。风机可以由朝上、下、左、右侧四个方向吹送空气的横流式风机构成。
风机可以包括多个送风扇。多个送风扇可以在上下方向上依次地进行配置。多个送风扇可以分别由横流式风机构成。
在上侧叶片261U的前面可以形成有上部前空气吐出口207U。在上侧叶片261U的下面可以形成有空气流入口(未图示),从风机朝上侧向吹送的空气流入所述空气流入口。上侧叶片261U可以将从内部的风机朝上侧向吹送的空气朝前方方向进行引导。
上侧叶片261U可以在风机的上侧以可升降的方式进行配置。上侧叶片261U在上升时,可以使上部前空气吐出口207U上升而吐出空气,上侧叶片261U在下降时,可以使上部前空气吐出口207U被隐藏。
空调机可以还包括:升降引导件208,用于引导上侧叶片261U的升降。升降引导件208能够以位于风机及热交换机的上侧的方式进行设置。上侧叶片261U在上升时,可以使上部前空气吐出口207U位于升降引导件208上侧以吐出空气,上侧叶片261U在下降时,可以使上部前空气吐出口207U位于升降引导件208内侧而被隐藏。
升降机构1211可以包括:电机等驱动源;在驱动源进行驱动时升降上侧叶片261U的传动构件。传动构件可以包括:设置于驱动源的滑轮;与滑轮相啮合的齿条。
升降机构1211可以根据运转模式而上升至其它高度。控制部240可以根据用户的运转模式选择来控制所述升降机构1211。
例如,控制部240可以根据运转模式使上侧叶片261U上升至上部前空气吐出口207U以最大程度开放的最大开放高度,或者使上侧叶片261U上升至仅开放上部前空气吐出口207U的一部分的规定的高度。
在空调机200a的侧面可以形成有侧空气吐出口207R,从风机朝旁边方向吹送的空气通过所述侧空气吐出口207R。
并且,在空调机的侧面可以配置有侧叶片261R、261L,所述侧叶片261R、261L用于调节从风机朝旁边吹送的空气的风向,并能够开闭左侧空气吐出口及右侧空气吐出口207R。侧叶片261R、261L可以包括左侧叶片261L和右侧叶片261R。
侧叶片261R、261L可以可旋转的方式进行设置。空调机可以包括用于旋转侧叶片261R、261L的侧驱动机构1212、1213。侧驱动机构1212、1213可以包括左侧叶片驱动机构1212和右侧叶片驱动机构1213。
侧驱动机构1212、1213可以包括电机等的驱动源。侧驱动机构1212、1213可以包括连杆(link)或齿轮等至少一个传动构件,所述传动构件与驱动源相连接,以在驱动源进行驱动时旋转侧叶片261R、261L。
侧驱动机构1212、1213可以由控制部240在制冷运转时被控制为开放模式。并且,侧驱动机构1212、1213可以根据控制部240的控制,使左侧叶片261L和右侧叶片261R旋转为规定开放角度。
由此,可以控制送风方向且可以实施摇摆动作,从而以在设定的范围内使送风方向继续变化的形态对设定的范围实现送风。并且,通过调节实现摇摆动作的角度范围,能够使实现送风的范围变得更窄或更宽。
空调机可以还包括:下侧叶片261D,位于空调机的下侧并形成有下部前空气吐出口207D。
下侧叶片261D可以将从风机朝下侧方向吹送的空气朝前方方向吐出。下侧叶片261D可以在其内部形成供空气通过的流路。在下侧叶片261D的前面可以形成有向外部吐出空气的下部前空气吐出口207D。
空调机可以还包括:开闭机构1214,用于开闭下部前空气吐出口207D。开闭机构1214可以包括移动套件(未图示)(moving kit),所述移动套件移动下侧叶片261D以开闭下部前空气吐出口207D。移动套件可以包括:电机等驱动源;供移动套件安置的移动套件载体;在驱动源进行驱动时用于使移动套件载体进退的至少一个传动构件。
下侧叶片261D可以前进以遮蔽下部前空气吐出口207D,下侧叶片261D可以后退以开放下部前空气吐出口207D。
开闭机构1214在以规定模式运转时,可以被控制为使下部前空气吐出口207D开放的开放模式。
空调机可以还包括配置于风机的前方的送风机盖282,送风机盖282可以形成空调机的前面上部外观。送风机盖282能够以位于底座盖225的上侧的方式进行配置,并可以与底座盖225一同形成空调机的前面侧的外观。送风机盖282可以与底座盖225一同构成空调机的前盖。送风机盖282可以是空调机的前上盖,底座盖225可以是空调机的前下盖。
空调机可以设置有用于显示各种信息的显示器292。并且,空调机可以还包括用于输出音频信号的音频输出部291,音频输出部291的扬声器可以配置于空调机的前面或适当的位置。
并且,空调机可以包括:操作部230,具有能够输入各种指令的多个按键;相机210,能够拍摄家用电器200周边规定范围。
另外,根据本发明的一方式,在送风机盖282或底座盖225的前面可以配置有前面板1300,在前面板1300配置有显示器292、音频输出部291的扬声器、操作部230的操作键。
空调机可以根据多个运转模式进行运转。控制部240可以根据选择的运转模式来控制叶片驱动部1210、风机驱动部1220等。
例如,在规定运转模式下,控制部240可以控制多个叶片261R、261L、261U、261D使吐出口全部开放。
或者,在规定运转模式下,控制部240可以控制为,使特定叶片不开放吐出口而处于关闭状态。例如,在规定运转模式下,控制部240可以控制为使下侧叶片261D关闭。
并且,控制部240可以根据运转模式来调节上侧叶片261U的上升高度、左/右侧叶片261R、261L的开放角度。
并且,控制部240可以根据运转模式来控制风机的旋转速度,从而调节风量。
另外,图13和图14所例示的空调机的外观及结构仅是例示,本发明并不限定于此。例如,麦克风221、222、相机210、音频输出部291、叶片261R、261L、261U、261D的位置、数目、结构等可以根据设计配置而改变。
图15是示出本发明的一实施例的家用电器的动作方法的流程图。
图16是示出本发明的一实施例的包括语音识别服务器系统及家用电器的智能家居系统的动作方法的流程图。
图17和图18是在本发明的一实施例的家用电器进行语音识别及控制过程中提供的信息相关的说明中作为参照的图。
参照图15,家用电器200可以根据用户输入来激活语音识别功能(步骤S1510)。根据用户输入,家用电器200的控制部240可以激活麦克风221、222。
或者,家用电器200可以根据对语音识别功能激活的设定来自动地激活语音识别功能。
例如,当电源接通时,家用电器200可以自动地激活麦克风221、222,并且激活语音识别功能。
本发明的一实施例的家用电器200可以提供考虑到语音识别过程及家用电器控制过程中可能会发生的多种状况的用户经验(User Experience,UX)。
控制部240可以控制显示器292,以与语音识别过程及家用电器控制过程的各步骤对应地提供视觉信息。
并且,控制部240可以控制音频输出部291,以与语音识别过程及家用电器控制过程的各步骤对应地提供听觉信息。
图17示出在家用电器200为空调机200a的情况下,空调机200a所具有的显示器292的一例。
控制部240可以控制为,通过显示器292显示空调机200a的运转模式、当前状态等。
显示器292可以利用多种视觉图像来显示空调机200a的运转模式、当前状态、设定项目。显示器292可以利用文字、数字、符号来显示空调机200a的运转模式、当前状态、设定项目,并可以利用诸如图标的图形图像进行显示。
并且,显示器292可以按不同的语音输入的处理过程显示对应的信息。
参照图17,显示器292可以包括语音识别图标1720,所述语音识别图标1720在语音识别过程中点亮或熄灭。例如,显示器292可以包括用于表示麦克风被激活的麦克风图标1721、配置于所述麦克风图标1721的左/右侧的声音(或者翼片)图标1722。
并且,显示器292可以包括一个以上的7段显示器1711、1712,所述7段显示器1711、1712具有多个段(Segment)以显示数字。
例如,显示器292可以包括两个7段显示器1711、1712。
7段显示器1711、1712是用于显示数字或文字的显示器,7段显示器1711、1712的各段可以包括一个以上的发光元件,可以利用独立地驱动的段的组合来显示数字或文字。
本发明中定义的7段显示器1711、1712可以具有通过多个发光元件选择性地点亮,从而照亮为数字的形态的通常的7段的结构,其还可以包括液晶显示装置中输出为诸如7段的数字模样图形的形态的结构。即,7段显示器1711、1712可以适用能够输出为7段的模样的所有形态的输出装置。
另外,一对7段显示器1711、1712也可以命名为88段显示器1710。
空调机200a的显示器292尤其为了显示温度等而可以利用88段显示器1710。
并且,显示器292可以包括预约设定项目1731、动作音显示项目1732、WIFI显示项目1733、电量显示项目1741、自动干燥显示项目1742、运转种类显示项目1750、风力显示项目1760等。
各项目1731、1732、1733、1741、1742、1750、1760可以利用规定文字和/或图标进行显示。
图18是例示出按语音识别过程的各步骤由显示器292显示的视觉信息和由音频输出部291以音频方式输出的语音引导消息的图表(table)。
参照图15和图18,当语音识别功能被激活时,所述显示器292点亮显示所述麦克风图标1721,控制部240可以控制进入到用于输入包含预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式(步骤S1515)。
另外,当语音识别功能未被激活时,可以结束麦克风图标1721的显示。
并且,音频输出部291可以输出用于引导包含调用语的发话的语音引导消息。例如,如果调用语被设定为“LG WHISEN”,当说出“LG WHISEN”时,音频输出部291能够以语音方式输出诸如“可以使用语音识别功能”的语音引导消息。
在家用电器的麦克风221、222激活的状态下,当从用户接收语音输入时,麦克风221、222可以接收输入语音并将其传送给控制部240。
另外,在通过麦克风221、222接收到包含预先设定的调用语的唤醒(wake up)语音信号的情况下(步骤S1520),家用电器200可以转换为用于接收语音指令语的指令语等待模式(步骤S1525)。在通过麦克风221、222接收到包含预先设定的调用语的唤醒(wake up)语音信号的情况下(步骤S1520),控制部240可以控制为进入到指令语等待模式(步骤S1525)。
并且,根据所述控制部240的控制,所述显示器292可以闪烁显示配置于所述麦克风图标1721的左右侧的翼片模样的声音图标1722。
由此,用户能够直观地认知到家用电器200正在等待用户的指令语输入。
并且,所述声音图标1722的闪烁显示可以在所述指令语等待模式过程中持续地执行。
或者,所述声音图标1722的闪烁显示可以在进入所述指令语等待模式并进行预先设定的规定时间后维持点亮状态。根据实施例,当有用户的语音指令时,可以使所述声音图标1722再次按预先设定的规定期间进行闪烁显示。
如果家用电器200一直等待自然语言指令语,则对语音识别功能所消耗的电力和CPU占用率及语音识别服务器系统的服务器负载构成负担。
因此,家用电器200可以仅将指令语等待状态下接收的语音信号传送给服务器。
并且,家用电器200可以对等待指令语的时间设定条件,使在时间内输入指令时,可以到指令语结束时点为止接收声音并传送给服务器。
根据本发明的一方式,家用电器200可以仅执行至调用语语音输入与否的语音识别过程,而之后的对用户语音输入的语音识别可以由语音识别服务器系统100来执行。
或者,调用语语音输入与否的判断可以由家用电器200和语音识别服务器系统100以双重方式来执行。
另外,所述调用语可以由制造商来进行设定,并且可以按不同的家用电器设定不同的调用语。例如,在空调机的情况下,可以设定“LG WHISEN”作为调用语,在冰箱的情况下,可以设定“LG DIOS”作为调用语。并且,所述调用语可以由用户进行设定变更。
另外,所述控制部240可以控制将唤醒(wake up)语音信号的识别之后输入的用户的语音指令通过通信部270发送给语音识别服务器系统100(步骤S1530)。
另外,如果无限期地等待用户的语音指令,则会浪费系统资源,并且也不符合不输入指令语的用户的意图,因此,在指令语等待模式下,可以设定为仅对在规定经过时间期间输入的语音指令进行处理(步骤S1527)。
在此情况下,所述控制部240可以控制为,将包含所述预先设定的经过时间以内接收的语音指令的语音数据传送给语音服务器110(步骤S1530)。
另外,当在所述预先设定的经过时间以内未接收到所述语音指令时(步骤S1527),所述控制部240可以控制为再次转换到所述唤醒信号等待模式。
并且,当通过所述麦克风221、222在所述预先设定的经过时间以内接收到语音指令,并且通信部270发送语音数据时(步骤S1530),所述显示器292可以依次地点亮所述7段显示器1710的多个段中配置于外廓的段。
另外,与所述语音数据的发送(步骤S1530)对应地,在88段显示器1710朝顺时针方向或逆时针方向旋转期间,所述音频输出部291可以输出效果音响或音乐或语音引导消息。
所述音频输出部291可以输出诸如系统处理音的效果音响、用于提示正在指令语处理中的语音引导消息。
所述音频输出部291在发生特定事件时需要输出语音引导消息,当在输出规定语音引导消息的过程中发生来自服务器的信号接收等特定事件时,正在输出中的语音引导消息将可能被断开,用户则会对此感到不便。
因此,在语音服务器110中处理语音指令语的过程中,更优选地使所述音频输出部291播放规定音乐,从而能够向用户提供更加舒适的感觉。
并且,当在指令语处理中发生延迟时,所述音频输出部291可以输出“请稍等片刻”等语音引导消息。
根据实施例,当所述通信部270在第一时间以内未能从所述语音服务器110接收基于所述语音指令的响应信号时,所述音频输出部291可以输出用于提示等待的语音引导消息。在此情况下,当在所述第一时间以后的第二时间以内,所述通信部270仍然未接收到基于所述语音指令的响应信号时,所述音频输出部291可以输出用于请求再输入语音指令的语音引导消息。
当所述通信部270在所述第二时间以内也未接收到基于所述语音指令的响应信号时,所述控制部240可以控制为转换到所述指令语等待模式。
本发明的一实施例的家用电器200也可以利用其它方式向用户提供规定信息。
例如,在本发明的一实施例的家用电器200中,当在预先设定的经过时间以内接收到语音指令时,为了向用户提示接收到指令语,驱动部280可以执行与指令语接收对应的反馈动作。
根据实施例,当在所述预先设定的经过时间以内接收到所述语音指令时(步骤S1527),为了向用户提示家用电器200接收到指令语,控制部240可以控制为执行与指令语接收对应的反馈动作。
在此情况下,根据所述控制部240的控制,驱动部280可以执行预先设定的动作。
例如,在所述家用电器200为空调机200a的情况下,驱动部280可以包括叶片驱动部1210、风机驱动部1220等。
随着在所述预先设定的经过时间以内接收到所述语音指令,叶片驱动部1210可以驱动一个以上的叶片261R、261L、261U、261D,从而执行升降、移动、旋转、摇摆(swing)动作中的至少一种动作。
参照图19,当通过空调机200a的麦克风221、222在设定的经过时间以内接收到语音指令时,叶片驱动部1210可以将上侧叶片261U上升至规定高度。
并且,叶片驱动部1210可以使左侧叶片261L和右侧叶片261R旋转到规定角度。
并且,叶片驱动部1210可以使下侧叶片261D朝内侧方向前进移动,从而开放下部前空气吐出口207D。
在空调机200a因未以特定运转模式进行动作而处于空气吐出口关闭的状态下,当接收到语音指令时,叶片驱动部1210可以根据控制部240的控制来使多个叶片261R、261L、261U、261D全部进行驱动。
或者,叶片驱动部1210可以使多个叶片261R、261L、261U、261D中的一部分进行驱动。
或者,当通过麦克风221、222在设定的经过时间以内接收到语音指令时,叶片驱动部1210可以根据控制部240的控制来使左侧叶片261L和右侧叶片261R旋转到规定角度。
并且,叶片驱动部1210可以控制左侧叶片261L和右侧叶片261R执行摇摆动作,以使其在规定范围内反复进行旋转。
根据本发明的一实施例,当在预先设定的经过时间以内接收到语音指令时,使叶片261R、261L、261U、261D进行移动,能够直观地提示用户指令语的接收,从而能够提高用户的信赖度。
并且,当用户向空调机200a输入语音指令时,其大部分的情况为意图使空调机200a进行动作,因此,通过先行移动叶片261R、261L、261U、261D,并在之后与判别的语音指令对应地进行动作,从而能够更加迅速地应对用户的语音指令。
另外,如参照图1至图9所述,语音服务器110及包括其的语音识别服务器系统100可以对从家用电器200接收到的包含语音指令的语音数据进行识别、处理。
由此,当通信部270从家电控制服务器130接收到基于所述语音指令的控制信号时(步骤S1540),控制部240可以控制家用电器200,以使其与接收的控制信号对应地进行动作(步骤S1545)。
并且,当通信部270从所述语音服务器110接收到基于所述语音指令的响应信号时(步骤S1550),控制部240可以控制音频输出部291,以使其输出与接收的响应信号对应的语音引导消息(步骤S1570)。
根据实施例,在所述响应信号不包含语音数据的情况下(步骤S1560),控制部240可以控制为向所述语音服务器110请求语音数据(步骤S1565),以从所述语音服务器110接收所请求的语音数据。
另外,根据语音识别结果,可以通过所述通信部270从所述语音服务器110接收与语音识别失败对应的信号。在此情况下,控制部240可以控制音频输出部291,以使其输出用于请求语音指令的再输入的语音引导消息,并且再次转换到所述指令语等待模式。
并且,根据判别出的语音指令的可支持与否判别,可以通过所述通信部270从所述语音服务器110接收用于提示所述语音指令为与不支持的功能相关的指令的信号(步骤S1535)。在此情况下,控制部240可以控制音频输出部291,以使其输出用于提示所述语音指令为与不支持的功能相关的指令的语音引导消息(步骤S1537)。
在此情况下,控制部240可以控制为转换到唤醒信号等待模式。
或者,控制部240可以控制为再次转换到所述指令语等待模式。
根据本发明,通过提供与各状况相适应的视觉信息和/或语音引导消息,能够准确地确认出在语音控制指令时在何阶段因何问题未被正常控制。并且,由于能够控制产品的指令语的自由度较高而改善使用性。
参照图16和图18,家用电器200可以激活语音识别功能(步骤S1611),从而进入用于输入包含预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式(步骤S1612)。
与语音识别功能的激活(步骤S1611)对应地,在显示器292可以点亮麦克风图标1721,音频输出部291可以输出用于引导用户发出调用语的语音引导消息。
当通过麦克风221、222输入“LG WHISEN”、“LG DIOS”等预先设定的调用语时(步骤S1613),家用电器200可以转换到用于接收语音指令语的指令语等待模式(步骤S1614)。
随着进入到指令语等待模式(步骤S1614),所述显示器292可以使配置于所述麦克风图标1721的左右侧的翼片模样的声音图标1722进行闪烁显示。
在指令语等待模式下,可以设定为仅对在规定经过时间期间输入的语音指令进行处理(步骤S1615)。例如,可以设定为6秒的经过时间,在此情况下,所述控制部240可以控制为,将包含所述6秒以内接收到的语音指令的语音数据传送给语音服务器110(步骤S1621)。
并且,当通过所述麦克风221、222在所述预先设定的经过时间以内接收到语音指令,并且通信部270发送语音数据时(步骤S1621),所述显示器292可以依次地点亮及熄灭所述段显示器1710的多个段中配置于外廓的段。
并且,与所述语音数据的发送(步骤S1621)对应地,在88段显示器1710朝顺时针方向或逆时针方向旋转期间,所述音频输出部291可以输出效果音响或音乐或语音引导消息。
另外,当在所述预先设定的经过时间以内未接收到所述语音指令时(步骤S1621),所述控制部240可以控制为再次转换到所述唤醒信号等待模式。
根据本发明的一方式,家用电器200仅执行至调用语语音输入与否的语音识别过程,而之后的对用户语音输入的语音识别可以由语音识别服务器系统100来执行。
当从家用电器200接收到包含语音指令的语音数据时(步骤S1621),语音服务器110可以执行自然语言处理,从而分析用户的意图并判别语音指令(步骤S1622)。
当语音指令未被正常分析时(步骤S1623),语音服务器110可以向家用电器200提示语音指令分析失败,家用电器200可以发出包含用户的再命令请求语的语音引导消息(步骤S1662)。
在此情况下,可以设定为,在语音指令分析失败时,仅以预先设定的次数执行再命令请求及再命令分析过程(步骤S1661)。
例如,当正常分析失败3次以上时,所述控制部240可以不请求再命令,而是控制为再次转换到所述唤醒信号等待模式。
另外,当语音指令被正常分析时(步骤S1623),语音服务器110可以将与所述判别的语音指令对应的信号发送给联系服务服务器120。
另外,所述联系服务服务器120可以判别所述判别的语音指令的可支持与否。
例如,所述联系服务服务器120可以判别所述判别的语音指令是否为相应家用电器200支持的功能(步骤S1631)。
并且,所述联系服务服务器120可以判别所述判别的语音指令是否为相应家用电器200在当前状态下支持的功能、是否为以语音指令提供的功能等(步骤S1632)。
如果所述判别的语音指令不是可支持的功能,如参照图1至图9进行说明,所述联系服务服务器120可以经由所述语音服务器110向家用电器200发送用于提示其不是可支持的功能的响应信号。
由此,家用电器200可以输出“不支持的功能”、“不支持语音的功能”等的语音引导消息(步骤S1671、步骤S1672)。
并且,控制部240可以控制为转换到唤醒信号等待模式。
如果判别的语音指令与家用电器200相关,所述联系服务服务器120可以与家电控制服务器130进行通信以执行对应的动作。
或者,如果判别的语音指令与家用电器200不相关,所述联系服务服务器120可以与外部的外部服务进行通信以执行对应的动作。
如果判别的语音指令用于控制家用电器200,所述联系服务服务器120可以生成与所述判别的语音指令对应的请求信号并发送给所述家电控制服务器130。
家电控制服务器130可以从所述联系服务服务器120接收所述请求信号,并将基于所述请求信号的控制信号发送给所述家用电器200。
例如,当接收到用于变更空调机200a的设定温度的请求时,所述家电控制服务器130可以向所述空调机200a发送用于变更设定温度的控制信号。
另外,家用电器200可以根据从所述家电控制服务器130接收的控制信号来执行对应的动作(步骤S1640)。
并且,家用电器200在执行被请求的动作后,可以将用于提示已执行动作的信号发送给所述家电控制服务器130。
并且,家电控制服务器130可以从所述家用电器200接收对所述控制信号的响应信号,并将用于提示针对请求的动作成功的处理结果信息发送给联系服务服务器120。
联系服务服务器120可以将“将空调温度设定为18度”等与处理结果信息对应的信号发送给自然语言处理服务器112,自然语言处理服务器112可以将基于判别的用户的语音指令的响应信号发送给所述家用电器200。
另外,家用电器200可以基于从语音服务器110接收的语音数据来发出包含“将空调温度设定为18度”等引导语的语音引导消息(步骤S1650)。
图20是示出仅将指令语传送给语音识别服务器系统的实施例的家用电器的动作方法的流程图,其从语音识别功能激活步骤图示至将用户输入的语音指令语传送给语音识别服务器系统100的步骤为止。
参照图20,根据语音识别功能的激活(步骤S2210),家用电器200可以进入用于输入包含预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式(步骤S2020)。
在唤醒信号等待模式(步骤S2020)状态下,当用户发出预先设定的调用语并由家用电器200接收到该调用语时(步骤S2030),家用电器200可以转换为用于接收语音指令语的指令语等待模式(步骤S2040)。
在指令语等待模式(步骤S2040)状态下,当用户发出语音指令并由家用电器200接收到该语音指令时(步骤S2050),家用电器200可以将包含接收到的语音指令的音源文件的数据传送给语音识别服务器系统100(步骤S2060)。
另外,语音识别服务器系统100的语音服务器100可以对接收的语音指令的音源文件执行自然语言语音识别过程。
如上所述,家用电器200在识别出调用语并进入指令语等待状态后,当输入有被识别为指令语的声音时,可以将其进行录音并以流方式传送给语音识别服务器系统100。
在此情况下,可能会发生因指令语的前部分未被识别而指令语的前部分被裁剪的音源文件传送给语音识别服务器系统100的情况。
前部分被裁剪的指令语在语音识别服务器系统100中进行分析时,即使对其进行意图分析,在较多的情况下也有可能无法准确地对其进行识别。
图21A和图21B是在图20的动作方法的语音识别过程中可能会发生的误识别相关的说明时作为参照的图,其例示出家用电器200为空调机200a的情况。
参照图21A,用户可以发出如“5度降低”的语音指令,空调机200a通过音频输入部220接收用户的语音指令。
但是,空调机200a可能会错误判断用户的如“5度降低”的语音指令的起始点。
在此情况下,空调机200a可能将作为整个语音指令中的前部分的“5度”对应的音源文件被除去的如“降低”的不完整的语音指令传送给语音识别服务器系统100。
接收到如“降低”的不完整的语音指令的语音识别服务器系统100即使对接收到的音源文件准确地进行语音识别,也无法准确地分析出将温度降低几度等用户的意图。
由此,家用电器200和语音识别服务器系统100无法执行与用户的语音指令的意图相符合的动作。
参照图21B,用户可以发出如“节电功能开启”的语音指令,空调机200a通过音频输入部220接收用户的语音指令。
但是,空调机200a可能会错误判断用户的如“节电功能开启”的语音指令的起始点。
在此情况下,空调机200a可能将作为整个语音指令中的前部分的“节电”对应的音源文件被除去的如“功能开启”的不完整的语音指令传送给语音识别服务器系统100。
由此,语音识别服务器系统100接收如“功能开启”的不完整的语音指令,即使其对接收到的音源文件准确地进行语音识别,也无法准确地分析出需要在除湿功能、节电功能、空气净化功能等多种功能中驱动哪个功能等用户的意图。
由此,家用电器200和语音识别服务器系统100无法执行与用户的语音指令的意图相符合的动作。
在家用电器200中错误判断指令语的起始点的情况下,将以指令语的前部分被裁剪的状态传送给语音识别服务器系统100,从而未被正常地进行分析而降低识别率。
因此,以下为了改进所述问题,提示出将从调用语到指令语为止的全体传送给语音识别服务器系统100并进行分析的实施例。当传送从调用语到指令语为止的全体时,将不会存在指令语前部分被裁剪的问题,从而能够改进识别率。
图22是示出本发明的一实施例的家用电器的动作方法的流程图。更详细而言,其将家用电器200将调用语和指令语一同传送给语音识别服务器系统100的实施例的流程图图示至传送步骤为止。
因此,图22所示的实施例与前述的实施例的区别在于,从参照图15、图16等所述的语音识别功能激活步骤S1510、S1611到指令语传送步骤S1530、S1621为止。
并且,虽然图22中未示出指令语传送(步骤S1530、S1621)之后的动作,但是可以相同地执行参照图15、图16等所述的指令语传送之后(步骤S1535、S1622)的动作。
以下,以图22的实施例与图15、图16的实施例的区别为主进行说明。
参照图22,家用电器200可以基于用户输入来激活语音识别功能(步骤S2210)。家用电器200的控制部240可以根据用户输入来激活麦克风221、222。
或者,家用电器200可以根据对语音识别功能激活的设定而自动地激活语音识别功能。例如,当电源开启时,家用电器200可以自动地激活麦克风221、222,并且激活语音识别功能。
根据语音识别功能的激活(步骤S2210),家用电器200可以进入用于输入包含预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式(步骤S2220)。
在唤醒信号等待模式(步骤S2220)中,可以通过包括一个以上的麦克风221、222的音频输入部220来接收语音信号(步骤S2230)。
家用电器200的控制部240和/或语音识别模块(参照图29的205)可以通过音频输入部220判别所接收的语音信号是否包含所述调用语。
当在语音识别功能被激活的状态下接收到特定基准以上的声音时,可以在控制部240和/或语音识别模块205内判断是否为调用语。
另外,当所述语音信号包含所述调用语时,控制部240可以控制为将所述接收到的语音信号(调用语)的音源文件存储于存储部250或额外的存储空间(步骤S2235)。
并且,控制部240可以控制为在预先设定的经过时间期间进入到用于输入用户的语音指令的指令语等待模式(步骤S2240)。
即,当接收到调用语时,可以进入指令语等待状态并存储调用语音源。
另外,如果无限期地等待用户的语音指令,则会浪费系统资源,并且也不符合不输入指令语的用户的意图,因此,在指令语等待模式下,可以更优选地设定为仅对在规定经过时间期间输入的语音指令进行处理。
在此情况下,所述控制部240可以控制为,将包含所述预先设定的经过时间以内接收的语音指令的语音数据传送给语音服务器110。
并且,如参照图15和图16所述,当在所述预先设定的经过时间以内未接收到语音指令时,所述控制部240可以控制为进入到唤醒信号等待模式(步骤S2220)。
当通过所述音频输入部220在预先设定的经过时间以内接收到语音指令时(步骤S2250),所述控制部240可以控制通信部270,以使其将包含有接收的语音指令及所述调用语的语音数据传送给语音识别服务器系统100(步骤S2260)。
所述控制部240可以控制为,当接收指令语时,存储指令语音源,当确认发话完毕时,将所述指令语音源与预先存储的调用语音源结合并传送给语音识别服务器系统100。
通信部270可以将结合调用语和指令语的音源以流方式传送给语音识别服务器系统100。
由此,可以将包含完整的语音指令的语音数据传送给语音识别服务器系统100,在语音识别服务器系统100中将调用语和指令语作为一个音源进行分析,从而能够避免指令语的前部分被裁剪的问题。
并且,能够实现前部分未被裁剪的完整的指令语的文本变换及意图分析等全体分析,从而能够改进识别率。
另外,如参照图19等所述,在本发明的一实施例的家用电器200中,当在预先设定的经过时间以内接收到语音指令时,为了向用户提示接收到指令语,驱动部280可以执行与指令语接收对应的反馈动作。
根据实施例,当在所述预先设定的经过时间以内接收到所述语音指令时(步骤S2250),为了向用户提示家用电器200接收到指令语,控制部240可以控制为执行与指令语接收对应的反馈动作。
在此情况下,可以根据所述控制部240的控制,驱动部280执行预先设定的动作。
例如,在所述家用电器200为空调机200a的情况下,驱动部280可以包括叶片驱动部1210、风机驱动部1220等。
随着在所述预先设定的经过时间以内接收到所述语音指令,叶片驱动部1210可以驱动一个以上的叶片261R、261L、261U、261D,从而执行升降、移动、旋转、摇摆(swing)动作中的至少一种动作。
另外,如参照图1至图9所述,语音服务器110及包括其的语音识别服务器系统100可以对从家用电器200接收到的包含语音指令的语音数据进行识别、处理。
并且,当从所述语音识别服务器系统100接收到基于所述语音指令的控制信号时,控制部240可以控制为与接收到的控制信号对应地进行动作。
如参照图15等进行说明,当通信部270从家电控制服务器130接收到基于所述语音指令的控制信号时(步骤S1540),控制部240可以控制家用电器200,以使其与接收的控制信号对应地进行动作(步骤S1545)。
另外,当在指令语等待状态的预先设定的经过时间以内未接收到语音指令时,控制部240可以控制为转换到所述唤醒信号等待模式。
并且,当通信部270从所述语音服务器110接收到基于所述语音指令的响应信号时(步骤S1550),控制部240可以控制音频输出部291,以使其输出与接收的响应信号对应的语音引导消息(步骤S1570)。
根据实施例,在所述响应信号不包含语音数据的情况下(步骤S1560),控制部240可以控制为向所述语音服务器110请求语音数据(步骤S1565),以从所述语音服务器110接收所请求的语音数据。
另外,根据语音识别结果,可以通过所述通信部270从所述语音服务器110接收到与语音识别失败对应的信号。在此情况下,控制部240可以控制音频输出部291,以使其输出用于请求语音指令的再输入的语音引导消息,并且再次转换到所述指令语等待模式。
并且,根据判别出的语音指令的可支持与否判别,可以通过所述通信部270从所述语音服务器110接收到用于提示所述语音指令为与不支持的功能相关的指令的信号(步骤S1535)。在此情况下,控制部240可以控制音频输出部291,以使其输出用于提示所述语音指令为与不支持的功能相关的指令的语音引导消息(步骤S1537)。
在此情况下,控制部240可以控制为转换到唤醒信号等待模式。或者,控制部240可以控制为再次转换到所述指令语等待模式。
另外,根据实施例,当通过所述音频输入部220接收到语音指令时(步骤S1527),在所述预先设定的经过时间以内接收的语音指令对应于预先存储的关键字指令的情况下,所述控制部240可以控制为执行与所述关键字指令对应的动作。
并且,在所述预先设定的经过时间以内接收的语音指令不对应于预先存储的关键字指令的情况下,所述控制部240可以控制为将包含所述语音指令及调用语的语音数据传送给所述语音识别服务器系统。
即,本发明的一实施例的家用电器200可以自行地应对包含简单的关键字的关键字指令,而对于通过自然语言处理的语音控制则可以通过语音识别服务器系统100来支持。其中,关键字指令可以表示包含有用于家用电器200的控制的规定关键字(keyword)的语音指令。
例如,在家用电器200为空调机200a的情况下,关键字指令可以包含“开启空气净化”、“关闭空气净化”、“开启节电制冷”、“关闭节电制冷”、“开启节电除湿”、“关闭节电除湿”、“开启电源”、“关闭电源”等与准确的动作名称对应的关键字和开启(on)或关闭(off)等动作内容关键字。
并且,关键字指令可以包含“用电量”、“当前状态”或“动作状态”等用于请求家用电器200的状态信息的指令。
并且,根据实施例,关键字指令可以仅由“空气净化”、“节电制冷”、“节电除湿”等与规定运转模式相关的准确的名称对应的关键字构成。
如参照图1至图10、图16等所述,本发明的一实施例的语音识别服务器系统100可以包括:语音服务器110,从家用电器200接收语音数据,对接收的语音数据进行分析,从而判别语音指令。
语音服务器110可以从家用电器200a接收语音数据,将所述接收的语音数据变换为文本(text)数据,对文本数据进行分析,从而判别语音指令。
并且,语音服务器110可以将与判别的语音指令对应的信号发送给规定服务器。
图23是示出本发明的一实施例的语音识别服务器系统的动作方法的流程图。
参照图23,本发明的一实施例的语音识别服务器系统100可以从家用电器200接收语音数据(步骤S2310)。此时,语音识别服务器系统100接收到的语音数据可以不仅包含指令语,而且还包含调用语。
语音识别服务器系统100的语音服务器110可以从家用电器200接收包含调用语和指令语的语音数据。更详细而言,自动语音识别服务器111可以从家用电器200接收包含调用语和指令语的语音数据。
另外,语音识别服务器系统100可以从所述接收到的语音数据中分离出调用语和指令语(步骤S2320),并将指令语变换为文本(text)数据(步骤S2330)。
所述自动语音识别服务器111可以对接收的语音数据执行语音识别,从而判别调用语和指令语并进行分离(步骤S2320)。
并且,所述自动语音识别服务器111可以将分离出的指令语变换为文本(text)数据(步骤S2330)。并且,所述自动语音识别服务器111可以将文本数据发送给自然语言处理服务器112。
另外,语音识别服务器系统100可以对所述文本数据进行分析,从而判别语音指令(步骤S2340)。
根据本实施例,家用电器200在识别调用语时持有相应音源,并在接收指令语并发话结束时,可以将调用语音源和指令语音源相结合并以流(streaming)方式传送给自动语音识别服务器111。
在自动语音识别服务器111和自然语言处理服务器112中分析音源时,由于一同分析调用语和指令语而能够明确判别指令语起始点,从而能够准确地提取、分析指令语。
所述自然语言处理服务器112可以根据自然语言处理算法对从所述自动语音识别服务器111接收的文本数据进行分析,从而判别语音指令。
所述自然语言处理服务器112可以根据自然语言处理算法对作为人们日常使用的语言的自然语言进行处理,并能够对用户的意图(intent)进行分析。所述自然语言处理服务器112可以对从所述自动语音识别服务器111接收的文本数据执行自然语言处理,从而判别与用户的意图相符合的语音指令。
由此,即使用户利用日常的使用语言来输入语音指令,所述自然语言处理服务器112也能够判别与用户的意图相符合的语音指令。
另外,语音识别服务器系统100可以执行与所述判别的语音指令及用户意图分析结果对应的动作(步骤S2350)。
语音识别服务器系统100的详细的动作已参照图1至图10、图16等进行了说明。
例如,语音识别服务器系统100可以将基于所述判别的语音指令的响应信号发送给所述家用电器200。其中,所述响应信号可以包含与所述判别的语音指令对应的处理结果信息。
根据实施例,语音识别服务器系统100可以将基于所述判别的语音指令的响应信号变换为语音数据并发送给所述家用电器200。
并且,语音识别服务器系统100可以将基于所述判别的语音指令的控制信号发送给所述家用电器200。
根据本实施例,语音服务器110可以从接收到的音源中仅提取出调用语。并且,语音服务器110可以将提取调用语后剩余的音源判断为指令语,并对其进行文本变换及意图分析。
根据本发明的另一实施例,语音服务器110中可以无需提取调用语,而是首先将整个音源变换为文本后,从文本中删除调用语,并利用其余文本进行意图分析。
图24是示出本发明的一实施例的语音识别服务器系统的动作方法的流程图。
参照图24,本发明的一实施例的语音识别服务器系统100可以从家用电器200接收语音数据(步骤S2410)。此时,语音识别服务器系统100接收到的语音数据可以不仅包含指令语,而且还包含调用语。
语音识别服务器系统100的语音服务器110可以从家用电器200接收包含调用语和指令语的语音数据。更详细而言,自动语音识别服务器111可以从家用电器200接收包含调用语和指令语的语音数据。
所述自动语音识别服务器111可以将所述接收的语音数据变换为文本(text)数据(步骤S2420)。
并且,所述自动语音识别服务器111可以从所述文本(text)数据中删除调用语(步骤S2430)。
另外,所述自动语音识别服务器111可以将调用语被删除的文本数据发送给自然语言处理服务器112。
自然语言处理服务器112可以对所述调用语被删除的文本数据进行分析,从而判别语音指令(步骤S2440)。
由此,由于不存在指令语的前部分被裁剪的可能性,能够改进对指令语的识别率。
另外,语音识别服务器系统100可以执行与所述判别的语音指令及用户意图分析结果对应的动作(步骤S2450)。
例如,语音识别服务器系统100可以将基于所述判别的语音指令的响应信号发送给所述家用电器200。其中,所述响应信号可以包含与所述判别的语音指令对应的处理结果信息。
根据实施例,语音识别服务器系统100可以将基于所述判别的语音指令的响应信号变换为语音数据并发送给所述家用电器200。
并且,语音识别服务器系统100可以将基于所述判别的语音指令的控制信号发送给所述家用电器200。
图25是例示出本发明的一实施例的家用电器和语音识别服务器系统的信号流动的图。
参照图25,本发明的一实施例的家用电器200在用于输入包含有预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式状态下,可以通过音频输入部220接收包含有“LG WHISEN”、“LG DIOS”等预先设定的调用语的语音信号(步骤S2510)。
家用电器200可以将所述接收到的调用语临时存储于存储器250等,并转换进入用于接收用户的语音指令语的指令语等待模式(步骤S2520)。
当在预先设定的经过时间以内通过所述音频输入部220接收语音指令时(步骤S2530),控制部240可以控制通信部270,以使其将包含有接收到的语音指令及所述调用语的语音数据传送给语音识别服务器系统100(步骤S2540)。
所述控制部240可以控制为,当接收到指令语时存储指令语音源(步骤S2530),并在确认出发话结束时,将所述指令语音源与预先存储的调用语音源相结合并传送给语音识别服务器系统100(步骤S2540)。
通信部270可以将结合调用语和指令语的音源以流方式传送给语音识别服务器系统100。
由此,能够将包含有完整的语音指令的语音数据传送给语音识别服务器系统100,并在语音识别服务器系统100中将调用语和指令语作为一个音源进行分析,从而能够避免指令语的前部分被裁剪的问题。
另外,语音识别服务器系统100可以从接收到的语音数据中分离出调用语后(步骤S2550),将其变换为文本数据(步骤S2560)。
或者,语音识别服务器系统100可以将接收到的语音数据变换为文本数据后(步骤S2560),从中分离出调用语(步骤S2550)。
另外,语音识别服务器系统100可以将与调用语一同接收的指令语以不发生被消失的部分的方式进行分离,并根据自然语言语音识别算法执行语音识别及用户意图分析(步骤S2570)。
语音识别服务器系统100以调用语为基准,将调用语结束的时点或者调用语结束的时点之后的规定时点作为起始点并执行语音识别及用户意图分析。
由此,能够防止因以用户指令语中的一部分被遗漏的状态传送而可能发生的误识别。
图26至图28是在本发明的一实施例的语音识别服务器系统及家用电器的多种动作相关的说明中作为参照的图。
参照图26,随着用户发出“LG WHISEN”等预先设定的调用语2610,空调机200a可以存储调用语2610并进入指令语等待模式。
在指令语等待模式状态下,用户可以利用如“今天天气如何”的自然语言来将语音指令2620输入给空调机200a。通过麦克风221、222接收到用户的语音指令2620的空调机200a可以将结合录音的调用语2610和语音指令2620的语音数据2630传送给语音识别服务器系统100。
语音识别服务器系统100可以从接收的语音数据2630区分出指令语后,对指令语进行分析,从而判别出需要天气信息的用户的意图。由此,语音识别服务器系统100可以连接到提供天气信息的外部服务或因特网网络并请求、接收天气信息。
并且,语音识别服务器系统100可以将基于接收的天气信息的数据2640发送给家用电器200a。
空调机200a可以基于接收的数据来输出包含“首尔从下午开始下雨”等天气信息的语音引导消息2650。
参照图27,随着用户发出“LG WHISEN”等预先设定的调用语2710,空调机200a可以存储调用语2710并进入指令语等待模式。
随后,用户可以利用如“去除气味”的自然语言来输入语音指令2720。通过麦克风221、222接收到用户的语音指令2720的空调机200a可以将结合录音的调用语2710和语音指令2720的语音数据2730传送给语音识别服务器系统100。
语音识别服务器系统100可以从接收的语音数据2730区分出指令语后,对指令语进行分析,从而判别出需要空气净化功能的用户的意图。由此,语音识别服务器系统100可以向空调机200a发送用于驱动空气净化功能的控制信号2740和与相应动作对应的响应信号2745。
空调机200a可以驱动空气净化功能,并输出如“将驱动空气净化功能”的语音引导消息2750。
参照图28,随着用户发出“LG WHISEN”等预先设定的调用语2810,空调机200a可以存储调用语2810并进入指令语等待模式。
随后,用户可以利用如“开启节电功能”的自然语言来输入语音指令2820。通过麦克风221、222接收到用户的语音指令2820的空调机200a可以将结合录音的调用语2810和语音指令2820的语音数据2830传送给语音识别服务器系统100。
语音识别服务器系统100可以从接收的语音数据2830区分出指令语后,对指令语进行分析,从而判别出需要节电功能的用户的意图。由此,语音识别服务器系统100可以向空调机200a发送用于驱动节电功能的控制信号2840和与相应动作对应的响应信号2845。
空调机200a可以驱动节电功能,并输出如“将开始节电功能”的语音引导消息2850。
图29是示出本发明的一实施例的家用电器的内部框图的另一例的图。
参照图29,家用电器200可以包括:相机210;音频输入部220,用于接收用户的语音指令;操作部230;存储器250,用于存储各种数据;通信部270,用于与其它电子装置以无线方式进行通信;驱动部280,用于执行各家用电器中实现的动作;显示器292,用于以影像方式显示规定信息;音频输出部291,用于以音频方式输出规定信息;控制部240,用于控制整体上的动作;以及处理器260。
图29的家用电器200的内部框图与图11类似,其区别在于,还设置有处理器260,并且音频输入部220、音频输出部291、通信部270、相机210以及处理器260设置于作为一个单一模块的语音识别模块205内。
另外,处理器260可以控制音频输入部220、音频输出部291、通信部270、相机210等。
以下,以与图11的区别为主进行描述。
处理器260可以处理通过音频输入部220接收的用户的语音输入信号,并执行语音识别过程。
例如,在接收到包含有预先设定的调用语的唤醒(wake up)语音信号的情况下,处理器260可以转换为用于接收语音指令语的状态。在此情况下,处理器260可以仅执行至调用语语音输入与否的语音识别过程,而之后的用户语音输入相关的语音识别可以通过语音识别服务器系统100来执行。
处理器260可以控制为,将唤醒(wake up)语音信号的识别之后输入的用户的语音指令通过通信部270发送给语音识别服务器系统100。
并且,处理器260可以通过通信部270将家用电器200的状态信息、用户的语音指令等传送给语音识别服务器系统100等。
另外,当通过通信部270接收到控制信号时,处理器260可以将控制信号传送给控制部240,控制部240可以控制家用电器200,以使其根据接收到的控制信号进行动作。
其结果,可以通过语音识别模块205执行语音数据获取、与服务器系统100的通信以及对应的声音输出。
另外,语音识别模块205除了图2所示的家用电器以外,还可以贴附于多种电子装置。或者,也可以无需贴附于其它电子装置,而是作为单独的装置来使用。
图30例示出图11、图29的驱动部的内部框图的一例。
另外,图11或图29等中描述的驱动部280可以包括电机驱动部,以下还可以命名为电机驱动装置。
图31是图29的电机驱动装置的内部电路图的一例,图32是图31的逆变器控制部的内部框图。
参照附图进行说明,本发明的实施例的电机驱动装置280用于以无传感器(sensorless)方式驱动电机,其可以包括逆变器420、逆变器控制部430。
并且,本发明的实施例的电机驱动装置280可以包括转换器410、DC端电压检测部B、平滑电容器C、输出电流检测部E。并且,驱动部280可以还包括输入电流检测部A、电抗器L等。
以下,对图30及图31的电机驱动装置280内的各结构单元的动作进行说明。
电抗器L配置于商用交流电源405Vs和转换器410之间,执行功率因数校正或升压动作。并且,电抗器L可还执行用于限制基于转换器410的高速切换的谐波电流的功能。
输入电流检测部A可检测从商用交流电源405输入的输入电流is。为此,作为输入电流检测部A可使用电流互感器(current transformer,CT)、分流电阻(shuntresistance)等。检测出的输入电流is为脉冲形态的离散信号(discrete signal),其可输入给逆变器控制部430。
转换器410将经由电抗器L(reactor)的商用交流电源405变换为直流电源并输出。附图中将商用交流电源405示出为单相交流电源,但是其也可以是三相交流电源。根据商用交流电源405的种类,转换器410的内部结构也将不同。
另外,转换器410由二极管等构成,而不具有开关元件,使可以不进行额外的开关动作的方式执行整流动作。
例如,在单相交流电源的情况下,可以桥接形态使用四个二极管,在三相交流电源的情况下,可以桥接形态使用六个二极管。
另外,转换器410例如可使用两个开关元件及四个二极管相连接的半桥接型的转换器,在三相交流电源的情况下,可使用六个开关元件及六个二极管。
在转换器410具有开关元件的情况下,可利用相应开关元件的开关动作来执行升压动作、功率因数改善及直流电源变换。
平滑电容器C可以命名为DC端电容器,其对输入的电源进行平滑并将其储存。附图中作为平滑电容器C例示出一个元件,但是也可设置有多个,从而确保元件稳定性。
另外,附图中例示出连接于转换器410的输出端,但是本发明并不限定于此,也可直接输入直流电源。例如,来自太阳能电池的直流电源直接输入至平滑电容器C,或是进行直流/直流变换并输入。以下,以附图中例示出的部分为主进行描述。
另外,平滑电容器C两端储存有直流电源,因此可将其命名为DC端或DC链路(link)端。
DC端电压检测部B可检测作为平滑电容器C的两端的DC端电压Vdc。为此,DC端电压检测部B可包含电阻元件、放大器等。检测出的DC端电压Vdc为脉冲形态的离散信号(discrete signal),其可输入给逆变器控制部430。
逆变器420可设置有多个逆变器开关元件,利用开关元件的导通/截止动作,将被平滑的直流电源Vdc变换为规定频率的三相交流电源va、vb、vc,并输出给三相同步电机530。
在逆变器420中,分别相互串联连接的上臂开关元件Sa、Sb、Sc和下臂开关元件S'a、S'b、S'c成为一对,总共三对上臂、下臂开关元件相互并联(Sa&S'a、Sb&S'b、Sc&S'c)连接。
并且,在各开关元件Sa、S'a、Sb、S'b、Sc、S'c中逆并联连接有二极管。
逆变器420内的开关元件基于来自逆变器控制部430的逆变器开关控制信号Sic进行各开关元件的导通/截止动作。由此,将具有规定频率的三相交流电源输出给三相同步电机530。
逆变器控制部430可基于无传感器方式控制逆变器420的开关动作。为此,逆变器控制部430可接收从输出电流检测部E中检测出的输出电流io
为了控制逆变器420的开关动作,逆变器控制部430将逆变器开关控制信号Sic输出给逆变器420。逆变器开关控制信号Sic为脉冲宽度调制方式PWM的开关控制信号,其基于从输出电流检测部E中检测出的输出电流io生成并输出。参照图32,对逆变器控制部430内的逆变器开关控制信号Sic的输出相关的详细动作进行后述。
输出电流检测部E检测逆变器420和三相电机530之间流动的输出电流io。即,检测电机530中流动的电流。输出电流检测部E可对各相的输出电流ia、ib、ic都进行检测,或者,也可利用三相平衡来检测二相的输出电流。
输出电流检测部E可位于逆变器420和电机530之间,为了进行电流检测,可使用CT(current transformer)、分流电阻等。
在使用分流电阻的情况下,三个分流电阻可位于逆变器420和同步电机530之间,或者其一端可分别连接于逆变器420的三个下臂开关元件S'a、S'b、S'c。另外,也可利用三相平衡来使用两个分流电阻。
另外,在使用一个分流电阻的情况下,也可在上述的电容器C和逆变器420之间配置相应分流电阻。
检测出的输出电流io为脉冲形态的离散信号(discrete signal),其可施加给逆变器控制部430,基于检测出的输出电流io来生成逆变器开关控制信号Sic。以下,检测出的输出电流io可以是三相的输出电流ia、ib、ic。
另外,三相电机530设置有定子(stator)和转子(rotor),通过向各相(a相、b相、c相)的定子的线圈施加规定频率的各相交流电源,使转子进行旋转。
这样的电机530例如可包括表面贴合型永久磁铁同步电动机(Surface-MountedPermanent-Magnet Synchronous Motor;SMPMSM)、埋入型永久磁铁同步电动机(InteriorPermanent Magnet Synchronous Motor;IPMSM)、以及同步磁阻电动机(SynchronousReluctance Motor;Synrm)等。其中,SMPMSM和IPMSM为适用永久磁铁的同步电动机(Permanent Magnet Synchronous Motor;PMSM),Synrm的特征在于不具有永久磁铁。
参照图32,逆变器控制部430可包括:轴变换部310、速度计算部320、电流指令生成部330、电压指令生成部340、轴变换部350以及开关控制信号输出部360。
轴变换部310接收从输出电流检测部E中检测出的三相输出电流ia、ib、ic,将其变换为静态坐标系的二相电流iα、iβ。
另外,轴变换部310可将静态坐标系的二相电流iα、iβ变换为旋转坐标系的二相电流id、iq。
速度计算部320可基于在轴变换部310中被轴变换的静态坐标系的二相电流iα、iβ来输出计算出的位置和计算出的速度
另外,电流指令生成部330基于计算速度和速度指令值ω* r来生成电流指令值i* q。例如,电流指令生成部330可基于计算速度和速度指令值ω* r的差异,在PI控制器335执行PI控制,并生成电流指令值i* q。附图中作为电流指令值例示出q轴电流指令值i* q,但是,也可与附图不同地一同生成d轴电流指令值i* d。另外,d轴电流指令值i* d的值可被设定为0。
另外,电流指令生成部330可还设置有限制器(未图示),用于限制电流指令值i* q的电平,以防止其超出允许范围。
接着,电压指令生成部340基于在轴变换部中被轴变换为二相旋转坐标系的d轴、q轴电流id、iq和来自电流指令生成部330等的电流指令值i* d、i* q来生成d轴、q轴电压指令值v* d、v* q。例如,电压指令生成部340可基于q轴电流iq和q轴电流指令值i* q的差异,在PI控制器344中执行PI控制,并生成q轴电压指令值v* q。并且,电压指令生成部340可基于d轴电流id和d轴电流指令值i* d的差异,在PI控制器348中执行PI控制,并生成d轴电压指令值v* d。另外,电压指令生成部340可还设置有限制器(未图示),用于限制d轴、q轴电压指令值v* d、v* q的电平,以防止其超出允许范围。
另外,生成的d轴、q轴电压指令值v* d、v* q输入给轴变换部350。
轴变换部350接收从速度计算部320中计算出的位置和d轴、q轴电压指令值v* d、v* q,并执行轴变换。
首先,轴变换部350执行从二相旋转坐标系至二相静态坐标系的变换。此时,可使用速度计算部320中计算出的位置
此外,轴变换部350执行从二相静态坐标系至三相静态坐标系的变换。通过这样的变换,轴变换部350输出三相输出电压指令值v*a、v*b、v*c。
开关控制信号输出部360基于三相输出电压指令值v*a、v*b、v*c,生成基于脉冲宽度调制PWM方式的逆变器用开关控制信号Sic并输出。
输出的逆变器开关控制信号Sic可在栅极驱动部(未图示)中被变换为栅极驱动信号,并输入给逆变器420内的各开关元件的栅极。由此,逆变器420内的各开关元件Sa、S'a、Sb、S'b、Sc、S'c进行开关动作。
根据本发明的实施例中的至少一种,根据语音输入来使家用电器进行动作,从而用户无需操作遥控器,能够增大用户便利性。
并且,根据本发明的实施例中的至少一种,能够有效地识别、处理自然语言。
并且,根据本发明的实施例中的至少一种,通过使语音识别过程及家用电器控制过程中可能会发生的误识别达到最少,从而使用户不便达到最少并增大可靠性。
本发明的语音服务器、语音识别服务器系统及家用电器并不是限定性地适用如上所述的实施例的特征和方法,而是可以选择性地组合各实施例的全部或一部分,以实现所述实施例的多种变形。
另外,本发明的实施例的语音服务器、语音识别服务器系统及家用电器的动作方法可以由在处理器可读取的记录介质中由处理器可读取的代码来实现。处理器可读取的记录介质包括存储处理器可读取的数据的所有种类的记录装置。处理器可读取的记录介质的例有ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等,并且,还包括以通过因特网的传送等载波的形态来实现的情形。并且,处理器可读取的记录介质可以分散于利用网络来相连接的计算机系统,并以分散方式存储处理器可读取的代码并执行。
并且,以上对本发明的优选实施例进行了图示并说明,但是本发明并不限定于上述特定的实施例,在不背离权利要求书中所要求的本发明的技术思想的情况下,本发明所属的技术领域的一般技术人员可以进行多种变形实施,这样的变形实施不应脱离本发明的技术思想或前景而单独地加以理解。

Claims (14)

1.一种家用电器的动作方法,其中,
包括:
激活语音识别功能的步骤;
进入用于输入包含有预先设定的调用语的唤醒语音信号的唤醒信号等待模式的步骤;
通过包括一个以上的麦克风的音频输入部接收所述唤醒语音信号的步骤;
在预先设定的经过时间期间进入用于输入用户的语音指令的指令语等待模式的步骤;
通过所述音频输入部接收语音指令的步骤;以及
将包含所述预先设定的经过时间以内接收到的语音指令及所述调用语的语音数据传送给语音识别服务器系统的步骤。
2.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
存储所述调用语的步骤。
3.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
当在所述预先设定的经过时间以内接收到所述语音指令时,执行与指令语接收对应的反馈动作的步骤。
4.根据权利要求3所述的家用电器的动作方法,其中,
在所述家用电器为空调机的情况下,在所述执行与指令语接收对应的反馈动作的步骤中,驱动一个以上的叶片。
5.根据权利要求4所述的家用电器的动作方法,其中,
一个以上的所述叶片执行升降、移动、旋转、摇摆动作中的至少一种动作。
6.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
当在所述预先设定的经过时间以内未接收到所述语音指令时,转换到所述唤醒信号等待模式的步骤。
7.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
当从所述语音识别服务器系统接收到基于所述语音指令的控制信号时,与接收到的控制信号对应地进行动作的步骤。
8.根据权利要求7所述的家用电器的动作方法,其中,
还包括:
当从所述语音识别服务器系统接收到基于所述语音指令的响应信号时,输出与接收到的响应信号对应的语音引导消息的步骤。
9.根据权利要求8所述的家用电器的动作方法,其中,
还包括:
在所述响应信号不包含语音数据的情况下,向所述语音识别服务器系统请求语音数据的步骤;以及
从所述语音识别服务器系统接收请求的语音数据的步骤,
所述语音引导消息基于接收到的所述语音数据。
10.一种语音识别服务器系统的动作方法,其中,
包括:
从家用电器接收语音数据的步骤;
从接收到的所述语音数据中分离调用语和指令语的步骤;
将所述指令语变换为文本数据的步骤;
对所述文本数据进行分析以判别语音指令的步骤。
11.根据权利要求10所述的语音识别服务器系统的动作方法,其中,
还包括:
将基于判别的所述语音指令的响应信号发送给所述家用电器的步骤。
12.根据权利要求11所述的语音识别服务器系统的动作方法,其中,
还包括:
将基于判别的所述语音指令的响应信号变换为语音数据并发送给所述家用电器的步骤。
13.根据权利要求11所述的语音识别服务器系统的动作方法,其中,
所述响应信号包含与判别的所述语音指令对应的处理结果信息。
14.根据权利要求10所述的语音识别服务器系统的动作方法,其中,
还包括:
将基于判别的所述语音指令的控制信号发送给所述家用电器的步骤。
CN201810478564.4A 2017-05-19 2018-05-18 家用电器及语音识别服务器系统的动作方法 Pending CN108962236A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0062480 2017-05-19
KR1020170062480A KR102112565B1 (ko) 2017-05-19 2017-05-19 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법

Publications (1)

Publication Number Publication Date
CN108962236A true CN108962236A (zh) 2018-12-07

Family

ID=62244297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810478564.4A Pending CN108962236A (zh) 2017-05-19 2018-05-18 家用电器及语音识别服务器系统的动作方法

Country Status (3)

Country Link
EP (1) EP3413304B1 (zh)
KR (1) KR102112565B1 (zh)
CN (1) CN108962236A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201900017000A1 (it) * 2019-09-23 2021-03-23 Candy Spa Metodo e sistema per controllare e/o comunicare con un elettrodomestico mediante comandi vocali e visualizzazioni testuali
IT201900020943A1 (it) * 2019-11-12 2021-05-12 Candy Spa Metodo e sistema per controllare e/o comunicare con un elettrodomestico mediante comandi vocali con verifica dell’abilitazione di un controllo remoto
CN111063343B (zh) * 2019-12-11 2022-08-19 广东美的厨房电器制造有限公司 语音交互方法、装置、电子设备及介质
CN111312241A (zh) * 2020-02-10 2020-06-19 深圳创维-Rgb电子有限公司 一种无人导购方法、终端以及存储介质
CN114155851A (zh) * 2021-11-30 2022-03-08 中国科学院深圳先进技术研究院 一种基于语音控制的终端设备及语音控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2669889A2 (en) * 2012-05-29 2013-12-04 Samsung Electronics Co., Ltd Method and apparatus for executing voice command in electronic device
US20140188463A1 (en) * 2013-01-02 2014-07-03 Lg Electronics Inc. Home appliance and operation method thereof
KR20140087717A (ko) * 2012-12-31 2014-07-09 삼성전자주식회사 디스플레이 장치 및 제어 방법
EP3067884A1 (en) * 2015-03-13 2016-09-14 Samsung Electronics Co., Ltd. Speech recognition system and speech recognition method thereof
CN106098062A (zh) * 2016-06-16 2016-11-09 杭州古北电子科技有限公司 本地处理与无线网络结合的智能语音识别控制系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990069703A (ko) 1998-02-12 1999-09-06 윤종용 음성인식 기능을 갖는 공기조화기용 리모콘
KR101059813B1 (ko) 2004-08-13 2011-08-26 삼성전자주식회사 음성인식기능을 구비한 전기기기 및 그 제어방법
KR100826778B1 (ko) * 2006-06-14 2008-04-30 에스케이 텔레콤주식회사 멀티모달을 위한 브라우저 기반의 무선 단말과, 무선단말을 위한 브라우저 기반의 멀티모달 서버 및 시스템과이의 운용 방법
KR101160071B1 (ko) * 2009-12-01 2012-06-26 (주)에이치씨아이랩 다중인식 음성 인터페이스장치 및 그 방법
US9704486B2 (en) * 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
KR101732137B1 (ko) * 2013-01-07 2017-05-02 삼성전자주식회사 원격 제어 장치 및 전력 제어 방법
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
KR102585228B1 (ko) * 2015-03-13 2023-10-05 삼성전자주식회사 음성 인식 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2669889A2 (en) * 2012-05-29 2013-12-04 Samsung Electronics Co., Ltd Method and apparatus for executing voice command in electronic device
CN106448678A (zh) * 2012-05-29 2017-02-22 三星电子株式会社 用于在电子装置中执行语音命令的方法和设备
KR20140087717A (ko) * 2012-12-31 2014-07-09 삼성전자주식회사 디스플레이 장치 및 제어 방법
US20140188463A1 (en) * 2013-01-02 2014-07-03 Lg Electronics Inc. Home appliance and operation method thereof
EP3067884A1 (en) * 2015-03-13 2016-09-14 Samsung Electronics Co., Ltd. Speech recognition system and speech recognition method thereof
CN106098062A (zh) * 2016-06-16 2016-11-09 杭州古北电子科技有限公司 本地处理与无线网络结合的智能语音识别控制系统及方法

Also Published As

Publication number Publication date
EP3413304A3 (en) 2019-04-03
KR102112565B1 (ko) 2020-05-19
KR20180127101A (ko) 2018-11-28
EP3413304A2 (en) 2018-12-12
EP3413304B1 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
CN108965068A (zh) 家用电器及其动作方法
CN108962236A (zh) 家用电器及语音识别服务器系统的动作方法
KR20180127100A (ko) 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법
KR101976427B1 (ko) 음성 인식 서버 시스템의 동작 방법
CN108694948A (zh) 语音服务器、语音识别服务器系统及其动作方法
KR101957169B1 (ko) 음성 서버의 동작 방법
KR101924963B1 (ko) 홈 어플라이언스의 동작 방법
CN108694943A (zh) 语音服务器、语音识别服务器系统及其动作方法
KR101951328B1 (ko) 공기조화기, 및 홈 어플라이언스
KR102373652B1 (ko) 인공지능 공기조화기의 동작 방법
CN103712311A (zh) 空调及其控制方法
KR101989106B1 (ko) 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템
CN111736475A (zh) 智能家居设备的工作状态提示方法以及装置
KR101957170B1 (ko) 홈 어플라이언스 및 그 동작 방법
KR101949363B1 (ko) 홈 어플라이언스 및 그 동작 방법
KR101965880B1 (ko) 음성 인식 방법
KR102219800B1 (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
KR102219799B1 (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
KR101936640B1 (ko) 홈 어플라이언스, 및 음성 인식 모듈
KR20180110971A (ko) 홈 어플라이언스, 및 음성 인식 모듈
KR20180110973A (ko) 홈 어플라이언스 및 그 동작 방법
KR20180111309A (ko) 홈 어플라이언스, 및 공기조화기
KR101965181B1 (ko) 홈 어플라이언스, 및 음성 인식 모듈
CN211550040U (zh) 挂脖式智能型风扇
CN211525140U (zh) 夹持式智能型风扇

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination