CN108965068A - 家用电器及其动作方法 - Google Patents
家用电器及其动作方法 Download PDFInfo
- Publication number
- CN108965068A CN108965068A CN201810482978.4A CN201810482978A CN108965068A CN 108965068 A CN108965068 A CN 108965068A CN 201810482978 A CN201810482978 A CN 201810482978A CN 108965068 A CN108965068 A CN 108965068A
- Authority
- CN
- China
- Prior art keywords
- electrical appliance
- household electrical
- voice
- phonetic order
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims description 75
- 238000004891 communication Methods 0.000 claims description 60
- 230000033001 locomotion Effects 0.000 claims description 59
- 230000004044 response Effects 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 49
- 230000005236 sound signal Effects 0.000 claims description 12
- 238000003058 natural language processing Methods 0.000 description 78
- 230000000875 corresponding effect Effects 0.000 description 77
- 230000004069 differentiation Effects 0.000 description 59
- 238000012545 processing Methods 0.000 description 35
- 230000009466 transformation Effects 0.000 description 34
- 230000009471 action Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 15
- 238000005057 refrigeration Methods 0.000 description 14
- 238000005406 washing Methods 0.000 description 13
- 230000005611 electricity Effects 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 11
- 230000001276 controlling effect Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 7
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 7
- 239000003507 refrigerant Substances 0.000 description 7
- 230000033228 biological regulation Effects 0.000 description 6
- 239000000428 dust Substances 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000007664 blowing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 208000035699 Distal ileal obstruction syndrome Diseases 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010411 cooking Methods 0.000 description 4
- 230000003028 elevating effect Effects 0.000 description 4
- 238000003556 assay Methods 0.000 description 3
- 238000001816 cooling Methods 0.000 description 3
- 238000007710 freezing Methods 0.000 description 3
- 230000008014 freezing Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000007791 dehumidification Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 239000012716 precipitator Substances 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 241001582888 Lobus Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000016507 interphase Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
- H04L12/2825—Reporting to a device located outside the home and the home network
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Telephonic Communication Services (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明提供一种家用电器及其动作方法,本发明的一方式的家用电器的动作方法包括:进入用于输入包含有预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式的步骤;通过包括一个以上的麦克风(MIC)的音频输入部接收语音信号的步骤;当语音信号包含有调用语时,将接收到的语音信号传送给语音识别服务器系统的步骤;从语音识别服务器系统接收对于语音信号的分析结果信息的步骤;以及当接收到的分析结果信息包含有用于表示语音信号包含调用语的信息时,在预先设定的经过时间期间进入用于输入用户的语音指令的指令语等待模式的步骤。
Description
技术领域
本发明涉及家用电器及其动作方法,更详细而言,涉及一种能够根据用户的自然语言语音指令来进行控制的家用电器及其动作方法。
背景技术
家庭或办公室等规定空间中使用的空调机、洗衣机、吸尘器等家用电器(Homeappliance)分别根据用户的操作来执行固有的功能和动作。
例如,空调机是包括用于压缩制冷剂的压缩机、用于冷凝被压缩的制冷剂的冷凝器、用于膨胀被冷凝的制冷剂的膨胀阀、使被膨胀的制冷剂与室内空气进行热交换的蒸发器并对室内空间进行制冷制热的装置,其执行调整室内温度的功能。
并且,冰箱用于储存食物,洗衣机用于处理洗涤物,吸尘器执行清扫功能,烹调装置执行烹调食物的功能等。
为使这样的空调机等家用电器进行动作,用户可以使用遥控器等远程控制装置,以避免需要直接操作家用电器本体上设置的按键等,或者每次移动到本体并进行输入的不便。
但是,即使在使用遥控器的情况下,用户也需要按不同的功能选择操作键并进行输入,其使用上仍然存在不便,在室内较暗的情况下,需要有用于识别遥控器及操作键的额外的照明。
因此,针对利用语音识别技术来控制家用电器的方案相关的研究呈增加的趋势。
在现有技术1(韩国公开特许公报10-1999-00069703号)中,空调机用遥控器设置有语音输入部及信号处理部,以生成、传送与语音识别对应的操作信号。
在现有技术2(韩国公开特许公报10-2006-0015092号)中,将输入的语音信号变换为数字信号及文本后,确认数据库内是否存在相一致的控制指令,如果有相一致的控制指令,则对空调机内各装置进行控制,如果没有相一致的控制指令,则提取关键字并根据相联系的控制指令来对空调机内各装置进行控制。
但是,在遥控器及空调机等个别装置所能够具有的系统资源上存在有局限。尤其是,由于并不仅仅识别单纯的几种单词,而是需要有高运算量以能够识别自然语言,仅利用个别装置中安装的嵌入模块则很难实现。
因此,现有技术1和现有技术2的语音识别技术在识别并处理全世界用户的多种自然语言语音指令方面上存在有局限。
因此,要求提供一种不受到个别装置的系统资源的制约而能够识别并处理自然语言,并且能够方便地控制家用电器的方案。
并且,需要提供一种通过使识别并处理用户的语音指令的过程中可能会发生的误识别达到最少,从而使用户不便达到最少的语音识别方法。
现有技术文献
专利文献
专利文献1:韩国公开特许公报10-1999-00069703号(公开日 1999.9.6.)
专利文献2:韩国公开特许公报10-2006-0015092号(公开日 2006.2.18.)
发明内容
本发明的目的在于提供一种能够有效地识别、处理自然语言的语音识别方法及系统。
本发明的目的在于提供一种根据用户的语音指令来进行控制的家用电器及其动作方法。
本发明的目的在于提供一种语音识别方法,通过使语音识别过程及家用电器控制过程中可能会发生的误识别达到最少,从而使用户不便达到最少并增大可靠性及用户便利性。
为了实现上述或其它目的,本发明的一方式的家用电器的动作方法包括:进入用于输入包含有预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式的步骤;通过包括一个以上的麦克风的音频输入部接收语音信号的步骤;当所述语音信号包含有所述调用语时,将接收到的所述语音信号传送给语音识别服务器系统的步骤;从所述语音识别服务器系统接收对于所述语音信号的分析结果信息的步骤;以及当接收到的所述分析结果信息包含有用于表示所述语音信号包含所述调用语的信息时,在预先设定的经过时间期间进入用于输入用户的语音指令的指令语等待模式的步骤。由此,能够使调用语误识别达到最少。
为了实现上述或其它目的,本发明的一方式的家用电器包括:音频输入部,包括一个以上的麦克风(MIC);控制部,对通过音频输入部输入的语音信号进行处理;以及通信部,当语音信号包含有预先设定的调用语时,根据所述控制部的控制将接收到的语音信号传送给语音识别服务器系统,从所述语音识别服务器系统接收对于所述语音信号的分析结果信息;当接收到的所述分析结果信息包含有用于表示所述语音信号包含所述调用语的信息时,所述控制部控制为在预先设定的经过时间期间进入用于输入用户的语音指令的指令语等待模式。
根据本发明的实施例中的至少一种,根据语音输入来使家用电器进行动作,从而用户无需操作遥控器,能够增大用户便利性。
并且,根据本发明的实施例中的至少一种,能够有效地识别、处理自然语言。
并且,根据本发明的实施例中的至少一种,通过使语音识别过程及家用电器控制过程中可能会发生的误识别达到最少,从而使用户不便达到最少并增大可靠性。
另外,将在后述的本发明的实施例的详细说明中直接或暗示披露除此之外的多种效果。
附图说明
图1是简略示出本发明的一实施例的包括语音识别服务器系统及家用电器的智能家居系统的图。
图2是说明家用电器的多种例的图。
图3A是本发明的一实施例的语音识别服务器系统的一例。
图3B是本发明的一实施例的语音识别服务器系统的一例。
图4至图6是例示出本发明的一实施例的语音识别服务器系统的信号流动的图。
图7至图9是例示出本发明的一实施例的语音识别服务器系统的信号流动的图。
图10是示出本发明的一实施例的服务器的内部框图的一例的图。
图11是示出本发明的一实施例的家用电器的内部框图的一例的图。
图12是示出本发明的一实施例的空调机的内部框图的一部分的图。
图13和图14是简略示出本发明的一实施例的空调机的外观的图。
图15是示出本发明的一实施例的家用电器的动作方法的流程图。
图16是示出本发明的一实施例的包括语音识别服务器系统及家用电器的智能家居系统的动作方法的流程图。
图17和图18是在本发明的一实施例的家用电器进行语音识别及控制过程中提供的信息相关的说明中作为参照的图。
图19是例示出本发明的一实施例的家用电器为空调机的情况下执行的反馈动作的图。
图20是示出本发明的一实施例的家用电器的动作方法的流程图。
图21是例示出本发明的一实施例的家用电器和语音识别服务器系统的信号流动的图。
图22至图24是在本发明的一实施例的语音识别服务器系统及家用电器的多种动作相关的说明中作为参照的图。
图25是示出本发明的一实施例的家用电器的内部框图的另一例的图。
图26例示出图11、图25的驱动部的内部框图的一例。
图27是图26的电机驱动装置的内部电路图的一例。
图28是图27的逆变器控制部的内部框图。
附图标记的说明
100:语音识别服务器系统 110:语音服务器
111:ASR服务器 112:NLP服务器
113:TTS服务器 120:联系服务服务器
130:家电控制服务器 200:家用电器
200a:空调机
具体实施方式
以下参照附图对本发明的实施例进行详细的说明。但是,本发明并不限定于这样的实施例,而是可以变形为多种形态。
附图中,为了清楚且简略地说明本发明而省去了与说明无关的部分的图示,在整个说明书的范围内,对于相同或极其类似的部分将使用相同的附图标记。
另外,在以下说明中使用的针对结构要素的接尾词“模块”及“部”仅是考虑到便于说明书的撰写而被赋予,其自身并不带有相互区分的含义或作用。因此,所述“模块”及“部”可以彼此混用。
图1是简略示出本发明的一实施例的包括语音识别服务器系统及家用电器的智能家居系统的图,图2是说明家用电器的多种例的图。
参照图1,本发明的一实施例的智能家居系统10可以包括:家用电器200(homeappliance),具有通信模块(未图示)以能够与其它装置进行通信或连接到网络;语音识别服务器系统100,包括用于语音识别及家电控制的多个服务器。
参照图2,家用电器200可以是具有通信模块的空调机200a、机器人吸尘器200b、冰箱200c、洗衣机200d、烹调装置200e等。
并且,本发明的一实施例的智能家居系统10可以包括智能手机(smart phone)、掌上(Tablet)PC等便携终端(未图示)。
家用电器200可以在内部具有通信模块,以与智能家居系统10内/外部的电子装置进行通信。
本发明的一实施例的智能家居系统10可以还包括接入(access point: AP)装置300,家用电器200通过接入装置300连接到无线因特网网络并与其它装置进行通信。
接入装置300(access point)可以向智能家居系统10内的电子装置分配基于规定通信方式的无线信道,并通过相应信道执行无线数据通信。
其中,规定通信方式可以是无线局域网(Wi-Fi)通信方式。与此对应地,家用电器200所具有的通信模块可以是无线局域网通信模块,但是本发明并不限定于通信方式。
或者,家用电器200可以具有其它种类的通信模块或具有多个通信模块。例如,家用电器200可以包括NFC模块、紫蜂(zigbee)通信模块、蓝牙(BluetoothTM)通信模块等。
家用电器200可以通过无线局域网(wi-fi)通信模块等与语音识别服务器系统100中包括的服务器或外部的规定服务器、用户的便携终端等相连接,并可以支持远程监视、远程控制等智能功能。
用户可以通过便携终端确认智能家居系统10内的家用电器200相关的信息或控制家用电器200。
另外,在用户需要在家庭内控制家用电器200或确认规定信息的情况下,如果必须要使用便携终端,则可能会觉得不便。
例如,在用户不清楚便携终端的当前位置或位于其它场所的情况下,如果有能够以其它方式来控制家用电器200的构件则更加有效率。
本发明的一实施例的家用电器200可以接收用户的语音输入,语音识别服务器系统100可以对用户的语音输入进行识别、分析,从而控制家用电器200。
由此,用户无需操作便携终端、远程控制装置也能够控制家用电器 200。
另外,所述语音识别服务器系统100中包括的服务器中的至少一部分可以是由家用电器的制造商、销售商运营的服务器,或者是制造商或销售商委托服务的公司运营的服务器。
图3A是本发明的一实施例的语音识别服务器系统的一例。
参照图3A,本发明的一实施例的语音识别服务器系统可以包括:语音服务器110,从家用电器200a接收语音数据,对接收的语音数据进行分析,从而判别语音指令。
语音服务器110可以从家用电器200a接收语音数据,将所述接收的语音数据变换为文本(text)数据,对文本数据进行分析,从而判别语音指令。
并且,语音服务器110可以将与判别的语音指令对应的信号发送给规定服务器。
例如,本发明的一实施例的语音识别服务器系统可以包括:联系服务服务器120,从所述语音服务器110接收与所述判别的语音指令对应的信号,生成与所述判别的语音指令对应的请求信号;家电控制服务器130,将基于从所述联系服务服务器120接收的请求信号的控制信号发送给所述家用电器200a。
所述家用电器200a可以接收用户发出的语音指令输入,并将基于接收的语音指令输入的语音数据发送给所述语音服务器110。
所述语音服务器110可以包括:自动语音识别(Automatic Speech Recognition:ASR)服务器111,从家用电器200a接收语音数据,将接收的语音数据变换为文本(text)数据;自然语言处理(Natural Language Processing:NLP)服务器112,从所述自动语音识别服务器111接收所述文本数据,对接收的文本数据进行分析以判别语音指令,将基于所述判别的语音指令的响应信号发送给所述家用电器200a;以及文本语音变换 (Text toSpeech:TTS)服务器113,从所述家用电器200a接收包含与所述响应信号对应的文本的信号,将接收的信号中包含的文本变换为语音数据并发送给所述家用电器200a。
所述自动语音识别服务器111可以对从家用电器200a接收的语音数据执行语音识别,以生成文本数据并发送给所述自然语言处理服务器112。
所述自然语言处理服务器112可以根据自然语言处理算法对从所述自动语音识别服务器111接收的文本数据进行分析,从而判别语音指令。
所述自然语言处理服务器112可以根据自然语言处理算法对作为人们日常使用的语言的自然语言进行处理,并能够对用户的意图(intent) 进行分析。所述自然语言处理服务器112可以对从所述自动语音识别服务器111接收的文本数据执行自然语言处理,从而判别与用户的意图相符合的语音指令。
由此,即使用户以日常的使用语言输入语音指令,所述自然语言处理服务器112也能够判别与用户的意图相符合的语音指令。
所述自然语言处理服务器112可以将与自然语言处理结果对应的信号,即,与判别的语音指令对应的信号发送给所述联系服务服务器120。
所述联系服务服务器120可以从所述自然语言处理服务器112接收与所述判别的语音指令对应的信号。
如果判别的语音指令与家用电器200a相关,所述联系服务服务器120 与所述家电控制服务器130进行通信以执行对应的动作。
或者,如果判别的语音指令与家用电器200a不相关,所述联系服务服务器120可以与外部的外部服务121进行通信以执行对应的动作。
例如,如果判别的语音指令为用于请求天气、股票、新闻等信息的指令,所述联系服务服务器120可以向提供与请求的信息对应的服务的服务器请求相应信息并接收。
并且,所述联系服务服务器120可以将接收的信息发送给语音服务器 110,所述自然语言处理服务器112可以将接收的信息发送给家用电器 200a。
如果判别的语音指令与家用电器200a相关,所述联系服务服务器120 可以生成与所述判别的语音指令对应的请求信号并发送给所述家电控制服务器130。
所述家电控制服务器130可以将基于从所述联系服务服务器120接收的请求信号的控制信号发送给所述家用电器200a。
例如,如果接收到用于变更空调机200a的设定温度的请求,所述家电控制服务器130可以向所述空调机200a发送变更设定温度的控制信号。
另外,家用电器200a可以根据从所述家电控制服务器130接收的控制信号执行对应的动作。
并且,家用电器200a可以在执行所请求的动作后,将用于提示动作已执行的信号发送给所述家电控制服务器130。
并且,所述家电控制服务器130可以从所述家用电器200a接收对所述控制信号的响应信号,并将与所述响应信号对应的处理结果信息发送给所述联系服务服务器120。
所述语音服务器110可以将包含所述处理结果信息的响应信号发送给所述家用电器200a。
并且,所述语音服务器110可以从所述家用电器200a接收包含与所述处理结果信息对应的输出语句文本的信号,将所述接收的输出语句文本变换为语音数据并传送给所述家用电器200a。
在此情况下,所述自然语言处理服务器112向所述家用电器200a发送的基于所述判别的语音指令的响应信号可以包含所述处理结果信息。
另外,家用电器200a可以从所述自然语言处理服务器112接收基于所述判别的语音指令的响应信号。其中,响应信号可以包含与所述判别的语音指令对应的响应的文本数据。
例如,在用户输入用于变更空调机的设定温度的语音指令的情况下,所述响应信号可以包含用于示出设定温度已变更的文本数据。
另外,家用电器200a可以将包含与接收的响应信号对应的文本的信号发送给所述文本语音变换服务器113。其中,包含与所述响应信号对应的文本的信号可以包含与所述处理结果信息对应的输出语句文本。
另外,所述文本语音变换服务器113可以将接收的信号中包含的文本变换为语音数据并发送给所述家用电器200a。其中,变换的语音数据可以包含音源文件。
所述家用电器200a可以通过扬声器输出基于接收的语音数据的语音引导消息。
另外,所述联系服务服务器120可以基于与所述判别的语音指令对应的信号向所述家电控制服务器130请求所述家用电器200a的状态信息,所述家电控制服务器130可以将所述家用电器200a的状态信息发送给所述联系服务服务器120。在处于未确保有所述家用电器200a的状态信息的状态的情况下,所述家电控制服务器130可以向所述家用电器200a请求状态信息并接收。
另外,在基于所述家用电器200a的状态信息可以支持所述判别的语音指令的情况下,所述联系服务服务器120可以向所述家电控制服务器 130发送与所述判别的语音指令对应的请求信号。
或者,在基于所述家用电器200a的状态信息无法支持所述判别的语音指令的情况下,所述联系服务服务器120可以向所述自然语言处理服务器112发送用于提示其为当前状态下不支持的功能的信号。
在此情况下,家用电器200a也可以向所述文本语音变换服务器113 请求、接收语音数据,从而输出用于提示其为当前状态下不支持的功能的语音引导消息。
根据实施例,所述语音服务器110可以判别所述判别的语音指令的可支持与否。例如,对用户的语音指令的意图进行分析的所述自然语言处理服务器112可以判别所述判别的语音指令的可支持与否。
在此情况下,在所述判别的语音指令包含无法支持的指令的情况下,所述自然语言处理服务器112发送的基于所述判别的语音指令的响应信号可以是用于提示所述判别的语音指令为所述家用电器200a不支持的功能的信号。
本发明的一实施例的语音服务器110及包括其的语音识别服务器系统100可以有机地连接为实现自然语言语音处理而执行多种作用的服务器。
家用电器200可以执行语音指令的接收及前处理、服务器传送为止的动作,语音服务器110可以执行语音/文本变换、意图分析、指令识别等自然语言处理过程。
通过使语音服务器110执行自然语言处理,能够减小家用电器内部嵌入模块的CPU、存储器等的负担。
另外,联系服务服务器120可以与外部服务及家电控制服务器130进行通信,从而执行基于用户的语音指令的动作。
另外,家用电器200可以从语音服务器110接收包含音源文件的语音数据,并将语音引导消息以音频方式进行输出,从而能够以听觉反馈方式回应用户的语音输入。
家用电器200能够以流(streaming)方式接收从语音服务器110传送的语音文件,并向用户播放、输出语音引导消息。因此,家用电器200中无需存储多种音源文件。
另外,在与其它服务器不相冲突的情况下,可以通过联系服务服务器120与多种外部服务进行联系。并且,在通过外部服务联动服务器进行意图分析时,可以反映外部信息以提高意图分析成功率。
本发明的一实施例的语音识别服务器系统100通过多个服务器来确保兼容性及连接性,最终控制指令则使用家电控制服务器130,从而能够杜绝语音识别过程和通过家电控制服务器130利用无线局域网通信的家电控制之间的冲突以及通过便携终端的家电控制和基于通过家用电器200 的语音输入的家电控制间的冲突。
在本发明的一实施例的语音识别服务器系统100中,通过服务器间的有机连接能够减少因依赖某一个服务器而负载集中到特定服务器的情形,并且各个服务器的作用彼此不同,在特定服务器中出现问题的情况下,可以通过与执行相同的作用的其它服务器的联系来容易进行应对。
并且,由于能够独立地随时更新多个服务器,有利于改善性能。
图3B是本发明的一实施例的语音识别服务器系统的一例。
图3B所例示的语音识别服务器系统改善了图3A所例示的语音识别服务器系统中将用于语音引导消息输出的语音数据传送给家用电器200a 的过程,从而提高语音控制响应时间。
因此,图3A和图3B所例示的语音识别服务器系统的除了所述区别以外的动作可以实质上相同地执行,以下对于相同的部分则简略进行描述。
参照图3B,本发明的一实施例的语音识别服务器系统可以包括:语音服务器110,从家用电器200a接收语音数据,对接收的语音数据进行分析以判别语音指令。
并且,本发明的一实施例的语音识别服务器系统可以还包括:联系服务服务器120,从所述语音服务器110接收与所述判别的语音指令对应的信号,生成与所述判别的语音指令对应的请求信号;家电控制服务器130,将基于从所述联系服务服务器120接收的请求信号的控制信号发送给所述家用电器200a。
在图3B所例示的语音识别服务器系统中,在没有家用电器200a的请求的情况下,所述语音服务器110也可以将包含基于所述语音指令的处理结果信息的语音数据发送给所述家用电器200a。
所述语音服务器110可以包括:自动语音识别服务器111,从家用电器200a接收语音数据,将接收的语音数据变换为文本(text)数据;自然语言处理服务器112,从所述自动语音识别服务器111接收所述文本数据,对接收的文本数据进行分析以判别语音指令;以及文本语音变换服务器 113,将基于所述语音指令的响应信号变换为语音数据并发送给所述家用电器200a。
同样地在本实施例中,所述家电控制服务器130可以从所述家用电器200a接收对所述控制信号的响应信号,将与所述响应信号对应的处理结果信息发送给所述联系服务服务器120。
所述联系服务服务器120可以向语音服务器110,更详细而言向自然语言处理服务器112传送所述处理结果信息。
在此情况下,所述文本语音变换服务器113向所述家用电器200a发送的语音数据可以包含所述处理结果信息。
并且,所述联系服务服务器120可以基于与所述判别的语音指令对应的信号来向所述家电控制服务器请求所述家用电器200a的状态信息,所述家电控制服务器可以将所述家用电器200a的状态信息发送给所述联系服务服务器120。
并且,在基于所述家用电器200a的状态信息可以支持所述判别的语音指令的情况下,所述联系服务服务器120可以向所述家电控制服务器 130发送与所述判别的语音指令对应的请求信号。
或者,在基于所述家用电器200a的状态信息无法支持所述判别的语音指令的情况下,所述联系服务服务器120可以向所述语音服务器110发送用于提示其为当前状态下不支持的功能的信号。
例如,所述联系服务服务器120可以向所述自然语言处理服务器112 发送用于提示其为当前状态下不支持的功能的信号。
并且,所述自然语言处理服务器112可以向所述文本语音变换服务器 113传送其为当前状态下不支持的功能的信号,所述文本语音变换服务器 113生成对应的语音数据并发送给家用电器200a。
家用电器200a可以从所述文本语音变换服务器113接收语音数据,并输出用于提示其为当前状态下不支持的功能的语音引导消息。
根据实施例,所述语音服务器110可以判别所述判别的语音指令的可支持与否。例如,对用户的语音指令的意图进行分析的所述自然语言处理服务器112可以判别所述判别的语音指令的可支持与否。
在此情况下,在所述判别的语音指令包含无法支持的指令的情况下,所述自然语言处理服务器112发送的基于所述判别的语音指令的响应信号可以是用于提示所述判别的语音指令为所述家用电器200a所不支持的功能的信号。
在家用电器200a进行动作后,最后向用于语音引导的文本语音变换服务器113请求对相应动作的引导语的情况下,动作和引导语之间将可能产生时间差。
但是,根据本发明的一实施例,在意图分析完毕而从自然语言处理服务器112发送动作请求时,可以与此同时地向文本语音变换服务器113提供信息。
并且,可以从家电控制服务器130向家用电器200a下达控制指令的时点为基准,从文本语音变换服务器113向家用电器200a提供引导语。
由此,可以在家用电器200a进行动作的同时或紧接着发出引导语。
根据本实施例,通过将自然语言处理服务器112和文本语音变换服务器113直接连接,能够使通过家电控制服务器130的控制指令和引导语之间的时间差达到最小。
另外,虽然在图3A和图3B中作为家用电器200例示出空调机200a 并进行了说明,但是本发明并不限定于此。例如,家用电器200中除了空调机200a以外,还可以有机器人吸尘器200b、冰箱200c、洗衣机200d、烹调装置200e等。
另外,根据本发明的一方式,与图3A和图3B不同地,用于语音识别及处理的自动语音识别服务器111、自然语言处理服务器112、文本语音变换服务器113可以由一个整合服务器来构成。
并且,根据实施例,联系服务服务器120和家电控制服务器130可以由一个整合服务器来构成。
根据本发明,通过使家用电器根据语音输入来进行动作,用户无需操作遥控器等远程控制装置、便携终端等,从而能够增大用户便利性。
并且,如参照图3A和图3B进行了说明,本发明中利用多个服务器来识别用户的自然语言语音指令并执行对应的控制动作,从而不受到家用电器、各服务器的系统资源的限制,能够有效地识别、处理自然语言。
图4至图6是例示出本发明的一实施例的语音识别服务器系统的信号流动的图,其是例示出图3A所例示的语音识别服务器系统的信号流动的图。
图4例示出家用电器根据用户的语音指令进行动作的通常的状况下的信号流动。
以下作为家用电器200例示出空调机200a进行说明,但是本发明并不限定于此。
参照图4,本发明的一实施例的家用电器200,例如,空调机200a可以接收用户的语音指令(步骤S410),并将接收的用户的语音指令发送给语音服务器110(步骤S420)。
例如,当从用户接收如“LG WHISEN,温度调到18度”的用于变更温度设定的指令时,空调机200a可以将接收的语音指令变换为波形 (wave)文件等规定格式的数字语音数据并发送给自动语音识别服务器 111。
另外,空调机200a可以在接收包含调用语的唤醒信号后,等待指令语输入并将输入的语音指令发送给语音服务器110。
或者,空调机200a可以接收包含调用语及语音指令的连续的语音输入。在此情况下,空调机200a可以识别调用语,并将语音指令发送给语音服务器110。
另外,在系统10内部中装置之间进行通信时,所收发的信号除了收发的主数据以外,还可以包含各装置的识别信息、所执行的作业(task) 相关的会话(session)值等。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S431),并将所述文本数据发送给自然语言处理服务器112(步骤S433)。
自然语言处理服务器112可以执行对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S441)。
例如,自然语言处理服务器112可以在“LG WHISEN,温度调到18 度”中判别出用户的将空调机200a的设定温度变更为18度的意图的语音指令。
自然语言处理服务器112可以将与所述判别的语音指令对应的信号发送给联系服务服务器120(步骤S443)。
当联系服务服务器120向家电控制服务器130请求空调机200a的当前状态信息时(步骤S451),家电控制服务器130可以检索空调机200a 的当前状态信息(步骤S453),并向联系服务服务器120发送空调机200a 的当前状态信息(步骤S455)。
如果家电控制服务器130不具有空调机200a的当前状态信息,家电控制服务器130则可以向空调机200a请求当前状态信息并接收。
另外,接收到状态信息的联系服务服务器120可以根据判别的语音指令向家电控制服务器130发送用于将相应空调机200a的设定温度变更为 18度的请求信号(步骤S461)。
家电控制服务器130可以基于所述请求信号生成控制信号并发送给空调机200a,从而控制空调机200a(步骤S463)。
并且,家电控制服务器130可以在空调机200a的控制后从所述家用电器接收对所述控制信号的响应信号,并将用于提示针对请求的动作成功的处理结果信息发送给联系服务服务器120(步骤S465)。
联系服务服务器120可以将“将空调温度设定为18度”等与处理结果信息对应的信号发送给自然语言处理服务器112(步骤S470),自然语言处理服务器112可以将基于判别的用户的语音指令的响应信号发送给所述家用电器200a(步骤S481)。其中,基于判别的用户的语音指令的响应信号可以包含所述处理结果信息。
另外,家用电器200a发送包含与所述响应信号对应的文本(输出语句)的信号(步骤S483),接收到此信号的文本语音变换服务器113可以将接收的信号中包含的文本变换为语音数据(步骤S485),并发送给所述家用电器200a(步骤S487)。
家用电器200a可以基于接收的语音数据来输出“将空调温度设定为 18度”等语音引导消息(步骤S490)。
图5例示出在请求相应家用电器的不支持功能的情况下的信号流动。
参照图5,本发明的一实施例的空调机200a可以接收“LG WHISEN,开始洗衣”等空调机200a不支持的洗衣功能相关的用户的语音指令(步骤S510)。
空调机200a可以将接收的用户的语音指令发送给语音服务器110(步骤S520)。空调机200a可以将接收的语音指令变换为波形(wave)文件等规定格式的数字语音数据并发送给自动语音识别服务器111。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S531),并将所述文本数据发送给自然语言处理服务器112(步骤S533)。
自然语言处理服务器112可以执行针对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S541)。
并且,自然语言处理服务器112可以判别所述判别的语音指令的可支持与否。在本实施例中,自然语言处理服务器112可以判别出用户请求了空调机200a不支持的洗衣功能。
随后,自然语言处理服务器112可以向空调机200a发送用于提示所述判别的语音指令为所述家用电器不支持的功能的响应信号(步骤S543)。
另外,家用电器200a可以发送包含与所述响应信号对应的文本(输出语句)的信号(步骤S551),接收到此信号的文本语音变换服务器113 可以将接收的信号中包含的文本变换为语音数据(步骤S553),并发送给所述家用电器200a(步骤S555)。
家用电器200a可以基于接收的语音数据来输出“不支持的功能”等语音引导消息(步骤S560)。
图6例示出在相应家用电器的当前动作模式下请求不支持功能的情况下的信号流动。
参照图6,本发明的一实施例的空调机200a可以接收“LG WHISEN,开始强力制冷”等用于指示空调机200a的特定模式运转的用户的语音指令(步骤S610)。
空调机200a可以将接收的用户的语音指令发送给语音服务器110(步骤S620)。空调机200a可以将接收的语音指令变换为波形(wave)文件等规定格式的数字语音数据并发送给自动语音识别服务器111。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S631),并将所述文本数据发送给自然语言处理服务器112(步骤S633)。
自然语言处理服务器112可以执行针对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S641)。
例如,自然语言处理服务器112可以在“LG WHISEN,开始强力制冷”中判别出用户的将空调机200a运转为强力制冷模式的意图的语音指令。
自然语言处理服务器112可以将与所述判别的语音指令对应的信号发送给联系服务服务器120(步骤S643)。
当联系服务服务器120向家电控制服务器130请求空调机200a的当前状态信息时(步骤S651),家电控制服务器130可以检索空调机200a 的当前状态信息(步骤S653),并向联系服务服务器120发送空调机200a 的当前状态信息(步骤S655)。
如果家电控制服务器130不具有空调机200a的当前状态信息,家电控制服务器130可以向空调机200a请求当前状态信息并接收。
另外,接收到状态信息的联系服务服务器120能够以空调机200a的当前状态信息为基准来判别所述判别的语音指令的可支持与否(步骤 S657)。例如,在当前空调机200a以除湿模式运转中,并且仅在制冷模式中支持强力制冷模式的情况下,自然语言处理服务器112可以判别出用户请求了当前状态下不支持的强力制冷模式。
随后,联系服务服务器120可以向自然语言处理服务器112发送用于提示所述判别的语音指令为所述家用电器200a在当前状态下不支持的功能的响应信号(步骤S660)。
并且,自然语言处理服务器112可以向所述家用电器200a发送用于提示所述判别的语音指令为当前状态下不支持的功能的响应信号(步骤 S671)。
另外,家用电器200a可以发送包含与所述响应信号对应的文本(输出语句)的信号(步骤S673),接收到此信号的文本语音变换服务器113 可以将接收的信号中包含的文本变换为语音数据(步骤S675),并发送给所述家用电器200a(步骤S677)。
家用电器200a可以基于接收的语音数据来输出“仅在制冷模式中支持强力制冷”等语音引导消息(步骤S680)。
图7至图9是例示出本发明的一实施例的语音识别服务器系统的信号流动的图,其是例示出图3B所例示的语音识别服务器系统的信号流动的图。
图7例示出家用电器根据用户的语音指令来进行动作的通常的状况下的信号流动。
参照图7,本发明的一实施例的家用电器200,例如,空调机200a可以接收用户的语音指令(步骤S710),并将接收的用户的语音指令发送给语音服务器110(步骤S720)。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S731),并将所述文本数据发送给自然语言处理服务器112(步骤S733)。
自然语言处理服务器112可以执行针对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S741)。
例如,自然语言处理服务器112可以在“LG WHISEN,温度调到18 度”中判别出用户的将空调机200a的设定温度变更为18度的意图的语音指令。
自然语言处理服务器112可以将与所述判别的语音指令对应的信号发送给联系服务服务器120(步骤S743)。
当联系服务服务器120向家电控制服务器130请求空调机200a的当前状态信息时(步骤S751),家电控制服务器130可以检索空调机200a 的当前状态信息(步骤S753),并向联系服务服务器120发送空调机200a 的当前状态信息(步骤S755)。
如果家电控制服务器130不具有空调机200a的当前状态信息,家电控制服务器130则可以向空调机200a请求当前状态信息并接收。
另外,接收到状态信息的联系服务服务器120可以根据判别的语音指令向家电控制服务器130发送用于将相应空调机200a的设定温度变更为 18度的请求信号(步骤S761)。
家电控制服务器130可以基于所述请求信号生成控制信号并发送给空调机200a,从而控制空调机200a(步骤S763)。
并且,家电控制服务器130可以在空调机200a的控制后从所述家用电器接收对所述控制信号的响应信号,并将用于提示针对请求的动作成功的处理结果信息发送给联系服务服务器120(步骤S765)。
联系服务服务器120可以将“将空调温度设定为18度”等与处理结果信息对应的信号发送给自然语言处理服务器112(步骤S770)。
另外,自然语言处理服务器112可以将基于判别的用户的语音指令的响应信号发送给文本语音变换服务器113(步骤S781)。其中,基于判别的用户的语音指令的响应信号可以包含所述处理结果信息。
另外,文本语音变换服务器113可以将基于所述语音指令的响应信号变换为语音数据(步骤S783),并发送给所述家用电器200a(步骤S785)。
家用电器200a可以基于接收的语音数据来输出“将空调温度设定为 18度”等语音引导消息(步骤S790)。
图8例示出在请求相应家用电器的不支持功能的情况下的信号流动。
参照图8,本发明的一实施例的空调机200a可以接收“LG WHISEN,开始洗衣”等空调机200a不支持的洗衣功能相关的用户的语音指令(步骤S810)。
空调机200a可以将接收的用户的语音指令发送给语音服务器110(步骤S820)。空调机200a可以将接收的语音指令变换为波形(wave)文件等规定格式的数字语音数据并发送给自动语音识别服务器111。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S831),并将所述文本数据发送给自然语言处理服务器112(步骤S833)。
自然语言处理服务器112可以执行针对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S841)。
并且,自然语言处理服务器112可以判别所述判别的语音指令的可支持与否。在本实施例中,自然语言处理服务器112可以判别出用户请求了空调机200a不支持的洗衣功能。
随后,自然语言处理服务器112可以向文本语音变换服务器113发送用于提示所述判别的语音指令为所述家用电器不支持的功能的响应信号 (步骤S843)。
文本语音变换服务器113可以将基于所述语音指令的响应信号变换为语音数据(步骤S845),并发送给所述家用电器200a(步骤S847)。
家用电器200a可以基于接收的语音数据来输出“不支持的功能”等语音引导消息(步骤S850)。
图9例示出在相应家用电器的当前动作模式下请求不支持功能的情况下的信号流动。
参照图9,本发明的一实施例的空调机200a可以接收“LG WHISEN,开始强力制冷”等用于指示空调机200a的特定模式运转的用户的语音指令(步骤S910)。
空调机200a可以将接收的用户的语音指令发送给语音服务器110(步骤S920)。空调机200a可以将接收的语音指令变换为波形(wave)文件等规定格式的数字语音数据并发送给自动语音识别服务器111。
自动语音识别服务器111可以对接收的语音数据进行识别以变换为文本(text)数据(步骤S931),并将所述文本数据发送给自然语言处理服务器112(步骤S933)。
自然语言处理服务器112可以执行针对接收的文本数据的自然语言处理,从而分析、判别用户的语音指令的意图(步骤S941)。
例如,自然语言处理服务器112可以在“LG WHISEN,开始强力制冷”中判别出用户的将空调机200a运转为强力制冷模式的意图的语音指令。
自然语言处理服务器112可以将与所述判别的语音指令对应的信号发送给联系服务服务器120(步骤S943)。
当联系服务服务器120向家电控制服务器130请求空调机200a的当前状态信息时(步骤S951),家电控制服务器130可以检索空调机200a 的当前状态信息(步骤S953),并向联系服务服务器120发送空调机200a 的当前状态信息(步骤S955)。
如果家电控制服务器130不具有空调机200a的当前状态信息,家电控制服务器130可以向空调机200a请求当前状态信息并接收。
另外,接收到状态信息的联系服务服务器120能够以空调机200a的当前状态信息为基准来判别所述判别的语音指令的可支持与否(步骤 S957)。例如,在当前空调机200a以除湿模式运转中,并且仅在制冷模式中支持强力制冷模式的情况下,自然语言处理服务器112可以判别出用户请求了当前状态下不支持的强力制冷模式。
随后,联系服务服务器120可以向自然语言处理服务器112发送用于提示所述判别的语音指令为所述家用电器200a在当前状态下不支持的功能的响应信号(步骤S960)。
并且,自然语言处理服务器112可以向文本语音变换服务器113发送用于提示所述判别的语音指令为当前状态下不支持的功能的响应信号(步骤S971)。
另外,文本语音变换服务器113可以将基于所述语音指令的响应信号变换为语音数据(步骤S973),并发送给所述家用电器200a(步骤S975)。
家用电器200a可以基于接收的语音数据来输出“仅在制冷模式中支持强力制冷”等语音引导消息(步骤S980)。
根据本发明,在未能理解用户的指令的情况下,可以实现针对无法提供的功能的情况等提供相适应的语音引导的用户经验。
通过提供与指令处理中发生的各种状况和时点相适应的引导语,能够使用户的不便达到最小。
图10是示出本发明的一实施例的服务器的内部框图的一例的图,所述服务器可以是自动语音识别服务器111、自然语言处理服务器112、文本语音变换服务器113、联系服务服务器120、家电控制服务器130。
参照图10,服务器可以具有通信模块1020、存储部1030以及处理器 1010。
处理器1010可以控制服务器的整体上的动作。
通信模块1020可以从便携终端、空调机等家用电器、其它服务器等接收状态信息、动作信息、操作信息、语音数据、文字数据等各种数据。
此外,通信模块1020可以将与接收的各种信息对应的数据直接或在进行规定处理后发送给便携终端、空调机等家用电器、其它服务器等。
为此,通信模块1020可以具有因特网模块、移动通信模块等一个以上的通信模块。
存储部1030可以存储所接收的信息,并具有用于生成与之对应的结果信息的数据。
存储部1030可以存储用于相应服务器的动作的数据。例如,在存储部1030中,在自动语音识别服务器111的情况下,可以存储自动语音识别算法等,在家电控制服务器130的情况下,可以存储家用电器的产品信息、状态信息、用于家用电器的控制的数据。
另外,服务器可以是空调机等家用电器制造商运营的服务器或服务提供商运营的服务器,其可以是一种云(Cloud)服务器。
图11是示出本发明的一实施例的家用电器的内部框图的一例的图。
参照图11,本发明的一实施例的家用电器200可以包括:相机210;音频输入部220,用于接收用户的语音指令;操作部230;存储器250,用于存储各种数据;通信部270,与其它电子装置进行无线方式的通信;驱动部280,用于执行各家用电器中实现的动作;显示器292,以影像方式显示规定信息;音频输出部291,以音频方式输出规定信息;以及控制部240,用于控制整体上的动作。
音频输入部220可以接收外部的音频信号、用户语音指令。为此,音频输入部220可以具有一个以上的麦克风(MIC)。并且,为了更加准确地接收用户的语音指令,音频输入部220可以具有多个麦克风221、222。多个麦克风221、222可以在彼此不同的位置以隔开的方式进行配置,可以通过获取外部的音频信号来将其处理为电信号。
图11等中示出音频输入部220具有第一麦克风221和第二麦克风222 这两个麦克风的例,但是本发明并不限定于此。
音频输入部220可以包括用于将模拟声音变换为数字数据的处理部,或者与处理部相连接并将用户输入语音指令进行数据化,从而能够在控制部240或规定服务器中对其进行识别。
另外,音频输入部220可以使用多种去噪算法,以去除接收用户的语音指令的过程中产生的噪音(noise)。
并且,音频输入部220可以包括从各麦克风221、222接收的音频信号中去除噪音的滤波器、对从滤波器输出的信号进行放大并输出的放大器等用于音频信号处理的结构。
存储器250用于记录家用电器的动作所需的各种信息,其可以包括易失性或非易失性记录介质。记录介质存储可以被微型处理器(micro processor)读取的数据,其可以包括HDD(Hard Disk Drive)、SSD(Solid State Disk)、SDD(Silicon Disk Drive)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等。
根据实施例,存储器250中可以存储用户输入的语音指令的音源文件,存储的音源文件可以通过通信部270传送给语音识别服务器系统100。并且,所述存储的音源文件可以在经过预先设定的时间或者执行预先设定的动作后被删除。
另外,在存储器250可以存储用于语音识别的数据,控制部240可以对通过音频输入部220接收的用户的语音输入信号进行处理并执行语音识别过程。
或者,根据实施例,家用电器200可以还包括语音识别模块(未图示),语音识别模块可以执行调用语识别等简单的语音识别。对于包括语音识别模块的实施例,将参照图25详细地进行后述。
并且,存储器250中可以存储用于判别语音信号是否包含调用语的调用语判断算法。
所述控制部240及语音识别模块可以基于所述调用语判断算法来判别所述语音信号是否包含所述调用语。
另外,简单的语音识别可以由家用电器200来执行,自然语言处理等高层次的语音识别由语音识别服务器系统100来执行。
例如,在接收到包含预先设定的调用语的唤醒(wake up)语音信号的情况下,家用电器200可以转换为用于接收语音指令语的状态。在此情况下,家用电器200可以仅执行至调用语语音输入与否的语音识别过程,而之后的对用户语音输入的语音识别可以由语音识别服务器系统100来执行。
由于家用电器在系统资源上存在有局限,复杂的自然语言识别及处理可以由语音识别服务器系统100来执行。
或者,对于调用语语音输入与否的判断可以在家用电器200和语音识别服务器系统100中以双重方式执行。由此,能够减少调用语语音输入判断的误识别并提高识别率。对此,将参照图20、图21等详细地进行后述。
在所述存储器250可以存储有限的数据。例如,在所述存储器250可以存储用于识别包含预先设定的调用语的唤醒(wake up)语音信号的数据。在此情况下,所述控制部240可以从通过所述音频输入部220接收的用户的语音输入信号中识别出包含预先设定的调用语的唤醒(wake up) 语音信号。
另外,所述调用语可以由制造商来进行设定,并且可以按不同的家用电器设定不同的调用语。例如,在空调机的情况下,可以设定“LG WHISEN”作为调用语,在冰箱的情况下,可以设定“LG DIOS”作为调用语。
并且,所述调用语可以由用户进行设定变更。
控制部240可以控制将唤醒(wake up)语音信号的识别之后输入的用户的语音指令通过通信部270发送给语音识别服务器系统100。
通信部270可以具有一个以上的通信模块,以与其它电子装置执行无线方式的通信而收发各种信号。例如,通信部270可以与智能家居系统 10内/外部的电子装置进行通信。
并且,通信部270可以与接入装置300进行通信,并且通过接入装置 300连接到无线因特网网络以与其它装置进行通信。
并且,控制部240可以通过通信部270将家用电器200的状态信息、用户的语音指令等传送给语音识别服务器系统100等。
另外,当通过所述通信部270接收到控制信号时,控制部240可以控制家用电器200以使其根据接收的控制信号进行动作。
显示器292以影像方式显示与用户的指令输入对应的信息、与用户的指令输入对应的处理结果、动作模式、动作状态、出错状态等。
根据实施例,显示器292可以与触摸板彼此构成层次结构而构成触摸屏。在此情况下,显示器292除了作为输出装置以外,还可以作为可实现基于用户的触摸的信息的输入的输入装置使用。
并且,音频输出部291可以根据控制部240的控制以音频方式输出警告音、动作模式、动作状态、出错状态等提示消息、与用户的指令输入对应的信息、与用户的指令输入对应的处理结果等。
另外,音频输出部291可以将来自控制部240的电信号变换为音频信号并进行输出。为此,可以具有扬声器等。
并且,本发明的一实施例的家用电器200可以提供考虑到语音识别过程及家用电器控制过程中可能会发生的多种状况的用户经验(User Experience,UX)。
控制部240可以控制音频输出部291及显示器292,以与语音识别过程及家用电器控制过程的各步骤对应地利用视觉/听觉构件向用户提供规定信息。
控制部240可以控制显示器292,以与语音识别过程及家用电器控制过程的各步骤对应地提供视觉信息。
并且,控制部240可以控制音频输出部291,以与语音识别过程及家用电器控制过程的各步骤对应地提供听觉信息。
对于在语音识别过程及家用电器控制过程中通过音频输出部291、显示器292提供的用户经验,将参照图17、图18等详细地进行后述。
驱动部280用于执行家用电器中实现的动作,其可以按照各家用电器不同地构成。
例如,在家用电器为冰箱的情况下,驱动部280可以包括用于驱动向冷藏室供应被冷却的空气的冷藏室风机的冷藏室驱动部、用于驱动向冷冻室供应被冷却的空气的冷冻室风机的冷冻室驱动部、用于使压缩制冷剂的压缩机进行动作的压缩机驱动部等。
作为另一例,在家用电器为洗衣机的情况下,驱动部280可以包括用于驱动滚筒或洗衣桶的驱动部等。
作为又一例,在家用电器为空调机的情况下,驱动部280可以包括用于驱动室外机内的压缩机的压缩机驱动部、用于使用于热交换的室外机风机进行动作的室外机风机驱动部、用于使用于热交换的室内机风机进行动作的室内机风机驱动部等。
作为又一例,在家用电器为烹调装置的情况下,驱动部280可以包括用于向机腔(cavity)内输出微波的微波驱动部等。
作为又一例,在家用电器为吸尘器的情况下,驱动部280可以包括用于吸入空气的风机电机驱动部等。
另外,驱动部280可以包括电机驱动部,并且为了驱动电机而可以包括逆变器420等。对于电机驱动部将参照图26至图28详细地进行后述。
另外,家用电器200可以还包括:用于用户输入的操作部230;能够拍摄家用电器200周边规定范围的相机210。
操作部230可以具有多个操作键,从而能够将与输入的按键对应的信号传送给控制部240。
相机210用于拍摄家用电器200周边、外部环境等,这样的相机可以按各部位设置有多个以提高拍摄效率。
例如,相机210可以包括:图像传感器(例如,CMOS image sensor),包括至少一个光学镜头和利用通过光学镜头的光来成像的多个光二极管 (photodiode,例如,pixel);数字信号处理器(DSP:Digital Signal Processor),基于从光二极管输出的信号来构成影像。数字信号处理器不仅可以生成静态影像,还可以生成由静态影像构成的帧来构成的动态影像。
另外,所述相机210所拍摄并获取的影像可以存储于存储器250。
图12是示出本发明的一实施例的空调机的内部框图的一部分的图,图13和图14是简略示出本发明的一实施例的空调机的外观的图。
更详细而言,图12例示出在图11所例示的家用电器为图13和图14 所例示的空调机200a的情况下,空调机200a的驱动部280a中包括的叶片驱动部1210和风机驱动部1220。
图13和图14是简略示出本发明的一实施例的空调机的室内机外观的图。
参照图11至图14,本发明的一实施例的空调机200a可以包括:麦克风221、222,接收用户的语音指令;通信部270,与其它电子装置以无线方式进行通信;控制部240,控制整体上的动作;以及叶片驱动部1210,根据所述控制部240的控制来驱动叶片。
并且,本发明的一实施例的空调机200a可以还包括:风机驱动部 1220,根据所述控制部240的控制来驱动风机。
麦克风221、222可以接收外部的音频信号、用户语音指令。并且,麦克风221、222可以获取外部的音频信号、用户语音指令并处理为电信号。
本实施例的空调机200a可以包括:吸入主体202,形成有空气吸入口(未图示);热交换机(未图示),吸入到空气吸入口的空气通过所述热交换机;风机(未图示),向空气吸入口吸入空气,使所述空气通过热交换机后进行送风;吐出口207R、207U、207D,使空气再次吐出到室内。
并且,在吐出口207R、207U、207D可以配置有用于开闭吐出口190 并对吐出的空气的风向进行调节的百叶窗(未图示)和/或叶片261R、261L、 261U、261D等风向调节构件,可以根据控制部240的控制来驱动电机等,从而转换风向调节构件的角度及方向。由此,可以调节通过吐出口207R、 207U、207D吐出的空气的风向。并且,可以通过控制风向调节构件的动作来调节气流的送风方向、送风范围等。
例如,可以将叶片261R、261L、261U、261D固定为朝向某一个方向,从而使其朝某一个方向进行送风,也可以实施使叶片的方向在设定的范围内继续变化的动作(以下称为“摇摆(swing)动作”),从而在设定的范围内以使送风方向继续变化的形态来执行针对设定的范围的送风。并且,可以通过调节实现叶片261R、261L、261U、261D的摇摆动作的角度范围,来使实现送风的范围变得稍微更窄或更宽。
另外,在空调机内部设置有用于对吸入到吸入口的室内的空气通过吐出口207R、207U、207D向室内空间排出的流动进行控制的风机,所述风机利用风机驱动部1220来调节其旋转,所述风机驱动部1220的运行由控制部240来进行控制。
由此,控制部240可以通过控制叶片驱动部1210及风机驱动部1220 来控制从空调机200a吐出的空气的流动(气流)的方向。控制部240可以通过控制风机电机的速度来控制气流的量和速度,并通过控制百叶窗、叶片等风向调节构件来控制气流的方向。
另外,空调机可以包括多个叶片261R、261L、261U、261D。并且,多个叶片261R、261L、261U、261D中的至少一部分能够以彼此不同的方式进行动作。
例如,上侧叶片261U能够以可升降的方式配置于风机的上部,从而在动作时进行升降并驱动。为此,空调机200a可以包括用于使上侧叶片 261U进行升降的升降机构1211。
并且,上侧叶片261U可以上升并作用为上部吐出主体的功能,从而使通过空气吐出口207U从风机吹送的空气中的至少一部分向室内吐出。
吸入主体202可以设置于底座201上侧。吸入主体202可以与底座 201一同形成空调机的背面侧的外观。吸入主体202可以形成空调机的背面上部外观。吸入主体202可以与底座201一同构成空调机的后壳,吸入主体202可以是空调机的后上壳,底座201可以是空调机的后下壳。
在底座201可以设置有用于控制空调机的各种电气部件的控制部 240。其中,空调机的各种电气部件可以包括风机等。在底座201可以设置有配置于底座201的前方的底座盖225。
空调机可以还包括用于对空气进行净化的净化单元(未图示)。净化单元可以配置于吸入主体202。净化单元可以在空气流动方向上配置于热交换机之前。净化单元可以配置于吸入主体202和热交换机之间,也可以配置于吸入主体202的后方。净化单元可以包括用于过滤空气中的杂质的过滤器。净化单元可以包括用于向空气产生离子的离子发生器。净化单元可以包括用于对空气中的杂质进行放电以实现集尘的电集尘器。净化单元可以包括过滤器、离子发生器、电集尘器中的至少一种。
热交换机可以位于空气吸入口前方。热交换机可以使吸入到空气吸入口的空气与制冷剂进行热交换。热交换机能够以位于空气吸入口和风机之间的方式进行设置。
空调机在室外机上设置的压缩机进行驱动时,热交换机中可以通过低温低压的制冷剂,热交换机可以对通过空气吸入口的空气进行冷却。在压缩机开启时,热交换机可以使制冷剂和空气进行热交换以冷却空气,空调机可以作用为制冷机的功能。
风机可以位于热交换机的前方。风机可以由吸入后方的空气并朝上、下、左、右侧中的至少一个方向吹送的离心式风机构成。风机可以由横流式风机构成。风机可以由朝上、下、左、右侧四个方向吹送空气的横流式风机构成。
风机可以包括多个送风扇。多个送风扇可以在上下方向上依次地进行配置。多个送风扇可以分别由横流式风机构成。
在上侧叶片261U的前面可以形成有上部前空气吐出口207U。在上侧叶片261U的下面可以形成有空气流入口(未图示),从风机朝上侧向吹送的空气流入所述空气流入口。上侧叶片261U可以将从内部的风机朝上侧向吹送的空气朝前方方向进行引导。
上侧叶片261U可以在风机的上侧以可升降的方式进行配置。上侧叶片261U在上升时,可以使上部前空气吐出口207U上升而吐出空气,上侧叶片261U在下降时,可以使上部前空气吐出口207U被隐藏。
空调机可以还包括:升降引导件208,用于引导上侧叶片261U的升降。升降引导件208能够以位于风机及热交换机的上侧的方式进行设置。上侧叶片261U在上升时,可以使上部前空气吐出口207U位于升降引导件208上侧以吐出空气,上侧叶片261U在下降时,可以使上部前空气吐出口207U位于升降引导件208内侧而被隐藏。
升降机构1211可以包括:电机等驱动源;在驱动源进行驱动时升降上侧叶片261U的传动构件。传动构件可以包括:设置于驱动源的滑轮;与滑轮相啮合的齿条。
升降机构1211可以根据运转模式而上升至其它高度。控制部240可以根据用户的运转模式选择来控制所述升降机构1211。
例如,控制部240可以根据运转模式使上侧叶片261U上升至上部前空气吐出口207U以最大程度开放的最大开放高度,或者使上侧叶片261U 上升至仅开放上部前空气吐出口207U的一部分的规定的高度。
在空调机200a的侧面可以形成有侧空气吐出口207R,从风机朝旁边方向吹送的空气通过所述侧空气吐出口207R。
并且,在空调机的侧面可以配置有侧叶片261R、261L,所述侧叶片 261R、261L用于调节从风机朝旁边吹送的空气的风向,并能够开闭左侧空气吐出口及右侧空气吐出口207R。侧叶片261R、261L可以包括左侧叶片261L和右侧叶片261R。
侧叶片261R、261L可以可旋转的方式进行设置。空调机可以包括用于旋转侧叶片261R、261L的侧驱动机构1212、1213。侧驱动机构1212、 1213可以包括左侧叶片驱动机构1212和右侧叶片驱动机构1213。
侧驱动机构1212、1213可以包括电机等的驱动源。侧驱动机构1212、 1213可以包括连杆(link)或齿轮等至少一个传动构件,所述传动构件与驱动源相连接,以在驱动源进行驱动时旋转侧叶片261R、261L。
侧驱动机构1212、1213可以由控制部240在制冷运转时被控制为开放模式。并且,侧驱动机构1212、1213可以根据控制部240的控制,使左侧叶片261L和右侧叶片261R旋转为规定开放角度。
由此,可以控制送风方向且可以实施摇摆动作,从而以在设定的范围内使送风方向继续变化的形态对设定的范围实现送风。并且,通过调节实现摇摆动作的角度范围,能够使实现送风的范围变得更窄或更宽。
空调机可以还包括:下侧叶片261D,位于空调机的下侧并形成有下部前空气吐出口207D。
下侧叶片261D可以将从风机朝下侧方向吹送的空气朝前方方向吐出。下侧叶片261D可以在其内部形成供空气通过的流路。在下侧叶片 261D的前面可以形成有向外部吐出空气的下部前空气吐出口207D。
空调机可以还包括:开闭机构1214,用于开闭下部前空气吐出口 207D。开闭机构1214可以包括移动套件(未图示)(moving kit),所述移动套件移动下侧叶片261D以开闭下部前空气吐出口207D。移动套件可以包括:电机等驱动源;供移动套件安置的移动套件载体;在驱动源进行驱动时用于使移动套件载体进退的至少一个传动构件。
下侧叶片261D可以前进以遮蔽下部前空气吐出口207D,下侧叶片 261D可以后退以开放下部前空气吐出口207D。
开闭机构1214在以规定模式运转时,可以被控制为使下部前空气吐出口207D开放的开放模式。
空调机可以还包括配置于风机的前方的送风机盖282,送风机盖282 可以形成空调机的前面上部外观。送风机盖282能够以位于底座盖225的上侧的方式进行配置,并可以与底座盖225一同形成空调机的前面侧的外观。送风机盖282可以与底座盖225一同构成空调机的前盖。送风机盖 282可以是空调机的前上盖,底座盖225可以是空调机的前下盖。
空调机可以设置有用于显示各种信息的显示器292。并且,空调机可以还包括用于输出音频信号的音频输出部291,音频输出部291的扬声器可以配置于空调机的前面或适当的位置。
并且,空调机可以包括:操作部230,具有能够输入各种指令的多个按键;相机210,能够拍摄家用电器200周边规定范围。
另外,根据本发明的一方式,在送风机盖282或底座盖225的前面可以配置有前面板1300,在前面板1300配置有显示器292、音频输出部291 的扬声器、操作部230的操作键。
空调机可以根据多个运转模式进行运转。控制部240可以根据选择的运转模式来控制叶片驱动部1210、风机驱动部1220等。
例如,在规定运转模式下,控制部240可以控制多个叶片261R、261L、 261U、261D使吐出口全部开放。
或者,在规定运转模式下,控制部240可以控制为,使特定叶片不开放吐出口而处于关闭状态。例如,在规定运转模式下,控制部240可以控制为使下侧叶片261D关闭。
并且,控制部240可以根据运转模式来调节上侧叶片261U的上升高度、左/右侧叶片261R、261L的开放角度。
并且,控制部240可以根据运转模式来控制风机的旋转速度,从而调节风量。
另外,图13和图14所例示的空调机的外观及结构仅是例示,本发明并不限定于此。例如,麦克风221、222、相机210、音频输出部291、叶片261R、261L、261U、261D的位置、数目、结构等可以根据设计配置而改变。
图15是示出本发明的一实施例的家用电器的动作方法的流程图。
图16是示出本发明的一实施例的包括语音识别服务器系统及家用电器的智能家居系统的动作方法的流程图。
图17和图18是在本发明的一实施例的家用电器进行语音识别及控制过程中提供的信息相关的说明中作为参照的图。
参照图15,家用电器200可以根据用户输入来激活语音识别功能(步骤S1510)。根据用户输入,家用电器200的控制部240可以激活麦克风 221、222。
或者,家用电器200可以根据对语音识别功能激活的设定来自动地激活语音识别功能。
例如,当电源接通时,家用电器200可以自动地激活麦克风221、222,并且激活语音识别功能。
本发明的一实施例的家用电器200可以提供考虑到语音识别过程及家用电器控制过程中可能会发生的多种状况的用户经验(User Experience, UX)。
控制部240可以控制显示器292,以与语音识别过程及家用电器控制过程的各步骤对应地提供视觉信息。
并且,控制部240可以控制音频输出部291,以与语音识别过程及家用电器控制过程的各步骤对应地提供听觉信息。
图17示出在家用电器200为空调机200a的情况下,空调机200a所具有的显示器292的一例。
控制部240可以控制为,通过显示器292显示空调机200a的运转模式、当前状态等。
显示器292可以利用多种视觉图像来显示空调机200a的运转模式、当前状态、设定项目。显示器292可以利用文字、数字、符号来显示空调机200a的运转模式、当前状态、设定项目,并可以利用诸如图标的图形图像进行显示。
并且,显示器292可以按不同的语音输入的处理过程显示对应的信息。
参照图17,显示器292可以包括语音识别图标1720,所述语音识别图标1720在语音识别过程中点亮或熄灭。例如,显示器292可以包括用于表示麦克风被激活的麦克风图标1721、配置于所述麦克风图标1721的左/右侧的声音(或者翼片)图标1722。
并且,显示器292可以包括一个以上的7段显示器1711、1712,所述7段显示器1711、1712具有多个段(Segment)以显示数字。
例如,显示器292可以包括两个7段显示器1711、1712。
7段显示器1711、1712是用于显示数字或文字的显示器,7段显示器 1711、1712的各段可以包括一个以上的发光元件,可以利用独立地驱动的段的组合来显示数字或文字。
本发明中定义的7段显示器1711、1712可以具有通过多个发光元件选择性地点亮,从而照亮为数字的形态的通常的7段的结构,其还可以包括液晶显示装置中输出为诸如7段的数字模样图形的形态的结构。即,7 段显示器1711、1712可以适用能够输出为7段的模样的所有形态的输出装置。
另外,一对7段显示器1711、1712也可以命名为88段显示器1710。
空调机200a的显示器292尤其为了显示温度等而可以利用88段显示器1710。
并且,显示器292可以包括预约设定项目1731、动作音显示项目1732、 WIFI显示项目1733、电量显示项目1741、自动干燥显示项目1742、运转种类显示项目1750、风力显示项目1760等。
各项目1731、1732、1733、1741、1742、1750、1760可以利用规定文字和/或图标进行显示。
图18是例示出按语音识别过程的各步骤由显示器292显示的视觉信息和由音频输出部291以音频方式输出的语音引导消息的图表(table)。
参照图15和图18,当语音识别功能被激活时,所述显示器292点亮显示所述麦克风图标1721,控制部240可以控制进入到用于输入包含预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式(步骤 S1515)。
另外,当语音识别功能未被激活时,可以结束麦克风图标1721的显示。
并且,音频输出部291可以输出用于引导包含调用语的发话的语音引导消息。例如,如果调用语被设定为“LG WHISEN”,当说出“LG WHISEN”时,音频输出部291能够以语音方式输出诸如“可以使用语音识别功能”的语音引导消息。
在家用电器的麦克风221、222激活的状态下,当从用户接收语音输入时,麦克风221、222可以接收输入语音并将其传送给控制部240。
另外,在通过麦克风221、222接收到包含预先设定的调用语的唤醒 (wake up)语音信号的情况下(步骤S1520),家用电器200可以转换为用于接收语音指令语的指令语等待模式(步骤S1525)。在通过麦克风221、 222接收到包含预先设定的调用语的唤醒(wake up)语音信号的情况下(步骤S1520),控制部240可以控制为进入到指令语等待模式(步骤S1525)。
并且,根据所述控制部240的控制,所述显示器292可以闪烁显示配置于所述麦克风图标1721的左右侧的翼片模样的声音图标1722。
由此,用户能够直观地认知到家用电器200正在等待用户的指令语输入。
并且,所述声音图标1722的闪烁显示可以在所述指令语等待模式过程中持续地执行。
或者,所述声音图标1722的闪烁显示可以在进入所述指令语等待模式并进行预先设定的规定时间后维持点亮状态。根据实施例,当有用户的语音指令时,可以使所述声音图标1722再次按预先设定的规定期间进行闪烁显示。
如果家用电器200一直等待自然语言指令语,则对语音识别功能所消耗的电力和CPU占用率及语音识别服务器系统的服务器负载构成负担。
因此,家用电器200可以仅将指令语等待状态下接收的语音信号传送给服务器。
并且,家用电器200可以对等待指令语的时间设定条件,使在时间内输入指令时,可以到指令语结束时点为止接收声音并传送给服务器。
根据本发明的一方式,家用电器200可以仅执行至调用语语音输入与否的语音识别过程,而之后的对用户语音输入的语音识别可以由语音识别服务器系统100来执行。
或者,调用语语音输入与否的判断可以由家用电器200和语音识别服务器系统100以双重方式来执行。由此,能够减少调用语语音输入判断的误识别并提高识别率。对此,将参照图20、图21等详细地进行后述。
另外,所述调用语可以由制造商来进行设定,并且可以按不同的家用电器设定不同的调用语。例如,在空调机的情况下,可以设定“LG WHISEN”作为调用语,在冰箱的情况下,可以设定“LG DIOS”作为调用语。并且,所述调用语可以由用户进行设定变更。
另外,所述控制部240可以控制将唤醒(wake up)语音信号的识别之后输入的用户的语音指令通过通信部270发送给语音识别服务器系统 100(步骤S1530)。
另外,如果无限期地等待用户的语音指令,则会浪费系统资源,并且也不符合不输入指令语的用户的意图,因此,在指令语等待模式下,可以设定为仅对在规定经过时间期间输入的语音指令进行处理(步骤S1527)。
在此情况下,所述控制部240可以控制为,将包含所述预先设定的经过时间以内接收的语音指令的语音数据传送给语音服务器110(步骤S1530)。
另外,当在所述预先设定的经过时间以内未接收到所述语音指令时 (步骤S1527),所述控制部240可以控制为再次转换到所述唤醒信号等待模式。
并且,当通过所述麦克风221、222在所述预先设定的经过时间以内接收到语音指令,并且通信部270发送语音数据时(步骤S1530),所述显示器292可以依次地点亮所述段显示器1710的多个段中配置于外廓的段。
另外,与所述语音数据的发送(步骤S1530)对应地,在88段显示器1710朝顺时针方向或逆时针方向旋转期间,所述音频输出部291可以输出效果音响或音乐或语音引导消息。
所述音频输出部291可以输出诸如系统处理音的效果音响、用于提示正在指令语处理中的语音引导消息。
所述音频输出部291在发生特定事件时需要输出语音引导消息,当在输出规定语音引导消息的过程中发生来自服务器的信号接收等特定事件时,正在输出中的语音引导消息将可能被断开,用户则会对此感到不便。
因此,在语音服务器110中处理语音指令语的过程中,更优选地使所述音频输出部291播放规定音乐,从而能够向用户提供更加舒适的感觉。
并且,当在指令语处理中发生延迟时,所述音频输出部291可以输出“请稍等片刻”等语音引导消息。
根据实施例,当所述通信部270在第一时间以内未能从所述语音服务器110接收基于所述语音指令的响应信号时,所述音频输出部291可以输出用于提示等待的语音引导消息。在此情况下,当在所述第一时间以后的第二时间以内,所述通信部270仍然未接收到基于所述语音指令的响应信号时,所述音频输出部291可以输出用于请求再输入语音指令的语音引导消息。
当所述通信部270在所述第二时间以内也未接收到基于所述语音指令的响应信号时,所述控制部240可以控制为转换到所述指令语等待模式。
本发明的一实施例的家用电器200也可以利用其它方式向用户提供规定信息。
例如,在本发明的一实施例的家用电器200中,当在预先设定的经过时间以内接收到语音指令时,为了向用户提示接收到指令语,驱动部280 可以执行与指令语接收对应的反馈动作。
根据实施例,当在所述预先设定的经过时间以内接收到所述语音指令时(步骤S1527),为了向用户提示家用电器200接收到指令语,控制部 240可以控制为执行与指令语接收对应的反馈动作。
在此情况下,根据所述控制部240的控制,驱动部280可以执行预先设定的动作。
例如,在所述家用电器200为空调机200a的情况下,驱动部280可以包括叶片驱动部1210、风机驱动部1220等。
随着在所述预先设定的经过时间以内接收到所述语音指令,叶片驱动部1210可以驱动一个以上的叶片261R、261L、261U、261D,从而执行升降、移动、旋转、摇摆(swing)动作中的至少一种动作。
参照图19,当通过空调机200a的麦克风221、222在设定的经过时间以内接收到语音指令时,叶片驱动部1210可以将上侧叶片261U上升至规定高度。
并且,叶片驱动部1210可以使左侧叶片261L和右侧叶片261R旋转到规定角度。
并且,叶片驱动部1210可以使下侧叶片261D朝内侧方向前进移动,从而开放下部前空气吐出口207D。
在空调机200a因未以特定运转模式进行动作而处于空气吐出口关闭的状态下,当接收到语音指令时,叶片驱动部1210可以根据控制部240 的控制来使多个叶片261R、261L、261U、261D全部进行驱动。
或者,叶片驱动部1210可以使多个叶片261R、261L、261U、261D 中的一部分进行驱动。
或者,当通过麦克风221、222在设定的经过时间以内接收到语音指令时,叶片驱动部1210可以根据控制部240的控制来使左侧叶片261L和右侧叶片261R旋转到规定角度。
并且,叶片驱动部1210可以控制左侧叶片261L和右侧叶片261R执行摇摆动作,以使其在规定范围内反复进行旋转。
根据本发明的一实施例,当在预先设定的经过时间以内接收到语音指令时,使叶片261R、261L、261U、261D进行移动,能够直观地提示用户指令语的接收,从而能够提高用户的信赖度。
并且,当用户向空调机200a输入语音指令时,其大部分的情况为意图使空调机200a进行动作,因此,通过先行移动叶片261R、261L、261U、 261D,并在之后与判别的语音指令对应地进行动作,从而能够更加迅速地应对用户的语音指令。
另外,如参照图1至图9所述,语音服务器110及包括其的语音识别服务器系统100可以对从家用电器200接收到的包含语音指令的语音数据进行识别、处理。
由此,当通信部270从家电控制服务器130接收到基于所述语音指令的控制信号时(步骤S1540),控制部240可以控制家用电器200,以使其与接收的控制信号对应地进行动作(步骤S1545)。
并且,当通信部270从所述语音服务器110接收到基于所述语音指令的响应信号时(步骤S1550),控制部240可以控制音频输出部291,以使其输出与接收的响应信号对应的语音引导消息(步骤S1570)。
根据实施例,在所述响应信号不包含语音数据的情况下(步骤S1560),控制部240可以控制为向所述语音服务器110请求语音数据(步骤S1565),以从所述语音服务器110接收所请求的语音数据。
另外,根据语音识别结果,可以通过所述通信部270从所述语音服务器110接收与语音识别失败对应的信号。在此情况下,控制部240可以控制音频输出部291,以使其输出用于请求语音指令的再输入的语音引导消息,并且再次转换到所述指令语等待模式。
并且,根据判别出的语音指令的可支持与否判别,可以通过所述通信部270从所述语音服务器110接收用于提示所述语音指令为与不支持的功能相关的指令的信号(步骤S1535)。在此情况下,控制部240可以控制音频输出部291,以使其输出用于提示所述语音指令为与不支持的功能相关的指令的语音引导消息(步骤S1537)。
在此情况下,控制部240可以控制为转换到唤醒信号等待模式。
或者,控制部240可以控制为再次转换到所述指令语等待模式。
根据本发明,通过提供与各状况相适应的视觉信息和/或语音引导消息,能够准确地确认出在语音控制指令时在何阶段因何问题未被正常控制。并且,由于能够控制产品的指令语的自由度较高而改善使用性。
参照图16和图18,家用电器200可以激活语音识别功能(步骤 S1611),从而进入用于输入包含预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式(步骤S1612)。
与语音识别功能的激活(步骤S1611)对应地,在显示器292可以点亮麦克风图标1721,音频输出部291可以输出用于引导用户发出调用语的语音引导消息。
当通过麦克风221、222输入“LG WHISEN”、“LG DIOS”等预先设定的调用语时(步骤S1613),家用电器200可以转换到用于接收语音指令语的指令语等待模式(步骤S1614)。
随着进入到指令语等待模式(步骤S1614),所述显示器292可以使配置于所述麦克风图标1721的左右侧的翼片模样的声音图标1722进行闪烁显示。
在指令语等待模式下,可以设定为仅对在规定经过时间期间输入的语音指令进行处理(步骤S1615)。例如,可以设定为6秒的经过时间,在此情况下,所述控制部240可以控制为,将包含所述6秒以内接收到的语音指令的语音数据传送给语音服务器110(步骤S1621)。
并且,当通过所述麦克风221、222在所述预先设定的经过时间以内接收到语音指令,并且通信部270发送语音数据时(步骤S1621),所述显示器292可以依次地点亮及熄灭所述段显示器1710的多个段中配置于外廓的段。
并且,与所述语音数据的发送(步骤S1621)对应地,在88段显示器1710朝顺时针方向或逆时针方向旋转期间,所述音频输出部291可以输出效果音响或音乐或语音引导消息。
另外,当在所述预先设定的经过时间以内未接收到所述语音指令时 (步骤S1621),所述控制部240可以控制为再次转换到所述唤醒信号等待模式。
根据本发明的一方式,家用电器200仅执行至调用语语音输入与否的语音识别过程,而之后的对用户语音输入的语音识别可以由语音识别服务器系统100来执行。
当从家用电器200接收到包含语音指令的语音数据时(步骤S1621),语音服务器110可以执行自然语言处理,从而分析用户的意图并判别语音指令(步骤S1622)。
当语音指令未被正常分析时(步骤S1623),语音服务器110可以向家用电器200提示语音指令分析失败,家用电器200可以发出包含用户的再命令请求语的语音引导消息(步骤S1662)。
在此情况下,可以设定为,在语音指令分析失败时,仅以预先设定的次数执行再命令请求及再命令分析过程(步骤S1661)。
例如,当正常分析失败3次以上时,所述控制部240可以不请求再命令,而是控制为再次转换到所述唤醒信号等待模式。
另外,当语音指令被正常分析时(步骤S1623),语音服务器110可以将与所述判别的语音指令对应的信号发送给联系服务服务器120。
另外,所述联系服务服务器120可以判别所述判别的语音指令的可支持与否。
例如,所述联系服务服务器120可以判别所述判别的语音指令是否为相应家用电器200支持的功能(步骤S1631)。
并且,所述联系服务服务器120可以判别所述判别的语音指令是否为相应家用电器200在当前状态下支持的功能、是否为以语音指令提供的功能等(步骤S1632)。
如果所述判别的语音指令不是可支持的功能,如参照图1至图9进行说明,所述联系服务服务器120可以经由所述语音服务器110向家用电器 200发送用于提示其不是可支持的功能的响应信号。
由此,家用电器200可以输出“不支持的功能”、“不支持语音的功能”等的语音引导消息(步骤S1671、步骤S1672)。
并且,控制部240可以控制为转换到唤醒信号等待模式。
如果判别的语音指令与家用电器200相关,所述联系服务服务器120 可以与家电控制服务器130进行通信以执行对应的动作。
或者,如果判别的语音指令与家用电器200不相关,所述联系服务服务器120可以与外部的外部服务进行通信以执行对应的动作。
如果判别的语音指令用于控制家用电器200,所述联系服务服务器 120可以生成与所述判别的语音指令对应的请求信号并发送给所述家电控制服务器130。
家电控制服务器130可以从所述联系服务服务器120接收所述请求信号,并将基于所述请求信号的控制信号发送给所述家用电器200。
例如,当接收到用于变更空调机200a的设定温度的请求时,所述家电控制服务器130可以向所述空调机200a发送用于变更设定温度的控制信号。
另外,家用电器200可以根据从所述家电控制服务器130接收的控制信号来执行对应的动作(步骤S1640)。
并且,家用电器200在执行被请求的动作后,可以将用于提示已执行动作的信号发送给所述家电控制服务器130。
并且,家电控制服务器130可以从所述家用电器200接收对所述控制信号的响应信号,并将用于提示针对请求的动作成功的处理结果信息发送给联系服务服务器120。
联系服务服务器120可以将“将空调温度设定为18度”等与处理结果信息对应的信号发送给自然语言处理服务器112,自然语言处理服务器 112可以将基于判别的用户的语音指令的响应信号发送给所述家用电器 200。
另外,家用电器200可以基于从语音服务器110接收的语音数据来发出包含“将空调温度设定为18度”等引导语的语音引导消息(步骤S1650)。
如上所述,在语音识别调用语的情况下,可以通过关键字识别来在家用电器内进行处理。在此情况下,往后将不易反映性能改善,并且可能会发生因误识别所致的问题。
即,为了适用语音识别功能的指令,需要使用关键字调用语以进入到指令语等待状态,但是存在有在售出家用电器产品后无法更新调用语识别的性能的问题。
并且,根据家用电器的调用语识别性能而可能会发生误识别,由于在用户未调用的情况下家用电器进行响应,存在有使用上的不便。为了解决该问题,需要提供改善方法以使误识别达到最少。
如参照图17至图19等所述,在接收到包含预先设定的调用语的唤醒 (wake up)语音信号的情况下,控制部240可以控制为进入指令语等待模式。
在此情况下,显示器292、音频输出部291、驱动部280可以根据用户的语音发话而提供多样的反馈。在准确的识别后进行这样的反馈的情况下,通过向用户提供用于表示家用电器接收到用户的语音并正在进行处理或可以进行处理的信息,能够增大用户的便利性。
但是,当这样的反馈因误识别而执行时,不仅引起误动作、不必要的电力消耗,而且降低用户的产品及语音识别功能的可靠性。
因此,根据家用电器的调用语识别性能而可能会发生误识别,当发生误识别时,即使在用户未调用的情况下家用电器也进行响应,从而存在有使用上的不便。为了解决该问题,需要提供改善方法以使唤醒信号的误识别达到最少。
为此,根据本发明的一方式,对于唤醒信号(调用语)语音输入与否的判断可以由家用电器200和语音识别服务器系统100以双重方式来执行。由此,能够减少调用语语音输入判断的误识别并提高识别率。
即,本实施例中并不仅在家用电器200识别调用语,而是当家用电器200中识别出用户的发话并确认为调用语时,将其传送给语音识别服务器系统100进行再次确认后进入到指令语等待状态。
通过双重方式的识别能够使因误识别所致的用户不便达到最小,并且可以通过语音识别服务器系统100持续改善针对调用语识别的性能。
图20是示出本发明的一实施例的家用电器的动作方法的流程图,更详细而言,将家用电器200和语音识别服务器系统100中以双重方式执行针对唤醒信号(调用语)语音输入与否的判断的实施例的流程图图示至指令语等待模式进入步骤为止。
因此,图20所示的实施例与前述的实施例的区别在于,从参照图15、图16等所述的语音识别功能激活步骤S1510、S1611到指令语等待步骤 S1525、S1614为止。
并且,虽然图20中未示出指令语等待模式进入之后的动作,但是可以相同地执行参照图15、图16等所述的指令语等待模式进入之后(步骤 S1525、S1614)的动作。
以下,以图20的实施例与图15、图16的实施例的区别为主进行说明。
参照图20,家用电器200可以基于用户输入来激活语音识别功能(步骤S2010)。家用电器200的控制部240可以根据用户输入来激活麦克风 221、222。
或者,家用电器200可以根据对语音识别功能激活的设定而自动地激活语音识别功能。例如,当电源开启时,家用电器200可以自动地激活麦克风221、222,并且激活语音识别功能。
根据语音识别功能的激活(步骤S2010),家用电器200可以进入用于输入包含预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式(步骤S2020)。
在唤醒信号等待模式(步骤S2020)中,可以通过包括一个以上的麦克风221、222的音频输入部220来接收语音信号(步骤S2030)。
家用电器200的控制部240和/或语音识别模块(参照图25的205) 可以通过音频输入部220判别所接收的语音信号是否包含所述调用语(步骤S2040)。
当在语音识别功能被激活的状态下接收到特定基准以上的声音时,可以在控制部240和/或语音识别模块205内判断是否为调用语。
控制部240可以控制为,在分析结果不是调用语的情况下,再次进入调用语等待状态(步骤S2020),在判定为调用语的情况下,将相应音源传送给语音识别服务器系统100。
如果所述语音信号包含所述调用语,控制部240可以控制通信部270 以使其将所述接收的语音信号传送给语音识别服务器系统100(步骤 S2050)。其中,通信部270向语音识别服务器系统100传送的数据可以包含所述接收的语音信号的音源文件。
如果所述语音信号不包含所述调用语,控制部240可以控制为返回到所述唤醒信号等待模式(步骤S2020)。
另外,从通信部270接收语音信号的语音识别服务器系统100可以判别语音信号是否包含调用语。
语音识别服务器系统100可以对接收到的调用语音源再次进行分析,从而判断其是否为调用语。
随后,家用电器200可以通过通信部270从所述语音识别服务器系统 100接收对于所述语音信号的语音识别分析结果信息(步骤S2060)。
对于所述语音信号的语音识别分析结果信息可以包含所述语音信号是否包含调用语相关的结果信息。
从家用电器200接收语音识别服务器系统100的分析结果后,如果不是调用语,则家用电器200可以返回到调用语等待状态(步骤S2020),如果是调用语,则家用电器200可以进入指令语等待状态(步骤S2080)。
当所述接收到的分析结果信息包含有用于表示所述语音信号包含所述调用语的信息时(步骤S2070),控制部240可以控制为在预先设定的经过时间期间进入用于输入用户的语音指令的指令语等待模式(步骤 S2080)。
相反地,当所述接收到的分析结果信息包含有用于表示所述语音信号不包含所述调用语的信息时(步骤S2070),控制部240可以控制为返回到所述唤醒信号等待模式(步骤S2020)。
根据本实施例,家用电器200中识别调用语后,并不立即进入指令语等待状态(步骤S2080),而是将输入的调用语传送给语音识别服务器系统100(步骤S2050)并再次进行分析,从而能够显著地减少误识别。
语音识别服务器系统100可以判断调用语与否并将判定为调用语的音源单独进行汇集,从而周期性地更新服务器内调用语判断算法。
由此,通过在语音识别服务器系统100中继续改善调用语识别性能,无需更新家用电器200内部调用语判断算法也能够确保产品的稳定性。
并且,随着持续地更新调用语识别性能,用户能够感受到识别性能逐渐变得更佳。
随后,如参照图15等进行说明,当通过所述音频输入部220接收到语音指令时(步骤S1527),所述控制部240可以控制通信部270,以使其将包含所述语音指令的语音数据发送给语音识别服务器系统100(步骤S1530)。
根据实施例,当通过所述音频输入部220接收到语音指令时(步骤 S1527),在所述预先设定的经过时间以内接收到的语音指令对应于预先存储的关键字指令的情况下,所述控制部240可以控制为执行与所述关键字指令对应的动作。并且,在所述预先设定的经过时间以内接收到的语音指令不对应于预先存储的关键字指令的情况下,所述控制部240可以控制为将包含所述语音指令的语音数据传送给所述语音识别服务器系统。
即,本发明的一实施例的家用电器200可以自行地应对包含简单的关键字的关键字指令,而对于通过自然语言处理的语音控制则可以通过语音识别服务器系统100来支持。其中,关键字指令可以表示包含有用于家用电器200的控制的规定关键字(keyword)的语音指令。
例如,在家用电器200为空调机200a的情况下,关键字指令可以包含“开启空气净化”、“关闭空气净化”、“开启节电制冷”、“关闭节电制冷”、“开启节电除湿”、“关闭节电除湿”、“开启电源”、“关闭电源”等与准确的动作名称对应的关键字和开启(on)或关闭(off)等动作内容关键字。
并且,关键字指令可以包含“用电量”、“当前状态”或“动作状态”等用于请求家用电器200的状态信息的指令。
并且,根据实施例,关键字指令可以仅由“空气净化”、“节电制冷”、“节电除湿”等与规定运转模式相关的准确的名称对应的关键字构成。
另外,当在指令语等待状态的预先设定的经过时间以内未接收到语音指令时,控制部240可以控制为转换到所述唤醒信号等待模式。
另外,当从所述语音识别服务器系统100接收到基于所述语音指令的控制信号时,控制部240可以控制为与接收到的控制信号对应地进行动作。
另外,如参照图1至图9进行说明,语音服务器110及包括其的语音识别服务器系统100可以对从家用电器200接收的包含语音指令的语音数据进行识别并处理。
由此,当通信部270从家电控制服务器130接收到基于所述语音指令的控制信号时(步骤S1540),控制部240可以控制家用电器200,以使其与接收的控制信号对应地进行动作(步骤S1545)。
并且,当通信部270从所述语音服务器110接收到基于所述语音指令的响应信号时(步骤S1550),控制部240可以控制音频输出部291,以使其输出与接收的响应信号对应的语音引导消息(步骤S1570)。
根据实施例,在所述响应信号不包含语音数据的情况下(步骤S1560),控制部240可以控制为向所述语音服务器110请求语音数据(步骤S1565),以从所述语音服务器110接收所请求的语音数据。
另外,根据语音识别结果,可以通过所述通信部270从所述语音服务器110接收与语音识别失败对应的信号。在此情况下,控制部240可以控制音频输出部291,以使其输出用于请求语音指令的再输入的语音引导消息,并且再次转换到所述指令语等待模式。
并且,根据判别出的语音指令的可支持与否判别,可以通过所述通信部270从所述语音服务器110接收用于提示所述语音指令为与不支持的功能相关的指令的信号(步骤S1535)。在此情况下,控制部240可以控制音频输出部291,以使其输出用于提示所述语音指令为与不支持的功能相关的指令的语音引导消息(步骤S1537)。
在此情况下,控制部240可以控制为转换到唤醒信号等待模式。或者,控制部240可以控制为再次转换到所述指令语等待模式。
图21是例示出本发明的一实施例的家用电器和语音识别服务器系统的信号流动的图。
参照图21,本发明的一实施例的家用电器200可以激活语音识别功能(步骤S2101),以进入用于输入包含有预先设定的调用语的唤醒(wake up)语音信号的唤醒信号等待模式(步骤S2102)。
当通过音频输入部220输入包含有“LG WHISEN”、“LG DIOS”等预先设定的调用语的语音信号时(步骤S2103),家用电器200可以将输入的语音信号传送给语音识别服务器系统100(步骤S2014)。
语音识别服务器系统100可以对接收到的语音信号执行语音识别过程,从而判别是否包含有调用语(步骤S2105)。
当从家用电器200接收到语音信号时(步骤S2104),语音识别服务器系统100的语音服务器110可以执行语音识别过程,从而判别是否包含有调用语(步骤S2105)。
并且,语音识别服务器系统100可以将包含有用于表示是否包含调用语的分析结果信息传送给家用电器200(步骤S2106)。
如果在语音识别服务器系统100的语音识别分析结果也被判别为包含调用语,家用电器200则可以转换为用于接收用户的语音指令语的指令语等待模式(步骤S2111)。
另外,当在所述指令语等待模式(步骤S2111)下接收到语音指令时 (步骤S2112),控制部240可以控制为将包含有接收到的语音指令的语音数据传送给语音服务器110(步骤S2113)。
当从家用电器200接收到包含有语音指令的语音数据时(步骤 S2113),语音服务器110可以执行自然语言处理来分析用户的意图并判别语音指令(步骤S2114)。
语音识别服务器系统100可以执行与判别的语音指令对应的动作。
例如,语音识别服务器系统100可以将基于判别的语音指令的响应信号、控制信号等传送给家用电器200(步骤S2115)。
另外,接收到基于判别的语音指令的响应信号、控制信号等的家用电器200可以发出与该处理结果对应的语音引导消息,并执行对应的动作 (步骤S2120)。
另外,语音识别服务器系统100的语音服务器110可以将被判定为调用语的音源单独进行汇集,从而周期性地更新服务器内调用语判断算法 (步骤S2130)。
图22至图24是在本发明的一实施例的语音识别服务器系统及家用电器的多种动作相关的说明中作为参照的图。
参照图22,用户可以利用如“今天天气如何”的自然语言来输入语音指令2110。通过麦克风221、222接收到用户的语音指令2110的空调机200a可以将语音指令2110传送给语音识别服务器系统100。
语音识别服务器系统100可以对接收的语音指令2110进行分析,从而判别出需要天气信息的用户的意图。并且,在本发明的一实施例的语音识别服务器系统100中,如果判别的语音指令与家用电器200a不相关,则可以与外部服务121进行通信并执行对应的动作。
语音识别服务器系统100可以连接到提供天气信息的外部服务或因特网网络并请求、接收天气信息。
并且,语音识别服务器系统100可以将基于接收的天气信息的数据发送给家用电器200a。
空调机200a可以基于接收的数据来输出包含“首尔从下午开始下雨”等天气信息的语音引导消息2220。
参照图23,用户可以利用如“去除气味”的自然语言来输入语音指令2310。通过麦克风221、222接收到用户的语音指令2310的空调机200a 可以将语音指令2310传送给语音识别服务器系统100。
语音识别服务器系统100可以对接收的语音指令2310进行分析,从而判别出需要空气净化功能的用户的意图。由此,语音识别服务器系统 100可以向空调机200a发送用于驱动空气净化功能的控制信号和与相应动作对应的响应信号。
空调机200a可以驱动空气净化功能,并输出如“将驱动空气净化功能”的语音引导消息2320。
参照图24,用户可以利用如“开启节电功能”的自然语言来输入语音指令2410。通过麦克风221、222接收到用户的语音指令2410的空调机200a可以将语音指令2410传送给语音识别服务器系统100。
语音识别服务器系统100可以对接收的语音指令2410进行分析,从而判断出需要节电功能的用户的意图。由此,语音识别服务器系统100可以向空调机200a发送用于驱动节电功能的控制信号和与相应动作对应的响应信号。
空调机200a可以驱动节电功能,并输出如“将开始节电功能”的语音引导消息2420。
图25是示出本发明的一实施例的家用电器的内部框图的另一例的图。
参照图25,家用电器200可以包括:相机210;音频输入部220,用于接收用户的语音指令;操作部230;存储器250,用于存储各种数据;通信部270,用于与其它电子装置以无线方式进行通信;驱动部280,用于执行各家用电器中实现的动作;显示器292,用于以影像方式显示规定信息;音频输出部291,用于以音频方式输出规定信息;控制部240,用于控制整体上的动作;以及处理器260。
图25的家用电器200的内部框图与图11类似,其区别在于,还设置有处理器260,并且音频输入部220、音频输出部291、通信部270、相机 210以及处理器260设置于作为一个单一模块的语音识别模块205内。
另外,处理器260可以控制音频输入部220、音频输出部291、通信部270、相机210等。
以下,以与图11的区别为主进行描述。
处理器260可以处理通过音频输入部220接收的用户的语音输入信号,并执行语音识别过程。
例如,在接收到包含有预先设定的调用语的唤醒(wake up)语音信号的情况下,处理器260可以转换为用于接收语音指令语的状态。在此情况下,处理器260可以仅执行至调用语语音输入与否的语音识别过程,而之后的用户语音输入相关的语音识别可以通过语音识别服务器系统100 来执行。
处理器260可以控制为,将唤醒(wake up)语音信号的识别之后输入的用户的语音指令通过通信部270发送给语音识别服务器系统100。
并且,处理器260可以通过通信部270将家用电器200的状态信息、用户的语音指令等传送给语音识别服务器系统100等。
另外,当通过通信部270接收到控制信号时,处理器260可以将控制信号传送给控制部240,控制部240可以控制家用电器200,以使其根据接收到的控制信号进行动作。
其结果,可以通过语音识别模块205执行语音数据获取、与服务器系统100的通信以及对应的声音输出。
另外,语音识别模块205除了图2所示的家用电器以外,还可以贴附于多种电子装置。或者,也可以无需贴附于其它电子装置,而是作为单独的装置来使用。
图26例示出图11、图25的驱动部的内部框图的一例。
另外,图11或图25等中描述的驱动部280可以包括电机驱动部,以下还可以命名为电机驱动装置。
图27是图26的电机驱动装置的内部电路图的一例,图28是图27的逆变器控制部的内部框图。
参照附图进行说明,本发明的实施例的电机驱动装置280用于以无传感器(sensorless)方式驱动电机,其可以包括逆变器420、逆变器控制部 430。
并且,本发明的实施例的电机驱动装置280可以包括转换器410、DC 端电压检测部B、平滑电容器C、输出电流检测部E。并且,驱动部280 可以还包括输入电流检测部A、电抗器L等。
以下,对图26及图27的电机驱动装置280内的各结构单元的动作进行说明。
电抗器L配置于商用交流电源405Vs和转换器410之间,执行功率因数校正或升压动作。并且,电抗器L可还执行用于限制基于转换器410 的高速切换的谐波电流的功能。
输入电流检测部A可检测从商用交流电源405输入的输入电流is。为此,作为输入电流检测部A可使用电流互感器(current transformer,CT)、分流电阻(shuntresistance)等。检测出的输入电流is为脉冲形态的离散信号(discrete signal),其可输入给逆变器控制部430。
转换器410将经由电抗器L(reactor)的商用交流电源405变换为直流电源并输出。附图中将商用交流电源405示出为单相交流电源,但是其也可以是三相交流电源。根据商用交流电源405的种类,转换器410的内部结构也将不同。
另外,转换器410由二极管等构成,而不具有开关元件,使可以不进行额外的开关动作的方式执行整流动作。
例如,在单相交流电源的情况下,可以桥接形态使用四个二极管,在三相交流电源的情况下,可以桥接形态使用六个二极管。
另外,转换器410例如可使用两个开关元件及四个二极管相连接的半桥接型的转换器,在三相交流电源的情况下,可使用六个开关元件及六个二极管。
在转换器410具有开关元件的情况下,可利用相应开关元件的开关动作来执行升压动作、功率因数改善及直流电源变换。
平滑电容器C也被称为DC端电容器,对输入的电源进行平滑并将其储存。附图中作为平滑电容器C例示出一个元件,但是也可设置有多个,从而确保元件稳定性。
另外,附图中例示出连接于转换器410的输出端,但是本发明并不限定于此,也可直接输入直流电源。例如,来自太阳能电池的直流电源直接输入至平滑电容器C,或是进行直流/直流变换并输入。以下,以附图中例示出的部分为主进行描述。
另外,平滑电容器C两端储存有直流电源,因此可将其命名为DC端或DC链路(link)端。
DC端电压检测部B可检测作为平滑电容器C的两端的DC端电压 Vdc。为此,DC端电压检测部B可包含电阻元件、放大器等。检测出的 DC端电压Vdc为脉冲形态的离散信号(discrete signal),其可输入给逆变器控制部430。
逆变器420可设置有多个逆变器开关元件,利用开关元件的导通/截止动作,将被平滑的直流电源Vdc变换为规定频率的三相交流电源va、 vb、vc,并输出给三相同步电机530。
在逆变器420中,分别相互串联连接的上臂开关元件Sa、Sb、Sc和下臂开关元件S'a、S'b、S'c成为一对,总共三对上臂、下臂开关元件相互并联(Sa&S'a、Sb&S'b、Sc&S'c)连接。
并且,在各开关元件Sa、S'a、Sb、S'b、Sc、S'c中逆并联连接有二极管。
逆变器420内的开关元件基于来自逆变器控制部430的逆变器开关控制信号Sic进行各开关元件的导通/截止动作。由此,将具有规定频率的三相交流电源输出给三相同步电机530。
逆变器控制部430可基于无传感器方式控制逆变器420的开关动作。为此,逆变器控制部430可接收从输出电流检测部E中检测出的输出电流 io。
为了控制逆变器420的开关动作,逆变器控制部430将逆变器开关控制信号Sic输出给逆变器420。逆变器开关控制信号Sic为脉冲宽度调制方式PWM的开关控制信号,其基于从输出电流检测部E中检测出的输出电流io生成并输出。参照图28,对逆变器控制部430内的逆变器开关控制信号Sic的输出相关的详细动作进行后述。
输出电流检测部E检测逆变器420和三相电机530之间流动的输出电流io。即,检测电机530中流动的电流。输出电流检测部E可对各相的输出电流ia、ib、ic都进行检测,或者,也可利用三相平衡来检测二相的输出电流。
输出电流检测部E可位于逆变器420和电机530之间,为了进行电流检测,可使用CT(current transformer)、分流电阻等。
在使用分流电阻的情况下,三个分流电阻可位于逆变器420和同步电机530之间,或者其一端可分别连接于逆变器420的三个下臂开关元件 S'a、S'b、S'c。另外,也可利用三相平衡来使用两个分流电阻。
另外,在使用一个分流电阻的情况下,也可在上述的电容器C和逆变器420之间配置相应分流电阻。
检测出的输出电流io为脉冲形态的离散信号(discrete signal),其可施加给逆变器控制部430,基于检测出的输出电流io来生成逆变器开关控制信号Sic。以下,检测出的输出电流io可以是三相的输出电流ia、ib、ic。
另外,三相电机530设置有定子(stator)和转子(rotor),通过向各相(a相、b相、c相)的定子的线圈施加规定频率的各相交流电源,使转子进行旋转。
这样的电机530例如可包括表面贴合型永久磁铁同步电动机 (Surface-MountedPermanent-Magnet Synchronous Motor;SMPMSM)、埋入型永久磁铁同步电动机(InteriorPermanent Magnet Synchronous Motor;IPMSM)、以及同步磁阻电动机(SynchronousReluctance Motor; Synrm)等。其中,SMPMSM和IPMSM为适用永久磁铁的同步电动机(Permanent Magnet Synchronous Motor;PMSM),Synrm的特征在于不具有永久磁铁。
参照图28,逆变器控制部430可包括:轴变换部310、速度计算部 320、电流指令生成部330、电压指令生成部340、轴变换部350以及开关控制信号输出部360。
轴变换部310接收从输出电流检测部E中检测出的三相输出电流ia、ib、ic,将其变换为静态坐标系的二相电流iα、iβ。
另外,轴变换部310可将静态坐标系的二相电流iα、iβ变换为旋转坐标系的二相电流id、iq。
速度计算部320可基于在轴变换部310中被轴变换的静态坐标系的二相电流iα、iβ来输出计算出的位置和计算出的速度
另外,电流指令生成部330基于计算速度和速度指令值ω* r来生成电流指令值i* q。例如,电流指令生成部330可基于计算速度和速度指令值ω* r的差异,在PI控制器335执行PI控制,并生成电流指令值i* q。附图中作为电流指令值例示出q轴电流指令值i* q,但是,也可与附图不同地一同生成d轴电流指令值i* d。另外,d轴电流指令值i* d的值可被设定为0。
另外,电流指令生成部330可还设置有限制器(未图示),用于限制电流指令值i* q的电平,以防止其超出允许范围。
接着,电压指令生成部340基于在轴变换部中被轴变换为二相旋转坐标系的d轴、q轴电流id、iq和来自电流指令生成部330等的电流指令值 i* d、i* q来生成d轴、q轴电压指令值v* d、v* q。例如,电压指令生成部340 可基于q轴电流iq和q轴电流指令值i* q的差异,在PI控制器344中执行 PI控制,并生成q轴电压指令值v* q。并且,电压指令生成部340可基于 d轴电流id和d轴电流指令值i* d的差异,在PI控制器348中执行PI控制,并生成d轴电压指令值v* d。另外,电压指令生成部340可还设置有限制器(未图示),用于限制d轴、q轴电压指令值v* d、v* q的电平,以防止其超出允许范围。
另外,生成的d轴、q轴电压指令值v* d、v* q输入给轴变换部350。
轴变换部350接收从速度计算部320中计算出的位置和d轴、q 轴电压指令值v* d、v* q,并执行轴变换。
首先,轴变换部350执行从二相旋转坐标系至二相静态坐标系的变换。此时,可使用速度计算部320中计算出的位置
此外,轴变换部350执行从二相静态坐标系至三相静态坐标系的变换。通过这样的变换,轴变换部350输出三相输出电压指令值v*a、v*b、 v*c。
开关控制信号输出部360基于三相输出电压指令值v*a、v*b、v*c,生成基于脉冲宽度调制PWM方式的逆变器用开关控制信号Sic并输出。
输出的逆变器开关控制信号Sic可在栅极驱动部(未图示)中被变换为栅极驱动信号,并输入给逆变器420内的各开关元件的栅极。由此,逆变器420内的各开关元件Sa、S'a、Sb、S'b、Sc、S'c进行开关动作。
根据本发明的实施例中的至少一种,根据语音输入来使家用电器进行动作,从而用户无需操作遥控器,能够增大用户便利性。
并且,根据本发明的实施例中的至少一种,能够有效地识别、处理自然语言。
并且,根据本发明的实施例中的至少一种,通过使语音识别过程及家用电器控制过程中可能会发生的误识别达到最少,从而使用户不便达到最少并增大可靠性。
本发明的语音服务器、语音识别服务器系统及家用电器并不是限定性地适用如上所述的实施例的特征和方法,而是可以选择性地组合各实施例的全部或一部分,以实现所述实施例的多种变形。
另外,本发明的实施例的语音服务器、语音识别服务器系统及家用电器的动作方法可以由在处理器可读取的记录介质中由处理器可读取的代码来实现。处理器可读取的记录介质包括存储处理器可读取的数据的所有种类的记录装置。处理器可读取的记录介质的例有ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等,并且,还包括以通过因特网的传送等载波的形态来实现的情形。并且,处理器可读取的记录介质可以分散于利用网络来相连接的计算机系统,并以分散方式存储处理器可读取的代码并执行。
并且,以上对本发明的优选实施例进行了图示并说明,但是本发明并不限定于上述特定的实施例,在不背离权利要求书中所要求的本发明的技术思想的情况下,本发明所属的技术领域的一般技术人员可以进行多种变形实施,这样的变形实施不应脱离本发明的技术思想或前景而单独地加以理解。
Claims (15)
1.一种家用电器的动作方法,其中,
包括:
进入用于输入包含有预先设定的调用语的唤醒语音信号的唤醒信号等待模式的步骤;
通过包括一个以上的麦克风的音频输入部接收语音信号的步骤;
当所述语音信号包含有所述调用语时,将接收到的所述语音信号传送给语音识别服务器系统的步骤;
从所述语音识别服务器系统接收对于所述语音信号的分析结果信息的步骤;以及
当接收到的所述分析结果信息包含有用于表示所述语音信号包含所述调用语的信息时,在预先设定的经过时间期间进入用于输入用户的语音指令的指令语等待模式的步骤。
2.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
当接收到的所述分析结果信息包含有用于表示所述语音信号不包含所述调用语的信息时,返回到所述唤醒信号等待模式的步骤。
3.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
当所述语音信号不包含所述调用语时,返回到所述唤醒信号等待模式的步骤。
4.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
通过所述音频输入部接收语音指令的步骤;以及
将包含有所述语音指令的语音数据传送给语音识别服务器系统的步骤。
5.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
通过所述音频输入部接收语音指令的步骤;
在所述预先设定的经过时间以内接收到的语音指令对应于预先存储的关键字指令的情况下,执行与所述关键字指令对应的动作的步骤;以及
在所述预先设定的经过时间以内接收到的语音指令不对应于预先存储的关键字指令的情况下,将包含有所述语音指令的语音数据传送给所述语音识别服务器系统的步骤。
6.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
当在所述预先设定的经过时间以内未接收到所述语音指令时,转换为所述唤醒信号等待模式的步骤。
7.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
当从语音识别服务器系统接收到基于所述语音指令的控制信号时,与接收到的所述控制信号对应地进行动作的步骤。
8.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
当从所述语音识别服务器系统接收到基于所述语音指令的响应信号时,输出与接收到的响应信号对应的语音引导消息的步骤。
9.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
当从所述语音识别服务器系统接收到与语音识别失败对应的信号时,输出用于请求再输入语音指令的语音引导消息的步骤;以及
转换为所述指令语等待模式的步骤。
10.根据权利要求1所述的家用电器的动作方法,其中,
还包括:
当从所述语音识别服务器系统接收到用于提示所述语音指令为与不支持的功能相关的指令的信号时,输出用于提示所述语音指令为与不支持的功能相关的指令的语音引导消息的步骤。
11.一种家用电器,其中,
包括:
音频输入部,包括一个以上的麦克风;
控制部,对通过所述音频输入部输入的语音信号进行处理;以及
通信部,当所述语音信号包含有预先设定的调用语时,根据所述控制部的控制,将接收到的所述语音信号传送给语音识别服务器系统,并从所述语音识别服务器系统接收对于所述语音信号的分析结果信息,
当接收到的所述分析结果信息包含有用于表示所述语音信号包含所述调用语的信息时,所述控制部控制为在预先设定的经过时间期间进入用于输入用户的语音指令的指令语等待模式。
12.根据权利要求11所述的家用电器,其中,
当接收到的所述分析结果信息包含有用于表示所述语音信号不包含所述调用语的信息时,所述控制部控制为返回到用于输入包含有所述预先设定的调用语的唤醒语音信号的唤醒信号等待模式。
13.根据权利要求11所述的家用电器,其中,
当所述语音信号不包含所述调用语时,所述控制部控制为返回到所述唤醒信号等待模式。
14.根据权利要求13所述的家用电器,其中,
还包括存储用于判别所述语音信号是否包含所述调用语的调用语判断算法的存储器,
所述控制部基于所述调用语判断算法来判别所述语音信号是否包含所述调用语。
15.根据权利要求11所述的家用电器,其中,
当通过所述音频输入部接收到语音指令时,所述控制部控制为将包含有所述语音指令的语音数据传送给所述语音识别服务器系统。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2017-0062481 | 2017-05-19 | ||
KR1020170062481A KR102112564B1 (ko) | 2017-05-19 | 2017-05-19 | 홈 어플라이언스 및 그 동작 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108965068A true CN108965068A (zh) | 2018-12-07 |
Family
ID=62554953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810482978.4A Pending CN108965068A (zh) | 2017-05-19 | 2018-05-18 | 家用电器及其动作方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3404655B1 (zh) |
KR (1) | KR102112564B1 (zh) |
CN (1) | CN108965068A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658932A (zh) * | 2018-12-24 | 2019-04-19 | 深圳创维-Rgb电子有限公司 | 一种设备控制方法、装置、设备及介质 |
CN110618614A (zh) * | 2019-09-25 | 2019-12-27 | 北京爱接力科技发展有限公司 | 一种智能家居的控制方法、装置、存储介质及机器人 |
CN111402886A (zh) * | 2020-06-03 | 2020-07-10 | 星络智能科技有限公司 | 存储介质、语音响应装置和方法、语音交互系统 |
CN112887177A (zh) * | 2019-11-29 | 2021-06-01 | 北京京东尚科信息技术有限公司 | 智能设备控制系统、方法、设备和计算机可读介质 |
CN113251737A (zh) * | 2020-02-13 | 2021-08-13 | 东芝生活电器株式会社 | 信息处理系统 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7211181B2 (ja) * | 2019-03-15 | 2023-01-24 | コニカミノルタ株式会社 | 制御装置、画像形成システムおよびプログラム |
KR20210138181A (ko) * | 2019-04-11 | 2021-11-19 | 엘지전자 주식회사 | 안내 로봇 및 안내 로봇의 동작 방법 |
WO2020218650A1 (ko) * | 2019-04-26 | 2020-10-29 | 엘지전자 주식회사 | 전자기기 |
CN110531632B (zh) * | 2019-09-27 | 2022-08-26 | 北京声智科技有限公司 | 控制方法及系统 |
WO2021118269A1 (en) | 2019-12-12 | 2021-06-17 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling electronic device |
CN111091829B (zh) * | 2020-02-21 | 2023-03-14 | 珠海荣邦电子科技有限公司 | 一种语音控制方法、装置及电子设备 |
CN111583926B (zh) * | 2020-05-07 | 2022-07-29 | 珠海格力电器股份有限公司 | 基于烹饪设备的连续语音交互方法、装置和烹饪设备 |
CN115698873A (zh) * | 2020-05-26 | 2023-02-03 | 华为技术有限公司 | 智能电器及控制方法 |
CN111833870A (zh) * | 2020-07-01 | 2020-10-27 | 中国第一汽车股份有限公司 | 车载语音系统的唤醒方法、装置、车辆和介质 |
CN113867168A (zh) * | 2021-11-02 | 2021-12-31 | 珠海格力电器股份有限公司 | 带屏设备的控制方法、装置、存储介质及带屏设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070129949A1 (en) * | 2005-12-06 | 2007-06-07 | Alberth William P Jr | System and method for assisted speech recognition |
CN104505093A (zh) * | 2014-12-16 | 2015-04-08 | 佛山市顺德区美的电热电器制造有限公司 | 家用电器及其语音交互方法 |
CN105009204A (zh) * | 2012-12-11 | 2015-10-28 | 亚马逊技术有限公司 | 语音识别功率管理 |
CN106057201A (zh) * | 2016-04-25 | 2016-10-26 | 北京市动感生活科技有限公司 | 一种家电智能语音交互控制方法及装置 |
CN106098062A (zh) * | 2016-06-16 | 2016-11-09 | 杭州古北电子科技有限公司 | 本地处理与无线网络结合的智能语音识别控制系统及方法 |
CN205790749U (zh) * | 2016-05-17 | 2016-12-07 | 深圳市蚂蚁雄兵物联技术有限公司 | 一种智能插座语音控制系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050091057A1 (en) * | 1999-04-12 | 2005-04-28 | General Magic, Inc. | Voice application development methodology |
KR101059813B1 (ko) | 2004-08-13 | 2011-08-26 | 삼성전자주식회사 | 음성인식기능을 구비한 전기기기 및 그 제어방법 |
US20070276651A1 (en) * | 2006-05-23 | 2007-11-29 | Motorola, Inc. | Grammar adaptation through cooperative client and server based speech recognition |
KR100826778B1 (ko) * | 2006-06-14 | 2008-04-30 | 에스케이 텔레콤주식회사 | 멀티모달을 위한 브라우저 기반의 무선 단말과, 무선단말을 위한 브라우저 기반의 멀티모달 서버 및 시스템과이의 운용 방법 |
KR101732137B1 (ko) * | 2013-01-07 | 2017-05-02 | 삼성전자주식회사 | 원격 제어 장치 및 전력 제어 방법 |
KR102188090B1 (ko) * | 2013-12-11 | 2020-12-04 | 엘지전자 주식회사 | 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 |
US20160055847A1 (en) * | 2014-08-19 | 2016-02-25 | Nuance Communications, Inc. | System and method for speech validation |
KR102298767B1 (ko) * | 2014-11-17 | 2021-09-06 | 삼성전자주식회사 | 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법 |
KR102585228B1 (ko) * | 2015-03-13 | 2023-10-05 | 삼성전자주식회사 | 음성 인식 시스템 및 방법 |
-
2017
- 2017-05-19 KR KR1020170062481A patent/KR102112564B1/ko active IP Right Grant
-
2018
- 2018-05-18 CN CN201810482978.4A patent/CN108965068A/zh active Pending
- 2018-05-18 EP EP18173291.8A patent/EP3404655B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070129949A1 (en) * | 2005-12-06 | 2007-06-07 | Alberth William P Jr | System and method for assisted speech recognition |
CN105009204A (zh) * | 2012-12-11 | 2015-10-28 | 亚马逊技术有限公司 | 语音识别功率管理 |
CN104505093A (zh) * | 2014-12-16 | 2015-04-08 | 佛山市顺德区美的电热电器制造有限公司 | 家用电器及其语音交互方法 |
CN106057201A (zh) * | 2016-04-25 | 2016-10-26 | 北京市动感生活科技有限公司 | 一种家电智能语音交互控制方法及装置 |
CN205790749U (zh) * | 2016-05-17 | 2016-12-07 | 深圳市蚂蚁雄兵物联技术有限公司 | 一种智能插座语音控制系统 |
CN106098062A (zh) * | 2016-06-16 | 2016-11-09 | 杭州古北电子科技有限公司 | 本地处理与无线网络结合的智能语音识别控制系统及方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658932A (zh) * | 2018-12-24 | 2019-04-19 | 深圳创维-Rgb电子有限公司 | 一种设备控制方法、装置、设备及介质 |
CN109658932B (zh) * | 2018-12-24 | 2020-11-17 | 深圳创维-Rgb电子有限公司 | 一种设备控制方法、装置、设备及介质 |
CN110618614A (zh) * | 2019-09-25 | 2019-12-27 | 北京爱接力科技发展有限公司 | 一种智能家居的控制方法、装置、存储介质及机器人 |
CN112887177A (zh) * | 2019-11-29 | 2021-06-01 | 北京京东尚科信息技术有限公司 | 智能设备控制系统、方法、设备和计算机可读介质 |
CN113251737A (zh) * | 2020-02-13 | 2021-08-13 | 东芝生活电器株式会社 | 信息处理系统 |
CN111402886A (zh) * | 2020-06-03 | 2020-07-10 | 星络智能科技有限公司 | 存储介质、语音响应装置和方法、语音交互系统 |
Also Published As
Publication number | Publication date |
---|---|
KR102112564B1 (ko) | 2020-06-04 |
KR20180127102A (ko) | 2018-11-28 |
EP3404655A1 (en) | 2018-11-21 |
EP3404655B1 (en) | 2020-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108965068A (zh) | 家用电器及其动作方法 | |
CN108962236A (zh) | 家用电器及语音识别服务器系统的动作方法 | |
KR20180127100A (ko) | 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법 | |
CN108694948A (zh) | 语音服务器、语音识别服务器系统及其动作方法 | |
KR101976427B1 (ko) | 음성 인식 서버 시스템의 동작 방법 | |
CN108694943A (zh) | 语音服务器、语音识别服务器系统及其动作方法 | |
KR101924963B1 (ko) | 홈 어플라이언스의 동작 방법 | |
KR101957169B1 (ko) | 음성 서버의 동작 방법 | |
CN103712311A (zh) | 空调及其控制方法 | |
KR102373652B1 (ko) | 인공지능 공기조화기의 동작 방법 | |
KR101989106B1 (ko) | 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템 | |
KR101951328B1 (ko) | 공기조화기, 및 홈 어플라이언스 | |
CN111736475A (zh) | 智能家居设备的工作状态提示方法以及装置 | |
CN109584874A (zh) | 电器设备控制方法、装置、电器设备及存储介质 | |
KR101949363B1 (ko) | 홈 어플라이언스 및 그 동작 방법 | |
KR101965880B1 (ko) | 음성 인식 방법 | |
KR102219800B1 (ko) | 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법 | |
KR102219799B1 (ko) | 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법 | |
CN111322662B (zh) | 一种智能浴霸系统 | |
KR101936640B1 (ko) | 홈 어플라이언스, 및 음성 인식 모듈 | |
KR20180110971A (ko) | 홈 어플라이언스, 및 음성 인식 모듈 | |
CN111629565A (zh) | 一种散热效果好的图像识别器 | |
KR20180110973A (ko) | 홈 어플라이언스 및 그 동작 방법 | |
KR20180111309A (ko) | 홈 어플라이언스, 및 공기조화기 | |
CN214533669U (zh) | 一种语音识别无线风扇接收装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |