CN111696542B - 自冰箱内向外移除食材的语音数据交互方法及交互系统 - Google Patents
自冰箱内向外移除食材的语音数据交互方法及交互系统 Download PDFInfo
- Publication number
- CN111696542B CN111696542B CN201910191163.5A CN201910191163A CN111696542B CN 111696542 B CN111696542 B CN 111696542B CN 201910191163 A CN201910191163 A CN 201910191163A CN 111696542 B CN111696542 B CN 111696542B
- Authority
- CN
- China
- Prior art keywords
- voice information
- food material
- voice
- output mode
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 305
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003993 interaction Effects 0.000 title claims abstract description 35
- 230000002452 interceptive effect Effects 0.000 claims description 51
- 238000012217 deletion Methods 0.000 claims description 25
- 230000037430 deletion Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 244000061456 Solanum tuberosum Species 0.000 description 15
- 235000002595 Solanum tuberosum Nutrition 0.000 description 15
- 241000220225 Malus Species 0.000 description 13
- 241000234671 Ananas Species 0.000 description 12
- 235000007119 Ananas comosus Nutrition 0.000 description 12
- 240000008042 Zea mays Species 0.000 description 10
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 10
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 10
- 235000005822 corn Nutrition 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 235000011430 Malus pumila Nutrition 0.000 description 2
- 235000015103 Malus silvestris Nutrition 0.000 description 2
- 235000021016 apples Nutrition 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 235000012015 potatoes Nutrition 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明提供了一种自冰箱内向外移除食材的语音数据交互方法及交互系统,所述交互方法包括:当接收到自冰箱内向外移除食材命令时,接收连续的语音信息;识别连续的语音信息中的食材信息;根据识别到的食材种类调整语音信息输出模式,将识别到的食材种类自冰箱信息库中移除。本发明的自冰箱内向外移除食材的语音数据交互方法及交互系统,自冰箱内移除食材后,通过语音数据交换,自动更新后台数据库信息,操作更加简便,提升用户体验效果。
Description
技术领域
本发明涉及家用电器领域,尤其涉及一种自冰箱内向外移除食材的语音数据交互方法及交互系统。
背景技术
物联网是继计算机、互联网与移动通信之后又一次全球信息化浪潮,是全球信息化发展的新阶段,随着物联网概念的兴起,家电行业产品加速智能化,推出一系列智能冰箱。
现有的智能冰箱,在后台设立一个数据库,用于存储冰箱内的食材信息,当自冰箱内移除食材时,通常由用户手动更改数据库信息,以使冰箱存储空间内的食材与后台数据库中的数据一致,但传统的手工输入方式较为不便利,在更新数据库过程中,若用户手里拿着其他物品,则无法对数据库进行更改,另外,手动更改数据库信息也更为繁琐,用户体验效果较差。
发明内容
本发明的目的在于提供一种自冰箱内向外移除食材的语音数据交互方法及交互系统。
为了实现上述发明目的之一,本发明一实施方式提供一种自冰箱内向外移除食材的语音数据交互方法,所述方法包括:当接收到自冰箱内向外移除食材命令时,接收连续的语音信息;
识别连续的语音信息中的食材信息;
根据识别到的食材种类调整语音信息输出模式,
若食材信息中的食材种类小于系统预设第一阈值,则以第一语音信息输出模式进行语音输出;第一语音信息输出模式下,语音输出的信息为食材的具体种类名称;
若食材信息中的食材种类不小于系统预设第一阈值,则以第二语音信息输出模式进行语音输出;第二语音信息输出模式下,语音输出的信息为食材种类的数量;
若未识别到食材,则以第三语音信息输出模式进行语音输出;第三语音信息输出模式下,语音输出的信息为警示信息;
将识别到的食材种类自冰箱信息库中移除。
作为本发明一实施方式的进一步改进,“接收连续的语音信息”之前,所述方法还包括:
M1、在语音信息输出模式初次开启后,调整当前状态为聆听状态;
M2、在聆听状态下,接收连续的语音信息,若该语音信息满足聆听结束条件其中之一,则确认聆听结束,并调整当前状态为识别状态;所述聆听规则包括:规则一:监听到连续语音信息的发生时间不小于第一时间阈值时,规则二:监听到连续语音信息的停顿间隔不小于第二时间阈值,规则三:外部中断命令触发;
M3、在识别状态下,接收连续的语音信息。
作为本发明一实施方式的进一步改进,所述步骤M1中,在语音信息输出模式初次开启后,并在调整当前状态为聆听状态之前,所述方法还包括:
输出主动交互语音信息,所述主动交互语音信息根据冰箱中已有的、且过期的食材种类进行确定。
作为本发明一实施方式的进一步改进,所述步骤M1还包括:
若冰箱内不存在食材,则输出的主动交互语音信息为第一删除提醒信息,所述第一删除提醒信息标识冰箱为空,且不需要操作;
若冰箱内存在食材,则查询数据库,搜索冰箱中已有的、且过期的食材种类,记录该已有的、且过期的食材种类的数量及各个名称;
并根据记录调整主动交互语音信息的具体输出内容;
若不存在过期的食材种类,则输出的主动交互语音信息为第二删除提醒信息,所述第二删除提醒信息标识冰箱内未存在过期食材;
若已有的、且过期的食材种类数量小于系统预设第二阈值,则主动交互语音信息为各个食材种类的具体名称;
若已有的、且过期的食材种类数量不小于系统预设第二阈值,则挑选过期时间最长、且等于第二阈值数量的食材种类,主动交互语音信息为挑选出的食材种类的具体名称。
作为本发明一实施方式的进一步改进,所述方法还包括:在语音信息模式下以及输出主动交互语音信息时均同步进行文字输出;
第一语音信息输出模式下以及第三语音信息输出模式下,文字输出的信息与该语音信息输出模式下的语音输出的信息相同;
第二语音信息输出模式下,文字输出的信息为食材种类的数量及食材的具体种类名称;
输出主动交互语音信息时,文字输出的信息与主动交互语音信息相同。
为了实现上述发明目的另一,本发明一实施方式提供一种自冰箱内向外移除食材的语音数据交互系统,所述系统包括:被动语音处理模块,用于在接收到自冰箱内向外移除食材命令时,接收连续的语音信息;
识别连续的语音信息中的食材信息;
根据识别到的食材种类调整语音信息输出模式,
若食材信息中的食材种类小于系统预设第一阈值,则以第一语音信息输出模式进行语音输出;第一语音信息输出模式下,语音输出的信息为食材的具体种类名称;
若食材信息中的食材种类不小于系统预设第一阈值,则以第二语音信息输出模式进行语音输出;第二语音信息输出模式下,语音输出的信息为食材种类的数量;
若未识别到食材,则以第三语音信息输出模式进行语音输出;第三语音信息输出模式下,语音输出的信息为警示信息;
更新模块,用于将识别到的食材种类自冰箱信息库中移除。
作为本发明一实施方式的进一步改进,所述被动语音处理模块在接收连续的语音信息之前,还用于:
在语音信息输出模式初次开启后,调整当前状态为聆听状态;
在聆听状态下,接收连续的语音信息,若该语音信息满足聆听结束条件其中之一,则确认聆听结束,并调整当前状态为识别状态;所述聆听规则包括:规则一:监听到连续语音信息的发生时间不小于第一时间阈值时,规则二:监听到连续语音信息的停顿间隔不小于第二时间阈值,规则三:外部中断命令触发;
在识别状态下,接收连续的语音信息。
作为本发明一实施方式的进一步改进,所述被动语音处理模块在语音信息输出模式初次开启后,并在调整当前状态为聆听状态之前还用于:
输出主动交互语音信息,所述主动交互语音信息根据冰箱中已有的、且过期的食材种类进行确定。
作为本发明一实施方式的进一步改进,所述被动语音处理模块还用于:
若冰箱内不存在食材,则输出的主动交互语音信息为第一删除提醒信息,所述第一删除提醒信息标识冰箱为空,且不需要操作;
若冰箱内存在食材,则查询数据库,搜索冰箱中已有的、且过期的食材种类,记录该已有的、且过期的食材种类的数量及各个名称;
并根据记录调整主动交互语音信息的具体输出内容;
若不存在过期的食材种类,则输出的主动交互语音信息为第二删除提醒信息,所述第二删除提醒信息标识冰箱内未存在过期食材;
若已有的、且过期的食材种类数量小于系统预设第二阈值,则主动交互语音信息为各个食材种类的具体名称;
若已有的、且过期的食材种类数量不小于系统预设第二阈值,则挑选过期时间最长、且等于第二阈值数量的食材种类,主动交互语音信息为挑选出的食材种类的具体名称。
作为本发明一实施方式的进一步改进,所述被动语音处理模块还用于:
在语音信息模式下以及输出主动交互语音信息时均同步进行文字输出;
第一语音信息输出模式下以及第三语音信息输出模式下,文字输出的信息与该语音信息输出模式下的语音输出的信息相同;
第二语音信息输出模式下,文字输出的信息为食材种类的数量及食材的具体种类名称;
输出主动交互语音信息时,文字输出的信息与主动交互语音信息相同。
本发明的有益效果是:本发明的自冰箱内向外移除食材的语音数据交互方法及交互系统,在自冰箱内移除食材后,通过语音数据交换,自动更新后台数据库信息,操作更加简便,提升用户体验效果。
附图说明
图1是本发明一实施方式提供的用于冰箱的数据交互方法的流程示意图;
图2是基于图1提供的向冰箱内添加食材的语音数据交互方法的流程示意图;
图3是基于图1提供的冰箱内向外移除食材的语音数据交互方法的流程示意图;
图4是本发明一较佳实施方式提供的向冰箱内添加食材的语音数据交互方法的流程示意图;
图5是接收到命令为自冰箱内移除食材时,基于图4所提供的较佳实现方式的流程示意图;
图6是图4中其中一个步骤的具体实现流程示意图;
图7是本发明一实施方式提供的向冰箱内添加食材的语音数据交互系统的模块示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
结合图1所示,本发明提供一种用于冰箱的数据交互方法,所述交互方法包括:
S1、当接收到冰箱任一门关闭的信号时,即时发出语音交互信息,询问是否有添加食材或删除食材,若是,启动对应于添加食材或删除食材的语音信息输出模式。
本发明具体实现过程中,语音信息输出模式的启动信号为门关闭的信号,该过程为一被动触发过程,在接收到冰箱任一门关闭的信号时,用户可能对冰箱内的食材进行操作,或向冰箱内添加食材或从冰箱内移除食材,也可能仅仅是打开冰箱门,以下内容中还会继续描述。
进一步的,结合图2、图3所示,在接收到向冰箱内添加食材命令时,或接收到自冰箱内向外移除食材命令时,所述方法还包括:S2,所述步骤S2具体包括:S21、S22、S23。
S21、在语音信息输出模式下,接收连续的语音信息;
S22、识别连续的语音信息中的食材信息;
S23、根据识别到的食材种类调整语音信息输出模式,若食材信息中的食材种类小于系统预设第一阈值,则以第一语音信息输出模式进行语音输出;第一语音信息输出模式下,语音输出的信息为食材的具体种类名称;若食材信息中的食材种类不小于系统预设第一阈值,则以第二语音信息输出模式进行语音输出;第二语音信息输出模式下,语音输出的信息为食材种类的数量;若未识别到食材,则以第三语音信息输出模式进行语音输出;第三语音信息输出模式下,语音输出的信息为警示信息。
系统预设第一阈值为一数量阈值,其大小可以根据需要具体指定,例如:2、3、4等。
为了提升用户体验效果,以及满足多种人群需求,本发明较佳实施方式中,所述方法还包括:在语音信息模式下同步进行文字输出;第一语音信息输出模式下以及第三语音信息输出模式下,文字输出的信息与该语音信息输出模式下的语音输出信息相同;第二语音信息输出模式下,文字输出的信息为食材种类的数量及食材的具体种类名称。
在实际应用中,在对应于当前门的关闭信号而进入语音信息输出模式期间,还可能再次接收到当前门的关闭信号或是其他门的关闭信号,为了避免漏操作,本发明较佳实施方式中,当再次接收到当前门的关闭信号时,忽略该信号。而收到其他门的关闭信号时,做如下操作:若接收到冰箱其他门关闭的信号发生在当前门关闭信号发生后的语音信息输出模式期间,则中断语音信息输出模式对应于当前门的指令应答,并询问继续当前的操作还是对应于新的门关闭信号进行应答,若继续当前操作,则按时序记录新的门关闭信号,并在对应于当前门的语音信息输出模式期间,按照其他门关闭信号的时间发生顺序启动对应于其他关闭门信号的语音信息输出模式;若对应于新的门关闭信号进行应答,则在对应于当前门的语音信息输出模式期间,即时启动对应于其他关闭门信号的语音信息输出模式,并在完成其他门的指令应答后,继续当前门的指令应答。
本发明具体实现过程中,结合图4所示,在接收连续的语音信息之前,所述方法还包括:M1、在语音信息输出模式初次开启后,调整当前状态为聆听状态;
M2、在聆听状态下,接收连续的语音信息,若该语音信息满足聆听结束条件其中之一,则确认聆听结束,并调整当前状态为识别状态;所述聆听规则包括:规则一:监听到连续语音信息的发生时间不小于第一时间阈值时,规则二:监听到连续语音信息的停顿间隔不小于第二时间阈值,规则三:外部中断命令触发;
M3、在识别状态下,接收连续的语音信息,以继续步骤S2。
较佳的,对于步骤M1,在语音信息输出模式初次开启后,并在调整当前状态为聆听状态之前,所述方法还包括:输出主动交互语音信息以及同步进行文字输出,所述主动交互语音信息至少包括:产生门关闭信号的冰箱门体的名称;所述文字输出信息至少与主动交互语音信息相同。
本发明一具体示例中,该语音交互信息例如:“主人,您刚刚打开了左冷藏室,做了什么”。
本发明较佳实施方式中,当接收到冰箱任一门关闭的信号时,可在发出语音交互信息时同步文字输出,该文字输出的内容与语音交互信息相同,也可以在语音交互信息的基础上增加指导信息,所述指导信息为对应于添加食材或删除食材的触发指令。
例如:文字输出的内容为“主人,您刚刚打开了左冷藏室,做了什么”+指导信息为“您可以说添加食材”或“您可以说移除食材”,此时,待接收到“添加食材”或“移除食材”的语音输入后,进入到聆听状态。
本发明具体实现方式中,当接收到添加食材命令后,继续发出语音交互信息,并同步进行文字输出,该继续输出的语音交互信息包括食材种类的具体名称,例如:“您可以说添加AA、BB”之后进入到聆听状态,所述“AA”“BB”表示具体食材种类,例如:苹果,土豆。
需要说明的是,若接收到命令为向冰箱内添加食材,则主动交互语音中的具体食材种类由系统预设置,其具体名称可以由用户任意指定,也可以由系统任意指定在此不做具体赘述。
本发明具体实施方式中,当接收到移除食材命令后,继续发出语音交互信息,并同步进行文字输出,文字输出的信息与主动交互语音信息相同。
本发明可实现方式中,移除食材时的所述主动交互语音信息根据冰箱中已有的、且过期的食材种类进行确定。
较佳的,结合图5所示,若接收到命令为自冰箱内移除食材,则所述方法M1还包括:
若冰箱内不存在食材,则继续输出的主动交互语音信息为第一删除提醒信息,所述第一删除提醒信息标识冰箱为空,且不需要操作;
若冰箱内存在食材,则查询数据库,搜索冰箱中已有的、且过期的食材种类,记录该已有的、且过期的食材种类的数量及各个名称;
并根据记录调整主动交互语音信息的具体输出内容;
若不存在过期的食材种类,则输出的主动交互语音信息为第二删除提醒信息,所述第二删除提醒信息标识冰箱内未存在过期食材;
若已有的、且过期的食材种类数量小于系统预设第二阈值,则主动交互语音信息为各个食材种类的具体名称;
若已有的、且过期的食材种类数量不小于系统预设第二阈值,则挑选过期时间最长、且等于第二阈值数量的食材种类,主动交互语音信息为挑选出的食材种类的具体名称。
系统预设第二阈值为一数量阈值,其大小可以根据需要具体指定,例如:2、3、4等,本发明具体示例中,冰箱内不存在食材,则语音提醒“冰箱内无食材”;冰箱内存在食材,但却不存在过期食材时,则语音提醒“冰箱内无过期食材”。
本发明另一示例中,预设第二阈值为2,过期食材有1个,为“土豆”如此,则主动交互语音信息可为“您可以说移除土豆”;
本发明再一示例中,预设第二阈值为2,过期食材有3个,按照其过期时间自长至短的顺序依次为“土豆”“苹果”“西红柿”,如此,则主动交互语音信息可为“您可以说移除土豆、苹果”。
对于步骤M2,聆听规则中涉及的第一时间阈值和第二时间阈值均为一固定的时间数值,在实际应用中,其大小可以任意指定,第一时间阈值大于第二时间阈值,例如:40s,45s,50s;所述第二时间阈值通常较小,例如:5s,10s,15s,所述外部中断命令触发例如:人工辅助打断,冰箱其他功能启动等,在此不做进一步的赘述。
较佳的,对于步骤M3,则所述步骤M3还包括:以获得的连续的语音信息为关键字查询数据库,若该连续的语音信息中包含匹配数据库的食材种类,则获取该食材种类,并统计食材种类的数量,以根据识别到的食材种类调整语音信息输出模式。
本发明一具体实施方式中,所述数据库包括:食材名称库,食材别名库以及自定义食材库,其中,食材别名库和自定义食材库中的食材信息均一一匹配食材名称库;相应的,结合图6所示,所述步骤M3还包括:以获得的连续的语音信息为关键字查询食材名称库,若该语音信息与食材名称库完全匹配,则结束查询;若至少部分语音信息未完全匹配,则以未匹配的语音信息为关键字查询食材别名库,若查询食材别名库的语音信息与食材别名库完全匹配,则结束查询;若至少部分语音信息未完全匹配食材别名库,则以未匹配的语音信息为关键字查询自定义食材库,若查询自定义食材库的语音信息与自定义食材库完全匹配,则结束查询;若未匹配的语音信息也不能匹配自定义食材库,则忽略未匹配的语音信息,并在查询完自定义食材库后,结束查询;并在查询完自定义食材库后,结束查询;将语音信息中匹配的食材种类全部统一为食材名称库中的食材名称进行输出。
进一步的,若收到的命令为自冰箱内向外移除食材,则所述步骤M3还包括:以匹配到食材名称的食材种类查询冰箱内存库,所述内存库存储冰箱中实际存储的食材名称,判断该食材种类是否匹配冰箱内存库,若是,则将该匹配的食材种类按照步骤S2所示规则进行输出,并进一步的,更新冰箱内存储库;若不能匹配冰箱内存库,则忽略未匹配的食材种类。
为了便于理解,对于步骤S2的过程,对添加食材以及删除食材分别描述一具体示例进行详细说明。
实施例1,接收到的命令为向冰箱内添加食材命令。
当聆听结束后,接收连续的语音信息,在该示例中,接收到的连续的语音信息为“添加土豆、苹果、玉米,菠萝”,进一步的,识别连续的语音信息中的食材信息,其分别为“土豆”“苹果”“玉米”“菠萝”,经过查询数据库,并进行比对后,确认添加的食材分别为“土豆”“苹果”“玉米”“凤梨”,其中“凤梨”为“菠萝”对应于食材名称库的标识。
进一步的,一种实施方式中,第一阈值设置为5,则对应于该第一阈值,采用第一语音信息输出模式进行输出,语音输出的信息以及文字输出信息均为“土豆”“苹果”“玉米”“凤梨”。
另一实施方式中,第一阈值设置为2,则对应于该第一阈值,采用第二语音信息输出模式进行输出,语音输出的信息“添加4种食材”,文字输出信息为“添加3种食材”+“土豆”“苹果”“玉米”“凤梨”
再一实施方式中,聆听结束后,未识别到食材,如此,采用第三语音信息输出模式进行输出,语音输出的信息以及文字输出信息均为“未识别到添加食材”。
实施例2,接收到的命令为自冰箱内向外移除食材命令。
当聆听结束后,接收连续的语音信息,在该示例中,接收到的连续的语音信息为“移除土豆、苹果、玉米,菠萝”,进一步的,识别连续的语音信息中的食材信息,其分别为“土豆”“苹果”“玉米”“菠萝”,经过查询数据库,并进行比对后,确认移除的食材分别为“土豆”“苹果”“玉米”“凤梨”,其中“凤梨”为“菠萝”对应于食材名称库的标识。
进一步的,一种实施方式中,第一阈值设置为4,则对应于该第一阈值,采用第一语音信息输出模式进行输出,语音输出的信息以及文字输出信息均为“土豆”“苹果”“玉米”“凤梨”。
另一实施方式中,第一阈值设置为2,则对应于该第一阈值,采用第二语音信息输出模式进行输出,语音输出的信息“移除4种食材”,文字输出信息为“移除3种食材”+“土豆”“苹果”“玉米”“凤梨”。
再一实施方式中,聆听结束后,未识别到食材,如此,采用第三语音信息输出模式进行输出,语音输出的信息以及文字输出信息均为“未识别移除食材”。
进一步的,当确认添加食材或删除食材后,所述方法还包括:S3、根据添加的食材或删除的食材更新冰箱信息库,以统一冰箱信息。
结合图7所示,本发明一实施方式中,用于冰箱的数据交互系统包括:触发模块100,被动语音处理模块200,更新模块300以及存储模块400,所述存储模块包括:数据库401和冰箱存储库403。
触发模块100用于当接收到冰箱任一门关闭的信号时,即时发出语音交互信息,询问是否有添加食材或删除食材,若是,启动对应于添加食材或删除食材的语音信息输出模式。
进一步的,在接收到向冰箱内添加食材命令时,或接收到自冰箱内向外移除食材命令时,被动语音处理模块200用于,在语音信息输出模式下,接收连续的语音信息;识别连续的语音信息中的食材信息;根据识别到的食材种类调整语音信息输出模式,若食材信息中的食材种类小于系统预设第一阈值,则以第一语音信息输出模式进行语音输出;第一语音信息输出模式下,语音输出的信息为食材的具体种类名称;若食材信息中的食材种类不小于系统预设第一阈值,则以第二语音信息输出模式进行语音输出;第二语音信息输出模式下,语音输出的信息为食材种类的数量;若未识别到食材,则以第三语音信息输出模式进行语音输出;第三语音信息输出模式下,语音输出的信息为警示信息。
为了提升用户体验效果,以及满足多种人群需求,本发明较佳实施方式中,被动语音处理模块200还用于在语音信息模式下同步进行文字输出;第一语音信息输出模式下以及第三语音信息输出模式下,文字输出的信息与该语音信息输出模式下的语音输出信息相同;第二语音信息输出模式下,文字输出的信息为食材种类的数量及食材的具体种类名称。
在实际应用中,在对应于当前门的关闭信号而进入语音信息输出模式期间,还可能再次接收到当前门的关闭信号或是其他门的关闭信号,为了避免漏操作,本发明较佳实施方式中,触发模块100确认再次接收到当前门的关闭信号时,忽略该信号。而收到其他门的关闭信号时,做如下操作:触发模块100若接收到冰箱其他门关闭的信号发生在当前门关闭信号发生后的语音信息输出模式期间,则中断语音信息输出模式对应于当前门的指令应答,并询问继续当前的操作还是对应于新的门关闭信号进行应答,若继续当前操作,则按时序记录新的门关闭信号,并在对应于当前门的语音信息输出模式期间,按照其他门关闭信号的时间发生顺序启动对应于其他关闭门信号的语音信息输出模式;若对应于新的门关闭信号进行应答,则在对应于当前门的语音信息输出模式期间,即时启动对应于其他关闭门信号的语音信息输出模式,并在完成其他门的指令应答后,继续当前门的指令应答。
本发明具体实现过程中,被动语音处理模块200在接收连续的语音信息之前,还用于在语音信息输出模式初次开启后,调整当前状态为聆听状态;在聆听状态下,接收连续的语音信息,若该语音信息满足聆听结束条件其中之一,则确认聆听结束,并调整当前状态为识别状态;所述聆听规则包括:规则一:监听到连续语音信息的发生时间不小于第一时间阈值时,规则二:监听到连续语音信息的停顿间隔不小于第二时间阈值,规则三:外部中断命令触发;在识别状态下,接收连续的语音信息。
较佳的,被动语音处理模块200在语音信息输出模式初次开启后,并在调整当前状态为聆听状态之前,还用于:输出主动交互语音信息以及同步进行文字输出,所述主动交互语音信息至少包括:产生门关闭信号的冰箱门体的名称;所述文字输出信息至少与主动交互语音信息相同。
本发明较佳实施方式中,被动语音处理模块200接收到冰箱任一门关闭的信号时,可在发出语音交互信息时同步文字输出,该文字输出的内容与语音交互信息相同,也可以在语音交互信息的基础上增加指导信息,所述指导信息为对应于添加食材或删除食材的触发指令。
本发明具体实施方式中,被动语音处理模块200确认接收到移除食材命令后,继续发出语音交互信息,并同步进行文字输出,文字输出的信息与主动交互语音信息相同。
本发明可实现方式中被动语音处理模块200在移除食材时的所述主动交互语音信息根据冰箱中已有的、且过期的食材种类进行确定。
较佳的,若接收到命令为自冰箱内移除食材,则被动语音处理模块200还用于若冰箱内不存在食材,则继续输出的主动交互语音信息为第一删除提醒信息,所述第一删除提醒信息标识冰箱为空,且不需要操作;
若冰箱内存在食材,则查询数据库,搜索冰箱中已有的、且过期的食材种类,记录该已有的、且过期的食材种类的数量及各个名称;
并根据记录调整主动交互语音信息的具体输出内容;
若不存在过期的食材种类,则输出的主动交互语音信息为第二删除提醒信息,所述第二删除提醒信息标识冰箱内未存在过期食材;
若已有的、且过期的食材种类数量小于系统预设第二阈值,则主动交互语音信息为各个食材种类的具体名称;
若已有的、且过期的食材种类数量不小于系统预设第二阈值,则挑选过期时间最长、且等于第二阈值数量的食材种类,主动交互语音信息为挑选出的食材种类的具体名称。
较佳的,被动语音处理模块200还用于以获得的连续的语音信息为关键字查询数据库,若该连续的语音信息中包含匹配数据库的食材种类,则获取该食材种类,并统计食材种类的数量,以根据识别到的食材种类调整语音信息输出模式。
本发明一具体实施方式中,所述数据库401包括:食材名称库,食材别名库以及自定义食材库,其中,食材别名库和自定义食材库中的食材信息均一一匹配食材名称库;相应的,被动语音处理模块200还用于以获得的连续的语音信息为关键字查询食材名称库,若该语音信息与食材名称库完全匹配,则结束查询;若至少部分语音信息未完全匹配,则以未匹配的语音信息为关键字查询食材别名库,若查询食材别名库的语音信息与食材别名库完全匹配,则结束查询;若至少部分语音信息未完全匹配食材别名库,则以未匹配的语音信息为关键字查询自定义食材库,若查询自定义食材库的语音信息与自定义食材库完全匹配,则结束查询;若未匹配的语音信息也不能匹配自定义食材库,则忽略未匹配的语音信息,并在查询完自定义食材库后,结束查询;并在查询完自定义食材库后,结束查询;将语音信息中匹配的食材种类全部统一为食材名称库中的食材名称进行输出。
进一步的,若收到的命令为自冰箱内向外移除食材,则被动语音处理模块200还用于以匹配到食材名称的食材种类查询冰箱内存库,所述内存库存储冰箱中实际存储的食材名称,判断该食材种类是否匹配冰箱内存库,若是,则将该匹配的食材种类进行输出,并进一步的,更新冰箱内存储库403;若不能匹配冰箱内存库403,则忽略未匹配的食材种类。
进一步的,当确认添加食材或删除食材后,更新模块300用于根据添加的食材或删除的食材更新冰箱信息库,以统一冰箱信息。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的模块的具体工作过程,可以参考前述方法实施方式中的对应过程,在此不再赘述。
综上所述,本发明的用于冰箱的数据交互方法及交互系统,在冰箱内添加食材或从冰箱内移除食材后,通过语音数据交换,自动更新后台数据库信息,操作更加简便,提升用户体验效果。
在本发明所提供的几个实施方式中,应该理解到,以上所描述的结构、系统以及方法的实施方式仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其他的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。
另外,在本发明各个实施方式中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以2个或2个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
最后应说明的是:以上实施方式仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施方式对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。
Claims (10)
1.一种自冰箱内向外移除食材的语音数据交互方法,其特征在于,所述方法包括:
当检测到冰箱门关闭,且接收到自冰箱内向外移除食材命令时,启动对应于移除食材的语音信息输出模式;
若接收到冰箱其他门关闭的信号发生在当前门关闭信号发生后的语音信息输出模式期间,
则中断语音信息输出模式对应于当前门的指令应答,并询问继续当前的操作还是对应于新的门关闭信号进行应答,
若继续当前操作,则按时序记录新的门关闭信号,并在对应于当前门的语音信息输出模式期间,按照其他门关闭信号的时间发生顺序启动对应于其他关闭门信号的语音信息输出模式;
若对应于新的门关闭信号进行应答,则在对应于当前门的语音信息输出模式期间,即时启动对应于其他关闭门信号的语音信息输出模式,并在完成其他门的指令应答后,继续当前门的指令应答;
在语音信息输出模式下,接收连续的语音信息;
识别连续的语音信息中的食材信息;
根据识别到的食材种类调整语音信息输出模式,
若食材信息中的食材种类小于系统预设第一阈值,则以第一语音信息输出模式进行语音输出;第一语音信息输出模式下,语音输出的信息为食材的具体种类名称;
若食材信息中的食材种类不小于系统预设第一阈值,则以第二语音信息输出模式进行语音输出;第二语音信息输出模式下,语音输出的信息为食材种类的数量;
若未识别到食材,则以第三语音信息输出模式进行语音输出;第三语音信息输出模式下,语音输出的信息为警示信息;
将识别到的食材种类自冰箱信息库中移除。
2.根据权利要求1所述的自冰箱内向外移除食材的语音数据交互方法,其特征在于,“接收连续的语音信息”之前,所述方法还包括:
M1、在语音信息输出模式初次开启后,调整当前状态为聆听状态;
M2、在聆听状态下,接收连续的语音信息,若该语音信息满足聆听结束条件其中之一,则确认聆听结束,并调整当前状态为识别状态;所述聆听规则包括:规则一:监听到连续语音信息的发生时间不小于第一时间阈值时,规则二:监听到连续语音信息的停顿间隔不小于第二时间阈值,规则三:外部中断命令触发;
M3、在识别状态下,接收连续的语音信息。
3.根据权利要求2所述的自冰箱内向外移除食材的语音数据交互方法,其特征在于,所述步骤M1中,在语音信息输出模式初次开启后,并在调整当前状态为聆听状态之前,所述方法还包括:
输出主动交互语音信息,所述主动交互语音信息根据冰箱中已有的、且过期的食材种类进行确定。
4.根据权利要求3所述的自冰箱内向外移除食材的语音数据交互方法,其特征在于,所述步骤M1还包括:
若冰箱内不存在食材,则输出的主动交互语音信息为第一删除提醒信息,所述第一删除提醒信息标识冰箱为空,且不需要操作;
若冰箱内存在食材,则查询数据库,搜索冰箱中已有的、且过期的食材种类,记录该已有的、且过期的食材种类的数量及各个名称;
并根据记录调整主动交互语音信息的具体输出内容;
若不存在过期的食材种类,则输出的主动交互语音信息为第二删除提醒信息,所述第二删除提醒信息标识冰箱内未存在过期食材;
若已有的、且过期的食材种类数量小于系统预设第二阈值,则主动交互语音信息为各个食材种类的具体名称;
若已有的、且过期的食材种类数量不小于系统预设第二阈值,则挑选过期时间最长、且等于第二阈值数量的食材种类,主动交互语音信息为挑选出的食材种类的具体名称。
5.根据权利要求4所述的自冰箱内向外移除食材的语音数据交互方法,其特征在于,所述方法还包括:在语音信息模式下以及输出主动交互语音信息时均同步进行文字输出;
第一语音信息输出模式下以及第三语音信息输出模式下,文字输出的信息与该语音信息输出模式下的语音输出的信息相同;
第二语音信息输出模式下,文字输出的信息为食材种类的数量及食材的具体种类名称;
输出主动交互语音信息时,文字输出的信息与主动交互语音信息相同。
6.一种自冰箱内向外移除食材的语音数据交互系统,其特征在于,所述系统包括:
被动语音处理模块,用于当检测到冰箱门关闭,且接收到自冰箱内向外移除食材命令时,启动对应于移除食材的语音信息输出模式;
若接收到冰箱其他门关闭的信号发生在当前门关闭信号发生后的语音信息输出模式期间,
则中断语音信息输出模式对应于当前门的指令应答,并询问继续当前的操作还是对应于新的门关闭信号进行应答,
若继续当前操作,则按时序记录新的门关闭信号,并在对应于当前门的语音信息输出模式期间,按照其他门关闭信号的时间发生顺序启动对应于其他关闭门信号的语音信息输出模式;
若对应于新的门关闭信号进行应答,则在对应于当前门的语音信息输出模式期间,即时启动对应于其他关闭门信号的语音信息输出模式,并在完成其他门的指令应答后,继续当前门的指令应答;
在语音信息输出模式下,接收连续的语音信息;
识别连续的语音信息中的食材信息;
根据识别到的食材种类调整语音信息输出模式,
若食材信息中的食材种类小于系统预设第一阈值,则以第一语音信息输出模式进行语音输出;第一语音信息输出模式下,语音输出的信息为食材的具体种类名称;
若食材信息中的食材种类不小于系统预设第一阈值,则以第二语音信息输出模式进行语音输出;第二语音信息输出模式下,语音输出的信息为食材种类的数量;
若未识别到食材,则以第三语音信息输出模式进行语音输出;第三语音信息输出模式下,语音输出的信息为警示信息;
更新模块,用于将识别到的食材种类自冰箱信息库中移除。
7.根据权利要求6所述的自冰箱内向外移除食材的语音数据交互系统,其特征在于,所述被动语音处理模块在接收连续的语音信息之前,还用于:
在语音信息输出模式初次开启后,调整当前状态为聆听状态;
在聆听状态下,接收连续的语音信息,若该语音信息满足聆听结束条件其中之一,则确认聆听结束,并调整当前状态为识别状态;所述聆听规则包括:规则一:监听到连续语音信息的发生时间不小于第一时间阈值时,规则二:监听到连续语音信息的停顿间隔不小于第二时间阈值,规则三:外部中断命令触发;
在识别状态下,接收连续的语音信息。
8.根据权利要求7所述的自冰箱内向外移除食材的语音数据交互系统,其特征在于,所述被动语音处理模块在语音信息输出模式初次开启后,并在调整当前状态为聆听状态之前还用于:
输出主动交互语音信息,所述主动交互语音信息根据冰箱中已有的、且过期的食材种类进行确定。
9.根据权利要求8所述的自冰箱内向外移除食材的语音数据交互系统,其特征在于,所述被动语音处理模块还用于:
若冰箱内不存在食材,则输出的主动交互语音信息为第一删除提醒信息,所述第一删除提醒信息标识冰箱为空,且不需要操作;
若冰箱内存在食材,则查询数据库,搜索冰箱中已有的、且过期的食材种类,记录该已有的、且过期的食材种类的数量及各个名称;
并根据记录调整主动交互语音信息的具体输出内容;
若不存在过期的食材种类,则输出的主动交互语音信息为第二删除提醒信息,所述第二删除提醒信息标识冰箱内未存在过期食材;
若已有的、且过期的食材种类数量小于系统预设第二阈值,则主动交互语音信息为各个食材种类的具体名称;
若已有的、且过期的食材种类数量不小于系统预设第二阈值,则挑选过期时间最长、且等于第二阈值数量的食材种类,主动交互语音信息为挑选出的食材种类的具体名称。
10.根据权利要求9所述的自冰箱内向外移除食材的语音数据交互系统,其特征在于,所述被动语音处理模块还用于:
在语音信息模式下以及输出主动交互语音信息时均同步进行文字输出;
第一语音信息输出模式下以及第三语音信息输出模式下,文字输出的信息与该语音信息输出模式下的语音输出的信息相同;
第二语音信息输出模式下,文字输出的信息为食材种类的数量及食材的具体种类名称;
输出主动交互语音信息时,文字输出的信息与主动交互语音信息相同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910191163.5A CN111696542B (zh) | 2019-03-13 | 2019-03-13 | 自冰箱内向外移除食材的语音数据交互方法及交互系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910191163.5A CN111696542B (zh) | 2019-03-13 | 2019-03-13 | 自冰箱内向外移除食材的语音数据交互方法及交互系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111696542A CN111696542A (zh) | 2020-09-22 |
CN111696542B true CN111696542B (zh) | 2022-09-20 |
Family
ID=72475036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910191163.5A Active CN111696542B (zh) | 2019-03-13 | 2019-03-13 | 自冰箱内向外移除食材的语音数据交互方法及交互系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111696542B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101802532A (zh) * | 2007-09-13 | 2010-08-11 | Lg电子株式会社 | 冰箱 |
JP2018004247A (ja) * | 2017-09-21 | 2018-01-11 | パナソニックIpマネジメント株式会社 | 冷蔵庫 |
EP3343157A1 (en) * | 2017-01-02 | 2018-07-04 | LG Electronics Inc. | Refrigerator |
CN108734833A (zh) * | 2018-05-08 | 2018-11-02 | 芜湖琅格信息技术有限公司 | 一种基于语音控制的门锁控制系统 |
CN109036415A (zh) * | 2018-10-22 | 2018-12-18 | 广东格兰仕集团有限公司 | 一种智能冰箱的语音控制系统 |
WO2019045228A1 (ko) * | 2017-08-31 | 2019-03-07 | 삼성전자주식회사 | 조리기기 및 조리 시스템 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102635999B (zh) * | 2012-05-03 | 2013-11-06 | 合肥美菱股份有限公司 | 一种通过语音管理冰箱的方法 |
CN103940190B (zh) * | 2014-04-03 | 2016-08-24 | 合肥美的电冰箱有限公司 | 具有食品管理系统的冰箱及食品管理方法 |
CN105654270A (zh) * | 2014-11-18 | 2016-06-08 | 博西华家用电器有限公司 | 冰箱、终端、冰箱内食材的管理系统及管理方法 |
CN105423698B (zh) * | 2016-01-14 | 2017-12-05 | 滁州学院 | 基于rfid的智能冰箱系统 |
WO2018023273A1 (zh) * | 2016-07-31 | 2018-02-08 | 赵晓丽 | 监控冰箱内剩余食材时的使用数据采集方法和冰箱 |
CN106338181A (zh) * | 2016-11-10 | 2017-01-18 | 四川长虹电器股份有限公司 | 应用于冰箱中的语音提醒系统及语音提醒方法 |
CN106679326A (zh) * | 2017-01-25 | 2017-05-17 | 北京通远科技有限公司 | 基于语音识别进行控制的智能冰箱 |
CN107146622B (zh) * | 2017-06-16 | 2021-02-19 | 合肥美的智能科技有限公司 | 冰箱、语音交互系统、方法、计算机设备、可读存储介质 |
CN108036563A (zh) * | 2017-11-15 | 2018-05-15 | 惠州高盛达科技有限公司 | 一种可实现交互的智能冰箱系统 |
-
2019
- 2019-03-13 CN CN201910191163.5A patent/CN111696542B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101802532A (zh) * | 2007-09-13 | 2010-08-11 | Lg电子株式会社 | 冰箱 |
EP3343157A1 (en) * | 2017-01-02 | 2018-07-04 | LG Electronics Inc. | Refrigerator |
KR20180079835A (ko) * | 2017-01-02 | 2018-07-11 | 엘지전자 주식회사 | 냉장고 |
WO2019045228A1 (ko) * | 2017-08-31 | 2019-03-07 | 삼성전자주식회사 | 조리기기 및 조리 시스템 |
JP2018004247A (ja) * | 2017-09-21 | 2018-01-11 | パナソニックIpマネジメント株式会社 | 冷蔵庫 |
CN108734833A (zh) * | 2018-05-08 | 2018-11-02 | 芜湖琅格信息技术有限公司 | 一种基于语音控制的门锁控制系统 |
CN109036415A (zh) * | 2018-10-22 | 2018-12-18 | 广东格兰仕集团有限公司 | 一种智能冰箱的语音控制系统 |
Non-Patent Citations (1)
Title |
---|
冰箱的网络智能化交互设计策略研究;洪鑫等;《机电产品开发与创新》;20180128(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111696542A (zh) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111696541B (zh) | 向冰箱内添加食材的语音数据交互方法及交互系统 | |
CN111692829B (zh) | 用于冰箱的数据交互方法及交互系统 | |
CN105912630B (zh) | 一种信息扩展方法及装置 | |
CN105227656B (zh) | 基于语音识别的信息推送方法和装置 | |
CN107704070B (zh) | 应用清理方法、装置、存储介质及电子设备 | |
US10984379B2 (en) | Systems and methods for an improved tag counting process | |
WO2019171262A1 (en) | Ingredient updating method and apparatus and storage device | |
CN108572789B (zh) | 磁盘存储方法和装置、消息推送方法和装置及电子设备 | |
US11422831B2 (en) | Application cleaning method, storage medium and electronic device | |
CN106940119A (zh) | 一种冰箱、食品管理方法及系统 | |
CN111696542B (zh) | 自冰箱内向外移除食材的语音数据交互方法及交互系统 | |
CN109063215A (zh) | 数据检索方法及装置 | |
CN110750690A (zh) | 一种快速查找管理信息库监控指标的方法及系统 | |
CN112000665A (zh) | 一种数据库的数据存储方法 | |
US10740389B2 (en) | Remembering audio traces of physical actions | |
CN107220283B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
JP2019129392A (ja) | 家電機器および場所検索システム | |
CN112787899B (zh) | 设备语音交互方法、计算机可读存储介质以及冰箱 | |
CN113076444A (zh) | 歌曲识别方法、装置、电子设备和存储介质 | |
CN115111829B (zh) | 一种智能冰箱、保质期确定方法、设备及介质 | |
CN115993858B (zh) | 温度的确定方法和装置、密闭柜、存储介质 | |
CN101872356B (zh) | 一种内存数据库处理性能的方法与系统 | |
KR20150059338A (ko) | 사용자 검색기록정보 기반 검색결과 제공 시스템 및 방법 | |
CN109521952A (zh) | 储物信息管理方法、电子设备以及计算机可读存介质 | |
CN109493858A (zh) | 储物信息管理方法、电子设备以及计算机可读存介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 266101 Haier Industrial Park, 1 Haier Road, Laoshan District, Shandong, Qingdao Applicant after: QINGDAO HAIER REFRIGERATOR Co.,Ltd. Applicant after: Haier Smart Home Co., Ltd. Address before: 266101 Haier Industrial Park, 1 Haier Road, Laoshan District, Shandong, Qingdao Applicant before: QINGDAO HAIER REFRIGERATOR Co.,Ltd. Applicant before: QINGDAO HAIER JOINT STOCK Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |