CN109298646B - 一种场景控制方法、装置、存储介质及电器 - Google Patents
一种场景控制方法、装置、存储介质及电器 Download PDFInfo
- Publication number
- CN109298646B CN109298646B CN201811333484.6A CN201811333484A CN109298646B CN 109298646 B CN109298646 B CN 109298646B CN 201811333484 A CN201811333484 A CN 201811333484A CN 109298646 B CN109298646 B CN 109298646B
- Authority
- CN
- China
- Prior art keywords
- information
- user
- scene
- current
- current demand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 63
- 230000002452 interceptive effect Effects 0.000 claims abstract description 54
- 230000000694 effects Effects 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 33
- 230000009471 action Effects 0.000 claims description 25
- 230000008451 emotion Effects 0.000 claims description 25
- 230000003993 interaction Effects 0.000 claims description 18
- 201000010099 disease Diseases 0.000 claims description 15
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 8
- 230000000977 initiatory effect Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims 6
- 230000008569 process Effects 0.000 description 37
- 230000006870 function Effects 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 9
- 230000002996 emotional effect Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种场景控制方法、装置、存储介质及电器,该方法包括:获取待控电器所属场景中用户的当前图像信息;对所述当前图像信息进行场景识别处理,得到待控电器所属场景中用户的当前需求信息;执行与所述当前需求信息对应的交互操作,实现待控电器与用户之间的交互控制。本发明的方案,可以解决家用电器不能用于场景识别存在用户使用不够方便的问题,达到提升用户使用的便捷性的效果。
Description
技术领域
本发明属于家电技术领域,具体涉及一种场景控制方法、装置、存储介质及电器,尤其涉及一种将基于场景识别的技术运用到家用电器的方法、装置、存储介质及家用电器。
背景技术
目前,随着家用电器的逐步智能化,如果能将家用电器用于场景识别以更加方便用户的使用,则功能会更丰富,也会更加方便人们的生活。
发明内容
本发明的目的在于,针对上述缺陷,提供一种场景控制方法、装置、存储介质及电器,以解决现有技术中家用电器不能用于场景识别存在用户使用不够方便的问题,达到提升用户使用的便捷性的效果。
本发明提供一种场景控制方法,包括:获取待控电器所属场景中用户的当前图像信息;对所述当前图像信息进行场景识别处理,得到待控电器所属场景中用户的当前需求信息;执行与所述当前需求信息对应的交互操作,实现待控电器与用户之间的交互控制。
可选地,获取待控电器所属场景中用户的当前图像信息,包括:获取由摄像头采样得到的待控电器所属场景中的实时图像信息;对所述实时图像信息进行矫正处理,得到所需的当前图像信息;其中,所述摄像头,包括:鱼眼摄像头;和/或,所述实时图像信息,包括:图片信息和/或视频信息。
可选地,对所述当前图像信息进行场景识别处理,包括:对所述当前图像信息进行编码处理,得到当前编码信息;对所述当前编码信息进行解码处理,得到当前解码信息;其中,所述当前解码信息,用于表征待控电器所属场景中用户的当前需求信息。
可选地,其中,对所述当前图像信息进行编码处理,包括:通过设定的卷积神经网络模型对所述当前图像信息进行减少设定参数和/或减少过拟合现象的处理,实现对所述当前图像信息的编码,得到当前编码信息;和/或,对所述当前编码信息进行解码处理,包括:通过设定的用于判断网络记忆的神经网络模型、以及设定的过滤器大小,对当前编码信息进行解码处理,得到所述当前解码信息。
可选地,执行与所述当前需求信息对应的交互操作,包括:确定预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;播放预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;其中,所述视频信息包括:与设定的瑜伽动作对应的视频指导信息;和/或,所述音频信息,包括:与设定的瑜伽动作对应的背景音乐信息,和/或与设定的读书场景和/或读书内容对应的背景音乐信息和/或语音交互信息。
可选地,执行与所述当前需求信息对应的交互操作,还包括:确定是否接收到用户发送的语音指令;若接收到用户发送的所述语音指令,则执行所述语音指令指示的指定操作,和/或基于所述语音指令给出对应的应答信息。
可选地,执行与所述当前需求信息对应的交互操作,还包括:基于所述当前需求信息,确定待控电器所属场景中的用户的当前活动是否存在设定的危险情况;其中,所述危险情况,包括:跌倒情况、患病情况中的至少之一;若确定存在所述危险情况,则自主发起设定的第一提醒消息、和/或发送设定的第二提醒消息至设定的客户端。
可选地,执行与所述当前需求信息对应的交互操作,还包括:在发起所述第一提醒消息、和/或发送所述第二提醒消息后,确定在设定时长内所述危险情况是否得到处理;若所述危险情况在所述设定时长内未得到处理,则自主拨打预存的急救电话并反馈所述危险情况和待控电器所在地址信息。
与上述方法相匹配,本发明另一方面提供一种场景控制装置,包括:获取单元,用于获取待控电器所属场景中用户的当前图像信息;控制单元,用于对所述当前图像信息进行场景识别处理,得到待控电器所属场景中用户的当前需求信息;执行单元,用于执行与所述当前需求信息对应的交互操作,实现待控电器与用户之间的交互控制。
可选地,所述获取单元获取待控电器所属场景中用户的当前图像信息,包括:获取由摄像头采样得到的待控电器所属场景中的实时图像信息;对所述实时图像信息进行矫正处理,得到所需的当前图像信息;其中,所述摄像头,包括:鱼眼摄像头;和/或,所述实时图像信息,包括:图片信息和/或视频信息。
可选地,所述控制单元对所述当前图像信息进行场景识别处理,包括:对所述当前图像信息进行编码处理,得到当前编码信息;对所述当前编码信息进行解码处理,得到当前解码信息;其中,所述当前解码信息,用于表征待控电器所属场景中用户的当前需求信息。
可选地,其中,所述控制单元对所述当前图像信息进行编码处理,包括:通过设定的卷积神经网络模型对所述当前图像信息进行减少设定参数和/或减少过拟合现象的处理,实现对所述当前图像信息的编码,得到当前编码信息;和/或,所述控制单元对所述当前编码信息进行解码处理,包括:通过设定的用于判断网络记忆的神经网络模型、以及设定的过滤器大小,对当前编码信息进行解码处理,得到所述当前解码信息。
可选地,所述执行单元执行与所述当前需求信息对应的交互操作,包括:确定预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;播放预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;其中,所述视频信息包括:与设定的瑜伽动作对应的视频指导信息;和/或,所述音频信息,包括:与设定的瑜伽动作对应的背景音乐信息,和/或与设定的读书场景和/或读书内容对应的背景音乐信息和/或语音交互信息。
可选地,所述执行单元执行与所述当前需求信息对应的交互操作,还包括:确定是否接收到用户发送的语音指令;若接收到用户发送的所述语音指令,则执行所述语音指令指示的指定操作,和/或基于所述语音指令给出对应的应答信息。
可选地,所述执行单元执行与所述当前需求信息对应的交互操作,还包括:基于所述当前需求信息,确定待控电器所属场景中的用户的当前活动是否存在设定的危险情况;其中,所述危险情况,包括:跌倒情况、患病情况中的至少之一;若确定存在所述危险情况,则自主发起设定的第一提醒消息、和/或发送设定的第二提醒消息至设定的客户端。
可选地,所述执行单元执行与所述当前需求信息对应的交互操作,还包括:在发起所述第一提醒消息、和/或发送所述第二提醒消息后,确定在设定时长内所述危险情况是否得到处理;若所述危险情况在所述设定时长内未得到处理,则自主拨打预存的急救电话并反馈所述危险情况和待控电器所在地址信息。
与上述装置相匹配,本发明再一方面提供一种电器,包括:以上所述的场景控制装置。
与上述方法相匹配,本发明再一方面提供一种存储介质,包括:所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行以上所述的场景控制方法。
与上述方法相匹配,本发明再一方面提供一种电器,包括:处理器,用于执行多条指令;存储器,用于存储多条指令;其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行以上所述的场景控制方法。
本发明的方案,通过场景识别技术给用户带来较好的体验感,主要当用户做什么动作的时候,家用电器可以提供相关的信息给用户参考,并和用户进行情感交流等,提升了用户使用的便捷性,也丰富了电器的功能。
进一步,本发明的方案,通过对图像进行处理识别出相应的场景以及提供合适的用户需求,识别出场景并实时和用户进行情感交流,识别出用户处于严重病危状态时能实时拨打相应急救电话并智能和医务人员进行相应情况交流,可以及时拯救用户处于病危状态。
进一步,本发明的方案,通过场景识别技术识别出场景并实时和用户进行情感交流,给用户带来较好的体验感,可以提高用户的生活品味,进行情感交流以及疏导用户情绪。
进一步,本发明的方案,通过对图像进行处理识别出相应的场景以及提供合适的用户需求,可以给用户带来较好的体验感,可以提升用户使用的便捷性,也能丰富电器的功能并提升电器的智能化程度。
进一步,本发明的方案,通过对图像进行处理识别出相应的场景以及提供合适的用户需求,可以提高用户的生活品味,进行情感交流以及疏导用户情绪,并能及时拯救用户处于病危状态。
由此,本发明的方案,通过利用场景识别出用户的生活需求,并进行自然语言处理进行情感交流,和/或通过场景识别并对场景局部加强网络识别用户是否处于病危状态等情况,并实时拨打相应急救电话并智能和医务人员进行相应情况交流;解决现有技术中家用电器不能用于场景识别存在用户使用不够方便的问题,从而,克服现有技术中功能少、使用不方便和用户体验差的缺陷,实现功能多、使用方便和用户体验好的有益效果。
例如:通过场景识别技术给用户带来较好的体验感,主要当用户做什么动作的时候,家用电器可以提供相关的信息给用户参考,并和用户进行情感交流等,当用户跌倒时,通过视频流进行处理用户是否能不能爬起来以及跌倒的严重情况通过网络汇到给用户的相关人员。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的场景控制方法的一实施例的流程示意图;
图2为本发明的方法中获取待控电器所属场景中用户的当前图像信息的一实施例的流程示意图;
图3为本发明的方法中对所述当前图像信息进行场景识别处理的一实施例的流程示意图;
图4为本发明的方法中执行与所述当前需求信息对应的交互操作的一实施例的流程示意图;
图5为本发明的方法中与用户进行语音交互控制的一实施例的流程示意图;
图6为本发明的方法中在危险情况下对用户进行保护控制的一实施例的流程示意图;
图7为本发明的方法中在危险情况下自主为用户进行急求呼叫控制的一实施例的流程示意图;
图8为本发明的场景控制装置的一实施例的结构示意图;
图9为本发明的电器的一实施例的LSTM模型流程示意图;
图10为本发明的电器的一实施例的Attention模型示意图;
图11为本发明的电器的一实施例的场景识别流程示意图。
结合附图,本发明实施例中附图标记如下:
102-获取单元;104-控制单元;106-执行单元。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
根据本发明的实施例,提供了一种场景控制方法,如图1所示本发明的方法的一实施例的流程示意图。该场景控制方法可以包括:步骤S110至步骤S130。
在步骤S110处,获取待控电器所属场景中用户的当前图像信息。
可选地,可以结合图2所示本发明的方法中获取待控电器所属场景中用户的当前图像信息的一实施例流程示意图,进一步说明步骤S110中获取待控电器所属场景中用户的当前图像信息的具体过程,可以包括:步骤S210和步骤S220。
步骤S210,获取由摄像头采样得到的待控电器所属场景中的实时图像信息。
步骤S220,对所述实时图像信息进行矫正处理,得到所需的当前图像信息。
其中,所述摄像头,可以包括:鱼眼摄像头,该鱼眼摄像头与待控电器适配设置,比如嵌入在待控电器的前部或顶部;和/或,所述实时图像信息,可以包括:图片信息和/或视频信息。
例如:参见图11所示的例子,相应家用电器具有鱼眼摄像头和图像识别模块以及语音识别模块,并有网络模块以及扬声器等模块,通过场景识别出用户需求等信息通过网络模块以及串口传输给相应电器控制模块。
由此,通过采用鱼眼摄像头采样待控电器所属场景中的实时图像信息,采集视野广,采集的实时图像信息的全面性好;通过对采集得到的实时图像信息进行矫正处理,有利于提升用于场景识别处理的当前图像信息的精准性和可靠性,进而提升待控电器与用户之间交互控制的精准性和可靠性。
在步骤S120处,对所述当前图像信息进行场景识别处理,得到待控电器所属场景中用户的当前需求信息。
可选地,可以结合图3所示本发明的方法中对所述当前图像信息进行场景识别处理的一实施例流程示意图,进一步说明步骤S120中对所述当前图像信息进行场景识别处理的具体过程,可以包括:步骤S310和步骤S320。
步骤S310,对所述当前图像信息进行编码处理,得到当前编码信息。
更可选地,步骤S310中对所述当前图像信息进行编码处理,可以包括:通过设定的卷积神经网络模型对所述当前图像信息进行减少设定参数和/或减少过拟合现象的处理,实现对所述当前图像信息的编码,得到当前编码信息。
例如:图9中s0、s1…sn表示图像字序列输入,w*s0、w*s1…w*sn表示对应的嵌入向量,p0、p1…pn表示句子中下个词的生成概率。Lnception V4网络是一种卷积神经网络模型,主要是减少参数以及减少过拟合现象。
由此,通过使用设定的卷积神经网络模型对当前图像信息进行减少设定参数、减少过拟合现象等处理,可以实现对当前图像信息的编码处理,且处理方式简便、处理结果的可靠性好。
步骤S320,对所述当前编码信息进行解码处理,得到当前解码信息。其中,所述当前解码信息,可以用于表征待控电器所属场景中用户的当前需求信息。
例如:采用鱼眼摄像头是为了获得室内更多的视野,实时采样图片需要进行矫正,并用具有残差网络Inception V4网络对输入图片进行编码,然后具有特殊记忆LSTM网络进行解码,解码出相关信息通过网络模块提供给用户需要的相关信息。
由此,通过对当前图像信息进行编码和解码处理,可以得到用于表征待控电器所属场景中用户的当前需求信息,实现对待控电器所属场景中用户需求信息的场景识别,识别方式简便,且精准性和可靠性都可以得到保证。
更可选地,步骤S320中对所述当前编码信息进行解码处理,可以包括:通过设定的可以用于判断网络记忆的神经网络模型、以及设定的过滤器大小,对当前编码信息进行解码处理,得到所述当前解码信息。
例如:图9中LSTM是神经网络RNN特殊一种具有判断网络记忆的网络模型,其中w表示过滤器大小。图10中x1、x2、x3等表示输入语音序列,中间c1、c2、c3等表示中间语义编码,最后才能产生更加精确地Y1、Y2、Y3等目标序列。
由此,通过使用设定的哟经验判断网络记忆的神经网络模型和设定的过滤器大小,对经对当前图像信息进行编码处理得到的当前编码信息进行解码处理,得到用于表征待控电器所属场景中用户的当前需求信息的当前解码信息,解码方式简便、且解码结果的可靠性好。
在步骤S130处,执行与所述当前需求信息对应的交互操作,实现待控电器与用户之间的交互控制。
例如:通过场景识别技术给用户带来较好的体验感,主要当用户做什么动作的时候,家用电器可以提供相关的信息给用户参考,并和用户进行情感交流等。
由此,通过获取待控电器所属环境中用户的当前图像信息,对该图像信息进行场景识别处理,进行执行与该场景识别处理得到的用户的当前需求信息对应的交互操作,实现待控电器与用户之间的交互控制,大大方便了用户的使用,也丰富了待控电器的功能,提升了待控电器的智能化程度。
可选地,可以结合图4所示本发明的方法中执行与所述当前需求信息对应的交互操作的一实施例流程示意图,进一步说明步骤S130中执行与所述当前需求信息对应的交互操作的具体过程,可以包括:步骤S410和步骤S420。
步骤S410,确定预存数据库中与所述当前需求信息对应的视频信息和/或音频信息。
例如:家用电器不断通过场景相关信息保存到自己的数据库了,提高家用电器对场景识别能力。
步骤S420,播放预存数据库中与所述当前需求信息对应的视频信息和/或音频信息。
其中,所述视频信息可以包括:与设定的瑜伽动作对应的视频指导信息;和/或,所述音频信息,可以包括:与设定的瑜伽动作对应的背景音乐信息,和/或与设定的读书场景和/或读书内容对应的背景音乐信息和/或语音交互信息。
例如:比如用户正在做瑜伽,通过识别流等相关信息指示用户正确瑜伽动作并播放相应场景的音乐。
例如:当用户正在看什么书籍时,可以采用基于图像的文字序列识别算法对书籍封面信息识别,其实利用循环卷积神经网络和双向特殊记忆LSTM网络结合对书籍文字进行识别,并通过相应书籍信息对用户进行交流以及给出相应的看法。
由此,通过确定预存数据库中与场景识别得到用户的当前需求信息对应的视频信息、音频信息等数据,进而播放该数据,实现在当前场景下利用预存数据库中与当前需求信息对应的数据与用户交互,大大提升了用户使用的便捷性和人性化体验程度。
进一步可选地,步骤S130中执行与所述当前需求信息对应的交互操作,还可以包括:与用户进行语音交互控制的过程。
下面结合图5所示本发明的方法中与用户进行语音交互控制的一实施例流程示意图,进一步说明与用户进行语音交互控制的具体过程,可以包括:步骤S510和步骤S520。
步骤S510,确定是否接收到用户发送的语音指令。
步骤S520,若接收到用户发送的所述语音指令,则执行所述语音指令指示的指定操作,和/或基于所述语音指令给出对应的应答信息。
例如:进行语音交互时,能够明确知道用户的意图是什么。
由此,通过在基于场景识别得到的当前需求信息与用户进行交互控制的过程中,在接收到用户发送的语音指令的情况下执行该语音指令指示的指导操作、以及基于该语音指令给出对应的应答信息等,从而实现与用户之间的语音交互控制,使用便捷性更好、灵活性和智能化程度更佳。
进一步可选地,步骤S130中执行与所述当前需求信息对应的交互操作,还可以包括:在危险情况下对用户进行保护控制的过程。
下面结合图6所示本发明的方法中在危险情况下对用户进行保护控制的一实施例流程示意图,进一步说明在危险情况下对用户进行保护控制的具体过程,可以包括:步骤S610和步骤S620。
步骤S610,基于所述当前需求信息,确定待控电器所属场景中的用户的当前活动是否存在设定的危险情况。其中,所述危险情况,可以包括:跌倒情况、患病情况中的至少之一。
步骤S620,若确定存在所述危险情况,则自主发起设定的第一提醒消息、和/或发送设定的第二提醒消息至设定的客户端。
例如:语音对话中采用了seq2seq+Attention模型进行家用电器与急救人员语音通话,同时家用电器通过网络发给家属相关人员手机APP上,当家属一段时间没有处理APP上的信息,家用电器会通过电话通知家属告诉家人病危相关情况。
由此,通过进一步基于场景识别得到用户的当前需求信息确定当前场景中用户的当前活动是否存在设定的危险情况,若存在则进行多种形式的提醒,有利于提醒用户注意当前活动潜在的危险情况或提醒其他用户对当前场景中用户的当前活动进行帮助,从而提升用户使用的安全性和人性化程度。
进一步可选地,步骤S130中执行与所述当前需求信息对应的交互操作,还可以包括:在危险情况下自主为用户进行急求呼叫控制的过程。
下面结合图7所示本发明的方法中在危险情况下自主为用户进行急求呼叫控制的一实施例流程示意图,进一步说明在危险情况下自主为用户进行急求呼叫控制的具体过程,可以包括:步骤S710和步骤S720。
步骤S710,在发起所述第一提醒消息、和/或发送所述第二提醒消息后,确定在设定时长内所述危险情况是否得到处理。
步骤S720,若所述危险情况在所述设定时长内未得到处理,则自主拨打预存的急救电话并反馈所述危险情况和待控电器所在地址信息。
例如:通过利用场景识别出用户的生活需求,并进行自然语言处理进行情感交流,通过场景识别并对场景局部加强网络识别用户是否处于病危状态等情况。
例如:当用户跌倒时,并通过视频流识别用户跌倒情况以及人脸识别出相应表情判断出病情状况,通过病情状况能自己拨打急救电话并与急救人员进行通话并把相应病情说给急救人员和相应地址信息。
例如:当用户跌倒时,通过视频流进行处理用户是否能不能爬起来以及跌倒的严重情况通过网络汇到给用户的相关人员。这样,通过对图像进行处理识别出相应的场景以及提供合适的用户需求,识别出场景并实时和用户进行情感交流,识别出用户处于严重病危状态时能实时拨打相应急救电话并智能和医务人员进行相应情况交流。从而,可以提高用户的生活品味,进行情感交流以及疏导用户情绪,并能及时拯救用户处于病危状态。
由此,通过在对当前场景中用户的当前活动可能存在危险情况的情况下发起提醒后,若设定时长内未收到当前用户或其他用户对该危险情况的处理,则自主拨打急救电话以便通过急救的方式对当前用户实施急救,有利于提升对当前用户的求助及时性,进一步提升人性化和安全性体验。
经大量的试验验证,采用本实施例的技术方案,通过场景识别技术给用户带来较好的体验感,主要当用户做什么动作的时候,家用电器可以提供相关的信息给用户参考,并和用户进行情感交流等,提升了用户使用的便捷性,也丰富了电器的功能。
根据本发明的实施例,还提供了对应于场景控制方法的一种场景控制装置。参见图8所示本发明的装置的一实施例的结构示意图。该场景控制装置可以包括:获取单元102、控制单元104和执行单元106。
在一个可选例子中,获取单元102(如图像采集单元),可以用于获取待控电器所属场景中用户的当前图像信息。该获取单元102的具体功能及处理参见步骤S110。
可选地,10.根据权利要求9所述的装置,其特征在于,所述获取单元102获取待控电器所属场景中用户的当前图像信息,可以包括:
所述获取单元102,具体还可以用于获取由摄像头采样得到的待控电器所属场景中的实时图像信息。该获取单元102的具体功能及处理还参见步骤S210。
所述获取单元102,具体还可以用于对所述实时图像信息进行矫正处理,得到所需的当前图像信息。该获取单元102的具体功能及处理还参见步骤S220。
其中,所述摄像头,可以包括:鱼眼摄像头,该鱼眼摄像头与待控电器适配设置,比如嵌入在待控电器的前部或顶部;和/或,所述实时图像信息,可以包括:图片信息和/或视频信息。
例如:参见图11所示的例子,相应家用电器具有鱼眼摄像头和图像识别模块以及语音识别模块,并有网络模块以及扬声器等模块,通过场景识别出用户需求等信息通过网络模块以及串口传输给相应电器控制模块。
由此,通过采用鱼眼摄像头采样待控电器所属场景中的实时图像信息,采集视野广,采集的实时图像信息的全面性好;通过对采集得到的实时图像信息进行矫正处理,有利于提升用于场景识别处理的当前图像信息的精准性和可靠性,进而提升待控电器与用户之间交互控制的精准性和可靠性。
在一个可选例子中,控制单元104(如图像识别模块、语音识别模块等),可以用于对所述当前图像信息进行场景识别处理,得到待控电器所属场景中用户的当前需求信息。该控制单元104的具体功能及处理参见步骤S120。
可选地,所述控制单元104对所述当前图像信息进行场景识别处理,可以包括:
所述控制单元104,具体还可以用于对所述当前图像信息进行编码处理,得到当前编码信息。该控制单元104的具体功能及处理还参见步骤S310。
更可选地,所述控制单元104对所述当前图像信息进行编码处理,可以包括:所述控制单元104,具体还可以用于通过设定的卷积神经网络模型对所述当前图像信息进行减少设定参数和/或减少过拟合现象的处理,实现对所述当前图像信息的编码,得到当前编码信息。
例如:图9中s0、s1…sn表示图像字序列输入,w*s0、w*s1…w*sn表示对应的嵌入向量,p0、p1…pn表示句子中下个词的生成概率。Lnception V4网络是一种卷积神经网络模型,主要是减少参数以及减少过拟合现象。
由此,通过使用设定的卷积神经网络模型对当前图像信息进行减少设定参数、减少过拟合现象等处理,可以实现对当前图像信息的编码处理,且处理方式简便、处理结果的可靠性好。
所述控制单元104,具体还可以用于对所述当前编码信息进行解码处理,得到当前解码信息。其中,所述当前解码信息,可以用于表征待控电器所属场景中用户的当前需求信息。该控制单元104的具体功能及处理还参见步骤S320。
例如:采用鱼眼摄像头是为了获得室内更多的视野,实时采样图片需要进行矫正,并用具有残差网络Inception V4网络对输入图片进行编码,然后具有特殊记忆LSTM网络进行解码,解码出相关信息通过网络模块提供给用户需要的相关信息。
由此,通过对当前图像信息进行编码和解码处理,可以得到用于表征待控电器所属场景中用户的当前需求信息,实现对待控电器所属场景中用户需求信息的场景识别,识别方式简便,且精准性和可靠性都可以得到保证。
更可选地,所述控制单元104对所述当前编码信息进行解码处理,可以包括:所述控制单元104,具体还可以用于通过设定的可以用于判断网络记忆的神经网络模型、以及设定的过滤器大小,对当前编码信息进行解码处理,得到所述当前解码信息。
例如:图9中LSTM是神经网络RNN特殊一种具有判断网络记忆的网络模型,其中w表示过滤器大小。图10中x1、x2、x3等表示输入语音序列,中间c1、c2、c3等表示中间语义编码,最后才能产生更加精确地Y1、Y2、Y3等目标序列。
由此,通过使用设定的哟经验判断网络记忆的神经网络模型和设定的过滤器大小,对经对当前图像信息进行编码处理得到的当前编码信息进行解码处理,得到用于表征待控电器所属场景中用户的当前需求信息的当前解码信息,解码方式简便、且解码结果的可靠性好。
在一个可选例子中,执行单元106(如网络模块、扬声器模块等),可以用于执行与所述当前需求信息对应的交互操作,实现待控电器与用户之间的交互控制。该执行单元106的具体功能及处理参见步骤S130。
例如:通过场景识别技术给用户带来较好的体验感,主要当用户做什么动作的时候,家用电器可以提供相关的信息给用户参考,并和用户进行情感交流等。
由此,通过获取待控电器所属环境中用户的当前图像信息,对该图像信息进行场景识别处理,进行执行与该场景识别处理得到的用户的当前需求信息对应的交互操作,实现待控电器与用户之间的交互控制,大大方便了用户的使用,也丰富了待控电器的功能,提升了待控电器的智能化程度。
可选地,所述执行单元106执行与所述当前需求信息对应的交互操作,可以包括:
所述执行单元106,具体还可以用于确定预存数据库中与所述当前需求信息对应的视频信息和/或音频信息。该执行单元106的具体功能及处理还参见步骤S410。
例如:家用电器不断通过场景相关信息保存到自己的数据库了,提高家用电器对场景识别能力。
所述执行单元106,具体还可以用于播放预存数据库中与所述当前需求信息对应的视频信息和/或音频信息。该执行单元106的具体功能及处理还参见步骤S420。
其中,所述视频信息可以包括:与设定的瑜伽动作对应的视频指导信息;和/或,所述音频信息,可以包括:与设定的瑜伽动作对应的背景音乐信息,和/或与设定的读书场景和/或读书内容对应的背景音乐信息和/或语音交互信息。
例如:比如用户正在做瑜伽,通过识别流等相关信息指示用户正确瑜伽动作并播放相应场景的音乐。
例如:当用户正在看什么书籍时,可以采用基于图像的文字序列识别算法对书籍封面信息识别,其实利用循环卷积神经网络和双向特殊记忆LSTM网络结合对书籍文字进行识别,并通过相应书籍信息对用户进行交流以及给出相应的看法。
由此,通过确定预存数据库中与场景识别得到用户的当前需求信息对应的视频信息、音频信息等数据,进而播放该数据,实现在当前场景下利用预存数据库中与当前需求信息对应的数据与用户交互,大大提升了用户使用的便捷性和人性化体验程度。
进一步可选地,所述执行单元106执行与所述当前需求信息对应的交互操作,还可以包括:与用户进行语音交互控制的过程,具体如下:
所述执行单元106,具体还可以用于确定是否接收到用户发送的语音指令。该执行单元106的具体功能及处理还参见步骤S510。
所述执行单元106,具体还可以用于若接收到用户发送的所述语音指令,则执行所述语音指令指示的指定操作,和/或基于所述语音指令给出对应的应答信息。该执行单元106的具体功能及处理还参见步骤S520。
例如:进行语音交互时,能够明确知道用户的意图是什么。
由此,通过在基于场景识别得到的当前需求信息与用户进行交互控制的过程中,在接收到用户发送的语音指令的情况下执行该语音指令指示的指导操作、以及基于该语音指令给出对应的应答信息等,从而实现与用户之间的语音交互控制,使用便捷性更好、灵活性和智能化程度更佳。
进一步可选地,所述执行单元106执行与所述当前需求信息对应的交互操作,还可以包括:在危险情况下对用户进行保护控制的过程,具体如下:
所述执行单元106,具体还可以用于基于所述当前需求信息,确定待控电器所属场景中的用户的当前活动是否存在设定的危险情况。其中,所述危险情况,可以包括:跌倒情况、患病情况中的至少之一。该执行单元106的具体功能及处理还参见步骤S610。
所述执行单元106,具体还可以用于若确定存在所述危险情况,则自主发起设定的第一提醒消息、和/或发送设定的第二提醒消息至设定的客户端。该执行单元106的具体功能及处理还参见步骤S620。
例如:语音对话中采用了seq2seq+Attention模型进行家用电器与急救人员语音通话,同时家用电器通过网络发给家属相关人员手机APP上,当家属一段时间没有处理APP上的信息,家用电器会通过电话通知家属告诉家人病危相关情况。
由此,通过进一步基于场景识别得到用户的当前需求信息确定当前场景中用户的当前活动是否存在设定的危险情况,若存在则进行多种形式的提醒,有利于提醒用户注意当前活动潜在的危险情况或提醒其他用户对当前场景中用户的当前活动进行帮助,从而提升用户使用的安全性和人性化程度。
进一步可选地,所述执行单元106执行与所述当前需求信息对应的交互操作,还可以包括:在危险情况下自主为用户进行急求呼叫控制的过程,具体如下:
所述执行单元106,具体还可以用于在发起所述第一提醒消息、和/或发送所述第二提醒消息后,确定在设定时长内所述危险情况是否得到处理。该执行单元106的具体功能及处理还参见步骤S710。
所述执行单元106,具体还可以用于若所述危险情况在所述设定时长内未得到处理,则自主拨打预存的急救电话并反馈所述危险情况和待控电器所在地址信息。该执行单元106的具体功能及处理还参见步骤S720。
例如:通过利用场景识别出用户的生活需求,并进行自然语言处理进行情感交流,通过场景识别并对场景局部加强网络识别用户是否处于病危状态等情况。
例如:当用户跌倒时,并通过视频流识别用户跌倒情况以及人脸识别出相应表情判断出病情状况,通过病情状况能自己拨打急救电话并与急救人员进行通话并把相应病情说给急救人员和相应地址信息。
例如:当用户跌倒时,通过视频流进行处理用户是否能不能爬起来以及跌倒的严重情况通过网络汇到给用户的相关人员。这样,通过对图像进行处理识别出相应的场景以及提供合适的用户需求,识别出场景并实时和用户进行情感交流,识别出用户处于严重病危状态时能实时拨打相应急救电话并智能和医务人员进行相应情况交流。从而,可以提高用户的生活品味,进行情感交流以及疏导用户情绪,并能及时拯救用户处于病危状态。
由此,通过在对当前场景中用户的当前活动可能存在危险情况的情况下发起提醒后,若设定时长内未收到当前用户或其他用户对该危险情况的处理,则自主拨打急救电话以便通过急救的方式对当前用户实施急救,有利于提升对当前用户的求助及时性,进一步提升人性化和安全性体验。
由于本实施例的装置所实现的处理及功能基本相应于前述图1至图7所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。
经大量的试验验证,采用本发明的技术方案,通过对图像进行处理识别出相应的场景以及提供合适的用户需求,识别出场景并实时和用户进行情感交流,识别出用户处于严重病危状态时能实时拨打相应急救电话并智能和医务人员进行相应情况交流,可以及时拯救用户处于病危状态。
根据本发明的实施例,还提供了对应于场景控制装置的一种电器。该电器可以包括:以上所述的场景控制装置。
在一个可选实施方式中,本发明的方案,通过场景识别技术给用户带来较好的体验感,主要当用户做什么动作的时候,家用电器可以提供相关的信息给用户参考,并和用户进行情感交流等。例如:当用户跌倒时,通过视频流进行处理用户是否能不能爬起来以及跌倒的严重情况通过网络汇到给用户的相关人员。
这样,通过对图像进行处理识别出相应的场景以及提供合适的用户需求,识别出场景并实时和用户进行情感交流,识别出用户处于严重病危状态时能实时拨打相应急救电话并智能和医务人员进行相应情况交流。从而,可以提高用户的生活品味,进行情感交流以及疏导用户情绪,并能及时拯救用户处于病危状态。
在一个可选例子中,本发明的方案,通过利用场景识别出用户的生活需求,并进行自然语言处理进行情感交流,通过场景识别并对场景局部加强网络识别用户是否处于病危状态等情况。
在一个可选具体实施方式中,可以结合图9至图11所示的例子,对本发明的方案的具体实现过程进行示例性说明。
图9中s0、s1…sn表示图像字序列输入,w*s0、w*s1…w*sn表示对应的嵌入向量,p0、p1…pn表示句子中下个词的生成概率。Lnception V4网络是一种卷积神经网络模型,主要是减少参数以及减少过拟合现象;LSTM是神经网络RNN特殊一种具有判断网络记忆的网络模型。其中w表示过滤器大小。
图10中x1、x2、x3等表示输入语音序列,中间c1、c2、c3等表示中间语义编码,最后才能产生更加精确地Y1、Y2、Y3等目标序列。
图11中LSTM网络模型为图9整个流程,Attention模型是图10的整个流程。
在一个可选具体例子中,本发明的方案中,相应家用电器具有鱼眼摄像头和图像识别模块以及语音识别模块,并有网络模块以及扬声器等模块,通过场景识别出用户需求等信息通过网络模块以及串口传输给相应电器控制模块。
具体地,采用鱼眼摄像头是为了获得室内更多的视野,实时采样图片需要进行矫正(比如:利用传统的张正友矫正方法,事先利用标定板获取摄像头的焦距等相关信息进行矫正摄像头),并用具有残差网络Inception V4网络对输入图片进行编码,然后具有特殊记忆LSTM网络进行解码,解码出相关信息通过网络模块提供给用户需要的相关信息,比如用户正在做瑜伽,通过识别流等相关信息指示用户正确瑜伽动作并播放相应场景的音乐;进行语音交互时,能够明确知道用户的意图是什么;当用户正在看什么书籍时,可以采用基于图像的文字序列识别算法对书籍封面信息识别,其实利用循环卷积神经网络和双向特殊记忆LSTM网络结合对书籍文字进行识别,并通过相应书籍信息对用户进行交流以及给出相应的看法。当用户跌倒时,并通过视频流识别用户跌倒情况以及人脸识别出相应表情判断出病情状况,通过病情状况能自己拨打急救电话并与急救人员进行通话并把相应病情说给急救人员和相应地址信息。
可选地,语音对话中采用了seq2seq+Attention模型进行家用电器与急救人员语音通话,同时家用电器通过网络发给家属相关人员手机APP上,当家属一段时间没有处理APP上的信息,家用电器会通过电话通知家属告诉家人病危相关情况。
可选地,家用电器不断通过场景相关信息保存到自己的数据库了,提高家用电器对场景识别能力。
由于本实施例的电器所实现的处理及功能基本相应于前述图8所示的装置的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。
经大量的试验验证,采用本发明的技术方案,通过场景识别技术识别出场景并实时和用户进行情感交流,给用户带来较好的体验感,可以提高用户的生活品味,进行情感交流以及疏导用户情绪。
根据本发明的实施例,还提供了对应于场景控制方法的一种存储介质。该存储介质,可以包括:所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行以上所述的场景控制方法。
由于本实施例的存储介质所实现的处理及功能基本相应于前述图1至图7所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。
经大量的试验验证,采用本发明的技术方案,通过对图像进行处理识别出相应的场景以及提供合适的用户需求,可以给用户带来较好的体验感,可以提升用户使用的便捷性,也能丰富电器的功能并提升电器的智能化程度。
根据本发明的实施例,还提供了对应于场景控制方法的一种电器。该电器,可以包括:处理器,用于执行多条指令;存储器,用于存储多条指令;其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行以上所述的场景控制方法。
由于本实施例的电器所实现的处理及功能基本相应于前述图1至图7所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。
经大量的试验验证,采用本发明的技术方案,通过对图像进行处理识别出相应的场景以及提供合适的用户需求,可以提高用户的生活品味,进行情感交流以及疏导用户情绪,并能及时拯救用户处于病危状态。
综上,本领域技术人员容易理解的是,在不冲突的前提下,上述各有利方式可以自由地组合、叠加。
以上所述仅为本发明的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (21)
1.一种场景控制方法,其特征在于,包括:
获取待控电器所属场景中用户的当前图像信息;
对所述当前图像信息进行场景识别处理,得到待控电器所属场景中用户的当前需求信息;
执行与所述当前需求信息对应的交互操作,实现待控电器与用户之间的交互控制;通过对图像进行处理识别出相应的场景以及提供合适的用户需求,识别出场景并实时和用户进行情感交流,识别出用户处于严重病危状态时能实时拨打相应急救电话并智能和医务人员进行相应情况交流;
其中,执行与所述当前需求信息对应的交互操作,包括:
基于所述当前需求信息,确定待控电器所属场景中的用户的当前活动是否存在设定的危险情况;其中,所述危险情况,包括:跌倒情况、患病情况中的至少之一;若确定存在所述危险情况,则自主发起设定的第一提醒消息、和/或发送设定的第二提醒消息至设定的客户端;
当用户跌倒时,通过视频流识别用户跌倒情况以及人脸识别出相应表情判断出病情状况,通过病情状况能自动拨打急救电话与急救人员进行通话,并把相应病情说给急救人员和相应地址信息;当用户跌倒时,通过视频流识别用户是否能爬起来、以及跌倒的严重情况,并通过网络汇报给用户的相关人员;这样,通过对图像进行处理识别出相应的场景以及提供合适的用户需求,识别出场景并实时和用户进行情感交流,识别出用户处于严重病危状态时能实时拨打相应急救电话并智能和医务人员进行相应情况交流。
2.根据权利要求1所述的方法,其特征在于,获取待控电器所属场景中用户的当前图像信息,包括:
获取由摄像头采样得到的待控电器所属场景中的实时图像信息;
对所述实时图像信息进行矫正处理,得到所需的当前图像信息;
其中,
所述摄像头,包括:鱼眼摄像头;和/或,
所述实时图像信息,包括:图片信息和/或视频信息。
3.根据权利要求1或2所述的方法,其特征在于,对所述当前图像信息进行场景识别处理,包括:
对所述当前图像信息进行编码处理,得到当前编码信息;
对所述当前编码信息进行解码处理,得到当前解码信息;其中,所述当前解码信息,用于表征待控电器所属场景中用户的当前需求信息。
4.根据权利要求3所述的方法,其特征在于,其中,
对所述当前图像信息进行编码处理,包括:
通过设定的卷积神经网络模型对所述当前图像信息进行减少设定参数和/或减少过拟合现象的处理,实现对所述当前图像信息的编码,得到当前编码信息;
和/或,
对所述当前编码信息进行解码处理,包括:
通过设定的用于判断网络记忆的神经网络模型、以及设定的过滤器大小,对当前编码信息进行解码处理,得到所述当前解码信息。
5.根据权利要求1、2、4之一所述的方法,其特征在于,执行与所述当前需求信息对应的交互操作,还包括:
确定预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;
播放预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;
其中,
所述视频信息包括:与设定的瑜伽动作对应的视频指导信息;和/或,
所述音频信息,包括:与设定的瑜伽动作对应的背景音乐信息,和/或与设定的读书场景和/或读书内容对应的背景音乐信息和/或语音交互信息。
6.根据权利要求3所述的方法,其特征在于,执行与所述当前需求信息对应的交互操作,还包括:
确定预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;
播放预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;
其中,
所述视频信息包括:与设定的瑜伽动作对应的视频指导信息;和/或,
所述音频信息,包括:与设定的瑜伽动作对应的背景音乐信息,和/或与设定的读书场景和/或读书内容对应的背景音乐信息和/或语音交互信息。
7.根据权利要求5所述的方法,其特征在于,执行与所述当前需求信息对应的交互操作,还包括:
确定是否接收到用户发送的语音指令;
若接收到用户发送的所述语音指令,则执行所述语音指令指示的指定操作,和/或基于所述语音指令给出对应的应答信息。
8.根据权利要求6所述的方法,其特征在于,执行与所述当前需求信息对应的交互操作,还包括:
确定是否接收到用户发送的语音指令;
若接收到用户发送的所述语音指令,则执行所述语音指令指示的指定操作,和/或基于所述语音指令给出对应的应答信息。
9.根据权利要求1所述的方法,其特征在于,执行与所述当前需求信息对应的交互操作,还包括:
在发起所述第一提醒消息、和/或发送所述第二提醒消息后,确定在设定时长内所述危险情况是否得到处理;
若所述危险情况在所述设定时长内未得到处理,则自主拨打预存的急救电话并反馈所述危险情况和待控电器所在地址信息。
10.一种场景控制装置,其特征在于,包括:
获取单元,用于获取待控电器所属场景中用户的当前图像信息;
控制单元,用于对所述当前图像信息进行场景识别处理,得到待控电器所属场景中用户的当前需求信息;
执行单元,用于执行与所述当前需求信息对应的交互操作,实现待控电器与用户之间的交互控制;通过对图像进行处理识别出相应的场景以及提供合适的用户需求,识别出场景并实时和用户进行情感交流,识别出用户处于严重病危状态时能实时拨打相应急救电话并智能和医务人员进行相应情况交流;
其中,所述执行单元执行与所述当前需求信息对应的交互操作,包括:
基于所述当前需求信息,确定待控电器所属场景中的用户的当前活动是否存在设定的危险情况;其中,所述危险情况,包括:跌倒情况、患病情况中的至少之一;若确定存在所述危险情况,则自主发起设定的第一提醒消息、和/或发送设定的第二提醒消息至设定的客户端;
当用户跌倒时,通过视频流识别用户跌倒情况以及人脸识别出相应表情判断出病情状况,通过病情状况能自动拨打急救电话与急救人员进行通话,并把相应病情说给急救人员和相应地址信息;当用户跌倒时,通过视频流识别用户是否能爬起来、以及跌倒的严重情况,并通过网络汇报给用户的相关人员;这样,通过对图像进行处理识别出相应的场景以及提供合适的用户需求,识别出场景并实时和用户进行情感交流,识别出用户处于严重病危状态时能实时拨打相应急救电话并智能和医务人员进行相应情况交流。
11.根据权利要求10所述的装置,其特征在于,所述获取单元获取待控电器所属场景中用户的当前图像信息,包括:
获取由摄像头采样得到的待控电器所属场景中的实时图像信息;
对所述实时图像信息进行矫正处理,得到所需的当前图像信息;
其中,
所述摄像头,包括:鱼眼摄像头;和/或,
所述实时图像信息,包括:图片信息和/或视频信息。
12.根据权利要求10或11所述的装置,其特征在于,所述控制单元对所述当前图像信息进行场景识别处理,包括:
对所述当前图像信息进行编码处理,得到当前编码信息;
对所述当前编码信息进行解码处理,得到当前解码信息;其中,所述当前解码信息,用于表征待控电器所属场景中用户的当前需求信息。
13.根据权利要求12所述的装置,其特征在于,其中,
所述控制单元对所述当前图像信息进行编码处理,包括:
通过设定的卷积神经网络模型对所述当前图像信息进行减少设定参数和/或减少过拟合现象的处理,实现对所述当前图像信息的编码,得到当前编码信息;
和/或,
所述控制单元对所述当前编码信息进行解码处理,包括:
通过设定的用于判断网络记忆的神经网络模型、以及设定的过滤器大小,对当前编码信息进行解码处理,得到所述当前解码信息。
14.根据权利要求10、11、13之一所述的装置,其特征在于,所述执行单元执行与所述当前需求信息对应的交互操作,还包括:
确定预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;
播放预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;
其中,
所述视频信息包括:与设定的瑜伽动作对应的视频指导信息;和/或,
所述音频信息,包括:与设定的瑜伽动作对应的背景音乐信息,和/或与设定的读书场景和/或读书内容对应的背景音乐信息和/或语音交互信息。
15.根据权利要求12所述的装置,其特征在于,所述执行单元执行与所述当前需求信息对应的交互操作,还包括:
确定预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;
播放预存数据库中与所述当前需求信息对应的视频信息和/或音频信息;
其中,
所述视频信息包括:与设定的瑜伽动作对应的视频指导信息;和/或,
所述音频信息,包括:与设定的瑜伽动作对应的背景音乐信息,和/或与设定的读书场景和/或读书内容对应的背景音乐信息和/或语音交互信息。
16.根据权利要求14所述的装置,其特征在于,所述执行单元执行与所述当前需求信息对应的交互操作,还包括:
确定是否接收到用户发送的语音指令;
若接收到用户发送的所述语音指令,则执行所述语音指令指示的指定操作,和/或基于所述语音指令给出对应的应答信息。
17.根据权利要求15所述的装置,其特征在于,所述执行单元执行与所述当前需求信息对应的交互操作,还包括:
确定是否接收到用户发送的语音指令;
若接收到用户发送的所述语音指令,则执行所述语音指令指示的指定操作,和/或基于所述语音指令给出对应的应答信息。
18.根据权利要求10所述的装置,其特征在于,所述执行单元执行与所述当前需求信息对应的交互操作,还包括:
在发起所述第一提醒消息、和/或发送所述第二提醒消息后,确定在设定时长内所述危险情况是否得到处理;
若所述危险情况在所述设定时长内未得到处理,则自主拨打预存的急救电话并反馈所述危险情况和待控电器所在地址信息。
19.一种电器,其特征在于,包括:如权利要求10-18任一所述的场景控制装置。
20.一种存储介质,其特征在于,所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行如权利要求1-9任一所述的场景控制方法。
21.一种电器,其特征在于,包括:
处理器,用于执行多条指令;
存储器,用于存储多条指令;
其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行如权利要求1-9任一所述的场景控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811333484.6A CN109298646B (zh) | 2018-11-09 | 2018-11-09 | 一种场景控制方法、装置、存储介质及电器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811333484.6A CN109298646B (zh) | 2018-11-09 | 2018-11-09 | 一种场景控制方法、装置、存储介质及电器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109298646A CN109298646A (zh) | 2019-02-01 |
CN109298646B true CN109298646B (zh) | 2020-05-05 |
Family
ID=65146212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811333484.6A Active CN109298646B (zh) | 2018-11-09 | 2018-11-09 | 一种场景控制方法、装置、存储介质及电器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109298646B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105718857A (zh) * | 2016-01-13 | 2016-06-29 | 兴唐通信科技有限公司 | 一种人体异常行为检测方法及系统 |
CN106100951A (zh) * | 2016-08-22 | 2016-11-09 | 美的智慧家居科技有限公司 | 智能家居设备的场景模式控制方法、设备以及系统 |
CN206833230U (zh) * | 2017-04-18 | 2018-01-02 | 青岛有屋科技有限公司 | 一种可实现人机交互的智能家居语音控制系统 |
CN108093049A (zh) * | 2017-12-19 | 2018-05-29 | 蒙城县航远信息科技有限责任公司 | 一种基于消息推送的智能家居调控系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9823640B2 (en) * | 2013-03-14 | 2017-11-21 | Control Technology Corporation | Networked programmable industrial controllers |
CN105045140B (zh) * | 2015-05-26 | 2019-01-01 | 深圳创维-Rgb电子有限公司 | 智能控制受控设备的方法和装置 |
CN105159662A (zh) * | 2015-08-06 | 2015-12-16 | 深圳市晶源动力电子科技有限公司 | 基于互联网平台的多人互动跑步实现方法及装置 |
CN106267734A (zh) * | 2016-08-30 | 2017-01-04 | 石家庄铁路职业技术学院 | 一种数字化健身系统 |
CN106764964A (zh) * | 2016-12-27 | 2017-05-31 | 生迪智慧科技有限公司 | 智能监控led灯及其控制方法 |
-
2018
- 2018-11-09 CN CN201811333484.6A patent/CN109298646B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105718857A (zh) * | 2016-01-13 | 2016-06-29 | 兴唐通信科技有限公司 | 一种人体异常行为检测方法及系统 |
CN106100951A (zh) * | 2016-08-22 | 2016-11-09 | 美的智慧家居科技有限公司 | 智能家居设备的场景模式控制方法、设备以及系统 |
CN206833230U (zh) * | 2017-04-18 | 2018-01-02 | 青岛有屋科技有限公司 | 一种可实现人机交互的智能家居语音控制系统 |
CN108093049A (zh) * | 2017-12-19 | 2018-05-29 | 蒙城县航远信息科技有限责任公司 | 一种基于消息推送的智能家居调控系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109298646A (zh) | 2019-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2770361C (en) | System and method for real time text streaming | |
CN110390927B (zh) | 音频处理方法、装置、电子设备及计算机可读存储介质 | |
CN105245729B (zh) | 移动终端消息阅读方法和装置 | |
CN111263227A (zh) | 一种多媒体播放方法、装置和存储介质 | |
CN107480766B (zh) | 多模态虚拟机器人的内容生成的方法和系统 | |
CN111294606B (zh) | 直播处理方法、装置、直播客户端及介质 | |
CN105100081A (zh) | 基于语音服务的移动终端及其实现语音服务的方法 | |
CN109358751A (zh) | 一种机器人的唤醒控制方法、装置及设备 | |
CN108958698A (zh) | 一种添加设备的方法、装置、存储介质及终端 | |
CN111444679B (zh) | 诗词生成方法及装置、电子设备、存储介质 | |
CN109298646B (zh) | 一种场景控制方法、装置、存储介质及电器 | |
CN113157174B (zh) | 数据处理方法、装置、电子设备及计算机存储介质 | |
CN107493478B (zh) | 编码帧率设置方法及设备 | |
CN109658924B (zh) | 会话消息处理方法、装置及智能设备 | |
CN116049375A (zh) | 一种基于aigc的智能客服应答系统 | |
US20210074296A1 (en) | Transcription generation technique selection | |
CN113628622A (zh) | 语音交互方法、装置、电子设备及存储介质 | |
CN112037741A (zh) | K歌方法、装置、设备及存储介质 | |
CN112235386A (zh) | 基于智能终端的远程协助方法及终端、存储介质 | |
CN113808593A (zh) | 语音交互系统、相关方法、装置及设备 | |
CN112820265A (zh) | 一种语音合成模型训练方法和相关装置 | |
CN109119075A (zh) | 语音识别场景唤醒方法及装置 | |
CN113873085B (zh) | 一种语音开场白的生成方法及相关装置 | |
CN111013138A (zh) | 一种语音控制方法、装置、电子设备及存储介质 | |
CN115514843B (zh) | 一种报警方法及装置、设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |