CN112309377A - 一种智能洗浴控制方法、设备及存储介质 - Google Patents
一种智能洗浴控制方法、设备及存储介质 Download PDFInfo
- Publication number
- CN112309377A CN112309377A CN201910649042.0A CN201910649042A CN112309377A CN 112309377 A CN112309377 A CN 112309377A CN 201910649042 A CN201910649042 A CN 201910649042A CN 112309377 A CN112309377 A CN 112309377A
- Authority
- CN
- China
- Prior art keywords
- bathing
- voice
- equipment
- user
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003287 bathing Methods 0.000 title claims abstract description 302
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000010191 image analysis Methods 0.000 claims description 47
- 238000004458 analytical method Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 17
- 230000003213 activating effect Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 8
- 238000001931 thermography Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 16
- 239000010410 layer Substances 0.000 description 66
- 238000010586 diagram Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010021143 Hypoxia Diseases 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47K—SANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
- A47K3/00—Baths; Douches; Appurtenances therefor
- A47K3/001—Accessories for baths, not provided for in other subgroups of group A47K3/00 ; Insertions, e.g. for babies; Tubs suspended or inserted in baths; Security or alarm devices; Protecting linings or coverings; Devices for cleaning or disinfecting baths; Bath insulation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bathtub Accessories (AREA)
Abstract
本发明公开了一种智能洗浴控制方法、设备及存储介质,所述方法包括:采集洗浴场景内用户的语音数据和图像数据;根据所述语音数据进行语音识别输出机器指令,并根据所述图像数据分析得到洗浴场景的分类结果;根据所述机器指令与所述洗浴场景的分类结果,确定设备控制指令;根据所述设备控制指令,控制所述洗浴设备执行控制操作。本发明通过同时采集用户在洗浴场景下的语音数据以及图像数据,然后对语音数据和图像数据进行分析处理,根据得到机器指令并结合图像数据对应的洗浴场景输出不同的设备控制指令,控制洗浴设备执行对应的操作,实现用户对智能洗浴设备的控制,方便用户在洗浴过程中对洗浴设备的控制。
Description
技术领域
本发明涉及智能洗浴技术领域,尤其涉及一种智能洗浴控制方法、设备及存储介质。
背景技术
目前,随着AI(Artificial Intelligence,人工智能)技术的发展,人们的生活水平不断提高,同时对洗浴质量的要求也越来越高。
用户通过智能洗浴设定按键根据自身实际应用需求设定智能洗浴的设定时间、设定温度等,在用户启动智能洗浴之后,热水器在用户预约时间之前启动将水温加热到设定温度,使得用户能够在预约时间到达时直接进行洗浴,而无需等待,用户启动智能洗浴后,系统自动对洗浴时间进行记录,记录期间按照设定时间间隔显示洗浴时间或相对设定时间的倒计时时间,或者,语音播放洗浴时间或者相对设定时间的倒计时时间,使得用户在洗浴过程中能够实时掌握洗浴所耗时间,或者相对自己设定的洗浴时间还剩下多少时间,并在设定时间达到后停止智能洗浴,这于用户而言,设定时间的洗浴能保障用户在洗浴室内的时间不会过长而造成缺氧等状态,实时了解洗浴时间也能够对自身洗浴过程有一定的进度控制,更适用于用户对时间安排紧凑、或者对洗浴时间有限定要求的情况,诸如触摸显示屏的显示单元和诸如扬声器的播放单元集成安装在热水器上或者作为单独智能洗浴系统模块安装在浴室内,以自动化和智能化的智能洗浴系统为家庭提供一种舒适的洗浴体验。
但是,现有技术中的智能洗浴控制系统的调节终端主要是依靠触摸屏来实现的,这在用户洗浴途中的控制中会出现触摸失灵以及难以准确找到触摸板按钮的情况还有潜在的漏电危险。
因此,现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种智能洗浴控制方法、设备及存储介质,旨在解决现有技术中智能洗浴控制系统的调节终端主要是依靠触摸屏来实现,容易导致触摸失灵、难以准确找到触摸板按钮的情况以及潜在的漏电危险的问题。
为实现上述目的,本发明提供一种智能洗浴控制方法,所述智能洗浴控制方法包括如下步骤:
采集洗浴场景内用户的语音数据和图像数据;
根据所述语音数据进行语音识别输出机器指令,并根据所述图像数据分析得到洗浴场景的分类结果;
根据所述机器指令与所述洗浴场景的分类结果,确定设备控制指令;
根据所述设备控制指令,控制所述洗浴设备执行控制操作。可选地,所述的智能洗浴控制方法,其中,所述根据所述语音数据进行语音识别输出机器指令,并根据所述图像数据分析得到洗浴场景的分类结果的步骤,包括:
将所述语音数据输入到语音分析模型中进行语音识别,所述语音分析模型输出所述语音数据对应的语音识别结果,并将所述语音识别结果转化为机器指令;
所述语音分析模型已基于历史语音信息与机器指令的对应关系进行了训练;
将所述图像数据输入到图像分析模型中进行图像分析,获取到所述图像分析模型根据洗浴场景是否存在用户的判断结果输出洗浴场景的分类结果;
所述图像分析模型已基于历史图像信息与历史分类结果的对应关系进行了训练。
可选地,所述的智能洗浴控制方法,其中,所述将所述图像数据输入到图像分析模型中进行图像分析,获取到所述图像分析模型根据洗浴场景是否存在用户的判断结果输出洗浴场景的分类结果的步骤包括:
将所述图像数据输入已训练的所述图像分析模型中,所述图像数据依次经过图像去噪、图像压缩、图像特征提取和图像分类的处理后,所述图像分析模型输出洗浴场景的分类结果;
所述图像去噪包括:经过卷积层、批标准化层和线性整流函数处理,使得处理后的图像数据的数值大于0;
所述图像压缩包括:通过全连接网络将高维图像数据压缩为低维图像数据;
所述图像特征提取包括:通过卷积层提取所述低维图像数据中人体的位置特征和边缘特征,并将所述位置特征和所述边缘特征进行拼接输出总的人体图像特征;
所述经过卷积层、批标准化层和线性整流函数处理,使得处理后的图像数据的数值大于0的步骤,包括:
经过所述卷积层对输入的图像数据提取总体特征,经过所述线性整流函数使得处理后的图像数据的数值大于0;
再经过四层结构进行处理,所述四层结构的每一层均包括卷积层、批标准化层和线性整流函数;
先经过所述卷积层处理经过所述线性整流函数处理过的图像数据,提取图像数据的总体特征,再将经过卷积后的图像数据经过所述批标准化层进行标准化处理,最后经过所述线性整流函数使得处理后的图像数据的数值大于0。
所述图像分类包括:将所述人体图像特征经过全连接层进行维度压缩,再经过归一化指数函数得出分类概率,根据分类概率判断分类结果为有人或者无人。
可选地,所述的智能洗浴控制方法,其中,所述对所述语音数据进行分析处理,根据不同的语音指令输出不同的语音识别结果的步骤,包括:
将所述语音数据输入已训练的所述语音分析模型中,所述语音数据依次经过语音数据编码、语音特征提取和语音数据解码处理后,所述语音分析模型输出语音识别结果;
所述语音数据编码包括:将所输入的语音数据通过编码算法编码为语音数据向量;
所述语音特征提取包括:将所述语音数据向量进行语音特征提取,输出语音数据的特征向量;
所述语音数据解码包括:将所述语音数据通过带有归一化指数函数的全连接神经网络层解码为文字。
可选地,所述的智能洗浴控制方法,其中,所述将所述语音识别结果转化为机器指令的步骤,包括:
将用户语音转换为文字指令,将所述文字指令通过编码器使用循环神经网络进行编码;
在编码完成后,将所述文字指令中每一个词的编码向量依次输入到解码器进行解码,生成机器指令。
可选地,所述的智能洗浴控制方法,其中,所述洗浴场景包括:有用户有语音指令场景、有用户无语音指令场景、无用户有语音指令场景和无用户无语音指令场景。
可选地,所述的智能洗浴控制方法,其中,当所述洗浴场景为有用户有语音指令场景时,根据所述语音数据的分析结果生成机器指令,所述洗浴设备根据所述机器指令切换不同的状态。
可选地,所述的智能洗浴控制方法,其中,当所述洗浴场景为有用户无语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态;
当所述洗浴设备处于开启状态时,激活第一计时器,所述第一计时器内部设置有设备状态开启时长参数,当所述第一计时器超过所述设备状态开启时长参数时,则询问用户是否需要切换当前的洗浴设备状态,根据用户的回答生成相应的洗浴指令,对所述洗浴设备的状态进行切换;
当所述洗浴设备处于关闭状态时,激活第二计时器,所述第二计时器内部设置由用户图像连续存在时长参数,当所述第二计时器超过所述用户图像连续存在时长参数时,则询问用户是否需要开启所述洗浴设备,根据用户的回答生成相应的洗浴指令,对所述洗浴设备的状态进行切换。
可选地,所述的智能洗浴控制方法,其中,当所述洗浴场景为无用户有语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态;
当所述洗浴设备处于开启状态时,根据用户的语音数据生成相应的机器指令,所述洗浴设备切换到相应的状态,激活第三计时器,所述第三计时器内部设置有用户离开时长参数,当所述第三计时器超过所述用户离开时长参数时,则生成关闭洗浴设备指令;
当所述洗浴设备处于关闭状态时,根据用户的语音数据生成相应的机器指令,所述洗浴设备切换到相应的状态,激活所述第一计时器,当所述第一计时器超过所述设备状态开启时长参数时,且仍未检测到用户图像,则生成关闭洗浴设备指令。
可选地,所述的智能洗浴控制方法,其中,当所述洗浴场景为无用户无语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态;
当所述洗浴设备处于开启状态时,激活所述第三计时器,当所述第三计时器超过所述用户离开时长参数时,则生成关闭洗浴设备指令;
当所述洗浴设备处于关闭状态时,根据所述语音数据和所述图像数据的输出结果生成保持洗浴设备状态不变的机器指令。
此外,为实现上述目的,本发明还提供一种智能洗浴控制设备,其中,所述智能洗浴控制设备包括:
数据收集模块,用于接收音频采集器采集的语音数据和红外热成像设备采集的图像数据,并将所述语音数据和所述图像数据分别输入到语音分析模块和图像分析模块;
图像分析模块,用于对所述图像数据进行分析处理,判断洗浴场景是否存在用户,并根据洗浴场景是否存在用户的判断结果进行洗浴场景的分类;
语音分析模块,用于对所述语音数据进行分析处理,根据不同的语音指令输出不同的语音识别结果;
指令生成模块,用于将所述语音识别结果中的文字指令转化为机器指令;
智能控制模块,用于接收所述图像分析模块和所述语音分析模块的分析结果,根据不同的洗浴场景输出不同的设备控制指令;
设备控制模块,用于接收所述智能控制模块输出的所述设备控制指令,控制洗浴设备执行控制操作;
所述智能洗浴控制设备还包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能洗浴控制程序,所述智能洗浴控制程序被所述处理器执行时实现如上所述的智能洗浴控制方法的步骤。
此外,为实现上述目的,本发明还提供一种存储介质,其中,所述存储介质存储有智能洗浴控制程序,所述智能洗浴控制程序被处理器执行时实现如上所述的智能洗浴控制方法的步骤。
本发明通过同时采集用户在洗浴场景下的语音数据以及图像数据,然后对语音数据和图像数据进行分析处理,根据得到机器指令并结合图像数据对应的洗浴场景输出不同的设备控制指令,控制洗浴设备执行对应的操作,实现用户对智能洗浴设备的控制,方便用户在洗浴过程中对洗浴设备的控制。
附图说明
图1是本发明智能洗浴控制方法的较佳实施例的流程图;
图2是本发明智能洗浴控制方法的较佳实施例中步骤S20的流程图;
图3是本发明智能洗浴控制方法的较佳实施例的步骤S20中对图像数据进行分析处理的过程示意图;
图4是本发明智能洗浴控制方法的较佳实施例的步骤S20中对语音数据进行分析处理的过程示意图;
图5是本发明智能洗浴控制方法的较佳实施例的步骤S20中将用户的已转化为文字的指令翻译为机器能够理解的机器指令的原理示意图;
图6是本发明智能洗浴控制方法的较佳实施例的整个执行过程的流程示意图;
图7为本发明智能洗浴控制设备的较佳实施例的结构原理图;
图8为本发明智能洗浴控制设备的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明较佳实施例所述的智能洗浴控制方法,如图1所示,所述智能洗浴控制方法包括以下步骤:
步骤S10、采集洗浴场景内用户的语音数据和图像数据。
本发明中,可以通过音频采集器采集洗浴场景内用户的所述语音数据,并将所述语音数据输入到语音分析模型中进行语音识别;可以通过红外热成像设备采集洗浴场景内的所述图像数据,并将所述图像数据输入到图像分析模型中进行图像分析。
具体地,本发明中,优先通过所述音频采集器采集一定范围内(例如5米)用户的语音数据,当然还可以通过其他语音识别设备来对用户进行语音采集,例如通过麦克风采集用户的语音,在完成语音数据采集之后,将所述语音数据发送到语音分析模型中进行下一步分析处理。
本发明中,优先通过所述红外热成像设备采集洗浴环境的图像数据,当然还可以通过其他图像采集设备来进行浴室场景的图像采集,例如通过摄像头采集浴室范围内的图像,在完成图像数据采集之后,将所述图像数据发送到图像分析模型中进行下一步分析处理。
步骤S20、根据所述语音数据进行语音识别输出机器指令,并根据所述图像数据分析得到洗浴场景的分类结果。
具体的过程请参阅图2,其为本发明提供的智能洗浴控制方法中步骤S20的流程图。
如图2所示,所述步骤S20包括:
S21、将所述语音数据输入到语音分析模型中进行语音识别,所述语音分析模型输出所述语音数据对应的语音识别结果,并将所述语音识别结果转化为机器指令;
S22、将所述图像数据输入到图像分析模型中进行图像分析,获取到所述图像分析模型根据洗浴场景是否存在用户的判断结果输出洗浴场景的分类结果。
其中,所述语音分析模型已基于历史语音信息与机器指令的对应关系进行了训练;所述图像分析模型已基于历史图像信息与历史分类结果的对应关系进行了训练。
具体地,对所述图像数据进行分析处理,对洗浴场景是否存在用户进行分类,分类结果分别是:有人和无人;其中,预设一个已训练的图像分析模型,用来处理所述图像数据。
进一步地,如图3所示,将所述图像数据输入已训练的图像分析模型(所述图像分析模型预先基于大量图像数据和图像处理对应的结果进行训练)中,然后依次经过图像去噪、图像压缩、图像特征提取和图像分类的处理后输出洗浴场景的分类结果的处理。
其中,所述图像去噪包括:经过卷积层、批标准化层和线性整流函数处理,使得处理后的图像数据的数值大于0。
具体地,经过所述卷积层(卷积神经网络中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的,卷积运算的目的是提取输入的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的网路能从低级特征中迭代提取更复杂的特征)对输入的图像数据提取总体特征,经过所述线性整流函数(ReLU,Rectified Linear Unit,线性整流函数又称修正线性单元,是一种人工神经网络中常用的激活函数)使得处理后的图像数据的数值大于0(只需要获取数值大于0的图像数据);再经过四层结构进行处理,所述四层结构的每一层均包括卷积层(此处的卷积层与上述卷积层的结构可以相同)、批标准化层(BN,Batch Normalization,是一种对数值的特殊函数变换方法,对规范化之前的数值进行转换,形成一个规范化后的数值)和线性整流函数(ReLU);先经过所述卷积层处理经过所述线性整流函数处理过的图像数据,提取图像的总体特征,再将经过卷积后的图像数据经过所述批标准化层进行标准化处理,最后经过所述线性整流函数使得处理后的图像数据的数值大于0。
之所以要经过四层结构来处理,是为了提取不同的图像特征,因为每一次经过卷积层(本发明中出现的所有卷积层均可以相同)所提取的都是不同的图像特征。
其中,所述图像压缩包括:通过全连接网络(FCN,Fully Connection Necwo)将高维图像数据压缩为低维图像数据;图像数据维度的大小具体可以表现为图像的大小不同,将图像数据从高维数据压缩为低维数据能够有效减少运算量,提高运算时间。
其中,所述图像特征提取包括:通过卷积层(此处的卷积层与上述卷积层的结构可以相同)提取所述低维图像数据中人体的位置特征和边缘特征,并将所述位置特征和所述边缘特征进行拼接输出总的人体图像特征。
其中,所述图像分类包括:将所述人体图像特征经过全连接层(FCN,FCN即可表示全连接网络,也可表示全连接层,是同一种结构的不同表述方式)进行维度压缩,再经过归一化指数函数(Softmax,实际上是有限项离散概率分布的梯度对数归一化)得出分类概率,根据分类概率判断分类结果为有人或者无人。例如对浴室图像使用该算法计算分类得分P1,当P1>0.5时,分类结果为有人;当P1<0.5时,分类结果为无人。
具体地,对用户的语音进行分析,针对不同的语音指令输出不同的语音识别结果。
进一步地,如图4所示,将所述语音数据输入已训练的语音分析模型中,依次经过语音数据编码、语音特征提取和语音数据解码处理后输出语音识别结果的处理。
在语音分析模型训练阶段,所述语音分析模型的输入为语音数据,输出为文字。对用户的语音进行特征提取以及识别主要采用Deep-FSMN(Deep Forward Skip MemoryNetwork)+ FCNN(Fully Connected Neural Network)深度学习模型结构完成,该模型相较于其他的语音识别模型来说,能够保证网络高层梯度可以很好的传递给低层,从而使得训练很深的网络不会面临梯度消失的问题。
其中,所述语音数据编码包括:将所输入的语音数据通过编码算法编码为语音数据向量,所采用的编码算法是Word2vec算法,用来产生词向量。
其中,所述语音特征提取包括:将所述语音数据向量进行语音特征提取,输出语音数据的特征向量;该部分是一个10层的FSMN(Forward Skip Memory Network,前跳记忆网络)层。FSMN-layer中的结构为由双向GRU(Gated Recurrent Unit,门控循环单元)从编码层数据得到ht 1(表示模型在第1层时刻t时编码层的输出),随后经过单层的全连接得到Pt 1(表示模型在第1层时刻t时全连接层的输出),将Pt 1保存在Memory block中,随后,使用双向GRU从Memory block中的到ht 1+1(表示模型在第1+1层时刻t时GRU的输出)。该部分的输入由已经过word2vec算法编码过的语音数据向量,输出是语音数据的特征向量。
其中,所述语音数据解码包括:将所述语音数据通过带有归一化指数函数的全连接神经网络层解码为文字。该步骤的具体形式是使用一个带有Softmax的激活函数的全连接神经网络层,将已经过前两部处理的语音数据进行解码分类。
进一步地,本发明还使用反向传播算法来更新模型参数。
另外,将用户的已转化为文字的指令翻译为机器能够理解的机器指令具体包括:将用户语音转换为文字指令,将所述文字指令通过编码器使用循环神经网络进行编码;在编码完成后,将所述文字指令中每一个词的编码向量依次输入到解码器进行解码,生成机器指令。
具体地,如图5所示,使用一种序列到序列(seq2seq)的方式来进行翻译,首先对用户的文字指令进行编码,这里的编码器(Encoder)使用循环神经网络完成编码。
将句子中的每个字映射成一个N维的向量,这里的字向量的获取采用Word2vec算法获得,最终得到一个T*N的Embedding矩阵,T为句子的长度。
接下来使用一个单层的LSTM(Long Short-Term Memory,时间循环神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件)结构作为编码器(Encoder),使用128个单元个数作为单层LSTM的单元个数。
Embedding矩阵编码完成后,输出的每一个词的编码向量为128维;将编码向量依次输入到解码器中,这里,解码器(Decoder)使用同编码器同样的模型结构。
在训练的过程中,解码器输出结果与真实机器指令标签进行比较,然后进行矫正,最大化输出正确机器指令的概率。
步骤S30、根据所述机器指令与所述洗浴场景的分类结果,确定设备控制指令。
根据所述机器指令并结合所述图像数据对应的洗浴场景,输出不同洗浴场景的设备控制指令;根据所述设备控制指令执行控制操作。
具体地,本发明主要是结合语音数据和图像数据的结果,再根据不同的洗浴场景输出不同的设备控制指令,完成对洗浴设备的智能控制。其中,所述洗浴场景包括:有用户有语音指令场景、有用户无语音指令场景、无用户有语音指令场景和无用户无语音指令场景。
预先设置三个时长参数,分别是设备状态开启时长参数、用户图像连续存在时长参数和用户离开时长参数。
下面分别介绍四种场景对应的不同的处理方式:
(1)有用户有语音指令场景
当所述洗浴场景为有用户有语音指令场景时,根据所述语音数据的分析结果生成机器指令,所述洗浴设备根据所述机器指令切换不同的状态。
(2)有用户无语音指令场景
当所述洗浴场景为有用户无语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态。
当所述洗浴设备处于开启状态时,激活第一计时器,所述第一计时器内部设置有设备状态开启时长参数,当所述第一计时器超过所述设备状态开启时长参数时,则询问用户是否需要切换当前的洗浴设备状态,根据用户的回答生成相应的洗浴指令,对所述洗浴设备的状态进行切换,若未接收到用户的回答,则继续执行当前的洗浴设备状态。
当所述洗浴设备处于关闭状态时,激活第二计时器,所述第二计时器内部设置由用户图像连续存在时长参数,当所述第二计时器超过所述用户图像连续存在时长参数时,则询问用户是否需要开启所述洗浴设备,根据用户的回答生成相应的洗浴指令,对所述洗浴设备的状态进行切换,若未接收到用户的回答,则继续执行当前的洗浴设备状态。
其中,当所述洗浴设备是关闭状态时,其控制系统仍然是出于开启状态的,也就是说控制系统在启动后一直处于开启状态。
(3)无用户有语音指令场景
当所述洗浴场景为无用户有语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态。
当所述洗浴设备处于开启状态时,根据用户的语音数据生成相应的机器指令,所述洗浴设备切换到相应的状态,激活第三计时器,所述第三计时器内部设置有用户离开时长参数,当所述第三计时器超过所述用户离开时长参数时,则生成关闭洗浴设备指令。
当所述洗浴设备处于关闭状态时,根据用户的语音数据生成相应的机器指令,所述洗浴设备切换到相应的状态,激活所述第一计时器,当所述第一计时器超过所述设备状态开启时长参数时,且仍未检测到用户图像,则生成关闭洗浴设备指令。
(4)无用户无语音指令场景
当所述洗浴场景为无用户无语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态。
当所述洗浴设备处于开启状态时,激活所述第三计时器,当所述第三计时器超过所述用户离开时长参数时,则生成关闭洗浴设备指令。
当所述洗浴设备处于关闭状态时,根据所述语音数据和所述图像数据的输出结果生成保持洗浴设备状态不变的机器指令。
步骤S40、根据所述设备控制指令,控制所述洗浴设备执行控制操作。
本发明中的所述洗浴设备在接收到所述设备控制指令后会自动执行相应的操作,例如用户发出的是“将水温调高3℃”,那么所述洗浴设备就会根据用户的指令控制温度升高3℃,再例如用户洗浴完成后发出的是“关机”,那么所述洗浴设备就会根据用户的指令完成自动关机,完全无需用户进行手动操作,给用户带来了洗浴的方便。
进一步地,如图6所示,通过整个执行过程介绍智能洗浴控制方法的实现过程:
步骤S101、开始;
步骤S102、预先设置三个时长参数,分别是设备状态开启时长参数、用户图像连续存在时长参数和用户离开时长参数,作为后续生成相关指令的判断条件;
步骤S103、采集用户的语音数据,例如通过音频采集器采集,将所述语音数据输入到语音分析模型中;
步骤S104、判断是否采集到语音数据,当是时执行步骤S105,当否时执行步骤S109;
步骤S105、对所述语音数据进行分析处理,根据不同的语音指令输出不同的语音识别结果;
步骤S106、采集洗浴环境的图像数据,例如通过红外热成像设备采集,将所述图像数据输入到图像分析模型中;
步骤S107、对所述图像数据进行分析处理,判断洗浴场景是否存在用户,并根据洗浴场景是否存在用户的判断结果进行洗浴场景的分类;
步骤S108、判断分类得分P1是否大于0.5,即根据分类概率判断分类结果为有人或者无人,例如对浴室图像使用该算法计算分类得分P1,当P1>0.5时,分类结果为有人;当P1<0.5时,分类结果为无人;当P1=0.5时,分类结果为有人;
步骤S109、将用户的已转化为文字的指令翻译为机器能够理解的机器指令(有语音数据的情况),根据所述机器指令并结合所述图像数据对应的洗浴场景,输出不同洗浴场景的设备控制指令;
步骤S110、判断计时器是否超过对应的时长参数;
步骤S111、根据所述设备控制指令执行控制操作;
具体情况如上述介绍的四种情况,此处不再赘述;
步骤S112、结束。
本发明使用音频采集器和红外热成像设备来实现对用户在洗浴场景下的语音数据以及图像数据的收集,根据收集到的语音数据和图像数据在基于深度学习的技术下完成用户在洗浴状态中对智能洗浴设备的控制,本发明针对不同的洗浴场景设计了一套完整的智能控制方法,本发明的方法能够提升用户在洗浴场景下对智能洗浴设备的控制,还可以提升用户的使用体验,并且节能环保。
给用户带了在洗浴上的便利,主要优点如下:
(1)使用语音控制,避免了在洗浴过程中因视线不清找不到触摸板,按错按钮以及因手指或者触摸板湿滑导致按键不灵的情况;
(2)用户使用语音交互可以减少手指触摸的繁杂程序,提升用户洗浴体验;
(3)采用红外热成像设备加以辅助,可以弥补洗浴终端系统在无语音指令的情况下依旧能够被控制。
进一步地,如图7所示,基于上述智能洗浴控制方法,本发明还相应提供了一种智能洗浴控制设备,所述智能洗浴控制设备包括:
数据收集模块100,用于接收音频采集器采集的语音数据和红外热成像设备采集的图像数据,并将所述语音数据和所述图像数据分别输入到语音分析模块300和图像分析模块200;
图像分析模块200,用于对所述图像数据进行分析处理,判断洗浴场景是否存在用户,并根据洗浴场景是否存在用户的判断结果进行洗浴场景的分类;
语音分析模块300,用于对所述语音数据进行分析处理,根据不同的语音指令输出不同的语音识别结果;
指令生成模块400,用于将所述语音识别结果中的文字指令转化为机器指令;
智能控制模块500,用于接收所述图像分析模块200和所述语音分析模块300的分析结果,根据不同的洗浴场景输出不同的设备控制指令;即接收指令生成模块400发送的机器指令并结合所述图像数据对应的洗浴场景输出不同的设备控制指令;
设备控制模块600,用于接收所述智能控制模块500输出的所述设备控制指令,控制洗浴设备执行控制操作。
进一步地,如图8所示,所述智能洗浴控制设备还包括:处理器10、存储器20及显示器30。图8仅示出了设备的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智能洗浴控制设备的内部存储单元,例如智能洗浴控制设备的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能洗浴控制设备的外部存储设备,例如所述智能洗浴控制设备上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器20还可以既包括所述智能洗浴控制设备的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能洗浴控制设备的应用软件及各类数据,例如所述安装设备的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器20上存储有智能洗浴控制程序40,该智能洗浴控制程序40可被处理器10所执行,从而实现本申请中智能洗浴控制方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行所述存储器20中存储的程序代码或处理数据,例如执行所述智能洗浴控制方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。所述显示器30用于显示在所述智能洗浴控制设备的信息以及用于显示可视化的用户界面。所述智能洗浴控制设备的部件10-30通过系统总线相互通信。
在一实施例中,当处理器10执行所述存储器20中智能洗浴控制程序40时实现以下步骤:
采集洗浴场景内用户的语音数据和图像数据;
根据所述语音数据进行语音识别输出机器指令,并根据所述图像数据分析得到洗浴场景的分类结果;
根据所述机器指令与所述洗浴场景的分类结果,确定设备控制指令;
根据所述设备控制指令,控制所述洗浴设备执行控制操作。
所述根据所述语音数据进行语音识别输出机器指令,并根据所述图像数据分析得到洗浴场景的分类结果的步骤,包括:
将所述语音数据输入到语音分析模型中进行语音识别,所述语音分析模型输出所述语音数据对应的语音识别结果,并将所述语音识别结果转化为机器指令;
所述语音分析模型已基于历史语音信息与机器指令的对应关系进行了训练;
将所述图像数据输入到图像分析模型中进行图像分析,获取到所述图像分析模型根据洗浴场景是否存在用户的判断结果输出洗浴场景的分类结果;
所述图像分析模型已基于历史图像信息与历史分类结果的对应关系进行了训练。所述将所述图像数据输入到图像分析模型中进行图像分析,获取到所述图像分析模型根据洗浴场景是否存在用户的判断结果输出洗浴场景的分类结果的步骤包括:
将所述图像数据输入已训练的所述图像分析模型中,所述图像数据依次经过图像去噪、图像压缩、图像特征提取和图像分类的处理后,所述图像分析模型输出洗浴场景的分类结果;
所述图像去噪包括:经过卷积层、批标准化层和线性整流函数处理,使得处理后的图像数据的数值大于0;
所述图像压缩包括:通过全连接网络将高维图像数据压缩为低维图像数据;
所述图像特征提取包括:通过卷积层提取所述低维图像数据中人体的位置特征和边缘特征,并将所述位置特征和所述边缘特征进行拼接输出总的人体图像特征;
所述图像分类包括:将所述人体图像特征经过全连接层进行维度压缩,再经过归一化指数函数得出分类概率,根据分类概率判断分类结果为有人或者无人。
所述经过卷积层、批标准化层和线性整流函数处理,使得处理后的图像数据的数值大于0的步骤,包括:
经过所述卷积层对输入的图像数据提取总体特征,经过所述线性整流函数使得处理后的图像数据的数值大于0;
再经过四层结构进行处理,所述四层结构的每一层均包括卷积层、批标准化层和线性整流函数;
先经过所述卷积层处理经过所述线性整流函数处理过的图像数据,提取图像数据的总体特征,再将经过卷积后的图像数据经过所述批标准化层进行标准化处理,最后经过所述线性整流函数使得处理后的图像数据的数值大于0。
所述对所述语音数据进行分析处理,根据不同的语音指令输出不同的语音识别结果的步骤,包括:
将所述语音数据输入已训练的所述语音分析模型中,所述语音数据依次经过语音数据编码、语音特征提取和语音数据解码处理后,所述语音分析模型输出语音识别结果;
所述语音数据编码包括:将所输入的语音数据通过编码算法编码为语音数据向量;
所述语音特征提取包括:将所述语音数据向量进行语音特征提取,输出语音数据的特征向量;
所述语音数据解码包括:将所述语音数据通过带有归一化指数函数的全连接神经网络层解码为文字。
所述将用户的已转化为文字的指令翻译为机器能够理解的机器指令的步骤,包括:
将用户语音转换为文字指令,将所述文字指令通过编码器使用循环神经网络进行编码;
在编码完成后,将所述文字指令中每一个词的编码向量依次输入到解码器进行解码,生成机器指令。
其中,所述洗浴场景包括:有用户有语音指令场景、有用户无语音指令场景、无用户有语音指令场景和无用户无语音指令场景。
当所述洗浴场景为有用户有语音指令场景时,根据所述语音数据的分析结果生成机器指令,所述洗浴设备根据所述机器指令切换不同的状态。
当所述洗浴场景为有用户无语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态;
当所述洗浴设备处于开启状态时,激活第一计时器,所述第一计时器内部设置有设备状态开启时长参数,当所述第一计时器超过所述设备状态开启时长参数时,则询问用户是否需要切换当前的洗浴设备状态,根据用户的回答生成相应的洗浴指令,对所述洗浴设备的状态进行切换;
当所述洗浴设备处于关闭状态时,激活第二计时器,所述第二计时器内部设置由用户图像连续存在时长参数,当所述第二计时器超过所述用户图像连续存在时长参数时,则询问用户是否需要开启所述洗浴设备,根据用户的回答生成相应的洗浴指令,对所述洗浴设备的状态进行切换。
当所述洗浴场景为无用户有语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态;
当所述洗浴设备处于开启状态时,根据用户的语音数据生成相应的机器指令,所述洗浴设备切换到相应的状态,激活第三计时器,所述第三计时器内部设置有用户离开时长参数,当所述第三计时器超过所述用户离开时长参数时,则生成关闭洗浴设备指令;
当所述洗浴设备处于关闭状态时,根据用户的语音数据生成相应的机器指令,所述洗浴设备切换到相应的状态,激活所述第一计时器,当所述第一计时器超过所述设备状态开启时长参数时,且仍未检测到用户图像,则生成关闭洗浴设备指令。
当所述洗浴场景为无用户无语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态;
当所述洗浴设备处于开启状态时,激活所述第三计时器,当所述第三计时器超过所述用户离开时长参数时,则生成关闭洗浴设备指令;
当所述洗浴设备处于关闭状态时,根据所述语音数据和所述图像数据的输出结果生成保持洗浴设备状态不变的机器指令。
本发明还提供一种存储介质,其中,所述存储介质存储有智能洗浴控制程序,所述智能洗浴控制程序被处理器执行时实现如上所述的智能洗浴控制方法的步骤。
综上所述,本发明提供一种智能洗浴控制方法、设备及存储介质,所述方法包括:采集洗浴场景内用户的语音数据和图像数据;根据所述语音数据进行语音识别输出机器指令,并根据所述图像数据分析得到洗浴场景的分类结果;根据所述机器指令与所述洗浴场景的分类结果,确定设备控制指令;根据所述设备控制指令,控制所述洗浴设备执行控制操作。本发明通过同时采集用户在洗浴场景下的语音数据以及图像数据,然后对语音数据和图像数据进行分析处理,根据得到机器指令并结合图像数据对应的洗浴场景输出不同的设备控制指令,控制洗浴设备执行对应的操作,实现用户对智能洗浴设备的控制,方便用户在洗浴过程中对洗浴设备的控制。
当然,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关硬件(如处理器,控制器等)来完成,所述的程序可存储于一计算机可读取的存储介质中,所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (13)
1.一种智能洗浴控制方法,应用于洗浴设备,其特征在于,所述智能洗浴控制方法包括:
采集洗浴场景内用户的语音数据和图像数据;
根据所述语音数据进行语音识别输出机器指令,并根据所述图像数据分析得到洗浴场景的分类结果;
根据所述机器指令与所述洗浴场景的分类结果,确定设备控制指令;
根据所述设备控制指令,控制所述洗浴设备执行控制操作。
2.根据权利要求1所述的智能洗浴控制方法,其特征在于,所述根据所述语音数据进行语音识别输出机器指令,并根据所述图像数据分析得到洗浴场景的分类结果的步骤,包括:
将所述语音数据输入到语音分析模型中进行语音识别,所述语音分析模型输出所述语音数据对应的语音识别结果,并将所述语音识别结果转化为机器指令;
所述语音分析模型已基于历史语音信息与历史语音识别结果的对应关系进行了训练;
将所述图像数据输入到图像分析模型中进行图像分析,获取到所述图像分析模型根据洗浴场景是否存在用户的判断结果输出洗浴场景的分类结果;
所述图像分析模型已基于历史图像信息与历史分类结果的对应关系进行了训练。
3.根据权利要求2所述的智能洗浴控制方法,其特征在于,所述将所述图像数据输入到图像分析模型中进行图像分析,获取到所述图像分析模型根据洗浴场景是否存在用户的判断结果输出洗浴场景的分类结果的步骤包括:
将所述图像数据输入已训练的所述图像分析模型中,所述图像数据依次经过图像去噪、图像压缩、图像特征提取和图像分类的处理后,所述图像分析模型输出洗浴场景的分类结果;
所述图像去噪包括:经过卷积层、批标准化层和线性整流函数处理,使得处理后的图像数据的数值大于0;
所述图像压缩包括:通过全连接网络将高维图像数据压缩为低维图像数据;
所述图像特征提取包括:通过卷积层提取所述低维图像数据中人体的位置特征和边缘特征,并将所述位置特征和所述边缘特征进行拼接输出总的人体图像特征;
所述图像分类包括:将所述人体图像特征经过全连接层进行维度压缩,再经过归一化指数函数得出分类概率,根据分类概率判断分类结果为有人或者无人。
4.根据权利要求3所述的智能洗浴控制方法,其特征在于,所述经过卷积层、批标准化层和线性整流函数处理,使得处理后的图像数据的数值大于0的步骤,包括:
经过所述卷积层对输入的图像数据提取总体特征,经过所述线性整流函数使得处理后的图像数据的数值大于0;
再经过四层结构进行处理,所述四层结构的每一层均包括卷积层、批标准化层和线性整流函数;
先经过所述卷积层处理经过所述线性整流函数处理过的图像数据,提取图像数据的总体特征,再将经过卷积后的图像数据经过所述批标准化层进行标准化处理,最后经过所述线性整流函数使得处理后的图像数据的数值大于0。
5.根据权利要求2所述的智能洗浴控制方法,其特征在于,所述对所述语音数据进行分析处理,根据不同的语音指令输出不同的语音识别结果的步骤,包括:
将所述语音数据输入已训练的所述语音分析模型中,所述语音数据依次经过语音数据编码、语音特征提取和语音数据解码处理后,所述语音分析模型输出语音识别结果;
所述语音数据编码包括:将所输入的语音数据通过编码算法编码为语音数据向量;
所述语音特征提取包括:将所述语音数据向量进行语音特征提取,输出语音数据的特征向量;
所述语音数据解码包括:将所述语音数据通过带有归一化指数函数的全连接神经网络层解码为文字。
6.根据权利要求5所述的智能洗浴控制方法,其特征在于,所述将所述语音识别结果转化为机器指令的步骤,包括:
将用户语音转换为文字指令,将所述文字指令通过编码器使用循环神经网络进行编码;
在编码完成后,将所述文字指令中每一个词的编码向量依次输入到解码器进行解码,生成机器指令。
7.根据权利要求1或2所述的智能洗浴控制方法,其特征在于,所述洗浴场景包括:有用户有语音指令场景、有用户无语音指令场景、无用户有语音指令场景和无用户无语音指令场景。
8.根据权利要求7所述的智能洗浴控制方法,其特征在于,当所述洗浴场景为有用户有语音指令场景时,根据所述语音数据的分析结果生成机器指令,所述洗浴设备根据所述机器指令切换不同的状态。
9.根据权利要求7所述的智能洗浴控制方法,其特征在于,当所述洗浴场景为有用户无语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态;
当所述洗浴设备处于开启状态时,激活第一计时器,所述第一计时器内部设置有设备状态开启时长参数,当所述第一计时器超过所述设备状态开启时长参数时,则询问用户是否需要切换当前的洗浴设备状态,根据用户的回答生成相应的洗浴指令,对所述洗浴设备的状态进行切换;
当所述洗浴设备处于关闭状态时,激活第二计时器,所述第二计时器内部设置由用户图像连续存在时长参数,当所述第二计时器超过所述用户图像连续存在时长参数时,则询问用户是否需要开启所述洗浴设备,根据用户的回答生成相应的洗浴指令,对所述洗浴设备的状态进行切换。
10.根据权利要求9所述的智能洗浴控制方法,其特征在于,当所述洗浴场景为无用户有语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态;
当所述洗浴设备处于开启状态时,根据用户的语音数据生成相应的机器指令,所述洗浴设备切换到相应的状态,激活第三计时器,所述第三计时器内部设置有用户离开时长参数,当所述第三计时器超过所述用户离开时长参数时,则生成关闭洗浴设备指令;
当所述洗浴设备处于关闭状态时,根据用户的语音数据生成相应的机器指令,所述洗浴设备切换到相应的状态,激活所述第一计时器,当所述第一计时器超过所述设备状态开启时长参数时,且仍未检测到用户图像,则生成关闭洗浴设备指令。
11.根据权利要求10所述的智能洗浴控制方法,其特征在于,当所述洗浴场景为无用户无语音指令场景时,判断所述洗浴设备处于开启状态还是关闭状态;
当所述洗浴设备处于开启状态时,激活所述第三计时器,当所述第三计时器超过所述用户离开时长参数时,则生成关闭洗浴设备指令;
当所述洗浴设备处于关闭状态时,根据所述语音数据和所述图像数据的输出结果生成保持洗浴设备状态不变的机器指令。
12.一种智能洗浴控制设备,其特征在于,所述智能洗浴控制设备包括:
数据收集模块,用于接收音频采集器采集的语音数据和红外热成像设备采集的图像数据,并将所述语音数据和所述图像数据分别输入到语音分析模块和图像分析模块;
图像分析模块,用于对所述图像数据进行分析处理,判断洗浴场景是否存在用户,并根据洗浴场景是否存在用户的判断结果进行洗浴场景的分类;
语音分析模块,用于对所述语音数据进行分析处理,根据不同的语音指令输出不同的语音识别结果;
指令生成模块,用于将所述语音识别结果中的文字指令转化为机器指令;
智能控制模块,用于接收所述图像分析模块和所述语音分析模块的分析结果,根据不同的洗浴场景输出不同的设备控制指令;
设备控制模块,用于接收所述智能控制模块输出的所述设备控制指令,控制洗浴设备执行控制操作;
所述智能洗浴控制设备还包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能洗浴控制程序,所述智能洗浴控制程序被所述处理器执行时实现如权利要求1-11任一项所述的智能洗浴控制方法的步骤。
13.一种存储介质,其特征在于,所述存储介质存储有智能洗浴控制程序,所述智能洗浴控制程序被处理器执行时实现如权利要求1-11任一项所述的智能洗浴控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910649042.0A CN112309377A (zh) | 2019-07-18 | 2019-07-18 | 一种智能洗浴控制方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910649042.0A CN112309377A (zh) | 2019-07-18 | 2019-07-18 | 一种智能洗浴控制方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112309377A true CN112309377A (zh) | 2021-02-02 |
Family
ID=74329216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910649042.0A Pending CN112309377A (zh) | 2019-07-18 | 2019-07-18 | 一种智能洗浴控制方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112309377A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115176722A (zh) * | 2022-07-26 | 2022-10-14 | 河南讯飞人工智能科技有限公司 | 一种洗浴预警方法、装置、存储介质及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103187052A (zh) * | 2011-12-29 | 2013-07-03 | 北京百度网讯科技有限公司 | 一种建立用于语音识别的语言模型的方法及装置 |
CN105100852A (zh) * | 2014-05-20 | 2015-11-25 | 深圳Tcl新技术有限公司 | 终端的语音遥控方法、装置及系统 |
CN106878118A (zh) * | 2017-01-03 | 2017-06-20 | 美的集团股份有限公司 | 一种智能家电语音控制方法及系统 |
CN106934426A (zh) * | 2015-12-29 | 2017-07-07 | 三星电子株式会社 | 基于图像信号处理的神经网络的方法和设备 |
CN107087335A (zh) * | 2017-05-09 | 2017-08-22 | 浙江芯迈电子科技有限公司 | 自动检测环境的智能型触控开关系统及开关控制方法 |
CN108227565A (zh) * | 2017-12-12 | 2018-06-29 | 深圳和而泰数据资源与云技术有限公司 | 一种信息处理方法、终端及计算机可读介质 |
CN109472262A (zh) * | 2018-09-25 | 2019-03-15 | 平安科技(深圳)有限公司 | 车牌识别方法、装置、计算机设备及存储介质 |
CN109801621A (zh) * | 2019-03-15 | 2019-05-24 | 三峡大学 | 一种基于残差门控循环单元的语音识别方法 |
-
2019
- 2019-07-18 CN CN201910649042.0A patent/CN112309377A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103187052A (zh) * | 2011-12-29 | 2013-07-03 | 北京百度网讯科技有限公司 | 一种建立用于语音识别的语言模型的方法及装置 |
CN105100852A (zh) * | 2014-05-20 | 2015-11-25 | 深圳Tcl新技术有限公司 | 终端的语音遥控方法、装置及系统 |
CN106934426A (zh) * | 2015-12-29 | 2017-07-07 | 三星电子株式会社 | 基于图像信号处理的神经网络的方法和设备 |
CN106878118A (zh) * | 2017-01-03 | 2017-06-20 | 美的集团股份有限公司 | 一种智能家电语音控制方法及系统 |
CN107087335A (zh) * | 2017-05-09 | 2017-08-22 | 浙江芯迈电子科技有限公司 | 自动检测环境的智能型触控开关系统及开关控制方法 |
CN108227565A (zh) * | 2017-12-12 | 2018-06-29 | 深圳和而泰数据资源与云技术有限公司 | 一种信息处理方法、终端及计算机可读介质 |
CN109472262A (zh) * | 2018-09-25 | 2019-03-15 | 平安科技(深圳)有限公司 | 车牌识别方法、装置、计算机设备及存储介质 |
CN109801621A (zh) * | 2019-03-15 | 2019-05-24 | 三峡大学 | 一种基于残差门控循环单元的语音识别方法 |
Non-Patent Citations (1)
Title |
---|
郑升等: "Shearlet域深度残差CNN用于沙漠地震信号去噪", 林大学学报(信息科学版), pages 2 - 4 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115176722A (zh) * | 2022-07-26 | 2022-10-14 | 河南讯飞人工智能科技有限公司 | 一种洗浴预警方法、装置、存储介质及设备 |
CN115176722B (zh) * | 2022-07-26 | 2024-04-12 | 河南讯飞人工智能科技有限公司 | 一种洗浴预警方法、装置、存储介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107894833B (zh) | 基于虚拟人的多模态交互处理方法及系统 | |
CN104102181B (zh) | 智能家居控制方法、装置及系统 | |
CN110598576B (zh) | 一种手语交互方法、装置及计算机介质 | |
CN112051743A (zh) | 设备控制方法、冲突处理方法、相应的装置及电子设备 | |
WO2021135685A1 (zh) | 身份认证的方法以及装置 | |
CN109871807B (zh) | 人脸图像处理方法和装置 | |
CN113902964A (zh) | 基于关键词感知的多模态注意力视频问答方法与系统 | |
CN110426962A (zh) | 一种智能家居设备的控制方法及系统 | |
CN111428666A (zh) | 基于快速人脸检测的智能家庭陪伴机器人系统及方法 | |
CN113570689B (zh) | 人像卡通化方法、装置、介质和计算设备 | |
CN112632244A (zh) | 一种人机通话的优化方法、装置、计算机设备及存储介质 | |
CN109584864B (zh) | 图像处理装置和方法 | |
CN111413877A (zh) | 控制家电设备的方法及装置 | |
CN114779922A (zh) | 教学设备的控制方法、控制设备、教学系统和存储介质 | |
CN112115131A (zh) | 数据去噪方法、装置、设备及计算机可读存储介质 | |
CN112286360A (zh) | 用于操作移动设备的方法和装置 | |
CN112309377A (zh) | 一种智能洗浴控制方法、设备及存储介质 | |
CN107452381B (zh) | 一种多媒体语音识别装置及方法 | |
WO2017000785A1 (zh) | 一种对机器人进行训练的系统及方法 | |
CN114038059A (zh) | 一种基于双帧速率分治行为识别网络的动态手势识别方法 | |
CN113887490A (zh) | 一种基于dssd神经网络的智能家居环境控制实时识别系统及其控制方法 | |
CN113094801A (zh) | 装修模拟图像生成方法、装置、设备及介质 | |
CN109785843B (zh) | 图像处理装置和方法 | |
CN111506184A (zh) | 化身呈现方法及电子设备 | |
CN112598840A (zh) | 基于人脸识别和语音交互的通行设备控制方法、装置、机器可读介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |