CN108882454B - 一种基于情绪判断的智能语音识别交互照明方法及系统 - Google Patents
一种基于情绪判断的智能语音识别交互照明方法及系统 Download PDFInfo
- Publication number
- CN108882454B CN108882454B CN201810803475.2A CN201810803475A CN108882454B CN 108882454 B CN108882454 B CN 108882454B CN 201810803475 A CN201810803475 A CN 201810803475A CN 108882454 B CN108882454 B CN 108882454B
- Authority
- CN
- China
- Prior art keywords
- user
- emotion
- voice
- task
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000002452 interceptive effect Effects 0.000 title claims description 15
- 238000005286 illumination Methods 0.000 claims abstract description 100
- 230000003993 interaction Effects 0.000 claims abstract description 23
- 230000001105 regulatory effect Effects 0.000 claims abstract description 5
- 230000008909 emotion recognition Effects 0.000 claims description 22
- 230000006855 networking Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 230000036651 mood Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000036578 sleeping time Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000007958 sleep Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 208000013875 Heart injury Diseases 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 235000011850 desserts Nutrition 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/10—Controlling the intensity of the light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/20—Controlling the colour of the light
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
本发明公开了一种基于情绪判断的智能语音识别交互照明方法及系统，所述的方法通过采集用户的语音数据，如语音数据中包含语音命令则通过该语音命令调节照明模式，否则从语音数据中提取语音特征与预置特征进行模式匹配，通过匹配结果调节照明模式；另外，该方法还通过判断用户是否设置作息时间表，并根据作息时间表中的任务以及用户当前的情绪综合判断以调节照明模式。本发明方法可通过采集到的语音数据获取用户的情绪，结合作息时间表中的任务智能地调节环境光线，从而营造健康的照明环境。
Description
技术领域
本发明涉及一种照明方法及系统，具体涉及一种基于情绪判断的智能语音识别交互照明方法及系统，通过语音命令以及情绪判断的结果去控制灯的色温、亮暗、颜色，实现灯的智能情景照明，以达到健康照明的目的。
背景技术
目前，语音识别智能家居多数基于命令词的语音识别，较少涉及语音的情绪识别。智能家居的一大趋势是智慧家居，然而机器识别人的情绪还有一定的困难。这是因为，人的情绪千差万别，形成情绪的原因多种多样，很难准确提取人的声音中的情绪特征。大多数使用语音控制的产品大部分是简单的进行人机交互，对于使用者当前的情绪状态并不了解，只是遵从设计者的指令去执行对使用者的命令回复，没有和人进行情感交流的过程，缺乏真正的拟人化思维，对于用户的使用体验不好，照顾不到用户的情绪。
当前，LED照明已成为新型主流的照明方式，但是用户并不了解最适宜的照明亮度、色温和颜色。用户选择错误的LED光参数进行照明，长时间会对人们的身体造成一定损害，并且也会造成负面情绪。例如，在光照度高和色温过高的环境下进行工作学习，长时间会对人的眼睛造成疲劳，甚至有可能损坏人的眼睛。而色温在4000K-5000K的环境下可以提高人的紧张度集中注意力,但是一旦色温过高，可能会出现注意力不集中，人的情绪会出现焦躁等。
现有技术中，一部分的语音识别产品是离线识别，这对识别的内容会有很大的限制，并且，识别结果进行语音反馈的时候反馈的内容比较单一，这对于情绪识别的目的对情绪进行调节没有太大作用，并且识别的结果的准确率也会下降，无法将识别结果上传到云端。
现代人们的生活节奏越来越快，许多人的作息会因为不同原因打乱，对人的健康造成不好的影响。人们想要改变自己作息时间，但是仅仅凭自身往往难以实现。研究证明，照明对于人的作息也有一定的作用，在长期倒班工作者中会出现睡眠困难的症状，可以通过光照一定程度上改善人们睡眠的质量。
发明内容
本发明的目的是提供一种基于情绪判断的智能语音识别交互照明方法及系统，根据用户的声音进行不同的情绪分类，利用语音识别技术来识别人的情绪，从而改变灯的亮暗、颜色以及色温，并且将人的作息进行相应的调整。
为了实现上述任务，本发明采用以下技术方案：
一种基于情绪判断的智能语音识别交互照明方法，包括以下步骤：
采集用户的语音数据；
判断所述语音数据中是否包含语音命令，如包含语音命令则根据语音命令调节用户所处环境中的照明模式，否则：
从所述的语音数据中提取语音特征，将所述语音特征与存储在情绪库中的预置特征进行模式匹配，通过匹配结果得到用户当前的情绪，然后将用户所处环境中的照明模式调节至与所述的情绪对应；
判断用户是否设置了作息时间表，如有则在作息时间表中任务到达之前通过语音交互的方式提醒用户并获取用户此刻的情绪，判断此刻的情绪对应的照明模式是否与作息时间表中任务对应的照明模式一致，如不一致，则将照明模式调节至与此刻情绪对应。
进一步地，当处于联网状态下时：
将所述的语音特征与预置特征在进行模式匹配后的结果上传至云端存储，然后将多次相同的匹配结果对应的语音特征求平均值，并利用所述平均值更新所述的预置特征。
进一步地，当处于联网状态下时：
通过匹配结果得到用户当前的情绪之后，通过联网，根据用户当前的情绪调整交互语气并与用户进行交互。
进一步地，在判断此刻的情绪对应的照明模式是否与作息时间表中任务对应的照明模式一致并得到判断结果后，无论判断结果是否一致，当到达所述的任务对应的时间时，均询问用户是否执行作息时间表上的任务；
如果用户回复确认执行作息时间表上的任务，则将照明模式调节至与所述任务对应的照明模式；如果用户回复否定执行作息时间表上的任务，则询问用户原因，并判断用户现在的情绪；若经过判定用户是正面情绪，则提醒用户遵照时间表上的任务；如经判定用户是负面情绪，则通过更改照明模式来缓和用户的负面情绪，同时与用户进行人机会话，会话结束后再次识别用户情绪，如用户情绪仍为负面情绪，则终止当天作息时间表中任务。
进一步地，所述的预置特征是指用户处于不同情绪下分别采集对应的语音数据样本，然后从样本中提取出语音特征，将该语音特征作为预置特征。
进一步地，所述的语音特征包括韵律特征、音质特征、频谱特征、词汇特征以及声纹特征。
进一步地，所述的情绪包括：正常、开心、激动、伤心、失落、孤单、愤怒、恐惧、嘲讽，每一种情绪对应一种照明模式，其中每一种照明模式对应LED灯不同的亮度、色温以及颜色。
进一步地，所述的作息时间表中存储有任务、任务对应的时间以及任务对应的照明模式。
一种基于情绪判断的智能语音识别交互照明系统，包括：
LED驱动控制模块，与LED灯连接，用于改变LED灯的照明模式；
语音采集模块，用于采集用户的语音数据；
语音识别模块，用于判断所述语音数据中是否包含语音命令，如包含语音命令则根据语音命令通过LED驱动控制模块调节用户所处环境中的照明模式；
情绪识别模块，用于从所述的语音数据中提取语音特征，将所述语音特征与存储在情绪库中的预置特征进行模式匹配，通过匹配结果得到用户当前的情绪，然后将用户所处环境中的照明模式通过LED驱动控制模块调节至与所述的情绪对应；
作息时间输入模块，用于判断用户是否设置了作息时间表，如有则在作息时间表中任务到达之前通过语音交互的方式提醒用户并获取用户此刻的情绪，判断此刻的情绪对应的照明模式是否与作息时间表中任务对应的照明模式一致，如不一致，则将照明模式通过LED驱动控制模块调节至与此刻情绪对应；
语音反馈模块，用于和用户实现语音交互；
WiFi无线通信模块，用于使系统和网络互连。
本发明与现有技术相比具有以下技术特点：
1.语音识别和情绪识别相互结合，让智能家居更加智慧
通过采样建立语音库，基于嵌入式离线识别引擎，在离线时，系统将会零流量实时响应，LED驱动控制模块也会相应的做出照明参数的改变，并播放语音反馈。联网时，系统实时响应命令词，实现与用户交互。系统可以在与用户进行交互，对采集到的用户的语音数据并作出相应的情绪识别反应，以此来调节照明环境，让用户享受健康照明。
2.情景照明和作息时间表的紧密联系，共同提供健康照明环境
本发明能将系统的照明环境与用户作息相结合，通过用户设定不同时间段的作息方式，调整用户的生活规律，为用户带来生理和心理上的健康享受。系统具有多种颜色、色温，还具有不同的照明模式，这些都可以通过用户说出命令词来改变系统的照明参数，让用户能自主选择多种多样的照明环境。
3.采用LED作为发光光源，节能舒适
LED照明作为新型发光光源的主流，节省能源，显色效果优良，接近自然光，还原物体的本色，本照明系统利用功率恒流驱动技术，解决由于闪频而印象视力的隐患。
4.提取特征多，系统分析结果准确
系统通过在与用户交互的过程中，提取用户语音数据中的PCM数据，并得出PCM数据中的韵律特征、音质特征、频谱特征、词汇特征、声纹特征，并与系统与对应的预置特征进行匹配，从而判断出用户所处的情绪。
5.情绪识别结果与情景照明、语音联网播报结合，舒缓用户情绪
本发明有多种照明模式的设定，能够为用户带来十分健康的照明环境。系统会在与用户交互的过程中，准确判断用户所处的情绪状态，并在判断的不同的情绪状态下，采用不同的照明参数，营造健康的照明环境。
附图说明
图1为本发明方法的整体流程图；
图2为提取语音特征进行模式匹配的流程示意图；
图3为步骤4的流程示意图；
图4为本发明的一个实施例中，用户在起床时和睡觉中的照明模式转换过程；
图5为本发明的另一个实施例中用户在上班时和下班时的情绪判断和照明模式转换的示意图；
图6为本发明的另一个实施例中用户在就餐时的情绪判断和照明模式转换的示意图；
图7为本发明系统的结构示意图；
图8为语音识别模块和情绪识别模块部分的电路结构原理图；
图9为LED驱动控制模块原理框图。
具体实施方式
本发明公开了一种基于情绪判断的智能语音识别交互照明方法，包括以下步骤：
步骤1，采集用户的语音数据
本方案中所述的语音数据是指通过语音采集模块采集到的用户在说话时的声音信息，语音数据可以保存为wav格式。
步骤2，判断所述语音数据中是否包含语音命令，如包含语音命令则根据语音命令调节用户所处环境中的照明模式。
在语音采集模块获取到用户的语音数据后，在语音识别模块中通过语音识别技术获取用户语音数据中的词汇，然后通过与预置的命令词汇进行对比，来判断所述的语音数据中是否包含语音命令。
例如，语音识别模块中预先存储有：“关灯”、“调亮灯光”、“变换颜色”等语音命令，并且设置了这些语音命令与LED灯之间的调节控制逻辑。如从用户的语音数据中识别出了某个语音命令，则调节当前环境中的照明模式与所述的语音命令相对应。所述的照明模式是指当前环境中LED灯的亮度、色温以及颜色所处的状态，例如当识别出：“关灯”这个语音命令后，则通过LED驱动控制模块关闭LED灯。
上述的灯光调节方法，是本方案中的第一种调节方法，也是一种最基础的功能。一旦识别出用户语音数据中的语音命令，则立刻通过LED驱动模块对应地调节，以使得用户能够随意地调整当前环境的照明模式。
作为上述技术方案的进一步优化：所述的语音识别模块还通过WiFi无线通信模块与网络连接，用于配合语音反馈模块实现与用户的语音交互。
步骤3，当用户的语音数据中不包含语音命令时，则从所述的语音数据中提取语音特征，将所述语音特征与存储在情绪库中的预置特征进行模式匹配，通过匹配结果得到用户当前的情绪，然后将用户所处环境中的照明模式调节至与所述的情绪对应。
所述的语音特征，是指从语音数据中提取出来的韵律特征、音质特征、频谱特征、词汇特征以及声纹特征。其中，韵律特征又称为超音质特征或者超音段特征，它所指的是除了音质特征之外的音高、音长和音强方面的变化。音质特征指的是音频中的共振峰F1-F3、频带能量分布、谐波信噪比和短时能量抖动。频谱特征，又可以称为振动谱特征，它所指的是将复杂振荡分解为不同振幅和不同频率的谐振荡，并且由这些谐振荡的幅值按频率排列所形成的图形。频谱特征与韵律特征和音质特征相融合，以提高特征参数的抗噪声效果。词汇特征指的是系统与用户在交互过程中采集到的语音数据中的用词的词性特征。词性特征与语音数据中的其他语音特征相结合，有利于识别采集到的语音数据对应的用户所处的情绪状态。声纹特征指的是与用户相关的特征，声纹特征与其他语音特征相结合，能够在情绪识别的过程中有效的提高识别的准确率。具体的提取方法是，将保存成wav文件格式的语音数据，通过剔除wav文件的文件头来获取PCM数据，然后再通过LPC(Linear PredictiveCoding)和MFCC(Mel Frequency Cepstral Coefficent)等算法来提取所述的语音特征。
提取到的语音特征与存储在情绪库中的预置特征进行模式匹配。本方案中所示的语音特征提取在情绪识别模块中完成，情绪识别模块中预先设置有情绪库，情绪库中则存储有用户的预置特征。这里的预置特征，是指用户处于不同情绪下分别采集对应的语音数据样本，然后从样本中提取出语音特征，将该语音特征作为预置特征，而本方案中所述的情绪是指正常、开心、激动、伤心、失落、孤单、愤怒、恐惧、嘲讽这九种基本的情绪模型。
例如，用户在开心的情绪下，采集用户的语音数据样本，通过所述的LPC算法、MFCC算法提取所述样本的语音特征(韵律特征、音质特征、频谱特征、词汇特征以及声纹特征)，将该语音特征作为用户在开心情绪下的预置特征；利用同样的方法可以获取用户在其他情绪下对应的预置特征。
所述的每一种情绪对应一种照明模式，其中每一种照明模式对应LED灯不同的亮度、色温以及颜色；例如，在开心的情绪下，对应的照明模式中LED灯的亮度、色温以及颜色的饱和度较高；而在失落、孤单的情绪下，对应的照明模式中的色温就相对较低。本方案中，一种情绪对应一种预先设置好的照明模式，并进行存储。例如正常时对应的照明模式中，亮度、色温以及颜色分别为A1、B1和C1；开心对应的照明模式中，亮度、色温以及颜色分别为A2、B2和C2等；这些对应关系存储于情绪库中。
在本步骤中，提取出的语音特征与情绪库中的预置特征进行模式匹配，匹配度最高的预置特征对应的情绪即判定为用户当前的情绪，然后通过LED驱动控制模块将当前的LED灯调节至所述情绪对应的照明模式。
作为上述技术方案的进一步优化：情绪识别模块将所述的语音特征与预置特征在进行模式匹配后的结果通过WiFi无线通信模块上传至云端存储，然后将多次相同的匹配结果对应的语音特征求平均值，并利用所述平均值更新所述的预置特征。这里的意思是指，当处于联网状态下时，可对所述的情绪库进行更新，以达到更准确的识别结果。具体方法是，每次的识别结果均上传至云端，对于同一种识别结果，例如识别为“开心”的情绪在共出现了N次，则求取这N次开心情绪对应的用户语音特征的平均值作为新的“开心”情绪对应的预置特征，以替换之前的预置特征。通过这种在线更新方法，可使情绪库中的数据更加准确。
上述过程实现了通过判断用户的情绪来进行环境灯光的智能调整，本发明方法中还可以通过制定作息时间表来进行对应的环境灯光的调整以及与用户的语音交互。
步骤4，判断用户是否设置了作息时间表，如有则在作息时间表中任务到达之前通过语音交互的方式获取用户此刻的情绪，判断此刻的情绪对应的照明模式是否与作息时间表中任务对应的照明模式一致，如不一致，则将照明模式调节至与此刻情绪对应。
用户可通过作息时间输入模块来建立作息时间表，作息时间表中的内容包括：任务、该任务对应的时间，以及该任务对应的照明模式。作息时间表中的任务和时间由用户自定义，包括睡觉时间、起床时间、上班时间、下班时间、就餐时间、运动时间等；例如，作息时间表中13点对应的任务为休息，18点对应的任务为进餐；用户在录入任务时，同时可以选择或调整该任务对应的照明模式；为了方便，每一种常见任务中可预先设置好对应的照明模式，如果用户认为不合适，则可以对照明模式中不同的参数(亮度、色温以及颜色)手动调节。
通过作息时间来调节LED灯的照明模式是第三顺序的，第二是判断用户的情绪来改变照明模式，即步骤3，第一是通过语音命令改变照明模式，即步骤2。即当用户的语音数据中包含语音命令时，则优先执行。
在该步骤中，优选地，如判断用户设置了作息时间表，则在作息时间表中最接近当前时间的一个任务到达之前的10-15分钟内，通过语音交互的方式提醒用户并获取用户此刻的情绪。例如，首先通过语音反馈模块播报当前时间，然后询问用户状态，如：“今天心情怎么样”；当用户反馈后，采集用户的语音数据，利用步骤3的方法进行模式匹配以得到用户当前的情绪，从而判断用户当前情绪对应的照明模式是否与接下来到达的任务对应的照明模式一致。判断之后有两种结果：
第一种，如果判断结果是两种照明模式产生矛盾，即不一致，则优先选择识别出的情绪对应的照明模式，将照明模式调节至与此刻的情绪相对应(该情绪对应的照明模式)。
第二种，如果判断结果是两种照明模式没有冲突，即亮度、色温以及颜色均一致，则不进行操作。
无论是第一种还是第二种情况，当到达任务对应的时间时，均询问用户是否执行作息时间表上的任务。
如果用户回复确认执行作息时间表上的任务，则将照明模式调节至与所述任务对应的照明模式。所述的用户回复是指采集到的用户语音数据中包含：“确认”的语音命令。
如果用户回复否定执行作息时间表上的任务，则询问用户原因，并判断用户现在的情绪；即当用户语音回复：“不执行”时，通过语音反馈模块询问用户原因，以判断用户当前的情绪，来进行对情绪的相关调节。若经过判定用户是正面情绪，则对用户进行鼓励，提醒用户遵照时间表上的任务。所述的语音回复语句和鼓励语句等通过语音反馈模块输出的语句均预先存储在，或是语音反馈模块通过WiFi无线通信模块联网获取。
如经判定用户是负面情绪(伤心、失落、孤单、愤怒、恐惧、嘲讽)，则通过更改照明模式(例如将亮度降低，色温变暖)来缓和用户的负面情绪，同时与用户进行人机会话，根据用户当前的情绪调整交互语气并与用户进行交互，从网络上的语音库中或从本例建立的语音库(预先存储有谈话内容)中找出对应的谈话内容与用户进行会话，会话结束后再次识别用户情绪(采用步骤3的中的识别方法)，如用户情绪仍为负面情绪，则终止当天作息时间表中任务，即所有任务均不再提醒用户。
本发明还提供了一种基于情绪判断的智能语音识别交互照明系统，包括：
语音采集模块、语音识别模块、情绪识别模块、作息时间输入模块、语音反馈模块、WiFi无线通信模块、LED驱动控制模块以及LED灯；其中：
所述的语音采集模块、语音识别模块以及情绪识别模块依次连接，语音识别模块、情绪识别模块以及作息时间输入模块共同连接LED驱动控制模块，LED驱动控制模块连接LED灯；所述的语音反馈模块、WiFi无线通信模块相连并共同连接所述的语音识别模块、情绪识别模块以及作息时间输入模块；
其中，所述的LED驱动控制模块，用于改变LED灯的照明模式；
所述的语音采集，模块用于采集用户的语音数据。
所述的语音采集模块，用于采集用户的语音数据；
所述的语音识别模块，用于判断所述语音数据中是否包含语音命令，如包含语音命令则根据语音命令通过LED驱动控制模块调节用户所处环境中的照明模式；
所述的情绪识别模块，用于从所述的语音数据中提取语音特征，将所述语音特征与存储在情绪库中的预置特征进行模式匹配，通过匹配结果得到用户当前的情绪，然后将用户所处环境中的照明模式通过LED驱动控制模块调节至与所述的情绪对应；
所述的作息时间输入模块，用于判断用户是否设置了作息时间表，如有则在作息时间表中任务到达之前通过语音交互的方式提醒用户并获取用户此刻的情绪，判断此刻的情绪对应的照明模式是否与作息时间表中任务对应的照明模式一致，如不一致，则将照明模式通过LED驱动控制模块调节至与此刻情绪对应；
所述的语音反馈模块，用于和用户实现语音交互；
所述的WiFi无线通信模块，用于使系统和网络互连。
所述的电源模块，用于向系统供电；各模块的连接关系如图7所示。
图4为本发明的一个实施例中，用户在起床时和睡觉中的照明模式转换过程：
步骤41，当用户输入作息时间表中的睡眠任务及时间、起床任务时间，系统自动计算用户所需要的睡眠时长。
步骤42，在作息时间表上的睡觉时间前10分钟，系统按照睡眠模式的设定，灯光的亮度开始渐变下降，色温也开始下降，整个光照环境处在暖色温下。
步骤43，当到了作息时间的时候，系统提醒用户，用户说一句命令词表示确定准备睡觉以后，灯光在睡眠时下继续，灯的亮度会继续下降直到为零，整个环境处于黑暗环境。
步骤44，当用户说一句命令词表示否定以后，询问原因后判断用户当时的情绪状态，如果用户的情绪是良好，那么每隔15分钟提醒一次用户的睡眠时间，让用户遵守作息表上的时间。
如果用户情绪较差，那么根据判断出来的用户情绪进行对灯光的照明模式的转换，来调节人的情绪，并且与用户之间产生对话，让用户情绪转好，在一个良好的情绪下进入睡眠状态，每隔30分钟再次询问用户是否要进行入睡。
步骤45，计算用户实际的说出确定睡觉的命令词和起床时间之间的时长。
步骤46，在用户设定作息表起床时间的前15分钟，灯打开，进入起床的照明模式，灯的亮度渐变升高，色温较低，在亮度发生变化的时候，色温一直处于较低的情况。
步骤47，在用户起床时间前5分钟，亮度继续升高不变，色温也升高，但是不超过3500K，与日出时的太阳光相似，对用户进行灯光唤醒。
步骤48，将用户所需要的睡眠时长进行对比和用户实际需要的睡眠时长进行对比，看两者比较出来的结果，如果用户实际的睡眠时间刚好，系统采用正常的音调去唤醒用户；如果用户实际睡眠的时间过长，系统会采用较高的音量和比较活跃的语气来唤醒用户；如果用户实际睡眠时间少于用户所需要的睡眠时间30分钟以上，系统唤醒的语气将采用轻柔的语气进行唤醒。
步骤49，当用户自己说出“已经起床了”这句话以后停止唤醒模式，并且联网对今天的天气、交通、空气等情况做一个介绍给用户听，让用户了解新的一天的情况。
图5是本发明的另一个实施例中用户在上班时和下班时的情绪判断和照明模式转换的示意图。
步骤51，在用户设定的作息表的上班时间的前5分钟，用催促的语气提醒用户时间，让用户尽快上班出门，并且联网实时报告交通情况。
步骤52，系统联网根据当天的天气情况提醒用户是否需要带伞。
步骤53，系统根据下班时间的前15分钟打开灯光，按照疲惫的情绪识别结果调节灯的照明模式。
步骤54，用户到家后用命令词唤醒系统，可以对灯进行照明模式的转换。
步骤55，系统询问用户一天的情况，识别用户的情绪，进行照明模式转换，并且说话让用户情绪处于放松状态。
图6为本发明的另一个实施例中用户在就餐时的情绪判断和照明模式转换的示意图。
步骤61，当到了用户设定作息表上的就餐时间的时候，系统提醒用户按时就餐。当用户答应以后，灯光转换为相应的照明模式。
步骤62，根据当天的天气和当季季节推荐相关食谱给用户，让用户可以选择，并且当用户询问菜谱时，联网进行语音播放，去教用户烹饪。
步骤63，系统询问用户的就餐人数，根据就餐的人数来分为不同的模式，有访客模式、团圆模式和个人模式，在访客模式下，灯光的亮度提高，色温升高为中等的，让访客和用户可以进行更好的对话交流，在访客模式下情绪识别、语音识别的功能暂时关闭，不会因为谈话内容有所涉及而造成错误识别。在团圆模式下灯的色彩会偏向于红色和黄色，灯光烘托出喜庆的氛围来让一家人的团圆气氛更浓烈。
步骤64，当只有用户一个人就餐的时候，系统会根据用户情绪，联网跟用户进行语音交流，并且灯的色温偏低，让用户在自己就餐的时候也可以保持心情愉快。
系统询问用户菜名，包括中菜、西餐、面条、火锅、甜点等，用户可以选择不回答，当用户回答后，系统可以根据不同的菜名转换为不同的照明环境，来烘托出饭桌上的气氛，通过灯光显示出不同的特点，增加用户食欲。
如图8所示，为语音识别模块和情绪识别模块部分的电路结构原理图
如图8所示当用户说出命令词或者回答系统的问话时，用户的声音通过语音采集模块的麦克风阵列进入降噪电路中去除杂音，让识别的结果更加准确。在语音识别模块中进行语音识别，当用户是直接说出命令词，就会根据原先的设定驱动LED灯；用户回答后，情绪识别模块识别用户的情绪，按照不同的情绪会将LED灯调节成不同的照明模式；并且语音反馈模块会进行联网，系统会根据联网内容进行输出，例如聊天的内容、天气、交通等，然后通过解码器进行解码，音频放大电路放大后，在扬声器中进行语音播放。
图9所示为LED驱动控制模块原理框图
如图9所示，LED驱动控制模块中的MCU单片机接收到来自语音识别模块、情绪识别模块以及作息时间输入模块处理的输出结果信号后，经过通信协议处理为单片机可识别的信息，这些信息经过单片机内部处理成为PWM输出控制灯的亮暗、色温和颜色，并且单片机内部设定好关于灯的光参数，最终成为照明模式。
如图9所示的LED驱动电路提供稳定的电压和电流，让LED灯珠照明趋于稳定，因为本发明LED的功能包括亮暗、色温、颜色的渐变，所以需要一个驱动电路保证LED的光参数稳定渐变，在分档调节的时候灯光不会出现一瞬间的炫光。
Claims (8)
1.一种基于情绪判断的智能语音识别交互照明方法，其特征在于，包括以下骤：
采集用户的语音数据；
判断所述语音数据中是否包含语音命令，如包含语音命令则根据语音命令调节用户所处环境中的照明模式，否则：
从所述的语音数据中提取语音特征，将所述语音特征与存储在情绪库中的预置特征进行模式匹配，通过匹配结果得到用户当前的情绪，然后将用户所处环境中的照明模式调节至与所述的情绪对应；
判断用户是否设置了作息时间表，如有则在作息时间表中任务到达之前通过语音交互的方式提醒用户并获取用户此刻的情绪，判断此刻的情绪对应的照明模式是否与作息时间表中任务对应的照明模式一致，如不一致，则将照明模式调节至与此刻情绪对应；
如果判断结果是两种照明模式没有冲突，即亮度、色温以及颜色均一致，则不进行操作；在判断此刻的情绪对应的照明模式是否与作息时间表中任务对应的照明模式一致并得到判断结果后，无论判断结果是否一致，当到达所述的任务对应的时间时，均询问用户是否执行作息时间表上的任务；如果用户回复确认执行作息时间表上的任务，则将照明模式调节至与所述任务对应的照明模式；如果用户回复否定执行作息时间表上的任务，则询问用户原因，并判断用户现在的情绪；若经过判定用户是正面情绪，则提醒用户遵照时间表上的任务；如经判定用户是负面情绪，则通过更改照明模式来缓和用户的负面情绪，同时与用户进行人机会话，会话结束后再次识别用户情绪，如用户情绪仍为负面情绪，则终止当天作息时间表中的任务。
2.如权利要求1所述的基于情绪判断的智能语音识别交互照明方法，其特征在于，当处于联网状态下时：
将所述的语音特征与预置特征在进行模式匹配后的结果上传至云端存储，然后将多次相同的匹配结果对应的语音特征求平均值，并利用所述平均值更新所述的预置特征。
3.如权利要求1所述的基于情绪判断的智能语音识别交互照明方法，其特征在于，当处于联网状态下时：
通过匹配结果得到用户当前的情绪之后，通过联网，根据用户当前的情绪调整交互语气并与用户进行交互。
4.如权利要求1所述的基于情绪判断的智能语音识别交互照明方法，其特征在于，所述的预置特征是指用户处于不同情绪下分别采集对应的语音数据样本，然后从样本中提取出语音特征，将该语音特征作为预置特征。
5.如权利要求1所述的基于情绪判断的智能语音识别交互照明方法，其特征在于，所述的语音特征包括韵律特征、音质特征、频谱特征、词汇特征以及声纹特征。
6.如权利要求1所述的基于情绪判断的智能语音识别交互照明方法，其特征在于，所述的情绪包括：正常、开心、激动、伤心、失落、孤单、愤怒、恐惧、嘲讽，每一种情绪对应一种照明模式，其中每一种照明模式对应LED灯不同的亮度、色温以及颜色。
7.如权利要求1所述的基于情绪判断的智能语音识别交互照明方法，其特征在于，所述的作息时间表中存储有任务、任务对应的时间以及任务对应的照明模式。
8.一种基于情绪判断的智能语音识别交互照明系统，其特征在于，包括：
LED驱动控制模块，与LED灯连接，用于改变LED灯的照明模式；
语音采集模块，用于采集用户的语音数据；
语音识别模块，用于判断所述语音数据中是否包含语音命令，如包含语音命令则根据语音命令通过LED驱动控制模块调节用户所处环境中的照明模式；
情绪识别模块，用于从所述的语音数据中提取语音特征，将所述语音特征与存储在情绪库中的预置特征进行模式匹配，通过匹配结果得到用户当前的情绪，然后将用户所处环境中的照明模式通过LED驱动控制模块调节至与所述的情绪对应；
作息时间输入模块，用于判断用户是否设置了作息时间表，如有则在作息时间表中任务到达之前通过语音交互的方式提醒用户并获取用户此刻的情绪，判断此刻的情绪对应的照明模式是否与作息时间表中任务对应的照明模式一致，如不一致，则将照明模式通过LED驱动控制模块调节至与此刻情绪对应；
语音反馈模块，用于和用户实现语音交互；
WiFi无线通信模块，用于使系统和网络互连；
如果判断结果是两种照明模式产生矛盾，即不一致，则优先选择识别出的情绪对应的照明模式，将照明模式调节至与此刻的情绪相对应；如果判断结果是两种照明模式没有冲突，即亮度、色温以及颜色均一致，则不进行操作；在判断此刻的情绪对应的照明模式是否与作息时间表中任务对应的照明模式一致并得到判断结果后，无论判断结果是否一致，当到达所述的任务对应的时间时，均询问用户是否执行作息时间表上的任务；如果用户回复确认执行作息时间表上的任务，则将照明模式调节至与所述任务对应的照明模式；如果用户回复否定执行作息时间表上的任务，则询问用户原因，并判断用户现在的情绪；若经过判定用户是正面情绪，则提醒用户遵照时间表上的任务；如经判定用户是负面情绪，则通过更改照明模式来缓和用户的负面情绪，同时与用户进行人机会话，会话结束后再次识别用户情绪，如用户情绪仍为负面情绪，则终止当天作息时间表中的任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810803475.2A CN108882454B (zh) | 2018-07-20 | 2018-07-20 | 一种基于情绪判断的智能语音识别交互照明方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810803475.2A CN108882454B (zh) | 2018-07-20 | 2018-07-20 | 一种基于情绪判断的智能语音识别交互照明方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108882454A CN108882454A (zh) | 2018-11-23 |
| CN108882454B true CN108882454B (zh) | 2023-09-22 |
Family
ID=64304021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810803475.2A Active CN108882454B (zh) | 2018-07-20 | 2018-07-20 | 一种基于情绪判断的智能语音识别交互照明方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108882454B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109616109B (zh) * | 2018-12-04 | 2020-05-19 | 北京蓦然认知科技有限公司 | 一种语音唤醒方法、装置及系统 |
| CN109712644A (zh) * | 2018-12-29 | 2019-05-03 | 深圳市慧声信息科技有限公司 | 基于语音识别情绪变化控制led显示效果的方法、用于控制led显示效果的装置及系统 |
| CN110060682B (zh) * | 2019-04-28 | 2021-10-22 | Oppo广东移动通信有限公司 | 音箱控制方法和装置 |
| CN111176440B (zh) * | 2019-11-22 | 2024-03-19 | 广东小天才科技有限公司 | 一种视频通话方法及可穿戴设备 |
| US11276405B2 (en) | 2020-05-21 | 2022-03-15 | International Business Machines Corporation | Inferring sentiment to manage crowded spaces by using unstructured data |
| CN112583673B (zh) * | 2020-12-04 | 2021-10-22 | 珠海格力电器股份有限公司 | 一种唤醒设备的控制方法以及装置 |
| CN112566337A (zh) * | 2020-12-21 | 2021-03-26 | 联仁健康医疗大数据科技股份有限公司 | 照明设备控制方法、装置、电子设备以及存储介质 |
| CN113012717A (zh) * | 2021-02-22 | 2021-06-22 | 上海埃阿智能科技有限公司 | 一种基于语音识别情绪反馈信息推荐系统及方法 |
| CN114141229A (zh) * | 2021-10-20 | 2022-03-04 | 北京觅机科技有限公司 | 伴读台灯的睡眠模式控制方法、伴读台灯、终端以及介质 |
| CN117253479A (zh) * | 2023-09-12 | 2023-12-19 | 东莞市锐森灯饰有限公司 | 一种应用于融蜡香薰灯的语音控制方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR950025431U (ko) * | 1994-02-16 | 1995-09-18 | 삼성전자주식회사 | 시간예약기능을 갖는 조명스탠드 |
| KR20120002781A (ko) * | 2010-07-01 | 2012-01-09 | 주식회사 포스코아이씨티 | 음성 분석을 이용한 감성 조명 시스템 |
| CN102833918A (zh) * | 2012-08-30 | 2012-12-19 | 四川长虹电器股份有限公司 | 基于情绪识别的智能照明交互方法 |
| TWM475650U (en) * | 2013-10-04 | 2014-04-01 | National Taichung Univ Of Science And Technology | Emotion recognition and real-time feedback system |
| CN204681652U (zh) * | 2015-06-24 | 2015-09-30 | 河北工业大学 | 基于表情模型识别的灯光调节装置 |
| KR20160109243A (ko) * | 2015-03-10 | 2016-09-21 | 주식회사 서연전자 | 운전자의 사고를 예방할 수 있는 스마트 감성조명 장치 |
| CN206226779U (zh) * | 2016-10-18 | 2017-06-06 | 佛山科学技术学院 | 一种点光源控制系统 |
| CN106804076A (zh) * | 2017-02-28 | 2017-06-06 | 深圳市喜悦智慧实验室有限公司 | 一种智能家居的照明系统 |
| KR20180028231A (ko) * | 2016-09-08 | 2018-03-16 | 성민 마 | 사물인터넷 기반의 다기능 안전모 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102188090B1 (ko) * | 2013-12-11 | 2020-12-04 | 엘지전자 주식회사 | 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 |
| US9750116B2 (en) * | 2014-07-29 | 2017-08-29 | Lumifi, Inc. | Automated and pre-configured set up of light scenes |
| WO2016123007A1 (en) * | 2015-01-26 | 2016-08-04 | Eventide Inc. | Lighting systems and methods |
| US10719059B2 (en) * | 2016-03-30 | 2020-07-21 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for control of output from light output apparatus |
-
2018
- 2018-07-20 CN CN201810803475.2A patent/CN108882454B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR950025431U (ko) * | 1994-02-16 | 1995-09-18 | 삼성전자주식회사 | 시간예약기능을 갖는 조명스탠드 |
| KR20120002781A (ko) * | 2010-07-01 | 2012-01-09 | 주식회사 포스코아이씨티 | 음성 분석을 이용한 감성 조명 시스템 |
| CN102833918A (zh) * | 2012-08-30 | 2012-12-19 | 四川长虹电器股份有限公司 | 基于情绪识别的智能照明交互方法 |
| TWM475650U (en) * | 2013-10-04 | 2014-04-01 | National Taichung Univ Of Science And Technology | Emotion recognition and real-time feedback system |
| KR20160109243A (ko) * | 2015-03-10 | 2016-09-21 | 주식회사 서연전자 | 운전자의 사고를 예방할 수 있는 스마트 감성조명 장치 |
| CN204681652U (zh) * | 2015-06-24 | 2015-09-30 | 河北工业大学 | 基于表情模型识别的灯光调节装置 |
| KR20180028231A (ko) * | 2016-09-08 | 2018-03-16 | 성민 마 | 사물인터넷 기반의 다기능 안전모 |
| CN206226779U (zh) * | 2016-10-18 | 2017-06-06 | 佛山科学技术学院 | 一种点光源控制系统 |
| CN106804076A (zh) * | 2017-02-28 | 2017-06-06 | 深圳市喜悦智慧实验室有限公司 | 一种智能家居的照明系统 |
Non-Patent Citations (3)
| Title |
|---|
| 宋鹏 ; 赵力 ; 邹采荣 ; .基于韵律变换的情感说话人识别(英文).Journal of Southeast University(English Edition).2011,(第04期),全文. * |
| 张海龙 ; 何小雨 ; 李鹏 ; 周美丽 ; .基于语音信号的情感识别技术研究.延安大学学报(自然科学版).2017,(第01期),全文. * |
| 高峰 ; 郁朝阳 ; .移动智能终端的语音交互设计原则初探.工业设计研究.2016,(第00期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108882454A (zh) | 2018-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108882454B (zh) | 一种基于情绪判断的智能语音识别交互照明方法及系统 | |
| CN109036388A (zh) | 一种基于对话设备的智能语音交互方法 | |
| US10468052B2 (en) | Method and device for providing information | |
| CN109887485A (zh) | 利用言语合成对话语进行响应的技术 | |
| KR102476675B1 (ko) | 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법 및 서버 | |
| CN106228988A (zh) | 一种基于声纹信息的习惯信息匹配方法及装置 | |
| CN108093526A (zh) | Led灯的控制方法、装置和可读存储介质 | |
| CN109036395A (zh) | 个性化的音箱控制方法、系统、智能音箱及存储介质 | |
| CN107886953A (zh) | 一种基于表情和语音识别的婴儿哭声翻译系统 | |
| CN109429416A (zh) | 用于多用户场景的照明控制方法、装置及系统 | |
| CN112113317B (zh) | 一种室内热环境控制系统及方法 | |
| CN111048085A (zh) | 基于zigbee无线技术的离线式语音控制方法、系统及存储介质 | |
| CN205657893U (zh) | 一种智能助眠氛围系统 | |
| CN109429415A (zh) | 照明控制方法、装置及系统 | |
| CN110958750B (zh) | 照明设备控制方法及装置 | |
| CN112717253A (zh) | 基于脑电波监测的声光结合唤醒装置 | |
| Wermke et al. | Melody as a primordial legacy from early roots of language | |
| Nencheva et al. | Understanding why infant-directed speech supports learning: A dynamic attention perspective | |
| CN108156727A (zh) | 一种红外热释电触发多级多词语音唤醒控制灯具的方法 | |
| Silva et al. | Papous: The virtual storyteller | |
| CN114999472A (zh) | 一种空调控制方法、装置及一种空调 | |
| CN201741384U (zh) | 一种可将汉语语音转换成口型图像的口吃矫正装置 | |
| CN111191585A (zh) | 一种基于表情控制情感灯的方法及其系统 | |
| CN115779227A (zh) | 一种闭环式提高深睡眠质量与愉悦感的方法和系统 | |
| CN112463108B (zh) | 语音交互处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |