CN115240679A - 基于物联网控制香薰机的智能语音控制方法及其系统 - Google Patents

基于物联网控制香薰机的智能语音控制方法及其系统 Download PDF

Info

Publication number
CN115240679A
CN115240679A CN202211155367.1A CN202211155367A CN115240679A CN 115240679 A CN115240679 A CN 115240679A CN 202211155367 A CN202211155367 A CN 202211155367A CN 115240679 A CN115240679 A CN 115240679A
Authority
CN
China
Prior art keywords
voice
control
power
user
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211155367.1A
Other languages
English (en)
Other versions
CN115240679B (zh
Inventor
李建惠
李建国
陈浪铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinfeng Xiangzhiyun Handicraft Co ltd
Original Assignee
Xinfeng Xiangzhiyun Handicraft Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinfeng Xiangzhiyun Handicraft Co ltd filed Critical Xinfeng Xiangzhiyun Handicraft Co ltd
Priority to CN202211155367.1A priority Critical patent/CN115240679B/zh
Publication of CN115240679A publication Critical patent/CN115240679A/zh
Application granted granted Critical
Publication of CN115240679B publication Critical patent/CN115240679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00—Disinfection, sterilisation or deodorisation of air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/34—Adaptation of a single recogniser for parallel processing, e.g. by use of multiple processors or cloud computing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2209/00—Aspects relating to disinfection, sterilisation or deodorisation of air
    • A61L2209/10—Apparatus features
    • A61L2209/11—Apparatus for controlling air treatment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本发明涉及智能语音识别技术领域，具体涉及一种基于物联网控制香薰机的智能语音控制方法及其系统，该方法在本地采集用户每次语音控制香薰机的控制语音，获取控制语音的语音向量，以及每个语音向量对应控制周期的语音描述子；将语音向量和对应的平均功率、每个控制周期的周期特征上传云端；令云端对所有周期特征进行分类，获取每个用户在每个控制周期的参考功率，然后训练全卷积网络；将训练完成的全卷积网络作为功率建议网络部署至本地；将语音向量输入功率建议网络输出建议功率，进而获取最佳功率，使香薰机以最佳功率工作。本发明能够在保证用户语音隐私性的前提下，平衡香薰机性能和水消耗速度，提高用户的使用体验。

Description

基于物联网控制香薰机的智能语音控制方法及其系统
技术领域
本发明涉及智能语音识别技术领域，具体涉及一种基于物联网控制香薰机的智能语音控制方法及其系统。
背景技术
在香薰机的智能化浪潮中，各个厂家通过在香薰机中加入灯效、香料、语音识别、联网控制等方式提高用户体验，其中通过语音识别控制香薰机的开关使用户在使用香薰机时更加方便，但是只使用额定功率进行工作的香薰机可能会使水量消耗很快，频繁加水会降低用户的使用体验。如果香薰机一直按照省水模式工作，可能达不到工作效果，同样会影响用户的使用体验。
目前，情感计算可以分析用户语音控制时的语音情绪，利用用户的语音情绪对于平衡香薰机性能和水量消耗方面有较大可能，但上述计算量较大，对于香薰机而言，集成计算能力较高的芯片是不现实的，因此只能通过云端服务，目前用户的隐私意识较强，对直接上传麦克风收音的信息的行为接受意愿会很低。如何通过本地的用户语音进行香薰机的智能控制来平衡香薰机性能和水量消耗已成为一个技术难题。
发明内容
为了解决上述技术问题，本发明提供一种基于物联网控制香薰机的智能语音控制方法及其系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于物联网控制香薰机的智能语音控制方法，该方法包括以下步骤：
以每次香薰机从开始工作到结束工作作为一个工作过程，在本地采集用户每次语音控制香薰机的控制语音，获取所述控制语音的语音向量，由每个语音向量作为目标向量，与该目标向量之前N个语音向量组成一个控制周期，获取每个控制周期的语音描述子；N为正整数；
在每个控制周期内，根据每个工作过程的初始功率和平均功率获取香薰机的工作一致性，基于每个工作过程中环境的初始湿度和最大湿度获取湿度差异性，将每个控制周期的所述工作一致性、所述湿度差异性以及语音描述子作为周期特征上传云端；将语音向量和对应的平均功率上传云端；
令云端对所有周期特征中的每两个周期特征进行差异距离的计算，依据差异距离对所有周期特征进行分类，获取每个用户在每个类别的近邻范围以及每个周期特征的离群因子，基于周期特征所在类别的近邻范围内包含的平均功率和所述离群因子获取该用户在每个控制周期的参考功率；基于每个用户的目标向量以及对应的参考功率训练全卷积网络；将训练完成的全卷积网络作为功率建议网络部署至本地；
将语音向量输入所述功率建议网络，输出建议功率，根据语音描述子、建议功率和初始功率获取最佳功率，使香薰机以所述最佳功率工作。
优选的，所述语音向量的获取方法为：
对所述控制语音进行傅里叶变换并构建梅尔倒谱得到MFCC的向量作为所述语音向量。
优选的，所述语音描述子的获取方法为：
在每个目标向量对应的控制周期里，计算每个语音向量与所述目标向量之间的余弦相似度，由预设值减去余弦相似度得到差异程度，所有差异程度组成所述语音描述子。
优选的，所述工作一致性的获取方法为：
在每个控制周期内，由目标向量对应的初始功率和平均功率组成目标二元组，由语音向量对应的初始功率和平均功率组成其他二元组，计算目标二元组与每个其他二元组的余弦相似度，所有余弦相似度的平均值作为所述工作一致性。
优选的，所述湿度差异性的获取方法为：
在每个控制周期内，计算每个工作过程中的初始湿度和最大湿度的湿度差异，所有湿度差异的总和与典型最大湿度的比值作为所述湿度差异性；所述典型最大湿度为控制周期内所有最大湿度的中值。
优选的，所述差异距离的获取方法为：
对于每个周期特征，由所述工作一致性和所述湿度差异性组成使用习惯向量，计算每两个周期特征对应的使用习惯向量的余弦相似度作为第一相似性，计算每两个周期特征中的语音描述子的余弦相似度作为第二相似性，计算第一相似性与第二相似性的乘积，进而得到所述差异距离；所述差异距离与所述乘积的和为1。
优选的，所述离群因子的获取方法为：
获取每个用户所有控制周期的所属类别并统计每个类别的占比，依据所述占比和预设的邻近值获取对应用户在每个所属类别的近邻范围，同一所属类别的所有控制周期的近邻范围相同；在所述近邻范围内计算该用户对应的控制周期的目标向量与近邻范围内所有其他语音向量的近邻距离，根据所述近邻距离利用局部离群因子算法计算所述离群因子。
优选的，所述参考功率的获取方法为：
对于每个控制周期，获取对应周期特征所在类别的近邻范围内每个工作过程的平均功率，基于每个工作过程对应的目标向量的所述离群因子获取相对权重，以所述相对权重作为对应的平均功率的系数，进行加权平均，得到所述参考功率。
优选的，所述基于每个用户的目标向量以及对应的参考功率训练全卷积网络，包括：
对每个用户的语音向量进行聚类得到多个语音模式，计算每个语音模式中所有语音向量的参考功率的平均值作为该语音模式的平均参考功率，基于所述语音向量和所述平均参考功率训练全卷积网络。
第二方面，本发明另一个实施例提供了一种基于物联网控制香薰机的智能语音控制系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于物联网控制香薰机的智能语音控制方法的步骤。
本发明实施例至少具有如下有益效果：
在本地获取用户在每个控制周期中的语音描述子、工作一致性和湿度差异性作为周期特征上传云端，将用户的语音信息转换为体现语音向量相似度的语音描述子，避免泄露用户隐私，获取工作一致性来反映用户的使用习惯，获取湿度差异性来反映用户环境的适宜程度；在云端通过对所有周期特征处理获取相应的参考功率，不区分用户无差别处理所有周期特征，以大量数据作为参考得到相似的周期特征对应的参考功率；然后基于各个用户的语音向量训练全卷积网络并部署至各个用户的本地，基于用户的自身数据自适应获取每个用户的功率建议网络，输出对应的建议功率，进而获取最佳功率，使香薰机以最佳功率工作，控制水的消耗量，按需调控香薰机的耗水量，进而平衡香薰机性能和水消耗速度，在保证用户语音隐私性的前提下，提高用户对香薰机的使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于物联网控制香薰机的智能语音控制方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于物联网控制香薰机的智能语音控制方法及其系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于物联网控制香薰机的智能语音控制方法及其系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于物联网控制香薰机的智能语音控制方法的步骤流程图，该方法包括以下步骤：
步骤S001，以每次香薰机从开始工作到结束工作作为一个工作过程，在本地采集用户每次语音控制香薰机的控制语音，获取控制语音的语音向量，由每个语音向量作为目标向量，与该目标向量之前N个语音向量组成一个控制周期，获取每个控制周期的语音描述子；N为正整数。
具体的步骤包括：
1、采集控制语音，获取控制语音的语音向量。
用户发出语音指令唤醒香薰机，唤醒香薰机的语音指令即为控制语音，从用户唤醒香薰机至香薰机停止工作为止，为香薰机的一次工作过程。由于唤醒语句较短，因此使用不分窗，直接对控制语音进行傅里叶变换并构建梅尔倒谱得到MFCC的向量作为语音向量，记为m。其中梅尔倒谱的非线性梅尔刻度为公知参数，不再赘述。
2、获取每个语音向量的控制周期，并获取每个控制周期的语音描述子。
由每个语音向量作为目标向量，与该目标向量之前N个语音向量组成一个控制周期，在本发明实施例中N为4，即每个语音向量作为目标向量时，与之前4次工作过程的语音向量组成目标向量的控制周期。
在每个目标向量对应的控制周期里，计算每个语音向量与目标向量之间的余弦相似度，由预设值减去余弦相似度得到差异程度，所有差异程度组成语音描述子。
在本发明实施例中预设值为1，计算目标向量与前一次工作过程的语音向量之间的差异程度记为
Figure DEST_PATH_IMAGE001
，目标向量与之前第二次工作过程的语音向量之间的差异程度记为
Figure 585062DEST_PATH_IMAGE002
，目标向量与之前第三次工作过程的语音向量之间的差异程度记为
Figure DEST_PATH_IMAGE003
，目标向量与之前第四次工作过程的语音向量之间的差异程度记为
Figure 952589DEST_PATH_IMAGE004
，然后构成语音描述子
Figure DEST_PATH_IMAGE005
。
语音描述子M可以表示用户最近唤醒时的语音说话方式所代表的语调信息，一般情况下情绪是统一的，若不统一，则认为用户在于其中可能有显著的不同，作为情感变化的表征。
步骤S002，在每个控制周期内，根据每个工作过程的初始功率和平均功率获取香薰机的工作一致性，基于每个工作过程中环境的初始湿度和最大湿度获取湿度差异性，将每个控制周期的工作一致性、湿度差异性以及语音描述子作为周期特征上传云端；将语音向量和对应的平均功率上传云端。
具体的步骤包括：
1、计算每个控制周期内香薰机的工作一致性。
在每个控制周期内，由目标向量对应的初始功率和平均功率组成目标二元组，由语音向量对应的初始功率和平均功率组成其他二元组，计算目标二元组与每个其他二元组的余弦相似度，所有余弦相似度的平均值作为工作一致性。
统计工作功率的大小，用于统计每个工作过程的水量消耗习惯。香薰机的初始功率直接代表用户对香薰机的初步需求，功率是香薰机按App控制的不同挡位来实现调整的，因此，用户近期记录中使用时的功率代表了用户的需求程度。初始功率
Figure 194215DEST_PATH_IMAGE006
为开机后10分钟内的功率平均值。相应的，计算整个工作过程中的功率平均值作为平均功率
Figure DEST_PATH_IMAGE007
。
需要说明的是，由于人的行为、情绪、生活事件等因素，用户需求会有一定差异，因此，只观测实际工作的功率大小。
初始功率和平均功率表征了用户每个使用过程中的功率情况，构成二元组之后，计算目标二元组与每个其他二元组的余弦相似度来表示控制周期内不同工作过程的同步情况，因此用来计算工作一致性：
Figure DEST_PATH_IMAGE009
其中，H表示工作一致性，
Figure 407022DEST_PATH_IMAGE010
表示目标二元组，
Figure DEST_PATH_IMAGE011
表示第i个其他二元组，
Figure 486711DEST_PATH_IMAGE012
表示目标二元组和第i个其他二元组之间的余弦相似度，
Figure DEST_PATH_IMAGE013
表示i属于控制周期，N表示控制周期内的向量数量，在本发明实施例中N=5。
工作一致性H越大，说明目标二元组与其他二元组之间的余弦相似度越大，控制周期内的语音向量越相似，统一性越强，说明用户使用香薰的习惯越一致。
2、计算每个控制周期内环境的湿度差异性。
在每个控制周期内，计算每个工作过程中的初始湿度和最大湿度的湿度差异，所有湿度差异的总和与典型最大湿度的比值作为湿度差异性；典型最大湿度为控制周期内所有最大湿度的中值。
检测香薰机每次开机时室内的湿度大小
Figure 759560DEST_PATH_IMAGE014
，在整个工作过程中确定室内环境湿度的最大值
Figure DEST_PATH_IMAGE015
。通过湿度的变化来评估环境的差异情况：
Figure DEST_PATH_IMAGE017
其中，TH表示湿度差异度，
Figure 426165DEST_PATH_IMAGE018
表示第i个工作过程中的初始湿度，
Figure DEST_PATH_IMAGE019
表示第i个工作过程中的最大湿度，
Figure 504979DEST_PATH_IMAGE020
表示
Figure 940640DEST_PATH_IMAGE018
和
Figure 712287DEST_PATH_IMAGE019
之间的L1距离，
Figure DEST_PATH_IMAGE021
表示属于控制周期内的所有最大湿度中的中值。
属于控制周期内的所有最大湿度中的中值
Figure 99144DEST_PATH_IMAGE021
为归一化基数，用于归一化近期湿度对人体的影响，湿度越大越可以忽略差异的变化。通过环境湿度差异性的计算来表征用户使用习惯下的湿度变化趋势。
3、将每个控制周期的工作一致性、湿度差异性以及语音描述子作为周期特征上传云端；将语音向量和对应的平均功率上传云端。
香薰机的本地处理端不会是计算能级较高的集成设备，因此计算能力很差，无法完成大量计算，因此将采集的各种数据上传至云端进行计算，其中语音描述子和语音向量已经对用户语音进行了处理，复原难度较大，隐私性较强。
步骤S003，令云端对所有周期特征中的每两个周期特征进行差异距离的计算，依据差异距离对所有周期特征进行分类，获取每个用户在每个类别的近邻范围以及每个周期特征的离群因子，基于周期特征所在类别的近邻范围内包含的平均功率和离群因子获取该用户在每个控制周期的参考功率；基于每个用户的目标向量以及对应的参考功率训练全卷积网络；将训练完成的全卷积网络作为功率建议网络部署至本地。
步骤S003中的所有内容均在云端进行计算，具体的步骤包括：
1、计算每两个周期特征的差异距离。
对于每个周期特征，由工作一致性和湿度差异性组成使用习惯向量，计算每两个周期特征对应的使用习惯向量的余弦相似度作为第一相似性，计算每两个周期特征中的语音描述子的余弦相似度作为第二相似性，计算第一相似性与第二相似性的乘积，进而得到差异距离；差异距离与乘积的和为1。
以第u个周期特征和第v个周期特征为例，计算差异距离
Figure 981649DEST_PATH_IMAGE022
：
Figure 334133DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE025
表示第u个周期特征的工作一致性和湿度差异性组成的使用习惯向量，
Figure 214364DEST_PATH_IMAGE026
表示第v个周期特征的使用习惯向量，
Figure DEST_PATH_IMAGE027
表示第一相似性，
Figure 589982DEST_PATH_IMAGE028
表示第u个周期特征中的语音描述子，
Figure DEST_PATH_IMAGE029
表示第v个周期特征中的语音描述子，
Figure 10599DEST_PATH_IMAGE030
表示第二相似性。
差异距离越小，两个周期特征越相似，即对应的两个控制周期的使用习惯越相似。
2、依据差异距离对所有周期特征进行分类，获取每个用户在每个类别的近邻范围以及每个周期特征的离群因子，基于周期特征所在类别的近邻范围内包含的平均功率和离群因子获取该用户在每个控制周期的参考功率。
获取每个用户所有控制周期的所属类别并统计每个类别的占比，依据占比和预设的邻近值获取对应用户在每个所属类别的近邻范围，同一所属类别的所有控制周期的近邻范围相同；在近邻范围内计算该用户对应的控制周期的目标向量与近邻范围内所有其他语音向量的近邻距离，根据近邻距离利用局部离群因子算法计算离群因子。
基于MDCA密度最大值聚类算法对差异距离进行用户差异的自动聚类，其中MDCA最小阈值密度为1.1，MDCA最小阈值距离为0.05。MDCA密度最大值聚类算法为现有技术，只需确定最小密度阈值和最小阈值距离即可自动聚类。得到多个类别，每个类别内的周期特征相似，即香薰机的使用场景和使用习惯比较相似。
对于任何一个用户，都可以得知用户中所有周期特征属于不同的类别的周期特征的数量，以此类推，可以得到用户记录属于各类别的统计直方图，假设共分为n个类别，则统计直方图有n个bin，每个bin对应的数值为该类别中周期特征的数量，每个用户得到一个统计直方图。对每个统计直方图进行极差标准化，得到每个类别在该用户的所有周期特征中所占的比例，值域为[0,1]，代表了用户使用香薰机的功率强度、环境模式和语音唤醒的常见程度。
不同类别中的周期特征的数量比例不同，代表了对应类别出现的频率不同，用户常见的语音能够代表正常情感的假设，比例较低的周期特征代表了不常见的情况。通过K近邻算法能够获取与每个类别最近的K个周期特征作为近邻数据，如果利用K近邻算法令每个类别都获取K个近邻数据，会导致不常见的情况被考虑过多，因此基于每个类别的周期特征的数量的比例和预设的近邻值获取对应的近邻范围：首先设定K近邻算法的近邻值K，本实施例中假设用户云端数据较多，预设的近邻值K为300，基于每个用户不同类别的周期特征的数量在该用户的所有周期特征中所占的比例，获取相应的近邻范围，对于第j个类别，近邻范围为
Figure DEST_PATH_IMAGE031
，其中
Figure 420852DEST_PATH_IMAGE032
表示第j个类别的周期特征的数量在该用户的所有周期特征中所占的比例。由于不常见的情况对应的近邻数据的参考性更低，通过该公式使不常见的情况获取更小的近邻范围，即选取更少的近邻数据，提高估算的准确程度。同一所属类别的所有控制周期的近邻范围相同。其中K近邻算法为现有技术，在本发明实施例中不再描述具体过程。
在近邻范围内计算该用户对应的控制周期的目标向量与近邻范围内所有其他语音向量的近邻距离，以第p个控制周期为例，计算第p个控制周期的目标向量
Figure DEST_PATH_IMAGE033
与近邻范围内每个其他语音向量
Figure 970519DEST_PATH_IMAGE034
之间的近邻距离
Figure DEST_PATH_IMAGE035
：
Figure DEST_PATH_IMAGE037
其中，
Figure 833433DEST_PATH_IMAGE038
表示目标向量
Figure 57741DEST_PATH_IMAGE033
与近邻范围内每个其他语音向量
Figure 119238DEST_PATH_IMAGE034
之间的余弦相似度；
Figure DEST_PATH_IMAGE039
表示负值处理为无穷大的距离函数，即当
Figure 341272DEST_PATH_IMAGE040
大于等于
Figure DEST_PATH_IMAGE041
时，
Figure 691482DEST_PATH_IMAGE039
取值为
Figure 719481DEST_PATH_IMAGE042
，当
Figure 901063DEST_PATH_IMAGE040
小于
Figure 526955DEST_PATH_IMAGE041
时，
Figure 426777DEST_PATH_IMAGE039
取值为无穷大；
Figure 992888DEST_PATH_IMAGE040
表示第p个控制周期的目标向量对应的工作过程的平均功率；
Figure 232239DEST_PATH_IMAGE041
表示其他语音向量
Figure 592814DEST_PATH_IMAGE034
对应的工作过程的平均功率。
当相似用户使用过程中为更大功率时，对目标向量来说无节水参考价值，因此近邻距离为无穷大。
利用局部离群因子算法根据近邻距离计算可达密度进而计算局部离群因子作为离群因子。局部离群因子算法为现有技术，具体计算过程不再赘述。离群因子越大，对应的目标向量越处于离散区域，不聚集。
对于每个控制周期，获取对应周期特征所在类别的近邻范围内每个工作过程的平均功率，基于每个工作过程对应的目标向量的离群因子获取相对权重，以相对权重作为对应的平均功率的系数，进行加权平均，得到参考功率。
基于每个工作过程对应的目标向量的离群因子获取相对权重：以第p个控制周期的目标向量对应的工作过程为例，相对权重为：
Figure DEST_PATH_IMAGE043
，
Figure 979933DEST_PATH_IMAGE044
表示第p个控制周期的目标向量对应的离群因子。使用加权平均算法计算所有工作过程的平均功率的加权平均值作为参考功率。参考离群因子小的平均功率更多，离群因子大的平均功率更少，得到的参考功率更加准确。
3、基于每个用户的目标向量以及对应的参考功率训练全卷积网络；将训练完成的全卷积网络作为功率建议网络部署至本地。
对每个用户的语音向量进行聚类得到多个语音模式，计算每个语音模式中所有语音向量的参考功率的平均值作为该语音模式的平均参考功率，基于语音向量和平均参考功率训练全卷积网络。
对每个用户的所有语音向量使用DBSCAN聚类算法，基于余弦距离生成多个类别，每个类别代表一种语音模式。对每个语音模式中的所有语音向量的参考功率求平均值作为平均参考功率，得到用户不同语音模式下，香薰机工作时目标的平均最小功率。基于语音向量和平均参考功率训练全卷积网络（FCN），输入为语音向量，输出为平均参考功率，损失函数为MSE。将训练完成的全卷积网络作为功率建议网络部署至本地，训练完成的FCN的计算量很小，常见的MCU都可以存储和推理。本地的计算能力较差，因此通过云端训练FCN网络，再储存至本地进行计算。
步骤S004，将语音向量输入功率建议网络，输出建议功率，根据语音描述子、建议功率和初始功率获取最佳功率，使香薰机以最佳功率工作。
具体的步骤包括：
将语音向量输入功率建议网络，输出建议功率
Figure DEST_PATH_IMAGE045
，根据语音描述子来进行香薰机的功率调整。建议功率为相似场景和使用习惯下较为节水的功率。
对于最新输入的语音向量，获取对应的语音描述子，计算语音描述子中四个元素的平均值作为差异系数
Figure 287417DEST_PATH_IMAGE046
，由于语音描述子代表了相邻两次工作过程的差异程度，因此差异系数较大时，说明用户的语音模式与平时不同，此时为了保证用户使用香薰机时的效果与预期相符，调整幅度减小，不再尽力要求节水，首先满足用户的使用效果。因此最佳功率为：
Figure DEST_PATH_IMAGE047
，
Figure 115696DEST_PATH_IMAGE048
表示启动香薰机的预设初始功率，在十分钟后降低为最佳功率
Figure DEST_PATH_IMAGE049
。
本发明在不访问用户隐私的情况下，根据各类用户使用的情况和用户的唤醒模式分配各类型所匹配的最小功率，再为用户自身唤醒模式进行自动分类，根据机器学习预测的功率以及用户近期使用香薰机的差异系数，自动调整后期使用的功率，从而避免浪费水的情况，不断优化使用体验。
综上所述，本发明实施例以每次香薰机从开始工作到结束工作作为一个工作过程，在本地采集用户每次语音控制香薰机的控制语音，获取控制语音的语音向量，由每个语音向量作为目标向量，与该目标向量之前N个语音向量组成一个控制周期，获取每个控制周期的语音描述子；N为正整数；在每个控制周期内，根据每个工作过程的初始功率和平均功率获取香薰机的工作一致性，基于每个工作过程中环境的初始湿度和最大湿度获取湿度差异性，将每个控制周期的工作一致性、湿度差异性以及语音描述子作为周期特征上传云端；将语音向量和对应的平均功率上传云端；令云端对所有周期特征中的每两个周期特征进行差异距离的计算，依据差异距离对所有周期特征进行分类，获取每个用户在每个类别的近邻范围以及每个周期特征的离群因子，基于周期特征所在类别的近邻范围内包含的平均功率和离群因子获取该用户在每个控制周期的参考功率；基于每个用户的目标向量以及对应的参考功率训练全卷积网络；将训练完成的全卷积网络作为功率建议网络部署至本地；将语音向量输入功率建议网络，输出建议功率，根据语音描述子、建议功率和初始功率获取最佳功率，使香薰机以最佳功率工作。本发明实施例能够在保证用户语音隐私性的前提下，平衡香薰机性能和水消耗速度，提高用户对香薰机的使用体验。
本发明实施例还提出了一种基于物联网控制香薰机的智能语音控制系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的步骤。由于基于物联网控制香薰机的智能语音控制方法在上述给出了详细描述，不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (10)

1.基于物联网控制香薰机的智能语音控制方法，其特征在于，该方法包括以下步骤：
以每次香薰机从开始工作到结束工作作为一个工作过程，在本地采集用户每次语音控制香薰机的控制语音，获取所述控制语音的语音向量，由每个语音向量作为目标向量，与该目标向量之前N个语音向量组成一个控制周期，获取每个控制周期的语音描述子；N为正整数；
在每个控制周期内，根据每个工作过程的初始功率和平均功率获取香薰机的工作一致性，基于每个工作过程中环境的初始湿度和最大湿度获取湿度差异性，将每个控制周期的所述工作一致性、所述湿度差异性以及语音描述子作为周期特征上传云端；将语音向量和对应的平均功率上传云端；
令云端对所有周期特征中的每两个周期特征进行差异距离的计算，依据差异距离对所有周期特征进行分类，获取每个用户在每个类别的近邻范围以及每个周期特征的离群因子，基于周期特征所在类别的近邻范围内包含的平均功率和所述离群因子获取该用户在每个控制周期的参考功率；基于每个用户的目标向量以及对应的参考功率训练全卷积网络；将训练完成的全卷积网络作为功率建议网络部署至本地；
将语音向量输入所述功率建议网络，输出建议功率，根据语音描述子、建议功率和初始功率获取最佳功率，使香薰机以所述最佳功率工作。
2.根据权利要求1所述的基于物联网控制香薰机的智能语音控制方法，其特征在于，所述语音向量的获取方法为：
对所述控制语音进行傅里叶变换并构建梅尔倒谱得到MFCC的向量作为所述语音向量。
3.根据权利要求1所述的基于物联网控制香薰机的智能语音控制方法，其特征在于，所述语音描述子的获取方法为：
在每个目标向量对应的控制周期里，计算每个语音向量与所述目标向量之间的余弦相似度，由预设值减去余弦相似度得到差异程度，所有差异程度组成所述语音描述子。
4.根据权利要求1所述的基于物联网控制香薰机的智能语音控制方法，其特征在于，所述工作一致性的获取方法为：
在每个控制周期内，由目标向量对应的初始功率和平均功率组成目标二元组，由语音向量对应的初始功率和平均功率组成其他二元组，计算目标二元组与每个其他二元组的余弦相似度，所有余弦相似度的平均值作为所述工作一致性。
5.根据权利要求1所述的基于物联网控制香薰机的智能语音控制方法，其特征在于，所述湿度差异性的获取方法为：
在每个控制周期内，计算每个工作过程中的初始湿度和最大湿度的湿度差异，所有湿度差异的总和与典型最大湿度的比值作为所述湿度差异性；所述典型最大湿度为控制周期内所有最大湿度的中值。
6.根据权利要求1所述的基于物联网控制香薰机的智能语音控制方法，其特征在于，所述差异距离的获取方法为：
对于每个周期特征，由所述工作一致性和所述湿度差异性组成使用习惯向量，计算每两个周期特征对应的使用习惯向量的余弦相似度作为第一相似性，计算每两个周期特征中的语音描述子的余弦相似度作为第二相似性，计算第一相似性与第二相似性的乘积，进而得到所述差异距离；所述差异距离与所述乘积的和为1。
7.根据权利要求1所述的基于物联网控制香薰机的智能语音控制方法，其特征在于，所述离群因子的获取方法为：
获取每个用户所有控制周期的所属类别并统计每个类别的占比，依据所述占比和预设的邻近值获取对应用户在每个所属类别的近邻范围，同一所属类别的所有控制周期的近邻范围相同；在所述近邻范围内计算该用户对应的控制周期的目标向量与近邻范围内所有其他语音向量的近邻距离，根据所述近邻距离利用局部离群因子算法计算所述离群因子。
8.根据权利要求1所述的基于物联网控制香薰机的智能语音控制方法，其特征在于，所述参考功率的获取方法为：
对于每个控制周期，获取对应周期特征所在类别的近邻范围内每个工作过程的平均功率，基于每个工作过程对应的目标向量的所述离群因子获取相对权重，以所述相对权重作为对应的平均功率的系数，进行加权平均，得到所述参考功率。
9.根据权利要求1所述的基于物联网控制香薰机的智能语音控制方法，其特征在于，所述基于每个用户的目标向量以及对应的参考功率训练全卷积网络，包括：
对每个用户的语音向量进行聚类得到多个语音模式，计算每个语音模式中所有语音向量的参考功率的平均值作为该语音模式的平均参考功率，基于所述语音向量和所述平均参考功率训练全卷积网络。
10.基于物联网控制香薰机的智能语音控制系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~9任意一项所述基于物联网控制香薰机的智能语音控制方法的步骤。
CN202211155367.1A 2022-09-22 2022-09-22 基于物联网控制香薰机的智能语音控制方法及其系统 Active CN115240679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211155367.1A CN115240679B (zh) 2022-09-22 2022-09-22 基于物联网控制香薰机的智能语音控制方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211155367.1A CN115240679B (zh) 2022-09-22 2022-09-22 基于物联网控制香薰机的智能语音控制方法及其系统

Publications (2)

Publication Number Publication Date
CN115240679A true CN115240679A (zh) 2022-10-25
CN115240679B CN115240679B (zh) 2022-12-09

Family

ID=83667596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211155367.1A Active CN115240679B (zh) 2022-09-22 2022-09-22 基于物联网控制香薰机的智能语音控制方法及其系统

Country Status (1)

Country Link
CN (1) CN115240679B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527559A (zh) * 2017-07-29 2020-08-11 感官设计技术有限公司 创建并维持具有定义半径和浓度的个性化气泡的液体散发系统
CN211327139U (zh) * 2019-08-06 2020-08-25 深圳市璐琥进出口有限公司 一种应用于香薰机的智能控制系统
KR20200119388A (ko) * 2019-03-26 2020-10-20 한국과학기술원 음성 감정 인식 기술을 이용한 IoT 향수 시스템
CN112667713A (zh) * 2021-01-11 2021-04-16 德仕科技（深圳）有限公司 香薰机的智能控制方法、装置及存储介质
CN213789102U (zh) * 2020-07-27 2021-07-27 新丰香知韵工艺品有限公司 一种扩香机
CN113959029A (zh) * 2021-11-15 2022-01-21 王毅 一种语音控制雾化器及其控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527559A (zh) * 2017-07-29 2020-08-11 感官设计技术有限公司 创建并维持具有定义半径和浓度的个性化气泡的液体散发系统
KR20200119388A (ko) * 2019-03-26 2020-10-20 한국과학기술원 음성 감정 인식 기술을 이용한 IoT 향수 시스템
CN211327139U (zh) * 2019-08-06 2020-08-25 深圳市璐琥进出口有限公司 一种应用于香薰机的智能控制系统
CN213789102U (zh) * 2020-07-27 2021-07-27 新丰香知韵工艺品有限公司 一种扩香机
CN112667713A (zh) * 2021-01-11 2021-04-16 德仕科技（深圳）有限公司 香薰机的智能控制方法、装置及存储介质
CN113959029A (zh) * 2021-11-15 2022-01-21 王毅 一种语音控制雾化器及其控制方法

Also Published As

Publication number Publication date
CN115240679B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN110176226A (zh) 一种语音识别、及语音识别模型训练方法及装置
CN109960395A (zh) 资源调度方法和计算机设备
CN110148405B (zh) 语音指令处理方法及装置、电子设备及存储介质
CN109086412A (zh) 一种基于自适应加权Bagging-GBDT的不平衡数据分类方法
CN112631415A (zh) Cpu频率调整方法、装置、电子设备及存储介质
CN109192210A (zh) 一种语音识别的方法、唤醒词检测的方法及装置
CN111964226B (zh) 一种空调器控制方法、装置及空调器
CN111667838B (zh) 一种用于声纹识别的低功耗模拟域特征向量提取方法
US11333378B1 (en) Energy consumption artificial intelligence
CN111276138B (zh) 一种语音唤醒系统中处理语音信号的方法及装置
CN116610416A (zh) 基于Kubernetes的负载预测型弹性伸缩系统及方法
CN116826699A (zh) 光伏集群功率预测方法、装置、设备及介质
CN115240679B (zh) 基于物联网控制香薰机的智能语音控制方法及其系统
Giraldo et al. Hardware acceleration for embedded keyword spotting: Tutorial and survey
CN116090624A (zh) 一种细粒度负荷分段预测方法
CN112927705B (zh) 频响校准方法及相关产品
CN115422975A (zh) 一种抽水蓄能机组失稳故障信号降噪方法与装置
CN115423149A (zh) 一种能源互联网负荷预测和噪声等级估计的增量迭代聚类方法
CN113762751A (zh) 机组功率调节参数权重确定方法及装置
US11620499B2 (en) Energy efficient machine learning models
US11562248B2 (en) Data sparsity monitoring during neural network training
CN117807401B (zh) 基于数据分析的智能穿戴设备的数据处理方法
Shenbagalakshmi et al. A Study on Monitoring an Air Conditioning (AC) system in a Home environment using Machine Learning Techniques
CN110501568A (zh) 一种基于图信号处理的非侵入式设备负载监测方法
Zhang Research on Embedded Speech Recognition System Based on Artificial Intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant