CN114598565A - 一种厨电设备远程控制系统、方法及计算机设备 - Google Patents

一种厨电设备远程控制系统、方法及计算机设备 Download PDF

Info

Publication number
CN114598565A
CN114598565A CN202210504069.2A CN202210504069A CN114598565A CN 114598565 A CN114598565 A CN 114598565A CN 202210504069 A CN202210504069 A CN 202210504069A CN 114598565 A CN114598565 A CN 114598565A
Authority
CN
China
Prior art keywords
user
electrical equipment
kitchen electrical
kitchen
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210504069.2A
Other languages
English (en)
Inventor
田越
李伟琦
周建东
杜锟
余德志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datuo Shandong Internet Of Things Technology Co ltd
Discovery Technology Shenzhen Co ltd
Original Assignee
Datuo Shandong Internet Of Things Technology Co ltd
Discovery Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datuo Shandong Internet Of Things Technology Co ltd, Discovery Technology Shenzhen Co ltd filed Critical Datuo Shandong Internet Of Things Technology Co ltd
Priority to CN202210504069.2A priority Critical patent/CN114598565A/zh
Publication of CN114598565A publication Critical patent/CN114598565A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/80—Homes; Buildings
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2812—Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明适用于厨电控制技术领域，提供了一种厨电设备远程控制系统、方法及计算机设备，系统包括：用户端、厨电设备端、网络层，网络层用于连通用户端和厨电设备端；用户端用于向用户提供可视化界面，并通过网络层向厨电设备端发送用户操作指令和/或接收厨电设备端的状态信息，可视化界面展示厨电设备端的状态信息和/或获取用户操作指令；厨电设备端通过网络层向用户端发送状态信息和/或接收用户操作指令并解析后进行相应动作；状态信息包括厨电设备端采集的图像信息，厨电设备端的自动编码器对图像信息编码后得到降维图像信息；厨电设备端将降维图像信息通过网络层发送给用户端，用户端的自动解码器解码降维图像信息后通过可视化界面进行展示。

Description

一种厨电设备远程控制系统、方法及计算机设备
技术领域
本发明涉及厨电控制技术领域，尤其是涉及一种厨电设备远程控制系统、方法及计算机设备。
背景技术
厨电设备远程控制是指用户可以在异地或本地通过网络手段连接需要被控制的厨电设备从而查看设备的状态以及控制设备动作、改变设备的相关状态的一种技术。通过该技术，用户可以满足多种场景的需求，比如出门忘记关闭设备而可能导致的安全隐患、下班途中可以远程控制设备进行烹饪而达到到家即可享用美食的目的等等。对用户而言，即消除了可能产生的安全隐患，又节约了时间，是一个一举多得的好方法。
对于这样的需求，目前常用的方案为对厨电设备定制一个手机应用程序，该用户端程序可以通过网络发送一些简单的控制指令，如开启或者关闭设备。但用户对于自己的操作并没有直观地得到设备现场的真实反馈，用户体验非常差，如果用户的操作指令传输异常，就会导致设备实际的工作状态与用户期望的工作状态出现差别，可能导致严重的安全问题，即使有些用户端程序可以通过摄像装置获取厨电设备现场的情况，也存在因为传输的数据量大或网络问题导致厨电设备现场的数据拥堵、缺失或夹杂噪声等问题，使用户无法及时、准确地获取设备的现场情况，从而导致用户因误判断、误操作厨电设备而大大增加发生安全事故的概率。
发明内容
本发明的目的是提供一种厨电设备远程控制系统，以降低用户因误判断、误操作厨电设备而发生安全事故的概率。
本发明实施例提供一种厨电设备远程控制系统，包括：
用户端、厨电设备端、网络层，所述网络层用于连通所述用户端和所述厨电设备端；
所述用户端用于向用户提供可视化界面，并通过所述网络层向所述厨电设备端发送用户操作指令和/或接收所述厨电设备端的状态信息，所述可视化界面展示所述厨电设备端的状态信息和/或获取所述用户操作指令；
所述厨电设备端通过所述网络层向所述用户端发送状态信息和/或接收用户操作指令并解析后进行相应动作；
所述状态信息包括所述厨电设备端采集的图像信息，所述厨电设备端的自动编码器对所述图像信息编码后得到降维图像信息；
所述厨电设备端将所述降维图像信息通过所述网络层发送给所述用户端，所述用户端的自动解码器解码所述降维图像信息后通过所述可视化界面进行展示。
可选的，所述厨电设备端的自动编码器包括编码神经网络，所述编码神经网络包括输入层、三个串联的卷积-池化模块以及输出层。
可选的，所述用户端的自动解码器包括解码神经网络，所述解码神经网络包括输入层、三个串联的反卷积-上采样模块以及输出层。
可选的，所述厨电设备端的自动编码器和所述用户端的自动解码器经过联合训练，训练步骤包括：
获取带有噪声的包括厨电设备的图像数据，并将图像数据划分为训练集和测试集；
根据所述厨电设备端的自动编码器和所述用户端的自动解码器的结构构建联合模型，将所述自动编码器的输出层和所述自动解码器的输入层相连；
将所述训练集输入所述联合模型进行联合训练，并利用所述测试集测试所述自动编码器和所述自动解码器组成的联合联合模型，分别得到训练好的所述厨电设备端的自动编码器和所述用户端的自动解码器。
可选的，所述网络层具有内网穿透功能。
可选的，所述网络层包括点对点网络。
可选的，所述用户端包括语音输入模块，所述用户操作指令包括通过所述语音输入模块获取的语音操作指令，所述语音输入模块还用于用户认证。
可选的，所述厨电设备端包括语音识别模块，所述厨电设备端通过所述语音识别模块识别所述语音操作指令，并控制对应的厨电设备进行动作。
可选的，所述语音识别模块包括长短时记忆LSTM网络。
第二方面，本发明实施例提供一种厨电设备远程控制方法，应用于所述的厨电设备远程控制系统，包括以下步骤：
厨电设备端实时采集厨电设备的状态信息，所述状态信息包括图像信息，所述图像信息经过本地的自动编码器对所述图像信息编码后得到降维图像信息；
所述厨电设备端将所述状态信息及所述降维图像信息通过网络层发送给用户端，所述状态信息、所述用户端的自动解码器解码所述降维图像信息后通过所述用户端的可视化界面进行展示；
通过所述用户端可视化界面获取用户的操作指令并通过所述网络层向所述厨电设备端发送用户操作指令；
通过所述厨电设备端接收所述用户操作指令，解析后进行相应动作。
第三方面，本发明实施例提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时执行所述的厨电设备远程控制方法中的步骤，实现所述厨电设备远程控制系统的功能。
与现有技术相比，本申请实施例主要有以下有益效果：本发明将联合训练的自动编码器和自动解码器分别设置在用户端和厨电设备端，并通过自动编码器对厨电设备采集的现场图像信息进行特征提取和降维以减少图像数据，可以在低网络带宽的情况下也能实时上传状态信息特别是降维后的图像信息给用户，避免因数据量大或网络问题而导致厨电设备的现场图像信息和运行状态数据等延迟、丢失等情况，然后在用户端通过自动解码器对降维后的图像信息进行还原、增强和去噪等处理，解决了因厨电设备的运行环境糟糕而导致拍摄的图像噪点多、不清晰的情况，使用户可以及时、准确、直观且清晰地获得厨电设备的现场情况，从而降低用户因误判断厨电设备状态、误操作厨电设备而发生安全事故的概率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的厨电设备远程控制系统的架构图；
图2是本发明的自动编码器的结构示意图；
图3是本发明的自动解码器的结构示意图；
图4是本发明的一种计算机设备的结构示意图；
图5是本发明的一种厨电设备远程控制方法的流程图。
具体实施方式
以下的说明提供了许多不同的实施例、或是例子，用来实施本发明的不同特征。以下特定例子所描述的元件和排列方式，仅用来精简的表达本发明，其仅作为例子，而并非用以限制本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，图1是本发明的厨电设备远程控制系统的架构图，上述厨电设备远程控制系统100包括用户端101、网络层102和厨电设备端103，网络层102用以在用户端101和厨电设备端103之间提供通信链路的介质，连通用户端101和厨电设备端103之间的设备。网络层102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户端101具体可以是具有显示屏并且支持网页浏览或者安装APP的各种电子设备，包括但不限于智能手机、平板电脑、便携计算机和台式计算机等。
厨电设备端103具体可以是具有网络功能的燃气灶、油烟机、微波炉、冰箱、烤箱、蒸箱、洗碗机、消毒柜、全自动电饭煲、智能洗衣机、智能气阀、水阀等等。
上述用户端101用于向用户提供如网页、APP的图形用户界面等的可视化界面，并通过上述网络层102向上述厨电设备端103发送用户操作指令，如开/关洗碗机的指令、调节智能水阀流量的指令等等，和/或接收上述厨电设备端103的状态信息，如燃气灶的工作状态、洗碗机的运行状态等；上述厨电设备端103通过网络层102向用户端101发送厨电设备的状态信息，和/或接收用户端101的用户操作指令并解析后进行相应动作；其中用户端101的可视化界面还可以用于展示厨电设备端103某个厨电设备的状态信息，并根据需要划分为多个展示区域，如厨电设备的运行参数展示区、采集的环境数据展示区及厨电设备的实时图像、视频数据展示区等，不同厨电设备的状态信息可以通过界面上的选择按钮、切换按键或者下拉框进行切换；上述可视化界面还可以获取用户操作指令，如通过点击、滑动、拖拽界面上的厨电设备的操作图标来获得用户相应的操作指令。
应该理解，图1中的用户端101、网络层102和厨电设备端103的数目仅仅是示意性的。根据具体实现的需要，可以具有任意数目的用户端、网络层和厨电设备端。
在本发明实施例中，上述厨电设备的状态信息包括厨电设备端103具有图像采集功能的厨电设备采集自身的图像信息，如洗碗机采集自身内部的洗碗过程的图像信息等，也可以包括由其他摄像设备采集不具有图像采集功能的厨电设备的图像信息，如通过外部摄像装置采集燃气灶、智能气阀、水阀的图像等，可以实时获得厨电设备的现场情况，上述厨电设备的状态信息还包括厨电设备运行状态数据等，如洗碗机的洗碗时长、洗碗水温等。
进一步的，上述厨电设备端103包括自动编码器，上述自动编码器具体可以设置在具有图像采集功能的厨电设备内部和摄像装置内部，并用来对采集到的包括厨电设备的图像信息进行自动编码，对图像中厨电设备的特征进行检测，得到编码后的降维图像信息，该降维图像信息仅包括原图像信息中的厨电设备的特征信息，使得需要传输的厨电设备的现场图像的数据量变小；然后将上述降维图像信息及运行状态数据等通过上述网络层102发送给用户端101，上述用户端101内设置的自动解码器解码上述降维图像信息，对降维图像信息中的厨电设备特征信息进行还原、去噪和增强，得到还原后清晰的厨电设备图像信息，最后通过上述用户端101的可视化界面展示厨电设备的图像信息、运行状态数据等。
具体的，如图2、图3所示，图2是本发明实施例中的自动编码器的结构示意图，图3是本发明实施例中的自动解码器的结构示意图，上述厨电设备端103的自动编码器包括编码神经网络，该编码神经网络具体包括输入层、卷积-池化模块以及输出层，卷积-池化模块具体包括三个卷积核和一层池化层，输入层用来接收上述厨电设备的图像信息，卷积核用来提取厨电设备的图像信息中厨电设备的特征信息，池化层通过下采样对厨电设备的特征信息进一步降维和压缩，去除冗余信息，使得编码后得到的图像信息维度远低于原图像信息，从而减少需要传输给用户端101自动解码器的数据量；上述用户端101的自动解码器包括解码神经网络，该解码神经网络包括输入层、反卷积-上采样模块以及输出层，反卷积-上采样模块具体包括三个反卷积核和一层上采样层，其中，自动解码器的输出层的输出数据可作为自动解码器输入层的输入数据，即可以将上述厨电设备端103的自动编码器输出的降维图像信息直接输入到上述用户端101的自动解码器中，通过上述自动解码器的反卷积-上采样模块对降维图像信息中的厨电设备的特征进行像素级还原、去噪和增强。其中，卷积核和反卷积核的大小相适应，在这里不做具体限制。进一步上述将厨电设备端的自动编码器和上述用户端的自动解码器连接起来进行联合训练，训练步骤包括：
获取带有噪声的包括厨电设备的图像数据，并将图像数据划分为训练集和测试集；
根据上述厨电设备端的自动编码器和上述用户端的自动解码器的结构构建联合模型，将自动编码器的输出层和自动解码器的输入层相连；
将上述训练集输入上述联合模型进行联合训练，并利用上述测试集测试所述自动编码器和所述自动解码器组成的联合模型，分别得到训练好的厨电设备端的自动编码器和用户端的自动解码器。
通过利用带有噪声的包括厨电设备的图像数据对上述厨电设备端的自动编码器和上述用户端的自动解码器进行联合训练，得到功能不同但耦合性高的自动编码器和自动解码器，可以分别应用到不同的设备中，如将自动编码器用于厨电设备，将自动解码器用于客户端，可以将厨电设备图像信息的采集、特征提取和降维和图像增强还原分开来异步进行，实现功能解耦，便于根据实际情况进行使用。
由此可见，本发明将联合训练的自动编码器和自动解码器分别设置在用户端和厨电设备端，并通过自动编码器对厨电设备采集的现场图像信息进行特征提取和降维以减少图像数据，可以在低网络带宽的情况下也能实时上传状态信息特别是降维后的图像信息给用户，避免因数据量大或网络问题而导致厨电设备的现场图像信息和运行状态数据等延迟、丢失等情况，然后在用户端通过自动解码器对降维后的图像信息进行还原、增强和去噪等处理，解决了因厨电设备的运行环境糟糕而导致拍摄的图像噪点多、不清晰的情况，使用户可以及时、准确、直观且清晰地获得厨电设备的现场情况，从而降低用户因误判断厨电设备状态、误操作厨电设备而发生安全事故的概率。
进一步的，上述网络层具有内网穿透功能，具体可以通过点对点（P2P）的技术实现，例如可以使用NAT穿透技术将上述厨电设备端103的网络地址转（内网）换为上述用户端101的网络地址（外网），从而对外隐藏了内部的厨电设备端IP地址，这样，通过在厨电设备端内部使用非注册的IP地址，并将其转换为一小部分外网的IP地址，从而实现内网的厨电设备端103与外网的用户端101通信。通过上述点对点的内网穿透技术，使得上述厨电设备端103和上述用户端101即使没有在同一个网络中也可以组建网络连接并实现相互通信，加快了数据传输的速度，从而进一步降低厨电设备现场图像传输和展示的延迟。
更进一步的，上述用户端101包括语音输入模块，上述用户操作指令包括通过上述语音输入模块获取的语音操作指令，上述语音输入模块还用于用户认证。相应的，上述厨电设备端103包括语音识别模块，上述厨电设备端103通过上述语音识别模块识别上述语音操作指令，并控制对应的厨电设备进行动作。
其中，上述语音输入模块获取用户的语音操作指令，并通过语谱图提取用户的语音特征；语谱图即语音频谱图，一般是通过处理接收的语音时域信号得到频谱图，其特点是观察语音不同频段的信号强度，可以看出随时间的变化情况，可以理解为在一段时间内的频谱图叠加而成，提取语谱图的主要步骤分为：对一段语音输入进行分帧、加窗、离散傅立叶变换（DFT），通过对每个窗口的语音频谱叠加得到语谱图；具体的，先将输入语音的N个采样点集合成一个观测单位（帧），即帧长度为N个语音采样点。通常情况下N的值为256或512，涵盖的时间约为20~30ms左右。为了避免相邻两帧的变化过大，让两相邻帧之间有一段重叠区域，此重叠区域包含了M个取样点，通常M的值约为N的1/2或1/3；将每一帧乘以汉明窗，以增加帧左端和右端的连续性。假设分帧后的语音信号为S(n), n=0,1,…,N-1, N为帧的长度，那么乘上汉明窗后的语音信号S'(n)=S(n)xW(n)，汉明窗W(n)如下：
W(n,α ) = (1 -α ) - α cos(2*π*n/(N-1))，0≦n≦N-1
不同的α值会产生不同的汉明窗，一般情况下α取0.46。
将语音分帧和加窗后，在每一帧提取一组语音特征参数MFCC系数（梅尔倒谱系数）作为该语音的特征，每一帧经过一个离散傅立叶变换得到一个频谱，具体计算公式如下：
Figure DEST_PATH_IMAGE001
其中，
Figure 620510DEST_PATH_IMAGE002
表示第i帧语音信号，
Figure DEST_PATH_IMAGE003
是窗长为N个语音样本点的窗函数（例如汉明窗），并且k是离散傅里叶的长度；进一步对第i帧语音信号的频谱取平方，获取其能量分布得到对应帧的能量谱
Figure 209755DEST_PATH_IMAGE004
，可以增加语谱图中语音特征的维度。将用户输入的语音经过上述处理过程得到包括用户语音频谱和能量谱的多维语音特征，丰富了用于识别的用户语音特征，有助于提高语音识别模块的语音识别的准确率，从而使系统可以更准确地辨别用户和识别用户的语音操作指令。
然后将语谱图作为声学特征通过上述网络层102输入到上述厨电设备端的语音识别模块内的 CNN （卷积神经网络），利用 CNN 进行处理并通过最大值池化来提取主要语音特征，最后将提取的语音特征输入上述语音识别模块所包括的双向长短时记忆LSTM网络进行识别，自动识别出用户输入的语音时序内容；上述厨电设备端103根据识别出的语音时序内容，与预设于厨电设备端的语音与操作指令的映射规则，解析出语音时序内容所对应的操作指令，操作指令包括操作对象和操作方式等信息，并根据操作指令控制对应的厨电设备进行相应动作。通过将语音检测和识别的功能分别设置到用户端101和厨电设备端，便于用户在远程也能通过语音及时、精准控制厨电设备，提升了用户体验。同时还可以通过上述语音输入模块对用户端输入的用户语音进行验证，只有通过验证的用户才被授权使用系统的各个模块和功能，具体可以通过上述语谱图提取用户端获取的语音特征，并将获取的语音特征和预设于上述语音输入模块的授权用户的语音特征进行对比，如果两个语音特征一致，则允许用户操作厨电控制系统，否则禁止用户操作厨电控制系统，这样可以防止没有权限的用户误操作上述系统，进一步保障系统的安全性。
需要说明的是，本发明实施例中未详细展开描述的地方属于现有技术，本领域普通技术人员能够理解并根据现有技术来实施，本发明实施例不作具体的限定。
本领域普通技术人员可以理解实现上述实施例中系统的全部或部分模块、单元，是可以通过计算机程序来指令相关的硬件来完成的，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可实现包括如上述系统的全部或部分模块、单元的实施例的功能。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）等非易失性存储介质，或随机存储记忆体（Random Access Memory，RAM）等。
应该理解的是，虽然附图中系统的各个模块、单元按照箭头的指示进行连接，但是这些模块、单元并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些模块、单元的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的中的至少一部分模块、单元可以包括多个子模块、子单元，这些子模块、子单元并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以轮流或者交替地执行以实现系统、模块和单元的功能的。
第二方面，为解决上述技术问题，本发明实施例还提供一种计算机设备。具体请参阅图4，图4为本发明实施例的计算机设备的基本结构示意图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器 (Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如本发明实施例中厨电设备远程控制系统各单元各模块的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行本发明实施例中系统厨电设备远程控制系统各单元各模块的程序代码，实现所述厨电设备远程控制系统的功能。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有厨电设备远程控制系统各单元各模块的程序代码，所述厨电设备远程控制系统各单元各模块的程序代码可被至少一个处理器执行，实现所述厨电设备远程控制系统的功能。
第三方面，如图5所示，图5是本发明实施例提供的一种厨电设备远程控制方法的流程图，本发明实施例还提供一种厨电设备远程控制方法，应用于所述的厨电设备远程控制系统，方法包括以下步骤：
S1、厨电设备端实时采集厨电设备的状态信息，所述状态信息包括图像信息，所述图像信息经过本地的自动编码器对所述图像信息编码后得到降维图像信息；
S2、所述厨电设备端将所述状态信息及所述降维图像信息通过网络层发送给用户端，所述状态信息、所述用户端的自动解码器解码所述降维图像信息后通过所述用户端的可视化界面进行展示；
S3、通过所述用户端可视化界面获取用户的操作指令并通过所述网络层向所述厨电设备端发送用户操作指令；
S4、通过所述厨电设备端接收所述用户操作指令，解析后进行相应动作。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台设备（可以是手机，计算机，服务器，空调器，或者网络设备等）在执行时可以实现本申请各个实施例的功能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种厨电设备远程控制系统，其特征在于，包括：
用户端、厨电设备端、网络层，所述网络层用于连通所述用户端和所述厨电设备端；
所述用户端用于向用户提供可视化界面，并通过所述网络层向所述厨电设备端发送用户操作指令和/或接收所述厨电设备端的状态信息，所述可视化界面展示所述厨电设备端的状态信息和/或获取所述用户操作指令；
所述厨电设备端通过所述网络层向所述用户端发送状态信息和/或接收用户操作指令并解析后进行相应动作；
所述状态信息包括所述厨电设备端采集的图像信息，所述厨电设备端的自动编码器对所述图像信息编码后得到降维图像信息；
所述厨电设备端将所述降维图像信息通过所述网络层发送给所述用户端，所述用户端的自动解码器解码所述降维图像信息后通过所述可视化界面进行展示。
2.如权利要求1所述的系统，其特征在于，所述厨电设备端的自动编码器包括编码神经网络，所述编码神经网络包括输入层、卷积-池化模块以及输出层。
3.如权利要求2所述的系统，其特征在于，所述用户端的自动解码器包括解码神经网络，所述解码神经网络包括输入层、反卷积-上采样模块以及输出层。
4.如权利要求3所述的系统，其特征在于，所述厨电设备端的自动编码器和所述用户端的自动解码器经过联合训练，训练步骤包括：
获取带有噪声的包括厨电设备的图像数据，并将图像数据划分为训练集和测试集；
根据所述厨电设备端的自动编码器和所述用户端的自动解码器的结构构建联合模型，将所述自动编码器的输出层和所述自动解码器的输入层相连；
将所述训练集输入所述联合模型进行联合训练，并利用所述测试集测试所述自动编码器和所述自动解码器组成的联合联合模型，分别得到训练好的所述厨电设备端的自动编码器和所述用户端的自动解码器。
5.如权利要求1所述的系统，其特征在于，所述网络层具有内网穿透功能。
6.如权利要求1所述的系统，其特征在于，所述网络层包括点对点网络。
7.如权利要求1所述的系统，其特征在于，所述用户端包括语音输入模块，所述用户操作指令包括通过所述语音输入模块获取的语音操作指令，所述语音输入模块还用于用户认证。
8.如权利要求7所述的系统，其特征在于，所述厨电设备端包括语音识别模块，所述厨电设备端通过所述语音识别模块识别所述语音操作指令，并控制对应的厨电设备进行动作；所述语音识别模块包括长短时记忆LSTM网络。
9.一种厨电设备远程控制方法，应用于如权利要求1-8任一项所述的厨电设备远程控制系统，其特征在于，包括：
厨电设备端实时采集厨电设备的状态信息，所述状态信息包括图像信息，所述图像信息经过本地的自动编码器对所述图像信息编码后得到降维图像信息；
所述厨电设备端将所述状态信息及所述降维图像信息通过网络层发送给用户端，所述状态信息、所述用户端的自动解码器解码所述降维图像信息后通过所述用户端的可视化界面进行展示；
通过所述用户端可视化界面获取用户的操作指令并通过所述网络层向所述厨电设备端发送用户操作指令；
通过所述厨电设备端接收所述用户操作指令，解析后进行相应动作。
10.一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求9中所述的厨电设备远程控制方法中的步骤。
CN202210504069.2A 2022-05-10 2022-05-10 一种厨电设备远程控制系统、方法及计算机设备 Pending CN114598565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210504069.2A CN114598565A (zh) 2022-05-10 2022-05-10 一种厨电设备远程控制系统、方法及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210504069.2A CN114598565A (zh) 2022-05-10 2022-05-10 一种厨电设备远程控制系统、方法及计算机设备

Publications (1)

Publication Number Publication Date
CN114598565A true CN114598565A (zh) 2022-06-07

Family

ID=81821882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210504069.2A Pending CN114598565A (zh) 2022-05-10 2022-05-10 一种厨电设备远程控制系统、方法及计算机设备

Country Status (1)

Country Link
CN (1) CN114598565A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002177A (zh) * 2022-07-19 2022-09-02 深圳市虎一科技有限公司 一种智能厨电系统的物联网控制方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799121A (zh) * 2012-08-14 2012-11-28 西安交通大学 一种基于互联网的远程做饭方法
CN105513591A (zh) * 2015-12-21 2016-04-20 百度在线网络技术（北京）有限公司 用lstm循环神经网络模型进行语音识别的方法和装置
CN105551483A (zh) * 2015-12-11 2016-05-04 百度在线网络技术（北京）有限公司 语音识别的建模方法和装置
CN106024010A (zh) * 2016-05-19 2016-10-12 渤海大学 一种基于共振峰曲线的语音信号动态特征提取方法
CN107293291A (zh) * 2016-03-30 2017-10-24 中国科学院声学研究所 一种基于自适应学习率的端到端的语音识别方法
CN107703842A (zh) * 2017-11-30 2018-02-16 许海军 一种基于机器视觉和模式识别技术的厨房自动化方法
CN109036382A (zh) * 2018-08-15 2018-12-18 武汉大学 一种基于kl散度的音频特征提取方法
CN109524014A (zh) * 2018-11-29 2019-03-26 辽宁工业大学 一种基于深度卷积神经网络的声纹识别分析方法
CN110039557A (zh) * 2019-05-17 2019-07-23 夏蔓芸 一种基于互联网远程视频的可交互控制的数控烹饪系统
CN110604458A (zh) * 2019-09-03 2019-12-24 张玮 一种远程炒菜机、远程炒菜机系统及远程炒菜方法
CN111968652A (zh) * 2020-07-14 2020-11-20 重庆邮电大学 一种基于3dcnn-lstm的说话人识别方法及存储介质
CN113014927A (zh) * 2021-03-02 2021-06-22 三星（中国）半导体有限公司 图像压缩方法和图像压缩装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799121A (zh) * 2012-08-14 2012-11-28 西安交通大学 一种基于互联网的远程做饭方法
CN105551483A (zh) * 2015-12-11 2016-05-04 百度在线网络技术（北京）有限公司 语音识别的建模方法和装置
CN105513591A (zh) * 2015-12-21 2016-04-20 百度在线网络技术（北京）有限公司 用lstm循环神经网络模型进行语音识别的方法和装置
CN107293291A (zh) * 2016-03-30 2017-10-24 中国科学院声学研究所 一种基于自适应学习率的端到端的语音识别方法
CN106024010A (zh) * 2016-05-19 2016-10-12 渤海大学 一种基于共振峰曲线的语音信号动态特征提取方法
CN107703842A (zh) * 2017-11-30 2018-02-16 许海军 一种基于机器视觉和模式识别技术的厨房自动化方法
CN109036382A (zh) * 2018-08-15 2018-12-18 武汉大学 一种基于kl散度的音频特征提取方法
CN109524014A (zh) * 2018-11-29 2019-03-26 辽宁工业大学 一种基于深度卷积神经网络的声纹识别分析方法
CN110039557A (zh) * 2019-05-17 2019-07-23 夏蔓芸 一种基于互联网远程视频的可交互控制的数控烹饪系统
CN110604458A (zh) * 2019-09-03 2019-12-24 张玮 一种远程炒菜机、远程炒菜机系统及远程炒菜方法
CN111968652A (zh) * 2020-07-14 2020-11-20 重庆邮电大学 一种基于3dcnn-lstm的说话人识别方法及存储介质
CN113014927A (zh) * 2021-03-02 2021-06-22 三星（中国）半导体有限公司 图像压缩方法和图像压缩装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002177A (zh) * 2022-07-19 2022-09-02 深圳市虎一科技有限公司 一种智能厨电系统的物联网控制方法及系统

Similar Documents

Publication Publication Date Title
US20140253483A1 (en) Wall-Mounted Multi-Touch Electronic Lighting- Control Device with Capability to Control Additional Networked Devices
CN110085233A (zh) 语音控制方法及其装置、电子设备和计算机可读存储介质
CN106814639A (zh) 语音控制系统及方法
CN114598565A (zh) 一种厨电设备远程控制系统、方法及计算机设备
CN113170000A (zh) 设备控制方法、装置、系统、电子设备以及云服务器
CN112566174B (zh) 一种基于深度学习的异常i/q信号识别方法及系统
CN114612749B (zh) 神经网络模型训练方法及装置、电子设备和介质
CN111245688A (zh) 一种基于室内智能控制电器设备的方法及系统
US20240071402A1 (en) Method and apparatus for processing audio data, device, storage medium
CN113345460B (zh) 音频信号处理方法、装置、设备及存储介质
CN107733762A (zh) 一种智能家居的语音控制方法及装置、系统
CN113076849A (zh) 基于动作识别的油烟机控制方法、系统、设备及存储介质
CN111782068A (zh) 鼠标轨迹生成的方法、装置和系统以及数据处理的方法
CN108320740B (zh) 一种语音识别方法、装置、电子设备及存储介质
CN108762659A (zh) 云终端的操控方法、装置、存储介质和电子装置
CN109557885A (zh) 物联网控制系统和方法
CN114237563A (zh) 可视化程序构建方法、装置、可读介质及电子设备
CN111105798A (zh) 基于语音识别的设备控制方法
CN212519027U (zh) 一种基于语音控制的智能家居系统
CN115206321A (zh) 语音关键词的识别方法、装置和电子设备
CN106057197B (zh) 一种语音定时操作方法、装置及系统
CN113011482B (zh) 非侵入式负荷识别方法、终端设备及存储介质
CN111813487A (zh) 一种优化智能面板页面展示的方法
CN111596564A (zh) 一种基于WiFi手势识别的智能家居管理系统
CN112668439A (zh) 基于无线信号的人体姿势估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220607

RJ01 Rejection of invention patent application after publication