CN105867148A - 一种基于柔性电子皮肤的智能家居控制系统及控制方法 - Google Patents

一种基于柔性电子皮肤的智能家居控制系统及控制方法 Download PDF

Info

Publication number
CN105867148A
CN105867148A CN201610246079.5A CN201610246079A CN105867148A CN 105867148 A CN105867148 A CN 105867148A CN 201610246079 A CN201610246079 A CN 201610246079A CN 105867148 A CN105867148 A CN 105867148A
Authority
CN
China
Prior art keywords
flexible electronic
character recognition
lip
chip microcomputer
electronic skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610246079.5A
Other languages
English (en)
Inventor
刘爱萍
王夏华
吴化平
钱巍
居乐乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN201610246079.5A priority Critical patent/CN105867148A/zh
Publication of CN105867148A publication Critical patent/CN105867148A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于柔性电子皮肤的智能家居控制系统及控制方法。该智能系统包括:唇语信号采集单元、字符识别单元、单片机、红外模块。本发明使用柔性电子皮肤传感器检测发声时嘴唇四周的运动,将得到的电信号输入字符识别单元,识别的结果对应单片机的某种编码,红外电路将单片机的编码转化为家用电器的红外编码通过红外发射头发射出去,控制家用电器相应的功能。即通过声控的方式来实现各种家用电器的智能控制。其结构简单、使用方便、重量轻、可靠性高、携带方便、成本低、利于产业化。作为一种新型的智能家居设备,具有较高的实用性。

Description

一种基于柔性电子皮肤的智能家居控制系统及控制方法
技术领域
本发明涉及传感器、信号处理技术以及无线传感网络、物联网等领域,尤其涉及一种基于柔性电子皮肤的智能家居声控系统,属于智能唇语识别及物联网领域。
背景技术
智能可穿戴设备作为一种新型可穿戴设备,其研究热度不断提升,其应用领域也越来越广泛。可穿戴设备不仅仅是一种硬件设备,更可以通过软件支持以及数据交互、云端交互来实现强大的功能,可穿戴设备将会对我们的生活、感知带来很大的转变。
智能家居是以住宅为平台,兼备建筑、网络通信、信息家电、设备自动化,集系统、结构、服务、管理为一体的高效、舒适、安全、便利、环保的居住环境。智能家居可以定义为一个系统。它利用先进的计算机技术、网络通讯技术、综合布线技术、将与家居生活有关的各种子系统,有机地结合成一个整体系统,通过整体统筹管理,让家居生活更加舒适、安全、有效。与普通家居相比,智能家居不仅具有传统的居住功能,提供舒适安全、高品位且宜人的家庭生活空间;还由原来的被动静止结构转变为具有能动智慧的工具,提供全方位的信息交换功能,帮助家庭与外部保持信息交流畅通,优化人们的生活方式,帮助人们有效安排时间。
现在的红外遥控器由于硬件的限制使其结构复杂,实用性差,便捷性差,操作复杂,操作步骤繁琐,不方便携带,所需设备多,而且,其智能性差,按键也会经常性的失灵,与人们越来越快的生活节奏不相适应。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于柔性电子皮肤的智能家居控制系统及控制方法。
本发明的目的是通过以下技术方案实现的:一种基于柔性电子皮肤的智能家居控制系统,包括唇语信号采集单元、字符识别单元、单片机、红外模块;
所述唇语信号采集单元包括柔性电子皮肤,用于采集嘴唇的运动时产生应变,并以电信号的形式输出;
所述字符识别单元用于将唇语信号采集单元采集的信号与其数据库中存储的数据进行比对,实现字符识别;
所述单片机是将字符识别单元识别的字符编译成对应的二进制码,并控制红外模块发出相应的控制信号,对家用电器进行控制。
进一步地,所述柔性电子皮肤通过以下方法制备得到:将Cu纳米线-石墨烯薄膜剪出2cm×0.5cm的长条,将两端用银胶粘上铜线,再嵌入聚二甲基硅氧烷(PDMS)中,置于70℃鼓风干燥箱中2h,制成柔性电子皮肤。所述Cu纳米线-石墨烯薄膜的制备方法如下:
(1)向20-25mL乙二醇溶液中加入20-42mgCu纳米线,分散均匀后加入48-54mg抗坏血酸,分散均匀后加入3-3.8mL氧化石墨烯,移至水热反应釜中,将其置于120-160℃鼓风干燥箱中反应4-6h,再冷却至室温,就得到Cu纳米线-石墨烯复合水凝胶。
(2)将制备得到的Cu纳米线-石墨烯复合水凝胶置于0.5wt%水合肼溶液中透析16h,再取出倒入150mL去离子水中分散均匀,得到悬浮液,再用砂芯过滤装置抽滤,便得到Cu纳米线-石墨烯薄膜。
进一步地,所述数据库通过以下方法建立:将柔性电子皮肤黏贴于嘴唇四周,采集朗读家用电器名称以及对应的功能时,嘴唇运动产生的应变,并以电信号的形式存储于字符识别单元;每个电器名称或每种功能具有一个对应的特征波形。
进一步地,所述电器名称为空调,所述功能包括:制冷、制热、去湿、升温、降温、摆风等。
一种基于柔性电子皮肤的智能家居控制方法,包括以下步骤:
(1)将柔性电子皮肤黏贴于嘴唇四周,采集嘴唇运动时产生的应变,并以电信号的形式发送给字符识别单元,每个电器名称或每种功能产生一个信号波形;
(2)字符识别单元利用数据库,通过人工神经网络识别算法,对电信号中的各个波形进行识别,识别出电器名称和所需功能;
(3)单片机将字符识别单元识别的字符编译成对应的二进制码,并控制红外模块发出相应的控制信号,对家用电器进行控制。
进一步地,单片机可以采用型号为STC89C51的单片机。
本发明系统的优点在于:将智能家居与柔性电子皮肤相结合通过语音来控制家用电器的功能设置,将最前沿的科技应用到日常的生活中,使生活更加的便捷和舒适,摒弃了传统红外遥控器硬件设备复杂,不方便携带,成本高,体积大等缺点,而且这种基于测定嘴唇振动的电信号进行识别的智能装置携带方便,设备简单,成本低,体积小,实时性好,而且利于产业化,具有很好的应用前景。可以很好地解决现有声控智能装置容易受噪声影响,干扰强等缺点,携带方便,设备简单,成本低,体积小,实时性好,而且利于产业化,具有很好的应用前景。
附图说明
图1是将柔性皮肤传感器贴在嘴唇四周测发声时嘴唇振动的模拟效果图;
图2是读英文字母“A”时,用吉时利2400表测出贴在嘴唇四周柔性皮肤传感器的电信号;
图3是用不同音调连读3遍英文短语“hello”时,用吉时利2400表测出贴在嘴唇四周柔性皮肤传感器的电信号;
图4是通过人工神经网络识别算法用MATLAB软件一对一识别字母“M”的软件界面;
图5是通过人工神经网络识别算法用MATLAB软件识别字母“ZSTU”的软件界面;
图6是读“电视”时,用吉时利2400表测出贴在嘴唇四周柔性皮肤传感器的电信号波形;
图7是读“空调”时,用吉时利2400表测出贴在嘴唇四周柔性皮肤传感器的电信号波形;
图8是读“升温”时,用吉时利2400表测出贴在嘴唇四周柔性皮肤传感器的电信号波形;
图9是本发明系统的流程框图。
图10是人工神经网络识别算法的识别过程流程图。
具体实施方式
一种基于柔性电子皮肤的智能家居控制系统,包括唇语信号采集单元、字符识别单元、单片机、红外模块;
所述唇语信号采集单元包括柔性电子皮肤,用于采集嘴唇的运动时产生应变,并以电信号的形式输出;
所述的唇语信号采集单元,主要部件为柔性电子皮肤,柔性电子皮肤的制作方法为:将Cu纳米线-石墨烯薄膜剪出2cm×0.5cm的长条,将两端用银胶粘上铜线,再嵌入PDMS中,置于70℃鼓风干燥箱中2h,制成柔性电子皮肤。其中,Cu纳米线-石墨烯薄膜的制备方法如下:
(1)向20-25mL乙二醇溶液中加入20-42mgCu纳米线,分散均匀后加入48-54mg抗坏血酸,分散均匀后加入3-3.8mL氧化石墨烯,移至水热反应釜中,将其置于120-160℃鼓风干燥箱中反应4-6h,再冷却至室温,就得到Cu纳米线-石墨烯复合水凝胶。
(2)将制备得到的Cu纳米线-石墨烯复合水凝胶置于0.5wt%水合肼溶液中透析16h,再取出倒入150mL去离子水中分散均匀,得到悬浮液,再用砂芯过滤装置抽滤,便得到Cu纳米线-石墨烯薄膜。
柔性电子皮肤具有较高的灵敏性和稳定性,其形状和大小可以根据每个人的嘴型进行定制,确保柔性电子皮肤可以紧贴在嘴唇的四周,灵敏的采集说话时嘴唇的振动。
所述字符识别单元用于将唇语信号采集单元采集的信号与其数据库中存储的数据进行比对,根据人工神经网络算法来实现字符识别;
数据库是通过训练而建立的,在用户使用前,首先要根据用户的嘴型和发音习惯制作完全可以使柔性皮肤传感器紧贴嘴唇四周的智能装置。接着需要交付用户进行训练,得到符合用户发音习惯的每个电器名称和每种功能的唇语振动电信号,将这些信号建立一个数据库。
在识别过程中,戴上我们设计的符合自己嘴型的智能装置,当用户说话时,由于嘴型的变化使得嘴唇四周会产生振动,紧贴嘴唇的柔性皮肤传感器同时跟随嘴唇的振动会产生表面的微变形,从而引起电阻应变片传感器中应变片的形变,使得应变片电阻值发生变化,从而使应变片上对外输出的电压值也会发生变化,此电压信号输入到单片机的模拟量采集端口,单片机对采集到的模拟电压信号进行模数转换,变为能够反映唇语每个单词发音的数字量。单片机得到反映唇语每个单词发音的数字量,通过唇语识别的人工神经网络的识别算法,将数据库中的信号和这些信号进行一一比对识别或者叠加识别,得到唇语识别的结果。本发明中的数据库,一方面需要存入各种家用电器的名称的波形电信号,另一方面也需要存入与之对应的功能选项的波形电信号,例如,针对空调,需要存入制冷、制热、去湿、升温、降温、摆风等功能选项的波形电信号,而对于电视机,需要存入增音量、减音量、换台等等功能选项的波形电信号。
所述单片机是将字符识别单元识别的字符编译成对应的二进制码,并控制红外模块发出相应的控制信号,对家用电器进行控制。在字符识别单元识别结束后,识别结果进入单片机,将识别的字符编译成一个二进制编码,每个发音的电信号波形对应的二进制编码是不同的,即唇语信号识别数据库对应一个二进制编码数据库。家用电器接收到红外信号就会对红外信号的编码根据已经设定的协议进行解码,接着实现相应的功能。本发明中单片机、红外模块均是基于现有技术,例如,天猫魔盒的声控型遥控器就能实现本发明单片机+红外模块的功能。本发明主要是通过柔性电子皮肤,不直接采集声音信号,而是通过采集嘴唇的运动来实现控制,适用于噪音较大等不利于采集声音信号的环境,也适用于发声困难用户对家用电器的控制。
具体的实施过程:用户将我们的柔性电子皮肤贴在嘴唇四周说出“空调”两个字,系统将采集到的电信号输入到字符数据库中进行识别,识别出“空调”这俩字的信号波形,单片机将该信号波形所对应的二进制编码输入到红外接收电路中,红外接收电路将二进制代码根据格力空调的红外编码转化为空调打开的红外编码,红外发射电路将红外信号通过光电二极管发射出去,格力空调接收到红外信号,根据红外编码协议驱动空调实现空调打开。用户接着说出“升温”,系统会经过同样的过程实现空调升温一度的功能。如果你说出的家用电器的功能在数据库中没有或者识别不出来,则系统会亮灯提醒重新输入或者提示本输入无效等。

Claims (7)

1.一种基于柔性电子皮肤的智能家居控制系统,其特征在于:包括唇语信号采集单元、字符识别单元、单片机、红外模块;
所述唇语信号采集单元包括柔性电子皮肤,用于采集嘴唇的运动时产生应变,并以电信号的形式输出;
所述字符识别单元用于将唇语信号采集单元采集的信号与其数据库中存储的数据进行比对,实现字符识别;
所述单片机是将字符识别单元识别的字符编译成对应的二进制码,并控制红外模块发出相应的控制信号,对家用电器进行控制。
2.根据权利要求1所述的系统,其特征在于,所述柔性电子皮肤通过以下方法制备得到:将Cu纳米线-石墨烯薄膜剪出2cm×0.5cm的长条,将两端用银胶粘上铜线,再嵌入聚二甲基硅氧烷(PDMS)中,置于70℃鼓风干燥箱中2h,制成柔性电子皮肤。所述Cu纳米线-石墨烯薄膜的制备方法如下:
(1)向20-25mL乙二醇溶液中加入20-42mgCu纳米线,分散均匀后加入48-54mg抗坏血酸,分散均匀后加入3-3.8mL氧化石墨烯,移至水热反应釜中,将其置于120-160℃鼓风干燥箱中反应4-6h,再冷却至室温,就得到Cu纳米线-石墨烯复合水凝胶。
(2)将制备得到的Cu纳米线-石墨烯复合水凝胶置于0.5wt%水合肼溶液中透析16h,再取出倒入150mL去离子水中分散均匀,得到悬浮液,再用砂芯过滤装置抽滤,便得到Cu纳米线-石墨烯薄膜。
3.根据权利要求1所述的系统,其特征在于,所述数据库通过以下方法建立:将柔性电子皮肤黏贴于嘴唇四周,采集朗读家用电器名称以及对应的功能时,嘴唇运动产生的应变,并以电信号的形式存储于字符识别单元;每个家用电器名称或每种功能具有一个对应的特征波形。
4.根据权利要求3所述的系统,其特征在于,所述电器为空调,所述功能包括:制冷、制热、去湿、升温、降温、摆风等。
5.一种权利要求1所述系统的控制方法,其特征在于,包括以下步骤:
(1)将柔性电子皮肤黏贴于嘴唇四周,采集嘴唇运动时产生的应变,并以电信号的形式发送给字符识别单元,每个电器名称或每种功能产生一个信号波形;
(2)字符识别单元利用数据库,通过人工神经网络识别算法,对电信号中的各个波形进行识别,识别出电器名称和所需功能;
(3)单片机将字符识别单元识别的字符编译成对应的二进制码,并控制红外模块发出相应的控制信号,对家用电器进行控制。
6.根据权利要求1所述的系统,其特征在于,单片机可以采用型号为STC89C51的单片机。
7.根据权利要求1所述的系统,其特征在于,红外模块包括一个晶振电路,来产生一个同步的时钟频率。
CN201610246079.5A 2016-04-18 2016-04-18 一种基于柔性电子皮肤的智能家居控制系统及控制方法 Pending CN105867148A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610246079.5A CN105867148A (zh) 2016-04-18 2016-04-18 一种基于柔性电子皮肤的智能家居控制系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610246079.5A CN105867148A (zh) 2016-04-18 2016-04-18 一种基于柔性电子皮肤的智能家居控制系统及控制方法

Publications (1)

Publication Number Publication Date
CN105867148A true CN105867148A (zh) 2016-08-17

Family

ID=56633420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610246079.5A Pending CN105867148A (zh) 2016-04-18 2016-04-18 一种基于柔性电子皮肤的智能家居控制系统及控制方法

Country Status (1)

Country Link
CN (1) CN105867148A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107702273A (zh) * 2017-09-20 2018-02-16 珠海格力电器股份有限公司 空调控制方法和装置
CN108983976A (zh) * 2018-07-09 2018-12-11 清华大学 柔性交互装置以及信息交互方法及装置
CN110262278A (zh) * 2019-07-31 2019-09-20 珠海格力电器股份有限公司 智能家电设备的控制方法及装置、智能电器设备
CN112817575A (zh) * 2021-01-19 2021-05-18 中科方寸知微(南京)科技有限公司 基于唇语识别的汇编语言编辑器及识别方法
CN113864841A (zh) * 2021-10-20 2021-12-31 浙江理工大学 一种基于唇语识别的智能厨房控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070038331A1 (en) * 2003-06-09 2007-02-15 Hanson David F Human Emulation Robot System
CN104575500A (zh) * 2013-10-24 2015-04-29 中国科学院苏州纳米技术与纳米仿生研究所 电子皮肤在语音识别上的应用、语音识别系统和方法
CN204375153U (zh) * 2014-12-24 2015-06-03 深圳市后宅网络科技有限公司 一种可手势操控的红外无线控制器
CN104801244A (zh) * 2015-04-09 2015-07-29 浙江理工大学 一种三维石墨烯—铜纳米线复合气凝胶的制备方法
CN105361977A (zh) * 2014-08-26 2016-03-02 中国科学院苏州纳米技术与纳米仿生研究所 电阻式柔性透明关节部位电子皮肤及其制备方法和应用

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070038331A1 (en) * 2003-06-09 2007-02-15 Hanson David F Human Emulation Robot System
CN104575500A (zh) * 2013-10-24 2015-04-29 中国科学院苏州纳米技术与纳米仿生研究所 电子皮肤在语音识别上的应用、语音识别系统和方法
CN105361977A (zh) * 2014-08-26 2016-03-02 中国科学院苏州纳米技术与纳米仿生研究所 电阻式柔性透明关节部位电子皮肤及其制备方法和应用
CN204375153U (zh) * 2014-12-24 2015-06-03 深圳市后宅网络科技有限公司 一种可手势操控的红外无线控制器
CN104801244A (zh) * 2015-04-09 2015-07-29 浙江理工大学 一种三维石墨烯—铜纳米线复合气凝胶的制备方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107702273A (zh) * 2017-09-20 2018-02-16 珠海格力电器股份有限公司 空调控制方法和装置
CN107702273B (zh) * 2017-09-20 2020-06-16 珠海格力电器股份有限公司 空调控制方法和装置
CN108983976A (zh) * 2018-07-09 2018-12-11 清华大学 柔性交互装置以及信息交互方法及装置
CN110262278A (zh) * 2019-07-31 2019-09-20 珠海格力电器股份有限公司 智能家电设备的控制方法及装置、智能电器设备
CN110262278B (zh) * 2019-07-31 2020-12-11 珠海格力电器股份有限公司 智能家电设备的控制方法及装置、智能电器设备
CN112817575A (zh) * 2021-01-19 2021-05-18 中科方寸知微(南京)科技有限公司 基于唇语识别的汇编语言编辑器及识别方法
CN112817575B (zh) * 2021-01-19 2024-02-20 中科方寸知微(南京)科技有限公司 基于唇语识别的汇编语言编辑器及识别方法
CN113864841A (zh) * 2021-10-20 2021-12-31 浙江理工大学 一种基于唇语识别的智能厨房控制方法

Similar Documents

Publication Publication Date Title
CN105867148A (zh) 一种基于柔性电子皮肤的智能家居控制系统及控制方法
CN105867628A (zh) 基于柔性电子皮肤的智能家居手势控制系统及控制方法
CN105807925A (zh) 一种基于柔性电子皮肤的唇语识别系统及方法
CN106648050A (zh) 基于柔性电子皮肤的多媒体电脑手势控制系统及控制方法
CN106847281A (zh) 基于语音模糊识别技术的智能家居语音控制系统及方法
CN108717852A (zh) 一种基于白光通信和类脑认知的智能机器人语义交互系统和方法
CN203088393U (zh) 基于语音控制的家居无线监控多功能镜子
CN106782542A (zh) 基于语音识别的智能家居嵌入式控制系统
CN106408876A (zh) 一种基于柔性电子皮肤的疲劳驾驶监测系统及监测方法
CN205596133U (zh) 一种基于语音识别的智能家居系统
CN201181413Y (zh) 声控智能家居控制装置
CN107015481A (zh) 一种带语音身份认证的智能声控窗帘系统
CN108388225A (zh) 智能家居语音交互智能终端
CN205486698U (zh) 基于单片机控制的语音识别寻物系统
CN205620724U (zh) 智能语音远程控制系统
CN207096984U (zh) 一种化学发光免疫分析仪检验数据查询装置
CN105807924A (zh) 一种基于柔性电子皮肤的互动式智能翻译系统及方法
CN210864346U (zh) 一种智能家电控制系统
CN208335743U (zh) 一种基于白光通信和类脑认知的智能机器人语义交互系统
CN207688365U (zh) 一种智能空气净化器的控制装置
CN202870516U (zh) 智能声波传感服务系统
CN209204419U (zh) 智能击打宣泄仪
CN115981169A (zh) 一种用户习惯学习的智能家居区域场景控制系统和控制方法
CN106200395A (zh) 一种多维识别家居控制方法
CN203882304U (zh) 一种语音识别升降座椅

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160817

RJ01 Rejection of invention patent application after publication