CN106028217B - 一种基于音频识别技术的智能设备互动系统及方法 - Google Patents
一种基于音频识别技术的智能设备互动系统及方法 Download PDFInfo
- Publication number
- CN106028217B CN106028217B CN201610439828.6A CN201610439828A CN106028217B CN 106028217 B CN106028217 B CN 106028217B CN 201610439828 A CN201610439828 A CN 201610439828A CN 106028217 B CN106028217 B CN 106028217B
- Authority
- CN
- China
- Prior art keywords
- signal
- audio
- intelligent
- host device
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开了一种基于音频识别技术的智能设备互动系统及方法。系统包括智能设备、主机设备和从机设备。方法包括步骤：S1，通过主机设备采集智能设备中的音频信号；S2，主机设备对音频信号进行预处理；S3，主机设备对预处理后的音频信号进行比对识别，判断音频信号所对应的场景或内容，并根据场景或内容输出控制指令到从机设备。本发明通过利用主机设备采集和智能分析音频信号，控制从机设备进行响应动作，克服了现有技术中多媒体播放乏味、功能单一的问题，实现根据多媒体音频信号进行智能终端间的互动连接，有效改善了用户体验，具有良好的经济和社会效益。本发明可广泛应用于各种智能设备互动系统。
Description
技术领域
本发明涉及音频识别和处理领域，尤其涉及一种基于音频识别和处理技术的智能设备互动方法及系统。
背景技术
随着科技的发展和人们生活水平的提高，智能化设备已经成为人们生活中不可或缺的一部分，与此同时，人们对设备的智能化需求也越来越高。
AR技术（Augmented Reality的简称），中文名称为增强现实技术，是在虚拟现实的基础上发展起来的新技术，也被称之为混合现实。它利用计算机系统生成一种逼真的视、听、力、触和动等感觉的虚拟环境，并通过各种传感设备使用户"沉浸"到该环境中，实现用户和环境直接进行自然交互。
然而，现有技术中还未有一种设备或系统可以实现根据多媒体音频信号进行智能终端间的互动连接。
发明内容
为了解决上述技术问题，本发明的目的是提供一种可以实现根据多媒体音频信号进行智能终端间的互动连接的系统。
为了解决上述技术问题，本发明的另一个目的是提供一种可以实现根据多媒体音频信号进行智能终端间的互动连接的方法。
本发明所采用的技术方案是：
一种基于音频识别技术的智能设备互动系统，包括：
智能设备,所述智能设备用于输出音频信号到主机设备；
主机设备，所述主机设备包括信号预处理单元和比对识别单元，所述信号预处理单元用于接收音频信号，并对音频信号进行预处理，所述比对识别单元用于对预处理后的音频信号进行比对识别，判断音频信号所对应的场景或内容，并根据场景或内容输出控制指令到从机设备；
从机设备，用于接收主机设备的控制指令，并根据控制指令做出响应动作。
优选的，所述预处理单元包括依次连接的信号放大子单元、信号分频过滤子单元、数字编码子单元和分时分位处理子单元，各子单元依次对应的预处理步骤分别为信号放大、信号分频过滤、数字编码和将数字编码信号分时分位处理成数据块。
优选的，所述比对识别单元包括多通道处理子单元和预存信号库，所述多通道处理子单元将分时分为处理后的数据块通过多通道分别与预存信号库中的模板数据做比对，并根据各个通道的比对结果判断音频信号所对应的场景或内容。
优选的，所述从机设备包括驱动马达和动作执行装置，所述响应动作为通过驱动马达驱动动作执行装置动作。
优选的，所述从机设备还包括信号采集传感器单元，所述采集传感器单元的输出端与主机设备的输入端连接。
优选的，所述采集传感器单元包括声音采集传感器和/或温度采集传感器和/或高度采集传感器和/或震动采集传感器和/或红外采集传感器和/或光感采集传感器和/或心率脉搏血糖采集传感器和/或脑波传感器。
一种基于音频识别技术的智能设备互动方法，包括步骤：
S1，通过主机设备采集智能设备中的音频信号；
S2，主机设备对音频信号进行预处理；
S3，主机设备对预处理后的音频信号进行比对识别，判断音频信号所对应的场景或内容，并根据场景或内容输出控制指令到从机设备；
S4，从机设备接收主机设备的控制指令，并根据控制指令做出响应动作。
优选的，所述步骤S2具体包括子步骤：
S21，对音频信号的信号放大步骤；
S22,对音频信号进行信号分频过滤步骤；
S23，对音频信号进行数字编码步骤；
S24，将数字编码后的音频信号分时分位处理成数据块。
优选的，所述步骤S3具体包括子步骤：
S31，比对识别单元将分时分为处理后的数据块通过多通道分别与预存信号库中的模板数据做比对；
S32, 比对识别单元根据各个通道的比对结果判断音频信号所对应的场景或内容；
S33，比对识别单元根据场景或内容输出控制指令到从机设备。
优选的，还包括步骤：
S5，从机设备采集环境信号反馈回到主机设备，主机设备根据环境信号内容控制智能设备；
所述环境信号包括声音信号和/或温度信号和/或高度信号和/或震动信号。
本发明的有益效果是：
本发明通过利用主机设备采集和智能分析音频信号，控制从机设备进行响应动作，克服了现有技术中多媒体播放乏味、功能单一的问题，实现根据多媒体音频信号进行智能终端间的互动连接，有效改善了用户体验，具有良好的经济和社会效益。
另外，本发明通过多通道分时分块的音频信号处理方法，实现对音频信号的不停顿、快速识别；通过利用从机设备采集环境信号，实现对智能设备的反馈控制。
本发明可广泛应用于各种智能设备互动系统。
附图说明
下面结合附图对本发明的具体实施方式作进一步说明：
图1是本发明系统一种实施例的电路模块框图；
图2是本发明多通道分时分位处理方法一种实施例的说明示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示，一种基于音频识别技术的智能设备互动系统，包括：智能设备,所述智能设备用于输出音频信号到主机设备；主机设备，所述主机设备包括信号预处理单元和比对识别单元，所述信号预处理单元用于接收音频信号，并对音频信号进行预处理，所述比对识别单元用于对预处理后的音频信号进行比对识别，判断音频信号所对应的场景或内容，并根据场景或内容输出控制指令到从机设备；从机设备，用于接收主机设备的控制指令，并根据控制指令做出响应动作。
优选的，所述预处理单元包括依次连接的信号放大子单元、信号分频过滤子单元、数字编码子单元和分时分位处理子单元，各子单元依次对应的预处理步骤分别为信号放大、信号分频过滤、数字编码和将数字编码信号分时分位处理成数据块。
优选的，所述比对识别单元包括多通道处理子单元和预存信号库，所述多通道处理子单元将分时分为处理后的数据块通过多通道分别与预存信号库中的模板数据做比对，并根据各个通道的比对结果判断音频信号所对应的场景或内容。
优选的，所述从机设备包括驱动马达和动作执行装置，所述响应动作为通过驱动马达驱动动作执行装置动作。
本实施例中，智能设备为智能手机，从机设备为实体智能玩具。例如，当智能设备播放视频，主机设备通过3.5mm音频接口采集视频中的音频信号，并通过识别音频信号判断音频信号所对应的视频场景，然后根据视频场景控制智能玩具做与视频中相匹配的动作,动作执行装置可以是玩具的手脚、手中的工具、转动轮等等，可通过马达驱动玩具的手脚与智能设备中播放的多媒体视频同步动作。
优选的，所述从机设备还包括信号采集传感器单元，所述采集传感器单元的输出端与主机设备的输入端连接。
优选的，所述采集传感器单元包括声音采集传感器和/或温度采集传感器和/或高度采集传感器和/或震动采集传感器和/或红外采集传感器和/或光感采集传感器和/或心率脉搏血糖采集传感器和/或脑波传感器。例如，智能玩具通过MIC头（声音采集传感器）采集人声命令，主机设备中包括语音识别模块，通过识别人声命令内容，可控制智能设备中的视频快进快倒或放大缩小或暂停播放或音量大小或播放方式等。
一种基于音频识别技术的智能设备互动方法，包括步骤：
S1，通过主机设备采集智能设备中的音频信号；
S2，主机设备对音频信号进行预处理；
S3，主机设备对预处理后的音频信号进行比对识别，判断音频信号所对应的场景或内容，并根据场景或内容输出控制指令到从机设备；
S4，从机设备接收主机设备的控制指令，并根据控制指令做出响应动作。
优选的，所述步骤S2具体包括子步骤：
S21，对音频信号的信号放大步骤；
S22,对音频信号进行信号分频过滤步骤；
S23，对音频信号进行数字编码步骤；
S24，将数字编码后的音频信号分时分位处理成数据块。
优选的，所述步骤S3具体包括子步骤：
S31，比对识别单元将分时分为处理后的数据块通过多通道分别与预存信号库中的模板数据做比对；
S32, 比对识别单元根据各个通道的比对结果判断音频信号所对应的场景或内容；
S33，比对识别单元根据场景或内容输出控制指令到从机设备。
具体的，该实施例中，如图2所示，步骤S24将1秒时间的音频数字代码切分为10个1/10秒时间的音频数字代码，对每个1/10秒时间的音频数字代码再切分为10个数据块0-9；步骤S31中，将数据块0-9按照奇偶数分别分到多通道处理子模块的两个通道（第一通道和第二通道）中进行比对处理；显然的，可根据运算能力和数据量大小设定通道数量和分时分位的时间和位数，以实现高速、不间断的信号处理。
该实施例中，主机将采集到的模拟音频信号转换成数字信号或者采集到的数字音频信号，经过N倍信号放大（放大或者不放大和放大倍数根据实际音频信号由软件判断处理），将预设需要采集的音频类别做频率频谱分离，步骤S22利用DSP芯片加载软件的特殊算法计算出需求频率范围提取出数字音频信号，将提取出的数字音频信号分时分通道处理成若干小段数据块，按照分位分时连续提取原则，软件同时分位分时计算所提取的数字音频信号与预存是信号库中的模板数据做比对，得出与信号库中数字信号比对结果的接近值为有效信号，然后再经过软件算法合并所分时分位的数字音频信号对应数字库中对应的信号分类，判断出所处理的音频信号在音频来源中声音特性类别和关联视频动作类别，软件做出处理判断后输出数字指令经过有线连接或者无线连接控制从机设备。其中，预存信号库将预先采集信号源做分析处理，编码成若干小节数字代码，并经过编序处理，使得多通道处理子单元能快速识别提取应用。
优选的，还包括步骤：
S5，从机设备采集环境信号反馈回到主机设备，主机设备根据环境信号内容控制智能设备；
所述环境信号包括声音信号和/或温度信号和/或高度信号和/或震动信号。
该实施例中，与主机设备有线连接或者无线连接的从机设备，接收信号做相应响应，在响应过程中可以加载各类传感器收集相关环境信号（比如环境声音，温度，高度，震动等各种信号），经过从机设备中的处理器做相关处理后发射回主机设备，主机接收环境信号并计算出结果做相应软件调整，结合采集的音频信号做混合运算，发出指令无线或者有线的方式到被采集信号的智能设备上，控制智能设备做相关联应用变化（比如视频播放可以控制视频的快进快倒，放大缩小，暂停播放，音量大小，播放方式等）。
本发明通过利用主机设备采集和智能分析音频信号，控制从机设备进行响应动作，克服了现有技术中多媒体播放乏味、功能单一的问题，实现根据多媒体音频信号进行智能终端间的互动连接，有效改善了用户体验，具有良好的经济和社会效益。
另外，本发明通过多通道分时分块的音频信号处理方法，实现对音频信号的不停顿、快速识别；通过利用从机设备采集环境信号，实现对智能设备的反馈控制。
本发明可广泛应用于各种智能设备互动系统。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种基于音频识别技术的智能设备互动系统，其特征在于，包括：
智能设备,所述智能设备用于输出音频信号到主机设备；
主机设备，所述主机设备包括信号预处理单元和比对识别单元，所述信号预处理单元用于接收音频信号，并对音频信号进行预处理，所述比对识别单元用于对预处理后的音频信号进行比对识别，判断音频信号所对应的场景或内容，并根据场景或内容输出控制指令到从机设备；
从机设备，用于接收主机设备的控制指令，并根据控制指令做出响应动作，所述从机设备采集环境信号反馈回到主机设备，主机设备根据环境信号内容控制智能设备；所述环境信号包括声音信号和/或温度信号和/或高度信号和/或震动信号。
2.根据权利要求1所述的一种基于音频识别技术的智能设备互动系统，其特征在于，所述信号预处理单元包括依次连接的信号放大子单元、信号分频过滤子单元、数字编码子单元和分时分位处理子单元，各子单元依次对应的预处理步骤分别为信号放大、信号分频过滤、数字编码和将数字编码信号分时分位处理成数据块。
3.根据权利要求2所述的一种基于音频识别技术的智能设备互动系统，其特征在于，所述比对识别单元包括多通道处理子单元和预存信号库，所述多通道处理子单元将分时分位处理后的数据块通过多通道分别与预存信号库中的模板数据做比对，并根据各个通道的比对结果判断音频信号所对应的场景或内容。
4.根据权利要求1所述的一种基于音频识别技术的智能设备互动系统，其特征在于，所述从机设备包括驱动马达和动作执行装置，所述响应动作为通过驱动马达驱动动作执行装置动作。
5.根据权利要求1至4任一项所述的一种基于音频识别技术的智能设备互动系统，其特征在于，所述从机设备还包括信号采集传感器单元，所述信号采集传感器单元的输出端与主机设备的输入端连接。
6.根据权利要求5所述的一种基于音频识别技术的智能设备互动系统，其特征在于，所述信号采集传感器单元包括声音采集传感器和/或温度采集传感器和/或高度采集传感器和/或震动采集传感器和/或红外采集传感器和/或光感采集传感器和/或心率脉搏血糖采集传感器和/或脑波传感器。
7.一种基于音频识别技术的智能设备互动方法，其特征在于，包括步骤：
S1，通过主机设备采集智能设备中的音频信号；
S2，主机设备对音频信号进行预处理；
S3，主机设备对预处理后的音频信号进行比对识别，判断音频信号所对应的场景或内容，并根据场景或内容输出控制指令到从机设备；
S4，从机设备接收主机设备的控制指令，并根据控制指令做出响应动作；
S5，从机设备采集环境信号反馈回到主机设备，主机设备根据环境信号内容控制智能设备；
所述环境信号包括声音信号和/或温度信号和/或高度信号和/或震动信号。
8.根据权利要求7所述的一种基于音频识别技术的智能设备互动方法，其特征在于，所述步骤S2具体包括子步骤：
S21，对音频信号的信号放大步骤；
S22,对音频信号进行信号分频过滤步骤；
S23，对音频信号进行数字编码步骤；
S24，将数字编码后的音频信号分时分位处理成数据块。
9.根据权利要求8所述的一种基于音频识别技术的智能设备互动方法，其特征在于，所述步骤S3具体包括子步骤：
S31，比对识别单元将分时分位处理后的数据块通过多通道分别与预存信号库中的模板数据做比对；
S32,比对识别单元根据各个通道的比对结果判断音频信号所对应的场景或内容；
S33，比对识别单元根据场景或内容输出控制指令到从机设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610439828.6A CN106028217B (zh) | 2016-06-20 | 2016-06-20 | 一种基于音频识别技术的智能设备互动系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610439828.6A CN106028217B (zh) | 2016-06-20 | 2016-06-20 | 一种基于音频识别技术的智能设备互动系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106028217A CN106028217A (zh) | 2016-10-12 |
| CN106028217B true CN106028217B (zh) | 2020-01-21 |
Family
ID=57088592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610439828.6A Active CN106028217B (zh) | 2016-06-20 | 2016-06-20 | 一种基于音频识别技术的智能设备互动系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106028217B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491172B (zh) * | 2017-08-16 | 2020-10-09 | 歌尔科技有限公司 | 体感数据获取方法、装置及电子设备 |
| CN108345676A (zh) * | 2018-02-11 | 2018-07-31 | 广东欧珀移动通信有限公司 | 信息推送方法及相关产品 |
| CN108563518A (zh) * | 2018-04-08 | 2018-09-21 | 广州视源电子科技股份有限公司 | 主从机通信方法、装置、终端设备及存储介质 |
| WO2022001275A1 (zh) * | 2020-07-01 | 2022-01-06 | 广州菩声音响设备有限公司 | 一种多功能音乐律动健身器 |
| CN111914523B (zh) * | 2020-08-19 | 2021-12-14 | 腾讯科技（深圳）有限公司 | 基于人工智能的多媒体处理方法、装置及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1291766A (zh) * | 1999-09-01 | 2001-04-18 | 索尼株式会社 | 数字信号处理设备和数字信号处理方法 |
| CN101501564A (zh) * | 2006-08-03 | 2009-08-05 | 国际商业机器公司 | 具有组合视频和音频识别的视频监视系统和方法 |
| CN102184732A (zh) * | 2011-04-28 | 2011-09-14 | 重庆邮电大学 | 基于分形特征的智能轮椅语音识别控制方法及系统 |
| CN103226948A (zh) * | 2013-04-22 | 2013-07-31 | 山东师范大学 | 一种基于声学事件的音频场景识别方法 |
| CN103558916A (zh) * | 2013-11-07 | 2014-02-05 | 百度在线网络技术（北京）有限公司 | 人机交互系统、方法及其装置 |
| CN104572009A (zh) * | 2015-01-28 | 2015-04-29 | 合肥联宝信息技术有限公司 | 一种自适应外界环境的音频控制方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9355123B2 (en) * | 2013-07-19 | 2016-05-31 | Nant Holdings Ip, Llc | Fast recognition algorithm processing, systems and methods |
-
2016
- 2016-06-20 CN CN201610439828.6A patent/CN106028217B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1291766A (zh) * | 1999-09-01 | 2001-04-18 | 索尼株式会社 | 数字信号处理设备和数字信号处理方法 |
| CN101501564A (zh) * | 2006-08-03 | 2009-08-05 | 国际商业机器公司 | 具有组合视频和音频识别的视频监视系统和方法 |
| CN102184732A (zh) * | 2011-04-28 | 2011-09-14 | 重庆邮电大学 | 基于分形特征的智能轮椅语音识别控制方法及系统 |
| CN103226948A (zh) * | 2013-04-22 | 2013-07-31 | 山东师范大学 | 一种基于声学事件的音频场景识别方法 |
| CN103558916A (zh) * | 2013-11-07 | 2014-02-05 | 百度在线网络技术（北京）有限公司 | 人机交互系统、方法及其装置 |
| CN104572009A (zh) * | 2015-01-28 | 2015-04-29 | 合肥联宝信息技术有限公司 | 一种自适应外界环境的音频控制方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106028217A (zh) | 2016-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106028217B (zh) | 一种基于音频识别技术的智能设备互动系统及方法 | |
| CN103456314B (zh) | 一种情感识别方法以及装置 | |
| EP1408443B1 (en) | Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition | |
| CN105976814B (zh) | 头戴设备的控制方法和装置 | |
| US20240030936A1 (en) | Decoding apparatus, decoding method, and program | |
| CN107465972A (zh) | 一种移动终端的音频播放控制方法及无线耳机 | |
| WO2010085221A1 (en) | Method to control media with face detection and hot spot motion | |
| CN104267813A (zh) | 腕带和手环类产品采用十种手势实现输入或选择的方法 | |
| CN105493187A (zh) | 用于动态调整视频回放速度的技术 | |
| CN107066081B (zh) | 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备 | |
| CN110781881A (zh) | 一种视频中的赛事比分识别方法、装置、设备及存储介质 | |
| KR20170097663A (ko) | 촉각 효과를 신체상에 자동으로 위치 결정하기 위한 시스템 및 방법 | |
| CN112307974B (zh) | 跨数据信息知识模态的用户行为内容编解码方法 | |
| KR20180021670A (ko) | 이어폰 및 인터랙션 시스템 | |
| CN1719426A (zh) | 使用至少一个耳机功能键的音乐播放控制装置及其方法 | |
| CN111415675B (zh) | 音频信号处理方法、装置、设备及存储介质 | |
| CN205516182U (zh) | 跑步机 | |
| CN108510988A (zh) | 一种用于聋哑人的语言识别系统及方法 | |
| CN112534381A (zh) | 触觉反馈呈现装置的预驱动 | |
| CN112165648A (zh) | 一种音频播放的方法、相关装置、设备及存储介质 | |
| CN113069125A (zh) | 基于脑电波和眼动追踪的头戴设备控制系统、方法及介质 | |
| US11967976B2 (en) | Coding device, coding method, decoding device, decoding method, and program | |
| JP2002163447A5 (ja) | 情報提供システム、情報提供装置および情報提供方法、記録媒体、並びにプログラム | |
| CN111476903A (zh) | 虚拟交互实现控制方法、装置、计算机设备及存储介质 | |
| CN207218881U (zh) | 基于异构嵌入式平台的眼动追踪系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |