CN111371792A - 一种基于智能音频设备上报拾音数据的方法及系统 - Google Patents

一种基于智能音频设备上报拾音数据的方法及系统 Download PDF

Info

Publication number
CN111371792A
CN111371792A CN202010153576.7A CN202010153576A CN111371792A CN 111371792 A CN111371792 A CN 111371792A CN 202010153576 A CN202010153576 A CN 202010153576A CN 111371792 A CN111371792 A CN 111371792A
Authority
CN
China
Prior art keywords
audio
data
uploading
pickup
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010153576.7A
Other languages
English (en)
Inventor
丁森林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Tuya Information Technology Co Ltd
Original Assignee
Hangzhou Tuya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Tuya Information Technology Co Ltd filed Critical Hangzhou Tuya Information Technology Co Ltd
Priority to CN202010153576.7A priority Critical patent/CN111371792A/zh
Publication of CN111371792A publication Critical patent/CN111371792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

本申请公开了一种基于智能音频设备上报拾音数据的方法，包括：音频上传开始请求，用于当用户开始讲话时，所述智能音频设备告知系统和云端准备上传拾音音频数据；音频上传数据请求，用于所述智能音频设备上传所述拾音音频数据至所述云端；及音频上传结束请求，用于当用户停止讲话时，所述智能音频设备告知所述系统和所述云端停止上传音频，完成拾音音频上传。与现有技术相比，本申请具有如下有益效果：对于智能物联网音频设备上传拾音数据，本申请使用mqtt协议上传拾音音频，并在mqtt协议上定制一套传输协议，保证了拾音音及时的传输，也做到了多个数据包不乱序。并且对上传音频进行音频编码处理，较大降低数据传输量。

Description

一种基于智能音频设备上报拾音数据的方法及系统
技术领域
本申请涉及物联网领域，具体而言，涉及一种基于智能音频设备上报拾音数据的方法。
背景技术
目前智能iot音频设备在逐步走进人们生活中，通过语音唤醒，上传语音到云端进行解析，实现语音交互，控制iot设备。比如智能语音zigbee网关，可直接对其语音控制zigbee子设备。一般的iot设备还是使用https进行拾音音频上传，一般会有以下缺点：
因为iot设备资源一般十分有限，无法进行及时的tls安全加密交互。因为iot设备一般主频不高，tls安全加密交互一般至少1秒，这样会导致上传用户拾音音频不及时，最终反馈给用户的云端解析结果也不及时，体验差。
发明内容
本申请的主要目的在于提供一种基于智能音频设备上报拾音数据的方法，包括：
音频上传开始请求，用于当用户开始讲话时，所述智能音频设备告知系统和云端准备上传拾音音频数据；
音频上传数据请求，用于所述智能音频设备上传所述拾音音频数据至所述云端；及
音频上传结束请求，用于当用户停止讲话时，所述智能音频设备告知所述系统和所述云端停止上传音频，完成拾音音频上传。
可选地，音频上传开始请求包括：
所述智能音频设备触发音频上传开始请求；
触发请求后，申请对应音频格式的编码器；
封装第一个mqtt包；
发出mqtt报文，告知云端开始上传拾音数据。
可选地，音频上传数据请求包括：
音频触发上传数据请求；
对拾音音频数据进行音频编码；
判断需要上传音频是否大于预设值，为了防止大于mqtt负载的最大数据量；
当需要上传音频大于预设值时，将预设值数据封装到mqtt包，并发出mqtt报文，将拾音音频数据上传到云端；
当需要上传音频不大于预设值时，将剩余数据封装到mqtt包，并发出mqtt报文，将拾音音频数据上传到云端。
可选地，音频上传结束请求包括：
智能音频设备触发音频上传结束请求；
触发请求后，释放对应音频格式的编码器；
封装最后一个mqtt包；
发出mqtt报文，告知云端结束上传拾音数据。
可选地，所述预设值为4KB。
可选地，所述第一个mqtt包包含：包序号，数据包标识start；所述最后一个mqtt包包含：序号，数据包标识end。
根据本申请的另一个方面，还提供了一种基于智能音频设备上报拾音数据的方法，包括：
音频上传开始请求模块，用于当用户开始讲话时，所述智能音频设备告知系统和云端准备上传拾音音频数据；
音频上传数据请求模块，用于所述智能音频设备上传所述拾音音频数据至所述云端；及
音频上传结束请求模块，用于当用户停止讲话时，所述智能音频设备告知所述系统和所述云端停止上传音频，完成拾音音频上传。
本申请还公开了一种计算机智能音频设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
本申请还公开了一种计算机可读存储介质，非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现上述任一项所述的方法。
本申请还公开了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机智能音频设备执行时，导致所述计算机智能音频设备执行上述任一项所述的方法。
与现有技术相比，本申请具有如下有益效果：
在物联网设备中，mqtt是以一种长连接的方式存在的，且整个通道是加密安全的，因此可以很快的将拾音音频上传的云端，没有建安全连接的过程。本发明基于mqtt协议，针对拾音数据流不停在上传的特性，需要多个数据包才能传输完成，定制一套传输协议，保证了拾音音频既能高效及时的传输到云端，也可以做到上传多个数据包到云端不乱序。对上传拾音音频进行音频编码。数据流在用户有声音输出时，不停产生，音频数据量较大，使用音频编码在不影响拾音效果的前提下，极大的降低了数据传输量，解决了物联网音频设备上传拾音的时效问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和有益效果变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请一个实施例的基于智能音频设备上报拾音数据的方法的流程示意图；
图2是根据本申请一个实施例的基于智能音频设备上报拾音数据的方法的流程示意图；
图3是根据本申请一个实施例的计算机智能音频设备的示意图；以及
图4是根据本申请一个实施例的计算机可读存储介质的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或智能音频设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或智能音频设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参照图1-图2，本申请一实施例提供了一种基于智能音频设备上报拾音数据的方法，包括：
S2：音频上传开始请求，用于当用户开始讲话时，所述智能音频设备告知系统和云端准备上传拾音音频数据；
S4：音频上传数据请求，用于所述智能音频设备上传所述拾音音频数据至所述云端；及
S6：音频上传结束请求，用于当用户停止讲话时，所述智能音频设备告知所述系统和所述云端停止上传音频，完成拾音音频上传。
本申请一实施例中，音频上传开始请求包括：
所述智能音频设备触发音频上传开始请求；
触发请求后，申请对应音频格式的编码器；
封装第一个mqtt包；
发出mqtt报文，告知云端开始上传拾音数据。
音频上传开始请求就是用户开始讲话，需告知系统和云端做好音频上传准备，具体步骤如下：
步骤1：设备触发音频上传开始请求。进入步骤2。
步骤2：触发请求后，申请对应音频格式的编码器。进入步骤3。
步骤3：封装第一个mqtt包，包含：包序号(数据包递增序号)，数据包标识start。进入步骤4。
步骤4：发出mqtt报文，告知云端开始上传拾音数据。
本申请一实施例中，音频上传数据请求包括：
音频触发上传数据请求；
对拾音音频数据进行音频编码；
判断需要上传音频是否大于预设值，为了防止大于mqtt负载的最大数据量；
当需要上传音频大于预设值时，将预设值数据封装到mqtt包，并发出mqtt报文，将拾音音频数据上传到云端；
当需要上传音频不大于预设值时，将剩余数据封装到mqtt包，并发出mqtt报文，将拾音音频数据上传到云端。
音频上传数据请求，是设备将拾音数据进行上传，具体步骤如下：
步骤5：音频触发上传数据请求，进入步骤6。
步骤6：对音频数据进行音频编码，进入步骤7。
步骤7：判断需要上传音频是否大于4KB，为了防止大于mqtt负载的最大数据量。如果是，进入步骤8，否则进入步骤10。
步骤8：将4KB数据封装到mqtt包，包含：包序号(数据包递增序号)，数据包标识middle，音频数据，进入步骤9。
步骤9：发出mqtt报文，将音频数据上传到云端。进入步骤7。
步骤10：将剩余数据封装到mqtt包，包含：包序号(数据包递增序号)，数据包标识middle，音频数据，进入步骤11：
步骤11：发出mqtt报文，将音频数据上传到云端。
本申请一实施例中，音频上传结束请求包括：
智能音频设备触发音频上传结束请求；
触发请求后，释放对应音频格式的编码器；
封装最后一个mqtt包；
发出mqtt报文，告知云端结束上传拾音数据。
音频上传结束请求，就是用户停止讲话，需告知系统和云端停止音频上传，具体步骤如下：
步骤12：设备触发音频上传结束请求。进入步骤13。
步骤13：触发请求后，释放对应音频格式的编码器。进入步骤14。
步骤14：封装最后一个mqtt包，包含：序号(数据包递增序号)，数据包标识end。进入步骤15。
步骤15：发出mqtt报文，告知云端结束上传拾音数据。
本技术关键创新点和需要保护为：
本申请一实施例中，所述预设值为4KB。
本申请一实施例中，所述第一个mqtt包包含：包序号，数据包标识start；所述最后一个mqtt包包含：序号，数据包标识end。
本申请还提供了一种基于智能音频设备上报拾音数据的方法，包括：
音频上传开始请求模块，用于当用户开始讲话时，所述智能音频设备告知系统和云端准备上传拾音音频数据；
音频上传数据请求模块，用于所述智能音频设备上传所述拾音音频数据至所述云端；及
音频上传结束请求模块，用于当用户停止讲话时，所述智能音频设备告知所述系统和所述云端停止上传音频，完成拾音音频上传。
与现有技术相比，本申请具有如下有益效果：
对于智能物联网音频设备上传拾音数据，本申请使用mqtt协议上传拾音音频，并在mqtt协议上定制一套传输协议，保证了拾音音及时的传输，也做到了多个数据包不乱序。并且对上传音频进行音频编码处理，较大降低数据传输量。
请参照图3，本申请还提供了一种计算机智能音频设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
请参照图4，一种计算机可读存储介质，非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现上述任一项所述的方法。
一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机智能音频设备执行时，导致所述计算机智能音频设备执行上述任一项所述的方法。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于智能音频设备上报拾音数据的方法，其特征在于，包括：
音频上传开始请求，用于当用户开始讲话时，所述智能音频设备告知系统和云端准备上传拾音音频数据；
音频上传数据请求，用于所述智能音频设备上传所述拾音音频数据至所述云端；及
音频上传结束请求，用于当用户停止讲话时，所述智能音频设备告知所述系统和所述云端停止上传音频，完成拾音音频上传。
2.根据权利要求1所述的基于智能音频设备上报拾音数据的方法，其特征在于，音频上传开始请求包括：
所述智能音频设备触发音频上传开始请求；
触发请求后，申请对应音频格式的编码器；
封装第一个mqtt包；
发出mqtt报文，告知云端开始上传拾音数据。
3.根据权利要求2所述的基于智能音频设备上报拾音数据的方法，其特征在于，音频上传数据请求包括：
音频触发上传数据请求；
对拾音音频数据进行音频编码；
判断需要上传音频是否大于预设值，为了防止大于mqtt负载的最大数据量；
当需要上传音频大于预设值时，将预设值数据封装到mqtt包，并发出mqtt报文，将拾音音频数据上传到云端；
当需要上传音频不大于预设值时，将剩余数据封装到mqtt包，并发出mqtt报文，将拾音音频数据上传到云端。
4.根据权利要求3所述的基于智能音频设备上报拾音数据的方法，其特征在于，音频上传结束请求包括：
智能音频设备触发音频上传结束请求；
触发请求后，释放对应音频格式的编码器；
封装最后一个mqtt包；
发出mqtt报文，告知云端结束上传拾音数据。
5.根据权利要求4所述的基于智能音频设备上报拾音数据的方法，其特征在于，所述预设值为4KB。
6.根据权利要求5所述的基于智能音频设备上报拾音数据的方法，其特征在于，所述第一个mqtt包包含：包序号，数据包标识start；所述最后一个mqtt包包含：序号，数据包标识end。
7.一种基于智能音频设备上报拾音数据的方法，其特征在于，包括：
音频上传开始请求模块，用于当用户开始讲话时，所述智能音频设备告知系统和云端准备上传拾音音频数据；
音频上传数据请求模块，用于所述智能音频设备上传所述拾音音频数据至所述云端；及
音频上传结束请求模块，用于当用户停止讲话时，所述智能音频设备告知所述系统和所述云端停止上传音频，完成拾音音频上传。
8.一种计算机智能音频设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，非易失性可读存储介质，其内存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现如权利要求1-6中任一项所述的方法。
10.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码由计算机智能音频设备执行时，导致所述计算机智能音频设备执行权利要求1-6中任一项所述的方法。
CN202010153576.7A 2020-03-06 2020-03-06 一种基于智能音频设备上报拾音数据的方法及系统 Pending CN111371792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010153576.7A CN111371792A (zh) 2020-03-06 2020-03-06 一种基于智能音频设备上报拾音数据的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010153576.7A CN111371792A (zh) 2020-03-06 2020-03-06 一种基于智能音频设备上报拾音数据的方法及系统

Publications (1)

Publication Number Publication Date
CN111371792A true CN111371792A (zh) 2020-07-03

Family

ID=71210315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010153576.7A Pending CN111371792A (zh) 2020-03-06 2020-03-06 一种基于智能音频设备上报拾音数据的方法及系统

Country Status (1)

Country Link
CN (1) CN111371792A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685143A (zh) * 2012-05-23 2012-09-19 北京新媒传信科技有限公司 音频数据的传输方法以及客户端、服务器
CN107277153A (zh) * 2017-06-30 2017-10-20 百度在线网络技术（北京）有限公司 用于提供语音服务的方法、装置和服务器
CN108924033A (zh) * 2018-06-19 2018-11-30 四川斐讯信息技术有限公司 一种多角色参与的社交型智能音箱交互方法和系统
CN109246053A (zh) * 2017-05-26 2019-01-18 阿里巴巴集团控股有限公司 一种数据通信方法、装置、设备和存储介质
CN109949801A (zh) * 2019-01-10 2019-06-28 百度在线网络技术（北京）有限公司 一种基于耳机的智能家居设备语音控制方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685143A (zh) * 2012-05-23 2012-09-19 北京新媒传信科技有限公司 音频数据的传输方法以及客户端、服务器
CN109246053A (zh) * 2017-05-26 2019-01-18 阿里巴巴集团控股有限公司 一种数据通信方法、装置、设备和存储介质
CN107277153A (zh) * 2017-06-30 2017-10-20 百度在线网络技术（北京）有限公司 用于提供语音服务的方法、装置和服务器
CN108924033A (zh) * 2018-06-19 2018-11-30 四川斐讯信息技术有限公司 一种多角色参与的社交型智能音箱交互方法和系统
CN109949801A (zh) * 2019-01-10 2019-06-28 百度在线网络技术（北京）有限公司 一种基于耳机的智能家居设备语音控制方法及系统

Similar Documents

Publication Publication Date Title
CN108306877B (zh) 基于node js的用户身份信息的验证方法、装置和存储介质
WO2018059137A1 (zh) 物联网终端接入装置及方法和计算机存储介质
CN104410982B (zh) 一种无线异构网络中终端聚合与重构方法
CN112948174A (zh) 消息处理方法、装置、计算机设备和存储介质
WO2017107389A1 (zh) 数据传输方法、装置及系统
CN111666145A (zh) 消息队列的消息处理方法、系统和计算机设备
CN111240858A (zh) 事件调度方法及组件
CN115603968A (zh) 一种接入访问的控制方法、装置、设备和介质
CN111371792A (zh) 一种基于智能音频设备上报拾音数据的方法及系统
CN113890891A (zh) 一种能源云网的数据共享交互方法和装置
US10574707B1 (en) Reducing latency associated with communications
CN108989157B (zh) 用于智能设备控制的方法、装置
CN113556359A (zh) 一种通讯协议转换方法、设备、系统及网关设备
CN110198533A (zh) 一种远程控制ble蓝牙设备的方法和ble蓝牙设备
CN115361455B (zh) 一种数据传输存储方法、装置以及计算机设备
EP3148133B1 (en) Load control method and apparatus for notification messages
CN116743880A (zh) 服务引擎接口的适配方法、适配装置和适配系统
US20120066305A1 (en) Transmitting system and method thereof
CN108388475B (zh) 一种基于终端类型配置api资源的方法及系统
WO2020157450A1 (en) Device registration mechanism
CN102075418B (zh) 一种网络数据流量控制设备及方法
CN112153148A (zh) 基于消息接收端的消息堆积处理方法及装置
CN112217842A (zh) 一种数据传输方法及装置
CN109684081A (zh) 一种集群内负载均衡的分配处理方法
CN108388470A (zh) 一种大数据任务处理方法及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200703

RJ01 Rejection of invention patent application after publication