CN114866826A - 一种智能机顶盒的麦克风扩展方法 - Google Patents

一种智能机顶盒的麦克风扩展方法 Download PDF

Info

Publication number
CN114866826A
CN114866826A CN202210611754.5A CN202210611754A CN114866826A CN 114866826 A CN114866826 A CN 114866826A CN 202210611754 A CN202210611754 A CN 202210611754A CN 114866826 A CN114866826 A CN 114866826A
Authority
CN
China
Prior art keywords
audio
top box
microphone
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210611754.5A
Other languages
English (en)
Inventor
张海强
孟祥朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Langchao Ultra Hd Intelligent Technology Co ltd
Original Assignee
Shandong Langchao Ultra Hd Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Langchao Ultra Hd Intelligent Technology Co ltd filed Critical Shandong Langchao Ultra Hd Intelligent Technology Co ltd
Priority to CN202210611754.5A priority Critical patent/CN114866826A/zh
Publication of CN114866826A publication Critical patent/CN114866826A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供了一种智能机顶盒麦克风扩展方法。该技术包括：通过智能机顶盒将其适配扩展添加新的inputdevice音频设备，将具有麦克风拾音并且可以连接网络的设备连接机顶盒，当设备的麦克风接收到的声音信息，通过网络实时发送给机顶盒，通过机顶盒对实时音频的处理，实现不同的语音或控制功能；通过此麦克风扩展技术，能够实现资源的有效复用，减少了只通过专门购买麦克风设备才能使用一些特殊音频功能的场景。

Description

一种智能机顶盒的麦克风扩展方法
技术领域
本发明涉及一种智能机顶盒的麦克风扩展方法，属于网络电视技术领域。
背景技术
随着社会的发展，人们对于音视频娱乐的需求日益增加。在家庭领域可以观看电视，在外可以使用手机，以获取不同的影音娱乐需求。特别是在家庭领域，随着智能机顶盒的不断普及，可以通过电视连接机顶盒获取不同的影音娱乐需求；但是传统的智能机顶盒如果需要进行k歌等活动时，需要购买单独的麦克风设备，可能有的人只是使用几次后就不再使用，或者好久不用，设备已经找不到了。本发明基于上述问题，发明了一种基于智能机顶盒的麦克风扩展技术。通过具有麦克风拾音并且可以连接网络的设备与机顶盒的连接，当声音输入时通过设备采集数据，将采集的数据实时发送给机顶盒，机顶盒实时处理设备的数据，并且显示在屏幕上。该发明通过资源复用扩展有效的解决了资源的重复浪费；
发明内容
本发明目的是提供了一种智能机顶盒的麦克风扩展方法，实现资源的合理利用，增加机顶盒的扩展功能。
本发明为实现上述目的，通过以下技术方案实现：
1）对机顶盒的音频连接通路及音频policy选择进行修改，适配扩展具有麦克风拾音并且可以连接网络的外设，收集声音；
2）将具有麦克风拾音并且可以连接网络的设备和机顶盒设置在同一局域网下，当机顶盒和设备开启此扩展功能的时候，设备搜索到时，弹出配对弹框，机顶盒加载新创建的模块设备；
3）配对成功后，机顶盒根据连接的音频设备创建新的输入设备，此可通过连接设备的应用设置声道，采样率，机顶盒接收端根据设置的声道采样率接收获取到的数据；
4）具有麦克风拾音并且可以连接网络设备通过应用收集音频信息并且通过网络方式，实时发送给机顶盒；
5）机顶盒接收到具有麦克风拾音并且可以连接网络发送过来的实时的语音数据，进行实时处理，实现语音或控制功能。
优选的，所述机顶盒的音频连接通路及音频policy选择进行修改具体步骤如下：
1）对安卓AudioFlinger模块进行改造，在AudioFlinger.cpp文件的audio_interfaces数组里面添加新的AUDIO_HARDWARE_MODULE_ID_PHONE,在hal层的AudioPolicyManagerBase.cpp里面loadHwModule里面添加此module的支持；
2）对安卓AudioPolicyService模块进行改造，修改audio_policy.conf文件，添加输入设备的采样率，通道屏蔽，设备格式，有具体的音频设备连接后，查看此设备的设备类型，如果该设备是使用具有麦克风拾音并且可以连接网络的设备作为扩展麦克风的方式的音频设备，则该音频设备认定为是设备类型为AUDIO_HARDWARE_MODULE_ID_PHONE的设备。
优选的，所述创建新的输入设备具体步骤如下：在安卓hal层新建audioinputdevice设备为AUDIO_HARDWARE_MODULE_ID_PHONE的moudle，此hal层是作为Audioflinger模块的module模块的支持；新创建的audio inputdevice为支持麦克风扩展设备的module模块；具体操作是在hasrware文件夹下面的audio下面创建audio_hw.cpp，在此文件里面实现音频的采集，接收。
优选的，采用了巨帧传输方案，实现音频的实时性传输，即修改MTU。
优选的，对于网络环境比较不好的环境下使用，采用补偿找回方案，具体为:在传输的同时，对于语音数据包分组进行编号，组成矩阵，对于机顶盒接收到的数据也进行编号组成矩阵，并且设置标志位使其同步对应，如果接收到的数据和原始的数据相同不做处理，当接收到的数据与发送的数据不相同，在一定的丢包率下可以通过矩阵计算找回丢失的数据，从而实现数据的完整性，继而使输出的语音数据更加清晰。
优选的，机顶盒和具有麦克风拾音并且可以连接网络的设备在一个网络内，机顶盒设置一个开关，当此开关打开时发送网络广播，设备端的app，定时检测广播和端口，当设备接收广播的时候弹出配对提示，防止机顶盒接收到不需要的设备发送的数据。
本发明的优点在于：
1，通过扩展的inputdevice的机顶盒麦克风设备可以进行更多个性化的定制；
2，个性化的定制只针对该扩展设备，不会影响其他设备；
3，如果有新的设备可以简单修改后兼容新设备；
4，可以实现语音设备的更加实时性，减小声音时延；
5，对于传输过程丢失的音频包数据实施算法找回，当在网络环境不好的情形下提高音频质量。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于不使用之前的现有音频模块，而且此具有麦克风拾音并且可以连接网络扩展的设备不属于现有的任何一种模块，因此首先需要的是一条从framework层到安卓hal层的通路。总体需要的是修改安卓framework层和hal层；其中安卓frammework层包括安卓安卓AudioFlinger模块和安卓AudioPolicyService模块；hal层包括inputdevice底层设备的支持；
1，首先对安卓AudioFlinger模块进行改造。在AudioFlinger.cpp文件的audio_interfaces数组里面添加新的AUDIO_HARDWARE_MODULE_ID_PHONE,在hal层的AudioPolicyManagerBase.cpp里面loadHwModule里面添加此module的支持；
2，对安卓AudioPolicyService模块进行改造。修改audio_policy.conf文件，添加的device input设备的sampling_rates,channel_masks, formats,device;当有具体的音频设备连接后，查看此设备的device type，如果该设备是使用具有麦克风拾音并且可以连接网络的设备作为扩展麦克风的方式的音频设备，则该音频设备认定为是device为AUDIO_HARDWARE_MODULE_ID_PHONE的设备；
3，安卓hal层新建的audio inputdevice设备就是AUDIO_HARDWARE_MODULE_ID_PHONE的moudle，此hal层是作为前面audioflinger模块的module模块的支持；新创建的audio inputdevice就是支持麦克风扩展设备的module模块；具体操作是在hasrware文件夹下面的audio下面创建audio_hw.cpp，在此文件里面实现音频的采集，接收；
4，由于具有麦克风拾音并且可以连接网络和机顶盒间的实时通信需要通过网络方式传输，为了实现音频的实时性传输，采用了巨帧（jumbo frame）的传输方案，即修改MTU，这样可以极大的提高传输性能；
5，对于网络环境比较不好的环境下使用，采用补偿找回方案，具体为:在传输的同时，对于语音数据包分组进行编号，组成矩阵，对于机顶盒接收到的数据也进行编号组成矩阵，并且设置标志位使其同步对应，如果接收到的数据和原始的数据相同不做处理，当接收到的数据与发送的数据不相同，在一定的丢包率下可以通过矩阵计算找回丢失的数据，从而实现数据的完整性，继而使输出的语音数据更加清晰；
6，此外具有麦克风拾音并且可以连接网络的设备适配一个app，用于将此设备采集的数据通过网络的方式发送给机顶盒，使用上面的第4.5点描述的方式以确保机顶盒和设备音频数据的实时及准确传输；
7，机顶盒和具有麦克风拾音并且可以连接网络的设备在一个网络内，机顶盒设置一个开关，当此开关打开时发送网络广播，设备端的app，定时检测广播和端口，当设备接收广播的时候弹出配对提示，防止机顶盒接收到不需要的设备发送的数据；
8，当弹出配对提示的时候，机顶盒加载新创建的module设备，根据设备端与机顶盒端的通信协商，设置声道采样率等；用户使用的时候会根据设置的数据进行数据采集，并且实时的在机顶盒端播放出来；
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种智能机顶盒的麦克风扩展方法，其特征在于，包括以下步骤：
1）对机顶盒的音频连接通路及音频policy选择进行修改，适配扩展具有麦克风拾音并且可以连接网络的外设，收集声音；
2）将具有麦克风拾音并且可以连接网络的设备和机顶盒设置在同一局域网下，当机顶盒和设备开启此扩展功能的时候，设备搜索到时，弹出配对弹框，机顶盒加载新创建的模块设备；
3）配对成功后，机顶盒根据连接的音频设备创建新的输入设备，此可通过连接设备的应用设置声道，采样率，机顶盒接收端根据设置的声道采样率接收获取到的数据；
4）具有麦克风拾音并且可以连接网络设备通过应用收集音频信息并且通过网络方式，实时发送给机顶盒；
5）机顶盒接收到具有麦克风拾音并且可以连接网络发送过来的实时的语音数据，进行实时处理，实现语音或控制功能。
2.根据权利要求1所述的能机顶盒的麦克风扩展方法，其特征在于，所述机顶盒的音频连接通路及音频policy选择进行修改具体步骤如下：
1）对安卓AudioFlinger模块进行改造，在AudioFlinger.cpp文件的audio_interfaces数组里面添加新的AUDIO_HARDWARE_MODULE_ID_PHONE,在hal层的AudioPolicyManagerBase.cpp里面loadHwModule里面添加此module的支持；
2）对安卓AudioPolicyService模块进行改造，修改audio_policy.conf文件，添加输入设备的采样率，通道屏蔽，设备格式，有具体的音频设备连接后，查看此设备的设备类型，如果该设备是使用具有麦克风拾音并且可以连接网络的设备作为扩展麦克风的方式的音频设备，则该音频设备认定为是设备类型为AUDIO_HARDWARE_MODULE_ID_PHONE的设备。
3.根据权利要求1所述的能机顶盒的麦克风扩展方法，其特征在于，所述创建新的输入设备具体步骤如下：在安卓hal层新建audio inputdevice设备为AUDIO_HARDWARE_MODULE_ID_PHONE的moudle，此hal层是作为Audioflinger模块的module模块的支持；新创建的audio inputdevice为支持麦克风扩展设备的module模块；具体操作是在hasrware文件夹下面的audio下面创建audio_hw.cpp，在此文件里面实现音频的采集、接收。
4.根据权利要求1所述的能机顶盒的麦克风扩展方法，其特征在于，采用了巨帧传输方案，实现音频的实时性传输，即修改MTU。
5.根据权利要求1所述的能机顶盒的麦克风扩展方法，其特征在于，对于网络环境比较不好的环境下使用，采用补偿找回方案，具体为:在传输的同时，对于语音数据包分组进行编号，组成矩阵，对于机顶盒接收到的数据也进行编号组成矩阵，并且设置标志位使其同步对应，如果接收到的数据和原始的数据相同不做处理，当接收到的数据与发送的数据不相同，在一定的丢包率下可以通过矩阵计算找回丢失的数据，从而实现数据的完整性，继而使输出的语音数据更加清晰。
6.根据权利要求1所述的能机顶盒的麦克风扩展方法，其特征在于，机顶盒和具有麦克风拾音并且可以连接网络的设备在一个网络内，机顶盒设置一个开关，当此开关打开时发送网络广播，设备端的app，定时检测广播和端口，当设备接收广播的时候弹出配对提示，防止机顶盒接收到不需要的设备发送的数据。
CN202210611754.5A 2022-06-01 2022-06-01 一种智能机顶盒的麦克风扩展方法 Pending CN114866826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210611754.5A CN114866826A (zh) 2022-06-01 2022-06-01 一种智能机顶盒的麦克风扩展方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210611754.5A CN114866826A (zh) 2022-06-01 2022-06-01 一种智能机顶盒的麦克风扩展方法

Publications (1)

Publication Number Publication Date
CN114866826A true CN114866826A (zh) 2022-08-05

Family

ID=82641487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210611754.5A Pending CN114866826A (zh) 2022-06-01 2022-06-01 一种智能机顶盒的麦克风扩展方法

Country Status (1)

Country Link
CN (1) CN114866826A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024496A (zh) * 2012-12-07 2013-04-03 康佳集团股份有限公司 一种机顶盒与移动终端共享麦克风的实现方法及系统
CN103517123A (zh) * 2012-06-29 2014-01-15 深圳市快播科技有限公司 智能电视播放设备、终端、麦克风功能实现方法和系统
CN105577566A (zh) * 2014-10-24 2016-05-11 中兴通讯股份有限公司 报文汇聚传输的方法、装置和系统
CN109684314A (zh) * 2018-12-17 2019-04-26 南京旅游职业学院 一种基于空间结构的无线传感器网络缺失值估计方法
CN110971968A (zh) * 2019-11-27 2020-04-07 四川九州电子科技股份有限公司 一种智能机顶盒系统
CN111726667A (zh) * 2020-05-25 2020-09-29 福建新大陆通信科技股份有限公司 一种智能音箱与机顶盒互联的方法及系统
CN112004154A (zh) * 2020-08-31 2020-11-27 四川长虹电器股份有限公司 智能终端的录音方法、系统及智能终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517123A (zh) * 2012-06-29 2014-01-15 深圳市快播科技有限公司 智能电视播放设备、终端、麦克风功能实现方法和系统
CN103024496A (zh) * 2012-12-07 2013-04-03 康佳集团股份有限公司 一种机顶盒与移动终端共享麦克风的实现方法及系统
CN105577566A (zh) * 2014-10-24 2016-05-11 中兴通讯股份有限公司 报文汇聚传输的方法、装置和系统
CN109684314A (zh) * 2018-12-17 2019-04-26 南京旅游职业学院 一种基于空间结构的无线传感器网络缺失值估计方法
CN110971968A (zh) * 2019-11-27 2020-04-07 四川九州电子科技股份有限公司 一种智能机顶盒系统
CN111726667A (zh) * 2020-05-25 2020-09-29 福建新大陆通信科技股份有限公司 一种智能音箱与机顶盒互联的方法及系统
CN112004154A (zh) * 2020-08-31 2020-11-27 四川长虹电器股份有限公司 智能终端的录音方法、系统及智能终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨立东;王晶;谢湘;赵毅;匡镜明;: "基于低秩张量补全的多声道音频信号恢复方法", 电子与信息学报, no. 02 *
翟安然: "基于多声道空间复用的声波近场通讯系统的设计与实现", 中国优秀硕士学位论文全文数据库 *

Similar Documents

Publication Publication Date Title
CN1166141C (zh) 广播系统中用于按优先序排列的双向通信的多媒体解码器
US9232347B2 (en) Apparatus and method for playing music
CN201312356Y (zh) 数字电视网络媒体话机终端
CN102130900A (zh) 一种三屏互动的实现方法及装置
WO2002056486A1 (fr) Recepteur, terminal mobile et systeme de reception
CN101753976A (zh) 控制交互式网络电视业务的方法、设备和系统
CN101095372A (zh) 网络音频扬声器系统
CN1113508C (zh) 传输装置和方法
CN1114306C (zh) 在视频解码器系统中处理分组化数据的方法
CN101237291A (zh) Mdu广播信号分配系统
US20070174871A1 (en) Method and device for providing brief information on data broadcasting service in digital multimedia broadcasting receiving terminal
CN105025304A (zh) 基于ip网的数字直播调音台
CN1182679C (zh) 数字信号处理设备的识别方法
CN1171448C (zh) 数字广播接收系统及其数据传输方法、数字广播接收设备
CN103458317B (zh) 智能终端的媒体播放控制方法及系统
CN107547517A (zh) 音视频节目录制方法和网络设备及计算机装置
KR101377849B1 (ko) 실시간 방송채널별 부가정보제공시스템 및 제어방법
CN114866826A (zh) 一种智能机顶盒的麦克风扩展方法
CN206602529U (zh) 一种应用于应急广播的多网融合平台系统
CN105898233A (zh) 一种视频监控中的音视频播放方法及装置
CN102572350A (zh) 手机电视离线录制装置及其离线录制方法
CN106303643A (zh) 遥控方法及装置
CN101383928B (zh) 丽音控制方法和应用该方法的电视机
US20040221313A1 (en) Method and apparatus for augmenting functionality of broadcast content receivers
CN103024448A (zh) 基于ipqam的多屏互动方法及视频终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination