CN106454506B - 智能电视多窗口环境下实现音频路由控制的方法 - Google Patents

智能电视多窗口环境下实现音频路由控制的方法 Download PDF

Info

Publication number
CN106454506B
CN106454506B CN201611030154.0A CN201611030154A CN106454506B CN 106454506 B CN106454506 B CN 106454506B CN 201611030154 A CN201611030154 A CN 201611030154A CN 106454506 B CN106454506 B CN 106454506B
Authority
CN
China
Prior art keywords
window
audio
track
loudspeaker
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611030154.0A
Other languages
English (en)
Other versions
CN106454506A (zh
Inventor
罗迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201611030154.0A priority Critical patent/CN106454506B/zh
Publication of CN106454506A publication Critical patent/CN106454506A/zh
Application granted granted Critical
Publication of CN106454506B publication Critical patent/CN106454506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种智能电视多窗口环境下实现音频路由控制的方法，包括：状态1、当蓝牙扬声器未接入时，电视扬声器仅发出焦点窗口中播放的音频；状态2、当蓝牙扬声器接入后，焦点窗口媒体音频将由本机扬声器发出，非焦点窗口音频将由蓝牙扬声器发出。本发明基于多窗口的智能电视系统，此系统能够支持多窗口分屏，并且支持在各个窗口中播放媒体音频以及TV节目。本发明最终能够在多窗口的各种场景下，合理控制音频数据的定向输出。

Description

智能电视多窗口环境下实现音频路由控制的方法
技术领域
本发明涉及在多窗口智能电视系统下，控制音频数据定向输出的方法，属于智能电视技术领域。
背景技术
智能电视的大屏幕和多人使用的特点，非常适合做多窗口应用。而在现有的支持多窗口的智能系统上，打开多窗口时，各个窗口的媒体音频将同时发出，导致声音混乱，给使用者造成困扰。本发明提出了一种在多窗口智能电视系统中实现自动音频路由的方法，使得在多窗口的各种场景下，可以合理控制音频数据的定向输出。
发明内容
本发明的目的在于提供一种在多窗口的各种场景下，可以合理控制音频数据的定向输出的智能电视多窗口环境下实现音频路由控制的方法。
在智能电视系统的音频路由时，需要考虑以下几种情况：
一、在智能系统中，媒体音频可以通过软解码和硬解码两种方式送出，这两种方式的实现和控制方式有较大区别；A、软解码通过软件方式将音频文件解码出音频码流，随后音频码流交给系统调节音量信息和混音后，输出给音频硬件；B、硬解码方式将音频文件交给DSP硬件，解码出音频码流，随后音频码流不经过系统(即系统不能直接控制码流)，直接交给音频硬件，需要通过音频芯片接口调节音量等信息。本发明的实现需要分别控制软解、硬解两种音频文件播放方式的静音状态。
二、在TV播放情况下，TV音频从各自物理输入端口进入DSP产生音频码流后，音频数据不经过系统直接送到音频输出设备(类似上一条中，硬解码音频文件的情况)。本发明的实现需要控制TV播放时，TV扬声器可以在伴音输出状态/静音状态之间自由转换。
三、在蓝牙设备连接的情况下，媒体音频可以通过本机扬声器和蓝牙扬声器发出(即各个媒体资源产生的音频可以单独从本机扬声器或蓝牙扬声器发出，也可以同时从这两种扬声器设备发出)，本发明的实现需要控制蓝牙设备连接时，音频数据将发送给的扬声器设备。
在目前的智能电视系统中，没有针对多窗口的音频路由管理机制，所以在多窗口的情况下，所有窗口中的应用所播放的声音，会同时从各个输出通道发出。为了在开启了多个窗口的情况下，不造成音频输出的混乱，现提出一种音频路由控制的方法，此方法将实现对所有窗口中的应用所播放的各种音频的管控和定向路由功能。
本发明具体是这样实现的：
智能电视多窗口环境下实现音频路由控制的方法，包括：
状态1、当蓝牙扬声器未接入时，电视扬声器仅发出焦点窗口中播放的音频；
状态2、当蓝牙扬声器接入后，焦点窗口媒体音频将由本机扬声器发出，非焦点窗口音频将由蓝牙扬声器发出。实现方式如下：
2.1自动设置各个窗口中应用播放媒体文件时所产生的音轨(Track)的窗口标记。在焦点窗口变动时，可根据音轨的窗口标记信息，确定如何控制此音轨的静音状态，或如何选择此音轨的输出设备。包括如下步骤：
A、对于应用间接使用音轨(Track)播放(如通过系统多媒体播放器(MediaPlayer))、和应用直接使用音轨播放的情况，在音轨创建时，向系统查询到创建各个音轨的应用所在的进程号(PID)；
B、向系统查询到此进程号对应的应用包名(PackageName)信息；
C、根据包名信息，向系统查询到应用当前所在的窗口信息；
D、将音轨所在窗口的标记信息写入音轨的标记(Flage)信息中。
通过上面的一系列步骤，一个音轨就与一个窗口相关联了。
2.2用户切换焦点窗口时，系统在改变窗口焦点的同时，主动触发音频切换流程。
A、若蓝牙扬声器未接入：判断系统中所有音轨的窗口标记信息(在第一步中获得)，将窗口标记信息等于目前焦点窗口的音轨设置为非静音状态，并将其他媒体音轨设置为静音状态。从而实现焦点窗口出声，非焦点窗口静音；
B、若蓝牙扬声器已接入：判断系统中所有音轨的窗口标记信息(在第一步中获得)，将窗口标记信息等于目前焦点窗口的音轨，移动到本机扬声器混音线程(PlayBackThread)，并将其他媒体音轨移动到蓝牙扬声器混音线程。在混音线程完成音轨混音后，将自动把音频发往各自的扬声器设备，实现焦点窗口的声音发往本机扬声器，非焦点窗口的声音发往蓝牙扬声器；
2.3多窗口已经开启的情况下，当蓝牙扬声器接入时，此时不涉及焦点窗口的改变，需要如下附加流程保证功能的完善：将窗口标记信息等于目前焦点窗口的音轨移动到本机扬声器混音线程，并将其他媒体音轨移动到蓝牙扬声器混音线程。
2.4对于TV和硬解媒体音频，由于他们的音频流不经过系统，系统不能直接控制这两种情况的静音状态，而需要在切换焦点窗口时，通过音频芯片接口单独控制其静音状态。由于系统中可以使用硬件解码的应用是确定的，并且同一时间只有一个应用能使用硬件资源解码，可以根据非焦点窗口中运行的应用是否使用硬解码，来判断如何控制硬解码的声音状态。
用户切换焦点窗口时，系统在改变窗口焦点的同时，设置TV和硬解媒体音频的状态：
A、蓝牙扬声器未接入：若非焦点窗口中存在播放TV和硬解媒体音频的应用，通过音频芯片接口将本机扬声器TV和硬解码通道静音；
B、蓝牙扬声器已接入：若非焦点窗口中存在播放TV和硬解媒体音频的应用，通过音频芯片接口将本机扬声器TV和硬解码通道静音，并将TV和硬解媒体音频的数据发送给蓝牙设备输出。
本发明具有如下特点：
本发明基于多窗口的智能电视系统，此系统能够支持多窗口分屏，并且支持在各个窗口中播放媒体音频以及TV节目。
本发明可以单独控制每个窗口中媒体音频和TV内容的静音与否。
本发明可以控制每个窗口中媒体音频的输出方向，即音频传送到何种输出设备。
本发明针对软解、硬解和TV音频做不同控制，以实现每个窗口软解媒体内容、硬解媒体内容和TV节目音频的控制。
本发明可以根据要求将不同窗口的音频内容送往本机扬声器或蓝牙扬声器等不同的音频输出设备。
本发明能够根据用户选择的焦点窗口，自动实现窗口音频的控制。
本发明中，当蓝牙音频设备未连接时，本机扬声器发出的音频内容为焦点窗口内容，并且可以随用户切换焦点窗口的动作，实时切换扬声器发出对应窗口的音频内容；
当蓝牙音频设备连接时，本机扬声器发出的音频内容为焦点窗口音频内容，蓝牙音频设备发出的音频为背景窗口音频内容。并且可以随用户切换焦点窗口的动作，实时切换扬声器和蓝牙音频设备，使他们发出不同窗口的音频内容。
本发明最终能够在多窗口的各种场景下，合理控制音频数据的定向输出。
附图说明
图1媒体音轨的建立；
图2蓝牙接入时的流程；
图3蓝牙已接入情况下，切换焦点窗口时的路由控制；
图4蓝牙未接入情况下，切换焦点窗口时的路由控制。
具体实施方式
如附图所示，智能电视多窗口环境下实现音频路由控制的方法，包括：
1)、用户开启新窗口，播放音视频，触发状态1流程，为新建的音轨写入窗口标记。
2)、当未连接蓝牙音箱时，用户切换焦点窗口，系统在改变窗口焦点的同时触发音频路由控制流程：
将所有标记为焦点窗口的音轨设置为非静音，其他音轨设置为静音；同时设置tv和硬解码的音频静音状态。
3)、当已连接蓝牙音箱时，用户切换焦点窗口，系统在改变窗口焦点的同时触发音频路由控制流程：
将所有标记为焦点窗口的音轨移动到本机扬声器输出，其他音轨移动到蓝牙扬声器输出。同时设置tv和硬解码的音频输出设备。
4)、用户在已开启多窗口的情况下接入蓝牙音箱，系统自动将标记为焦点窗口的音轨移动到本机扬声器输出，其他音轨移动到蓝牙扬声器输出。同时设置tv和硬解码的音频输出设备；
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (2)

1.智能电视多窗口环境下实现音频路由控制的方法，其特征在于包括：
状态1、当蓝牙扬声器未接入时，电视扬声器仅发出焦点窗口中播放的音频；
状态2、当蓝牙扬声器接入后，焦点窗口媒体音频将由本机扬声器发出，非焦点窗口音频将由蓝牙扬声器发出；
状态2具体是通过如下方式实现的：
2.1自动设置各个窗口中应用播放媒体文件时所产生的音轨(Track)的窗口标记；在焦点窗口变动时，可根据音轨的窗口标记信息，确定如何控制此音轨的静音状态，或如何选择此音轨的输出设备；
2.2用户切换焦点窗口时，系统在改变窗口焦点的同时，主动触发音频切换流程；
2.3多窗口已经开启的情况下，当蓝牙扬声器接入时，此时不涉及焦点窗口的改变，需要如下附加流程保证功能的完善：将窗口标记信息等于目前焦点窗口的音轨移动到本机扬声器混音线程，并将其他媒体音轨移动到蓝牙扬声器混音线程；
2.4对于TV和硬解媒体音频，由于他们的音频流不经过系统，系统不能直接控制这两种情况的静音状态，而需要在切换焦点窗口时，通过音频芯片接口单独控制其静音状态；由于系统中可以使用硬件解码的应用是确定的，并且同一时间只有一个应用能使用硬件资源解码，可以根据非焦点窗口中运行的应用是否使用硬解码，来判断如何控制硬解码的声音状态；
步骤2.1包括如下步骤：
A、对于应用间接使用音轨(Track)播放(如通过系统多媒体播放器(MediaPlayer))、和应用直接使用音轨播放的情况，在音轨创建时，向系统查询到创建各个音轨的应用所在的进程号(PID)；
B、向系统查询到此进程号对应的应用包名(PackageName)信息；
C、根据包名信息，向系统查询到应用当前所在的窗口信息；
D、将音轨所在窗口的标记信息写入音轨的标记(Flage)信息中；
通过上面的一系列步骤，一个音轨就与一个窗口相关联了；
步骤2.2包括如下步骤：
A、若蓝牙扬声器未接入：判断系统中所有音轨的窗口标记信息(在第一步中获得)，将窗口标记信息等于目前焦点窗口的音轨设置为非静音状态，并将其他媒体音轨设置为静音状态；从而实现焦点窗口出声，非焦点窗口静音；
B、若蓝牙扬声器已接入：判断系统中所有音轨的窗口标记信息(在第一步中获得)，将窗口标记信息等于目前焦点窗口的音轨，移动到本机扬声器混音线程(PlayBackThread)，并将其他媒体音轨移动到蓝牙扬声器混音线程；在混音线程完成音轨混音后，将自动把音频发往各自的扬声器设备，实现焦点窗口的声音发往本机扬声器，非焦点窗口的声音发往蓝牙扬声器。
2.根据权利要求1所述智能电视多窗口环境下实现音频路由控制的方法，其特征在于：
用户切换焦点窗口时，系统在改变窗口焦点的同时，设置TV和硬解媒体音频的状态：
A、蓝牙扬声器未接入：若非焦点窗口中存在播放TV和硬解媒体音频的应用，通过音频芯片接口将本机扬声器TV和硬解码通道静音；
B、蓝牙扬声器已接入：若非焦点窗口中存在播放TV和硬解媒体音频的应用，通过音频芯片接口将本机扬声器TV和硬解码通道静音，并将TV和硬解媒体音频的数据发送给蓝牙设备输出。
CN201611030154.0A 2016-11-15 2016-11-15 智能电视多窗口环境下实现音频路由控制的方法 Active CN106454506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611030154.0A CN106454506B (zh) 2016-11-15 2016-11-15 智能电视多窗口环境下实现音频路由控制的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611030154.0A CN106454506B (zh) 2016-11-15 2016-11-15 智能电视多窗口环境下实现音频路由控制的方法

Publications (2)

Publication Number Publication Date
CN106454506A CN106454506A (zh) 2017-02-22
CN106454506B true CN106454506B (zh) 2019-05-07

Family

ID=58221626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611030154.0A Active CN106454506B (zh) 2016-11-15 2016-11-15 智能电视多窗口环境下实现音频路由控制的方法

Country Status (1)

Country Link
CN (1) CN106454506B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147929A (zh) * 2017-06-22 2017-09-08 深圳Tcl数字技术有限公司 多窗口声音输出方法、电视机以及计算机可读存储介质
CN108184164B (zh) * 2017-12-28 2021-06-11 深圳Tcl新技术有限公司 音频播放方法、智能电视及计算机可读存储介质
CN109068171B (zh) * 2018-09-25 2020-10-23 四川长虹电器股份有限公司 智能电视中限制指定音频流音量的方法
CN111045631A (zh) * 2019-11-29 2020-04-21 深圳市宏电技术股份有限公司 双屏异显异音实现方法、装置及存储介质
CN112882823B (zh) * 2019-11-29 2024-07-05 华为技术有限公司 屏幕显示方法及电子设备
CN111405337A (zh) * 2020-02-17 2020-07-10 福州瑞芯微电子股份有限公司 安卓系统的双屏异声的实现的方法、装置、设备和介质
CN112004154A (zh) * 2020-08-31 2020-11-27 四川长虹电器股份有限公司 智能终端的录音方法、系统及智能终端
WO2022228573A1 (zh) * 2021-04-30 2022-11-03 海信视像科技股份有限公司 显示设备和音频输出方法
CN114296579A (zh) * 2021-04-30 2022-04-08 海信视像科技股份有限公司 显示设备及用户界面的控制方法
CN113377328A (zh) * 2021-06-24 2021-09-10 广州朗国电子科技有限公司 一体机多窗模式下的声音跟随方法、装置及存储介质
CN113553024A (zh) * 2021-07-30 2021-10-26 深圳康佳电子科技有限公司 一种分屏窗口的音量配置方法、存储介质及终端设备
CN113965785A (zh) * 2021-08-27 2022-01-21 海信视像科技股份有限公司 一种资源同步播放方法及显示设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005582A (zh) * 2007-01-17 2007-07-25 上海晖悦数字视频科技有限公司 具有蓝牙传输音频功能的数字电视机及蓝牙传输方法
CN101615413A (zh) * 2009-07-27 2009-12-30 上海华平信息技术股份有限公司 多路音/视频播放系统及方法
CN103680551A (zh) * 2012-09-21 2014-03-26 深圳市快播科技有限公司 一种播放器及其多视频并行播放的方法
CN104216772A (zh) * 2013-06-03 2014-12-17 上海帛茂信息科技有限公司 支持多窗口的电子设备对不同窗口对应音频的控制方法
CN104811806A (zh) * 2015-03-23 2015-07-29 四川长虹电器股份有限公司 音频混合输出控制的方法
CN105023593A (zh) * 2014-04-18 2015-11-04 联想移动通信科技有限公司 一种终端音频播放方法、装置及终端
CN105100871A (zh) * 2015-07-27 2015-11-25 四川长虹电器股份有限公司 智能电视在同屏多窗口模式下的静音控制方法
CN105898370A (zh) * 2015-11-13 2016-08-24 乐视云计算有限公司 用于多机位的视频播放器、播放系统及播放方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005582A (zh) * 2007-01-17 2007-07-25 上海晖悦数字视频科技有限公司 具有蓝牙传输音频功能的数字电视机及蓝牙传输方法
CN101615413A (zh) * 2009-07-27 2009-12-30 上海华平信息技术股份有限公司 多路音/视频播放系统及方法
CN103680551A (zh) * 2012-09-21 2014-03-26 深圳市快播科技有限公司 一种播放器及其多视频并行播放的方法
CN104216772A (zh) * 2013-06-03 2014-12-17 上海帛茂信息科技有限公司 支持多窗口的电子设备对不同窗口对应音频的控制方法
CN105023593A (zh) * 2014-04-18 2015-11-04 联想移动通信科技有限公司 一种终端音频播放方法、装置及终端
CN104811806A (zh) * 2015-03-23 2015-07-29 四川长虹电器股份有限公司 音频混合输出控制的方法
CN105100871A (zh) * 2015-07-27 2015-11-25 四川长虹电器股份有限公司 智能电视在同屏多窗口模式下的静音控制方法
CN105898370A (zh) * 2015-11-13 2016-08-24 乐视云计算有限公司 用于多机位的视频播放器、播放系统及播放方法

Also Published As

Publication number Publication date
CN106454506A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106454506B (zh) 智能电视多窗口环境下实现音频路由控制的方法
CN105075295B (zh) 用于生成和渲染具有条件渲染元数据的基于对象的音频的方法和系统
JP2020528164A (ja) ディスプレイを回転することでコンテンツを視覚化するディスプレイ装置及びその制御方法
CN1976431B (zh) 控制设备及其与媒体源和娱乐系统交互的方法
CN100425072C (zh) 信息处理设备、信息处理方法
CN104166547B (zh) 一种频道的控制方法和装置
CN104091423B (zh) 一种信号传输方法及家庭点歌系统
CN105472437A (zh) 视频播放方法及装置
EP3611897A1 (en) Method, apparatus, and system for presenting communication information in video communication
CN105096981A (zh) 一种多路声音播放方法、装置和系统
CN104766505A (zh) 智能教学钢琴及钢琴教学方法
CN106454200A (zh) 一种基于场景切换的视频交互方法和系统
CN105100871A (zh) 智能电视在同屏多窗口模式下的静音控制方法
CN109100943A (zh) 音箱与电视所成系统的控制方法、装置、设备和介质
CN109671429A (zh) 语音交互方法及设备
JP5359199B2 (ja) コメント配信システム、端末、コメント出力方法及びプログラム
KR20190008772A (ko) 관심 객체 중점 재생 기능을 구비한 영상 재생 장치
CN105516752A (zh) 一种机顶盒、机顶盒转接装置及方法
JP2017157915A (ja) 携帯端末装置およびコンテンツ配信システム
WO2020253452A1 (zh) 直播间状态消息的推送方法、交互内容的切换方法、装置及设备
JP2007028242A (ja) 端末装置および同端末装置に適用されるコンピュータプログラム
JP7226709B2 (ja) 映像制御システム、及び映像制御方法
US10596452B2 (en) Toy interactive method and device
KR20160029626A (ko) 셋탑 박스, 그를 이용한 서비스 제공 방법 및 컴퓨터 프로그램
CN106604115B (zh) 视频播放控制装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant