CN113794928B - 一种音频播放方法及显示设备 - Google Patents

一种音频播放方法及显示设备 Download PDF

Info

Publication number
CN113794928B
CN113794928B CN202111074290.0A CN202111074290A CN113794928B CN 113794928 B CN113794928 B CN 113794928B CN 202111074290 A CN202111074290 A CN 202111074290A CN 113794928 B CN113794928 B CN 113794928B
Authority
CN
China
Prior art keywords
audio
equipment
channel
radio equipment
player
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111074290.0A
Other languages
English (en)
Other versions
CN113794928A (zh
Inventor
郭增杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vidaa Netherlands International Holdings BV
Original Assignee
Vidaa Netherlands International Holdings BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vidaa Netherlands International Holdings BV filed Critical Vidaa Netherlands International Holdings BV
Priority to CN202111074290.0A priority Critical patent/CN113794928B/zh
Publication of CN113794928A publication Critical patent/CN113794928A/zh
Priority to CN202280057202.2A priority patent/CN117836754A/zh
Priority to PCT/CN2022/089923 priority patent/WO2023035630A1/zh
Application granted granted Critical
Publication of CN113794928B publication Critical patent/CN113794928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/005—Discovery of network devices, e.g. terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

本发明公开一种音频播放方法及显示设备，在音频播放器启动播放音频数据时，创建与所述音频播放器相链接的音频输入通道；显示设备列表，所述设备列表中包括当前可用的收音设备的设备信息；在接收到对所述设备列表中第一目标收音设备的选定操作时，建立所述音频输入通道与第一目标收音设备对应的第一音频输出通道间的对接关系，形成第一音频传输通路；将音频数据通过所述第一音频传输通路发送给所述第一目标收音设备，以使第一目标收音设备播放接收到的音频数据。本申请扩展了显示设备的音频播放能力，实现多路音频同步播放，并可根据不同用户的听音需求，将每路音频数据分发给一个或多个指定的收音设备，能实现多人场景中各用户各听各自的音频。

Description

一种音频播放方法及显示设备
技术领域
本发明涉及显示设备领域，尤其涉及一种音频播放方法及显示设备。
背景技术
显示设备可以通过音频播放器去播放音频资源，在一些场景中，显示设备可能同时运行多个用户分别启动的多个音频播放器，即可能产生多路音频，但显示设备仅支持输出单路音频，显示设备或将多路音频进行混音后输出，但会导致功放最终播放的是混音音频，而不再是原始音频；又或者，仅输出其中一路音频，其他路音频均被停止输出及播放，这就导致多人场景内只能共享同一音频资源，即多人场景中仅有一人听到自己感兴趣的音频资源，其他人只能被动收听。由此可见，无论是混音还是输出单路音频，都无法适应多人场景中不同用户的听音需求。
发明内容
为解决上述背景技术中提出的技术问题，本发明提供一种音频播放方法及显示设备。
本申请第一方面提供一种显示设备，包括：
显示器，用于显示用户界面；
通信器，用于与收音设备通信连接；
控制器，用于执行：
在音频播放器启动播放音频数据时，创建与所述音频播放器相链接的音频输入通道；
控制显示器显示设备列表，所述设备列表中包括当前可用的收音设备的设备信息；
在接收到对所述设备列表中第一目标收音设备的选定操作时，建立所述音频输入通道与第一目标收音设备对应的第一音频输出通道间的对接关系，形成第一音频传输通路；
将所述音频数据通过所述第一音频传输通路发送给所述第一目标收音设备，以使第一目标收音设备播放接收到的所述音频数据。
在第一方面第一种示例性的实现方式中，所述控制器还用于执行：
在接收到用户切换设备的操作指令时，断开所述音频输入通道与所述第一音频输出通道的对接关系；
根据所述操作指令指示被切换到的第二目标收音设备，建立所述音频输入通道与所述第二目标收音设备对应的第二音频输出通道间的对接关系，形成第二音频传输通路；
将所述音频数据通过所述第二音频传输通路发送给所述第二目标收音设备，以使第二目标收音设备播放接收到的所述音频数据。
在第一方面第二种示例性的实现方式中，所述控制器还用于执行：
在监听到显示设备所处网络中接入收音设备时，获取所述收音设备的设备信息；
构建与所述收音设备对应的音频输出通道，并向所述收音设备发送携带有音频输出通道信息的连接请求；
在接收到所述收音设备反馈的连接成功消息时，记录所述音频输出通道生效，以及在所述设备列表中增加所述收音设备的设备信息。
在第一方面第三种示例性的实现方式中，所述控制器还用于执行：
若检测到所述设备列表为空列表，则不显示所述设备列表，控制显示器显示用于提示当前无可用收音设备的信息；
控制所述音频输入通道丢弃所述音频数据。
在第一方面第四种示例性的实现方式中，在启动蓝牙扫描功能之后，所述控制器还用于执行：
在显示设备列表之后，若在超时时间内始终未接收到对所述设备列表中任意一个收音设备的选定操作，控制所述音频输入通道丢弃所述音频数据。
在第一方面第五种示例性的实现方式中，所述控制器还用于执行：
在接收到对所述音频播放器的关闭指令时，断开所述音频输入通道与一个或多个音频输出通道已建立的对接关系，并删除所述音频输入通道。
在第一方面第六种示例性的实现方式中，所述控制器还用于执行：
在多个音频输入通道与同一个目标音频输出通道建立对接关系时，对多个音频输入通道中传输的音频数据进行混音处理，得到混音数据；
将所述混音数据传输至所述目标音频输出通道，进而将所述混音数据发送给所述目标音频输出通道对应的收音设备。
在第一方面第七种示例性的实现方式中，所述控制器还用于执行：
在检测到所述第一目标收音设备断开网络连接时，在所述设备列表中删除所述第一目标收音设备的设备信息；
删除所述第一音频输出通道，并控制所述音频输入通道丢弃所述音频数据；
通过显示器提示用户所述第一目标收音设备当前不可用，以及询问用户是否切换为由其他可用的收音设备播放所述音频数据。
在第一方面第八种示例性的实现方式中，所述控制器还用于执行：
在检测到所述第一目标收音设备于断网后再次接入网络时，再次获取所述第一目标收音设备的设备信息；
根据重新构建的第一音频输出通道，向所述第一目标收音设备发送携带有第一音频输出通道信息的重连请求；
在接收到所述第一目标收音设备反馈的连接成功消息时，触发所述第一音频输出通道生效，以及在所述设备列表中增加所述第一目标收音设备的设备信息；
通过显示器提示用户所述第一目标收音设备当前可用，以及询问用户是否重新切换为由所述第一目标收音设备播放所述音频数据。
本申请第二方面提供一种音频播放方法，包括：
在音频播放器启动播放音频数据时，创建与所述音频播放器相链接的音频输入通道；
显示设备列表，所述设备列表中包括当前可用的收音设备的设备信息；
在接收到对所述设备列表中第一目标收音设备的选定操作时，建立所述音频输入通道与第一目标收音设备对应的第一音频输出通道间的对接关系，形成第一音频传输通路；
将所述音频数据通过所述第一音频传输通路发送给所述第一目标收音设备，以使第一目标收音设备播放接收到的所述音频数据。
在以上示例的实现方式中，显示设备每启动一个音频播放器，就创建一个对应的音频输入通道，该音频输入通道的建立不受音频输出及收音设备端的影响，音频播放器与音频输入通道一般是一一对应关系；本申请中采用收音设备作为功放，即相当于显示设备作为音频信号的广播源，收音设备可接收并播放音频信号，从而便于用户收听，收音设备的数量不限定，显示设备每连接一个收音设备，就创建一个对应的音频输出通道，收音设备与音频输出通道一般是一一对应关系。本申请中一个音频输入通道可同时与多个音频输出通道对接，实现某一音频数据在多个收音终端中同步播放；同样地，多个音频输入通道也可对接于同一音频输出通道，实现多路音频数据混音后输出的效果；当然音频输入、输出通道也可是一一对接，实现为每种音频数据分配给独立的收音设备。通过对音频输入、输出通道的灵活对接，可以搭建出多样化的音频传输通路，并通过音频传输通路将音频数据发送给相应的收音设备。
显示设备可以根据当前已连接、可用的收设备，创建并维护一设备列表，并在音频播放器启动播放音频数据时，在播放器界面中显示该设备列表，用户可以在设备列表中将音频数据分配给指定的第一目标收音设备去播放，第一目标收音设备的数量可以是一个或多个。若选定一个第一目标收音设备，则建立音频输入输出的一对一对接关系，形成一条第一音频传输通路；若选定N(N为大于1的整数)个第一目标收音设备，则建立起音频输入输出的一对多对接关系，形成N条第一音频传输通路。第一音频传输通路搭建完毕后，即可将音频数据通过第一音频传输通路发送给第一目标收音设备，第一目标收音设备接收音频数据后，即可控制自身硬件资源播放音频数据。通过本申请提供的音频传输架构，扩展了显示设备的音频播放能力，能实现多路音频同步播放，并可根据不同用户的听音需求，将每路音频数据分发给一个或多个指定的收音设备，能实现多人场景中各用户各听各自的音频，提升用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要访问的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示例性示出了根据一些实施例的显示设备的使用场景；
图2示例性示出了根据一些实施例的控制装置100的硬件配置框图；
图3示例性示出了根据一些实施例的显示设备200的硬件配置框图；
图4示例性示出了根据一些实施例的显示设备200中软件配置图；
图5示例性示出了一种音频传输架构的示意图；
图6示例性示出了显示设备在音频播放器的播放界面上显示设备列表的UI示意图；
图7(a)示例性示出了一种显示设备显示音频播放器的窗口布局；
图7(b)示例性示出了图7(a)中收音设备A断网时的一种UI示意图；
图7(c)示例性示出了图7(a)中收音设备A断网时的另一种UI示意图；
图7(d)示例性示出了收音设备A恢复连接时的一种UI示意图；
图8示例性示出了一种音频播放方法的流程图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。
在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。
在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中，也可以使用智能设备300和显示设备进行数据的通信。
在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。
在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。
在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。
在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。
在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。
在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
如图4所示，将显示设备的系统分为三层，从上至下分别为应用层、中间件层和硬件层。
应用层主要包含电视上的常用应用，以及应用框架(Application Framework)，其中，常用应用主要是基于浏览器Browser开发的应用，例如：HTML5 APPs；以及原生应用(Native APPs)；
应用框架(Application Framework)是一个完整的程序模型，具备标准应用软件所需的一切基本功能，例如：文件存取、资料交换...，以及这些功能的使用接口(工具栏、状态列、菜单、对话框)。
原生应用(Native APPs)可以支持在线或离线，消息推送或本地资源访问。
中间件层包括各种电视协议、多媒体协议以及系统组件等中间件。中间件可以使用系统软件所提供的基础服务(功能)，衔接网络上应用系统的各个部分或不同的应用，能够达到资源共享、功能共享的目的。
硬件层主要包括HAL接口、硬件以及驱动，其中，HAL接口为所有电视芯片对接的统一接口，具体逻辑由各个芯片来实现。驱动主要包含：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
以上实施例介绍了显示设备的硬件/软件架构以及功能实现等内容。在一种示例性的实现方式中，显示设备除具有自身内置的扬声器或通过HDMI、蓝牙等形式连接的外部功放外，还可连接收音设备，即相当于将显示设备作为音频信号的广播源，收音设备在接收音频信号后，利用自身相关的硬件资源去播放音频信号，从而便于用户收听。其中，收音设备是指具备接收及播放音频数据能力的设备，包括但不限于收音机、智能手机、平板电脑、耳机等。
在一种示例性的实现方式中，显示设备和收音设备均可连接无线网络，例如当收音设备与显示设备接入同一wifi网络后，显示设备与收音设备可以建立有效的通信连接，实现显示设备端通过网络向收音设备发送音频数据。
在一种示例性的实现方式中，所述音频数据可以来源于存储介质，例如用户访问显示设备的本地磁盘，或者访问通过USB接口连接的移动存储设备，移动存储设备包括但不限于U盘、移动硬盘、读卡器等，并打开一音频文件，则可启动显示设备默认的媒体播放器(可实现音频播放器功能)，又或者临时创建一音乐播放器去播放音频文件的数据；又或者，显示设备可安装有收听音频的应用，例如酷狗音乐、喜马拉雅等APP，即音频数据来源于这类应用平台提供的音频资源，用户在APP页面中点击播放感兴趣的音频资源后，显示设备可使用应用提供的音频播放器功能，完成对音频资源的播放。
在一种示例性的实现方式中，音频播放器可以读取存储介质中已存的音频文件，或者获取应用内的音频资源，然后对音频文件或音频资源的原始数据进行解码，得到音频数据。
在一种示例性的实现方式中，音频播放器还可对音频进行播放控制，包括但不限于音量、倍速、音效、播放进度(例如暂停、seek、前进、后退)、歌曲切换、播放模式(单曲循环、随机播放、顺序播放)等方面的调节和控制。可选地，在音乐播放器的界面中显示音频播放信息，音频播放信息包括但不限于音频列表、音频名称、发音者姓名、字幕、音频时长、播放进度条、暂停/播放控件、音频切换控件、背景图像等与音频有关的内容。
本申请所述的音频播放器与收音设备是不同的概念，音频播放器为音频播放的软件程序，类似于一个应用；而收音设备则是实体硬件，用于接收并播放显示设备广播的音频数据，相当于接收器+扬声器。通过用户对音频播放器的交互操作，显示设备可生成符合用户操作意图的控制指令，并将控制指令发送给收音设备，以使收音设备对播放的音频进行调节。
显示设备常规的音频输出通道包括但不限于扬声器(Speaker)、ARC(AudioReturn Channel，音频回传通道)和蓝牙(Bluetooth)通道等，这些类型的音频输出通道之间不能并行，用户需要在音频输出页面中择一通道来输出及播放音频，也就是说，不同的音频播放器共享同一音频输出通道，显示设备仅支持输出一路音频，这就导致多个音频播放器之间往往存在播放冲突，或将多个音频播放器的音频数据进行混音后再输出，或者同一时刻仅允许一个音频播放器处于播放状态，而无论何种方式都无法满足多人场景下支持多路输出、各用户各听各自音频的需求。
在一种示例性的实现方式中，参照图5提供的音频输出架构，包括播放器集合、音频通道管理服务进程和收音设备集合，其中播放器集合和音频通道管理服务进程皆运行于显示设备内，播放器集合包括M个已启动播放音频数据的音频播放器，收音设备集合包括N个与显示设备连接、当前可用的收音设备，M和N皆为整数，M值与N值可相等或不等。其中，收音设备集合是末端(即播放端)实体设备的集合，播放器集合是前端音频播放器的集合。显示设备与收音设备集合处于同一局域网中，音频通道管理服务进程随显示设备开机一并启动，播放器集合与音频通道管理服务进程之间属于进程间通讯，音频通道管理服务进程与收音设备集合之间属于同一局域网内设备间通讯。
在一种示例性的实现方式中，播放器集合包括M个已启动播放音频数据的音频播放器，则显示设备可创建并同时显示M个窗口，每个窗口对应显示一个音频播放器的用户界面，可选地，可以按照预设布局显示M个窗口，所述预设布局是根据不同窗口数量预设的每个窗口的尺寸及在界面上的位置分布。例如，若M＝1，则单窗口全屏显示；若M＝2，则将两个窗口并排或并列排布；又例如，若M＝4，可以按照2*2矩阵形式排布四个窗口，预设布局的设置不作具体限定。当播放器集合发生新增或删减，即M值发生改变时，显示设备端可根据M值自适应匹配及调整窗口布局。
在一种示例性的实现方式中，音频通道管理服务进程可包括音频通道管理模块和收音设备管理模块，通过这两个模块间的配合，实现音频输入输出通道的对接，从而搭建出每个音频播放器对应的音频传输通路。
在一种示例性的实现方式中，音频通道管理模块可通过如预置或动态创建等方式，为播放器集合中的每个音频播放器创建对应的音频输入通道。音频通道管理模块还用于对音频数据输入通道进行管理，例如播放器集合中每新增一个音频播放器，音频通道管理模块可另行创建一个对应的音频输入通道，该音频输入通道的建立不受音频输出及收音设备端的影响；播放器集合中每减少一个音频播放器，音频通道管理模块就删减对应的音频输入通道，从而使音频播放器与音频输入通道保持一对一关系。
在一种示例性的实现方式中，音频播放器与音频通道管理模块之间可采用如domain socket(域套接字)等通讯形式。
在一种示例性的实现方式中，收音设备管理模块可通过如预置或动态创建等方式，为收音设备集合中的每个接入同一局域网的收音设备创建对应的音频输出通道，收音设备与音频输出通道保持一对一关系。
在一种示例性的实现方式中，显示设备与收音设备之间可以预先约定设备发现端口和输出通道端口，设备发现端口可采用UDP(User Datagram Protocol，用户数据报协议)，输出通道端口可采用TCP(Transmission Control Protocol，传输控制协议)。收音设备开机完成时，向设备发现端口广播收音设备自身的设备信息，所述设备信息不限于设备ID、版本号、MAC地址等所需信息；设备发现端口获取到收音设备的设备信息时，即监听到显示设备所处网络中接入了新的收音设备，然后向收音设备发送连接请求，连接请求中携带有显示设备建立音频输出通道的相关信息，包括但不限于IP地址、输出通道端口号、版本号等；收音设备在接收到连接请求后，根据请求中携带的信息，与收音设备管理模块建立socket连接，该socket连接相当于音频输出通道，显示设备接收到收音设备反馈的连接成功消息时，即可获知音频输出通道创建成功，记录音频输出通道生效。
在一种示例性的实现方式中，还支持对现有socket连接进行断开后重连，即收音设备重新向设备发现端口广播设备信息，然后收音设备管理模块重新发送连接请求，从而建立新的socket连接，即相当于调整了收音设备映射的音频输出通道。
在一种示例性的实现方式中，音频通道管理服务进程还可创建并维护一设备列表，所述设备列表中包括当前可用的收音设备的设备信息，所述当前可用的收音设备是指当前已接入显示设备所处网络，并且已与收音设备管理模块成功建立socket连接的收音设备，显示设备接收到收音设备反馈的连接成功消息时，在设备列表中新增该收音设备的设备信息，从而实现设备列表随同收音设备集合而同步更新。显示设备通过查询设备列表，即可获知当前可由哪些收音设备播放音频数据。
在一种示例性的实现方式中，socket连接成功后，设备列表中会新增一项收音设备的设备信息，在其他场景中，收音设备有可能退出收音设备集合，例如用户将收音设备关机，或者收音设备断开网络连接，导致收音设备因无法正常接收音频数据而不可用。
在一种示例性的实现方式中，例如可通过心跳检测机制，来确定收音设备是否可用。可选地，显示设备周期性地向收音设备发送心跳包，若能在超时时间内接收到收音设备的应答消息，则显示设备认为收音设备是可用的；若收音设备心跳应答超时，说明收音设备可能存在关机、断电、断网等异常，则显示设备认为收音设备不可用，会将该收音设备的设备信息从设备列表中删除。通过监听收音设备集合中设备的新增或删减，同步更新设备列表，保证设备列表的实时性和准确性。
在一种示例性的实现方式中，一个音频输入通道可与多个音频输出通道对接，实现某一音频数据在多个收音终端同步播放；同样地，多个音频输入通道也可对接于同一音频输出通道，实现多路音频数据混音后输出的效果；当然音频输入、输出通道也可是一对一对接，实现为每种音频数据分配给独立的收音设备。通过对音频输入、输出通道的灵活对接，可以搭建出多样化的音频传输通路，并通过音频传输通路将音频数据发送给相应的收音设备。本申请还支持对音频输入、输出通道随时建立对接或断开对接，从而对音频传输通路进行调整和变换，以适配应不同应用场景中的听音需求。
只有音频输入、输出通道达成对接关系，形成一条有效的音频传输通路时，用户才能真实听见这条音频传输通路所传输的音频数据，但音频输入、输出通道未对接则不影响音频播放器端的功能，即用户仍然能对音频播放器进行正常操作，只是无法听见该音频播放器播放的音频数据的声音。音频输入通道与哪一目标音频输出通道对接，则由该目标音频输出通道对应的收音设备对音频数据做出发声，而收音设备集合中其他的收音设备不受此任何影响。
在一种示例性的实现方式中，可采用在显示设备端以UI询问的方式，由用户决策音频输入、输出通道之间的对接布局。音频播放器启动后，为其创建音频输入通道，并在显示界面上显示设备列表，参照图6的示例，显示器提示用户从设备列表中选择用以播放该音频数据的收音设备，并同时显示设备列表、确认控件和取消控件，设备列表中可包括当前可用的收音设备的设备名称/ID等信息，以便用户快速识别收音设备，每个收音设备选项设置对应的选择控件，选择控件被触发时记录对应的收音设备被选定。可选地，还可设置并显示全选控件，使用户能一键快速选中设备列表中的全部收音设备，便于用户操作。
在一种示例性的实现方式中，用户可从设备列表中选择一个或多个收音设备，作为接收并播放音频数据的末端功放，为便于区分，将用户初次指定的收音设备命名为第一目标收音设备，第一目标收音设备的数量不超过设备列表的上限，然后用户点击确认控件，即确认自己的选项，则建立音频输入通道与第一目标收音设备对应的第一音频输出通道间的对接关系，从而搭建成一条音频传输通路。
以图5为例，播放器集合中包括5个音频播放器，分别为音频播放器1、音频播放器2、音频播放器3、音频播放器4和音频播放器5；收音设备集合中包括4个收音设备，分别为收音设备1、收音设备2、收音设备3和收音设备4。音频通道管理服务进程链接于两个集合之间。
参照图5的示例，其中音频播放器3启动播放音频数据3，显示设备创建与音频播放器3对应的音频输入通道3，用户在设备列表中选定由收音设备2播放音频数据3，收音设备2对应于音频输出通道2，则显示设备建立音频输入通道3与音频输出通道2的一对一对接关系，从而搭建出一条音频传输通路为音频播放器3→音频输入通道3→音频输出通道2→收音设备2，从而将音频数据3通过该通路最终发送到收音设备2，由收音设备2播放音频数据3。
参照图5的示例，其中音频播放器4播放音频数据4，显示设备创建与音频播放器4对应的音频输入通道4，用户在设备列表中选定由收音设备3和收音设备4同时播放音频数据4，收音设备3对应于音频输出通道3，收音设备4对应于音频输出通道4，则建立音频输入通道4分别与音频输出通道3和音频输出通道4的对接关系，属于一对多对接关系，从而搭建出两条音频传输通路，分别为音频播放器4→音频输入通道4→音频输出通道3→收音设备3，以及音频播放器4→音频输入通道4→音频输出通道4→收音设备4，从而由收音设备3和收音设备4同步播放音频数据4。
在一种示例性的实现方式中，参照图6的示例，用户也可直接点击取消控件，或者用户可能未从设备列表中选择收音设备(即空选)就点击了确认控件，这两种情况都导致第一目标收音设备的数量为零，则这一路音频数据无需传输给任何收音设备，这路音频数据的音频输入通道不存在对接关系，因此音频输入通道可直接将接收到的音频数据丢弃。
在一种示例性的实现方式中，显示设备显示设备列表后，用户可能长时间未进行任何操作，既未选择收音设备并触发确认控件，也未触发取消控件，即存在超时无响应的情况，由此可设置一超时时间，在显示设备列表时启动计时，若计时时间达到超时时间，显示设备始终未接收到用户对设备列表中任意一个收音设备的选定操作，则判定为用户未指定第一目标收音设备，这路音频数据的音频输入通道无对接的音频输出通道，因此音频输入通道可直接将接收到的音频数据丢弃。
在一种示例性的实现方式中，显示设备在显示设备列表之前，先检测设备列表是否为空列表，若设备列表为非空列表，则控制显示器显示设备列表；反之，若设备列表为空列表，即收音设备集合为空集，说明前无可用于播放音频数据的收音设备，则显示器不显示设备列表，而是提示用户当前无可用的收音设备，以及音频输入通道直接将接收到的音频数据丢弃，不传输和播放这路音频数据。
参照图5的示例，其中音频播放器5播放音频数据5，显示设备创建与音频播放器5对应的音频输入通道5，若检测到超时时间内未接收到用户对设备列表中任意一个收音设备的选定操作，或者设备列表为空列表等第一目标收音设备为零的情况，则显示设备的处理方式为音频播放器5→音频输入通道5→音频输入通道5丢弃音频数据5。
在一种示例性的实现方式中，多个音频输入通道可与同一个目标音频输出通道建立对接关系，即属于多对一对接关系，但一个音频输出通道仅支持输出单路音频，因此可以先对多个音频输入通道中传输的几路音频数据进行混音处理，得到混音数据，然后将混音数据传输给目标音频输出通道，进而将混音数据发送给目标音频输出通道对应的收音设备。
参照图5的示例，在创建音频输出通道时，收音设备管理模块可在音频输出通道的前一环节同步设置混音模块。例如，音频播放器1播放音频数据1，音频播放器2播放音频数据2，显示设备创建与音频播放器1对应的音频输入通道1，以及创建与音频播放器2对应的音频输入通道2，用户指定由收音设备1播放音频数据1和音频数据2，收音设备1对应于音频输出通道1，则建立音频输入通道1和音频输入通道2分别与音频输出通道1的对接关系，属于多对一对接关系；音频输入通道1先将音频数据1传输给混音模块，同时音频输入通道2先将音频数据2传输给混音模块，混音模块将音频数据1和音频数据2做混音处理，得到混音数据，然后将混音数据发送给音频输出通道1，即搭建出的音频传输通路为：音频播放器1/音频播放器2→音频输入通道1/音频输入通道2→混音模块→音频输出通道1→收音设备1，从而由收音设备1播放音频数据1和音频数据2的混音数据。由此可见，混音模块前端环节中，音频数据1和音频数据2是独立传输的，而经过混音模块处理后，两路音频数据被混合为一路，并共享同一个音频输出通道1。
参照图5的示例，对于一对一或一对多的对接关系，不存在多路音频共享同一音频输出通道的问题，即仅有一路音频数据输入至混音模块中，以图5中音频数据3为例，音频输入通道3将音频数据3传输到混音模块中，混音模块检测到仅有一路音频数据3输入，则不进行混音处理，并将音频数据3直接传输给音频输出通道2，这种逻辑状态下混音模块仅起到传输音频数据的作用，只有多对一对接关系生成时才会触发混音模块执行混音处理。
在一种示例性的实现方式中，参照图5的示例，音频通道管理模块还可包括基于domain socket服务的控制子模块，控制子模块用于实现音频播放器与音频通道管理服务进程间的通讯交互，例如控制子模块用于接收音频播放器发送的播放控制指令、对接或切换收音设备指令、设备列表获取请求等指令，以及向音频播放器发送设备列表、消息通知等。
在一种示例性的实现方式中，以图5中的音频播放器4为例进行说明，音频播放器4启动后，向控制子模块发送携带有自身播放器ID的第一消息，控制子模块接收到第一消息，即可获知音频播放器4已加入播放器集合，则新建音频播放器4对应的音频输入通道4；音频播放器4再向控制子模块发送设备列表获取请求，控制子模块响应于设备列表获取请求，调取音频通道管理服务进程中当前的设备列表，并将设备列表发送给音频播放器4；音频播放器4接收到设备列表后，在界面上层UI显示设备列表，并根据用户针对设备列表的操作，生成并向控制子模块发送对接控制指令，对接控制指令中可携带有收音设备3和收音设备4的设备信息；控制子模块接收该对接控制指令，解析获知用户已选定收音设备3和收音设备4播放音频数据4，则进程建立音频输入通道4分别与音频输出通道3和音频输出通道4的对接关系。
在一种示例性的实现方式中，音频播放器在向控制子模块发送设备列表获取请求之后，控制子模块可以向进程查询设备列表是否为空列表。若设备列表为非空列表，则将设备列表发送给音频播放器。若设备列表为空列表，则控制子模块可向音频播放器发送无可用设备消息；音频播放器接收到无可用设备消息时，即可获知设备列表为空列表，则不显示设备列表，提示用户当前无可用的收音设备。
在一种示例性的实现方式中，参照图6的示例，可选地，在音频播放器界面上设置切换控件，切换控件用于在音频播放器播放音频资源期间，支持用户随时根据使用意愿切换收音设备。需要说明的是，用户切换收音设备的操作不限于触发切换控件，例如可以是语音输入切换设备指令、或通过预设的快捷操作(例如在显示音频播放器界面时，点击遥控器上指定的关联按键)等。
在一种示例性的实现方式中，以图5中的音频播放器3为例，音频播放器3接收到用户切换设备的操作指令时，考虑到设备列表可能发生更新(设备新增或删减)，则再次向控制子模块发送设备列表获取请求，以及在接收到控制子模块发送的当前最近的设备列表时，显示该设备列表，用户从最新的设备列表中选择需要切换到哪个或哪些收音设备，例如用户选择切换到新增的收音设备5，即指定收音设备5作为切换到的第二目标收音设备(为便与第一目标收音设备进行区分，本申请将切换后的收音设备命名为第二目标收音设备)，则音频播放器3生成并向控制子模块发送切换控制指令，切换控制指令中可携带有音频播放器3的ID+收音设备5的设备信息；控制子模块接收并解析切换控制指令时，由进程断开音频播放器3原构建的对接关系，即断开音频输入通道3与音频输出通道2的对接，并建立音频输入通道3与收音设备5对应的音频输出通道5的对接关系，从而切断音频数据3的旧音频传输通路，并构建新音频传输通路，实现音频数据3的播放端由收音设备3切换为收音设备5。
在一种示例性的实现方式中，若用户关闭某音频播放器，即该音频播放器退出播放器集合，则为该音频播放器搭建的音频传输通路也不必继续维持，从而释放掉一部分进程资源。
在一种示例性的实现方式中，以图5中的音频播放器1为例，若接收到对音频播放器1的关闭指令，则音频播放器1向控制子模块发送携带有音频播放器1的ID的断接控制指令；控制子模块接收到断接控制指令后，进程会断开音频输入通道1所属的全部对接关系，在图5的示例中音频输入通道1仅与一个音频输出通道对接，则进程断开音频输入通道1与音频输出通道1的对接，并删除音频输入通道1，此时音频输出通道1变换为仅对接于音频输入通道2，即收音设备1不再播放音频数据1和音频数据2的混音数据，而切换为仅播放音频数据2。
在一种示例性的实现方式中，参照图6的示例，设备列表中还可标注当前每个可用的收音设备的播放状态，例如收音设备1的播放状态为“混音播放”，收音设备2的播放状态为“在播”，“在播”表示收音设备当前正在播放一路音频数据(非混音)，收音设备3和收音设备4的播放状态为“未播”，“未播”表示收音设备当前未播放任何音频数据。通过在设备列表中标注每个收音设备的播放状态，可以为用户提供对接/切换收音设备的参考因素，例如用户可能更倾向于选择“未播”状态的收音设备，规避选择“混音播放”状态的收音设备。
在一种示例性的实现方式中，每个可用的收音设备的播放状态，均由音频通道管理服务进程根据对接布局进行记录和管理，参照图5的示例，音频输出通道1同时对接于音频输入通道1和音频输入通道2，因此收音设备1必然处于“混音播放”状态，又例如，音频输出通道2仅对接于音频输入通道3，因此收音设备2处于“在播”状态。音频播放器在向控制子模块请求获取设备列表后，控制子模块反馈的设备列表中包括收音设备的设备信息和当前播放状态。
针对某路音频数据，用户会从设备列表中选定要对接或切换的收音设备，在该收音设备播放这路音频数据的过程中，若收音设备出现断电、关机或网络连接异常等问题，会导致该收音设备因断开网络连接而不可用，无法接收及播放显示设备发送的音频数据。
在一种示例性的实现方式中，可采用比如心跳检测等方式，监听收音设备A的连接状态，若检测到收音设备A断开网络连接，则在设备列表中删除收音设备A的设备信息及播放状态，使得显示设备端无法通过设备列表对接/切换为收音设备A。针对为收音设备A对应构建的音频输出通道A，可选地，收音设备管理模块直接删除音频输出通道A，这样进程中音频输出通道A所属的对接关系也全部被解除，从而在收音设备A工作异常的情况下切断通向收音设备A的各个音频传输通路，收音设备A原播放的音频数据会被相应的音频输入通道丢弃。
在一种示例性的实现方式中，参照图7(a)的UI示例，假设显示设备当前已启动两个音频播放器，分别为音频播放器A和音频播放器B，两个音频播放器的窗口是同行排布的，可选地，在每个窗口中的指定位置显示当前对接的收音设备名称，例如图7(a)中音频播放器A的窗口左上角显示“收音设备A正在播放中”，音频播放器B尚未对接任何收音设备，则无收音设备名称显示。
在一种示例性的实现方式中，在设备列表中删除收音设备A的设备信息及播放状态，以及删除音频输出通道A之后，控制子模块可向音频播放器A发送设备断网消息，音频播放器A接收到设备断网消息时，参照图7(b)的示例，在音频播放器A的窗口可提示用户收音设备A当前不可用，请检查收音设备A，同时音频播放器A的窗口左上角取消显示“收音设备A正在播放中”。用户查看到窗口中的该提示信息后，即可获知收音设备A出现异常，可以对收音设备A进行故障排查，并重新建立与终端设备的socket连接。
在一种示例性的实现方式中，音频播放器A接收到设备断网消息时，参照图7(c)的示例，例如以第一提示弹窗形式，在音频播放器A的窗口中提示用户收音设备A当前不可用，以及询问用户是否切换为由其他可用的收音设备播放音频数据A。图7(c)示例的第一提示弹窗中还包括取消控件和切换控件，用户若触发第一提示弹窗中的取消控件，则可关闭第一提示弹窗，音频播放器A不切换对接对象，音频数据A被音频输入通道A丢弃，音频数据A无播放出声；若用户触发第一提示弹窗中的切换控件，则可关闭第一提示弹窗，音频播放器A向控制子模块再次请求获取最新的设备列表，并在音频播放器A的窗口中显示该设备列表，以便用户从设备列表中选择所要切换到的对接对象，即由其他可用的收音设备将音频数据A播放出声。
在一种示例性的实现方式中，在收音设备A断网后，用户可能对收音设备A进行故障排查，并重新恢复与显示设备的socket连接，即重新构建及触发音频输出通道A生效，则音频通道管理服务进程会在检测到socket连接成功时，在设备列表中增加收音设备A的设备信息，由于收音设备A重连后尚未对接任何音频播放器，因此此时设备列表中记录收音设备A的播放状态为“未播”。
在一种示例性的实现方式中，由于收音设备A断网前映射于音频播放器A，因此在收音设备A重连成功后，控制子模块可向音频播放器A发送设备回归消息，所述设备回归消息用于指示收音设备A已重新接入并可用；音频播放器A接收到设备回归消息时，参照图7(d)的示例，例如以第二提示弹窗形式，在音频播放器A的窗口中提示用户收音设备A已恢复可用，以及询问用户是否重新切换回由收音设备A播放音频数据A，即相当于询问用户是否将收音设备A恢复为断网前的对接及播放状态。图7(d)示例的第二提示弹窗中还包括取消控件和确认控件，用户若触发第二提示弹窗中的取消控件，则可关闭第二提示弹窗，音频播放器A维持当前播放现状，音频输入通道A与音频输出通道A不对接，收音设备A不接收、不播放音频数据A；用户若触发第二提示弹窗中的确认控件，则可关闭第二提示弹窗，音频通道管理服务进程建立音频输入通道A与音频输出通道A的对接关系，从而搭建从音频播放器A至收音设备A的音频传输通路，实现在收音设备A断网重连后，恢复到由收音设备A继续接收及播放音频数据A。
需要说明的是，可根据实际音频播放场景、收音设备的可用性、用户听音需求等多方面因素，在图5示例的音频传输架构的基础上，灵活地对多路音频播放器运行场景下的音频传输方法进行适应性变型、改进和扩展，得到更多样化的、可行的UI和程序方案，而不仅限于本申请说明书提供的实施例。另外，本申请提供的UI仅是为便于描述方案而作出的示意，不代表实际产品设计，UI的交互、操作流程及显示效果应以实际应用和设计为准。
前述各实施例是从底层架构的角度，描述多路音频播放器运行场景下音频数据的传输及播放方案。在其他示例性的实现方式中，图8提供一种音频播放方法，是从显示设备的控制器角度，描述对音频数据的输出及播放控制，所述控制器被配置执行的方法至少包括如下程序步骤：
步骤S01，在音频播放器启动播放音频数据时，创建与所述音频播放器相链接的音频输入通道。
步骤S02，显示设备列表，所述设备列表中包括当前可用的收音设备的设备信息。
步骤S03，在接收到对所述设备列表中第一目标收音设备的选定操作时，建立所述音频输入通道与第一目标收音设备对应的第一音频输出通道间的对接关系，形成第一音频传输通路。
步骤S04，将所述音频数据通过所述第一音频传输通路发送给所述第一目标收音设备，以使第一目标收音设备播放接收到的所述音频数据。
通过步骤S01～步骤S04，可以实现为每个音频播放器分配指定的收音设备，通过在音频播放器和收音设备之间搭建音频输入、输出的对接通道，使音频数据能顺利传输到收音设备内，从而由收音设备将音频数据转化为声音进行播放。
可选地，所述方法还包括：在接收到用户切换设备的操作指令时，断开所述音频输入通道与所述第一音频输出通道的对接关系；根据所述操作指令指示被切换到的第二目标收音设备，建立所述音频输入通道与所述第二目标收音设备对应的第二音频输出通道间的对接关系，形成第二音频传输通路；将所述音频数据通过所述第二音频传输通路发送给所述第二目标收音设备，以使第二目标收音设备播放接收到的所述音频数据。该实施例进一步实现根据用户对听音设备的需求变换，来切换音频播放器所链接的收音设备。
可选地，所述方法还包括：在监听到显示设备所处网络中接入收音设备时，获取所述收音设备的设备信息；构建与所述收音设备对应的音频输出通道，并向所述收音设备发送携带有音频输出通道信息的连接请求；在接收到所述收音设备反馈的连接成功消息时，记录所述音频输出通道生效，以及在所述设备列表中增加所述收音设备的设备信息。该实施例进一步提供收音设备与显示设备的连接，构建音频输出通道的方案，以及在接入新收音设备时，同步更新和管理设备列表，以保证显示设备端显示给用户的设备列表是实时最新的和准确的。
可选地，所述方法还包括：若检测到所述设备列表为空列表，则不显示所述设备列表，控制显示器显示用于提示当前无可用收音设备的信息；控制所述音频输入通道丢弃所述音频数据。该实施例进一步根据设备列表是否为空，来确定显示设备端是否需要显示设备列表，若无可用的收音设备，音频输入通道直接丢弃音频数据，音频数据不会被有声播放。
可选地，在启动蓝牙扫描功能之后，所述方法还包括：在显示设备列表之后，若在超时时间内始终未接收到对所述设备列表中任意一个收音设备的选定操作，控制所述音频输入通道丢弃所述音频数据。若存在超时未选定收音设备的情况，则音频播放器不存在映射的收音设备，音频输入通道无对接的音频输出通道，音频输入通道直接丢弃音频数据即可。
可选地，所述方法还包括：在接收到对所述音频播放器的关闭指令时，断开所述音频输入通道与一个或多个音频输出通道已建立的对接关系，并删除所述音频输入通道。该实施例进一步提供在关闭音频播放器，退出音频数据的播放时，该音频播放器链接的音频输入通道所属的全部对接关系均被解除，并且音频输入通道一并被删除，从而撤销该路音频数据的所有音频传输通路，音频数据被停止传输及播放。
可选地，所述方法还包括：在多个音频输入通道与同一个目标音频输出通道建立对接关系时，对多个音频输入通道中传输的音频数据进行混音处理，得到混音数据；将所述混音数据传输至所述目标音频输出通道，进而将所述混音数据发送给所述目标音频输出通道对应的收音设备。该实施例进一步提供存在多对一对接关系时，需要将多路音频数据混音成一股后进行输出及播放。
可选地，所述方法还包括：在检测到所述第一/第二目标收音设备断开网络连接时，在所述设备列表中删除所述第一/第二目标收音设备的设备信息；删除所述第一/第二音频输出通道，并控制所述音频输入通道丢弃所述音频数据；通过显示器提示用户所述第一/第二目标收音设备当前不可用，以及询问用户是否切换为由其他可用的收音设备播放所述音频数据。该实施例进一步提供收音设备在播放音频数据时若突然断网，则同步更新设备列表，以及切断通向该收音设备的全部音频传输通路，以及显示设备端UI提示用户收音设备不可用，用户可选择不再继续收听该收音设备所播放的音频数据，或者也可切换其他可用收音设备去播放音频数据。
可选地，所述方法还包括：在检测到所述第一/第二目标收音设备于断网后再次接入网络时，再次获取所述第一/第二目标收音设备的设备信息；根据重新构建的第一/第二音频输出通道，向所述第一/第二目标收音设备发送携带有第一/第二音频输出通道信息的重连请求；在接收到所述第一/第二目标收音设备反馈的连接成功消息时，触发所述第一/第二音频输出通道生效，以及在所述设备列表中增加所述第一/第二目标收音设备的设备信息；通过显示器提示用户所述第一/第二目标收音设备当前可用，以及询问用户是否重新切换为由所述第一/第二目标收音设备播放所述音频数据。该实施例进一步提供在收音设备断网重连，重新构建音频输出通道后，同步更新设备列表，以及显示设备端UI提示之前不可用的收音设备现已可用，用户可选择保持当前播放现状，或者也可由恢复可用的收音设备继续播放音频数据。
控制器执行方法的具体实施细节及具备的技术效果，可与前述基于音频传输架构和UI示例的方案进行相互参照和印证，因此不再赘述。通过本申请提供的音频传输架构，扩展了显示设备的音频播放能力，能实现多路音频同步播放，并可根据不同用户的听音需求，将每路音频数据分发给一个或多个指定的收音设备，能实现多人场景中各用户根据自身听音需求各听各自的音频，提升用户体验。
在一种示例性的实现方式中，本发明还提供一种计算机存储介质，该计算机存储介质可存储有程序，该程序执行时可包括本申请实施例涉及的音频传输及播放方法的程序步骤。其中，计算机存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-Only Memory，简称ROM)或随机存储记忆体(英文：Random Access Memory，简称RAM)等。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (9)

1.一种显示设备，其特征在于，包括：
显示器，用于显示用户界面；
通信器，用于与收音设备通信连接；
控制器，所述控制器运行有播放器集合和音频通道管理服务进程，其中，所述播放器集合中包括至少一个已启动播放音频数据的音频播放器，所述音频通道管理服务进程包括音频通道管理模块和收音设备管理模块，则所述控制器用于执行：
在第一音频播放器启动播放音频数据时，将所述第一音频播放器加入到所述播放器集合，控制所述音频通道管理模块创建与所述第一音频播放器相链接的第一音频输入通道；
获取所述音频通道管理服务进程存储的设备列表，并根据所述设备列表控制显示器显示对应的设备列表页面，所述设备列表中包括当前已连接的收音设备的设备信息；
在接收到对所述设备列表页面中至少一个第一目标收音设备的选定操作时，控制音频通道管理服务进程建立所述第一音频输入通道与第一音频输出通道间的对接关系，形成第一音频传输通路；其中，所述第一音频输出通道是控制器监听到所述第一目标收音设备后，控制所述收音设备管理模块创建的与所述第一目标收音设备对应的音频输出通道；
如果所述第一音频输入通道与一个或多个所述第一音频输出通道对接，将所述音频数据通过所述第一音频传输通路发送给所述第一目标收音设备，以使第一目标收音设备播放接收到的所述音频数据；
如果所述第一音频输出通道同时与所述播放器集合中的多个目标音频输入通道对接，将多个目标音频输入通道传输的音频数据进行混音，并将混音数据通过所述第一音频输出通道传输至第一目标收音设备，以使所述第一目标收音设备播放接收到的所述混音数据。
2.根据权利要求1所述的显示设备，其特征在于，所述控制器还用于执行：
在接收到用户切换设备的操作指令时，控制所述收音设备管理模块断开所述第一音频输入通道与所述第一音频输出通道的对接关系；
根据所述操作指令指示被切换到的第二目标收音设备，建立所述第一音频输入通道与第二音频输出通道间的对接关系，形成第二音频传输通路；其中，所述第二音频输出通道是控制器监听到所述第二目标收音设备后，控制所述收音设备管理模块创建的与所述第二目标收音设备对应的音频输出通道；
将所述音频数据通过所述第二音频传输通路发送给所述第二目标收音设备，以使第二目标收音设备播放接收到的所述音频数据。
3.根据权利要求1或2所述的显示设备，其特征在于，所述控制器还用于执行：
在监听到显示设备所处网络中接入收音设备时，获取所述收音设备的设备信息；
构建与所述收音设备对应的音频输出通道，并向所述收音设备发送携带有音频输出通道信息的连接请求；
在接收到所述收音设备反馈的连接成功消息时，记录所述音频输出通道生效，以及在所述设备列表中增加所述收音设备的设备信息。
4.根据权利要求1所述的显示设备，其特征在于，所述控制器还用于执行：
若检测到所述设备列表为空列表，则不显示所述设备列表页面，控制显示器显示用于提示当前无可用收音设备的信息；
控制所述音频通道管理模块将所述第一音频输入通道传输的所述音频数据丢弃。
5.根据权利要求1所述的显示设备，其特征在于，在启动蓝牙扫描功能之后，所述控制器还用于执行：
在显示所述设备列表页面之后，若在超时时间内始终未接收到对所述设备列表页面中任意一个收音设备的选定操作，控制所述音频通道管理模块将所述第一音频输入通道传输的所述音频数据丢弃。
6.根据权利要求1所述的显示设备，其特征在于，所述控制器还用于执行：
在接收到对所述第一音频播放器的关闭指令时，将所述第一音频播放器从所述播放器集合中删除，控制音频通道管理服务进程断开所述第一音频输入通道与一个或多个音频输出通道已建立的对接关系，并删除所述第一音频输入通道。
7.根据权利要求3所述的显示设备，其特征在于，所述控制器还用于执行：
在检测到所述第一目标收音设备断开网络连接时，在所述设备列表中删除所述第一目标收音设备的设备信息；
如果所述第一音频输出通道与一个或多个所述第一音频输入通道对接，控制所述收音设备管理模块删除所述第一音频输出通道，控制所述音频通道管理模块将所述第一音频输入通道传输的所述音频数据丢弃，并控制显示器通过所述第一音频播放器提示用户所述第一目标收音设备当前不可用，以及询问用户是否切换为由其他可用的收音设备播放所述音频数据；
如果所述第一音频输入通道同时与包含所述第一音频输出通道在内的多个目标音频输出通道对接，控制所述收音设备管理模块删除所述第一音频输出通道，不丢弃所述第一音频输入通道传输的音频数据，以使其他目标收音设备播放所述第一音频输入通道传输的音频数据。
8.根据权利要求7所述的显示设备，其特征在于，所述控制器还用于执行：
在检测到所述第一目标收音设备于断网后再次接入网络时，再次获取所述第一目标收音设备的设备信息；
控制所述收音设备管理模块重新构建第一音频输出通道，以及向所述第一目标收音设备发送携带有第一音频输出通道信息的重连请求；
在接收到所述第一目标收音设备在响应于所述重连请求后反馈的连接成功消息时，触发所述第一音频输出通道生效，以及在所述设备列表中增加所述第一目标收音设备的设备信息；
控制显示器通过所述第一音频播放器提示用户所述第一目标收音设备当前已恢复连接，以及询问用户是否重新切换为由所述第一目标收音设备播放所述音频数据。
9.一种音频播放方法，其特征在于，包括：
在第一音频播放器启动播放音频数据时，将所述第一音频播放器加入到播放器集合，控制音频通道管理模块创建与所述第一音频播放器相链接的第一音频输入通道；其中，所述播放器集合中包括至少一个已启动播放音频数据的音频播放器；
获取音频通道管理服务进程存储的设备列表，并根据所述设备列表显示设备列表页面，所述设备列表中包括当前已连接的收音设备的设备信息；
在接收到对所述设备列表页面中至少一个第一目标收音设备的选定操作时，控制音频通道管理服务进程建立所述第一音频输入通道与第一音频输出通道间的对接关系，形成第一音频传输通路；其中，所述第一音频输出通道是控制器在监听到所述第一目标收音设备后，创建的与所述第一目标收音设备对应的音频输出通道；
如果所述第一音频输入通道与一个或多个所述第一音频输出通道对接，将所述音频数据通过所述第一音频传输通路发送给所述第一目标收音设备，以使第一目标收音设备播放接收到的所述音频数据；
如果所述第一音频输出通道同时与所述播放器集合中的多个目标音频输入通道对接，将多个目标音频输入通道传输的音频数据进行混音，并将混音数据通过所述第一音频输出通道传输至第一目标收音设备，以使所述第一目标收音设备播放接收到的所述混音数据。
CN202111074290.0A 2021-09-07 2021-09-14 一种音频播放方法及显示设备 Active CN113794928B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111074290.0A CN113794928B (zh) 2021-09-14 2021-09-14 一种音频播放方法及显示设备
CN202280057202.2A CN117836754A (zh) 2021-09-07 2022-04-28 一种音频控制方法及显示设备
PCT/CN2022/089923 WO2023035630A1 (zh) 2021-09-07 2022-04-28 一种音频控制方法及显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111074290.0A CN113794928B (zh) 2021-09-14 2021-09-14 一种音频播放方法及显示设备

Publications (2)

Publication Number Publication Date
CN113794928A CN113794928A (zh) 2021-12-14
CN113794928B true CN113794928B (zh) 2023-07-25

Family

ID=78880179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111074290.0A Active CN113794928B (zh) 2021-09-07 2021-09-14 一种音频播放方法及显示设备

Country Status (1)

Country Link
CN (1) CN113794928B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117882384A (zh) * 2021-08-05 2024-04-12 海信视像科技股份有限公司 一种显示设备及声音模式设置方法
CN117836754A (zh) * 2021-09-07 2024-04-05 青岛海信传媒网络技术有限公司 一种音频控制方法及显示设备
CN114710475B (zh) * 2022-04-11 2024-03-15 三星电子（中国）研发中心 流媒体音频融合方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011031994A1 (en) * 2009-09-10 2011-03-17 Opentv, Inc. Method and system for sharing digital media content
CN108063874A (zh) * 2017-12-26 2018-05-22 上海展扬通信技术有限公司 一种信息处理方法、装置、终端以及计算机可读存储介质
CN109857364A (zh) * 2019-01-28 2019-06-07 Oppo广东移动通信有限公司 音频播放方法及装置、存储介质、通信终端
CN111385621A (zh) * 2020-03-18 2020-07-07 海信视像科技股份有限公司 一种显示设备及蓝牙音频传输方法
WO2020207132A1 (zh) * 2019-04-09 2020-10-15 海信视像科技股份有限公司 应用程序的音频数据的输出方法及显示设备
CN112399243A (zh) * 2019-08-18 2021-02-23 海信视像科技股份有限公司 一种播放方法及显示设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867223A (en) * 1995-07-17 1999-02-02 Gateway 2000, Inc. System for assigning multichannel audio signals to independent wireless audio output devices
US8903526B2 (en) * 2012-06-06 2014-12-02 Sonos, Inc. Device playback failure recovery and redistribution
US9348495B2 (en) * 2014-03-07 2016-05-24 Sony Corporation Control of large screen display using wireless portable computer and facilitating selection of audio on a headphone
US9948980B2 (en) * 2015-07-20 2018-04-17 Google Llc Synchronizing audio content to audio and video devices
JP2017041756A (ja) * 2015-08-19 2017-02-23 ヤマハ株式会社 オーディオシステムおよびオーディオ機器
CN110868621B (zh) * 2018-08-27 2022-05-10 中兴通讯股份有限公司 一种音频播放方法、装置、设备及计算机可读介质
US11288033B2 (en) * 2019-04-09 2022-03-29 Hisense Visual Technology Co., Ltd. Method for outputting audio data of applications and display device
CN111263233B (zh) * 2020-02-20 2021-10-22 腾讯科技（深圳）有限公司 电视多窗口处理方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011031994A1 (en) * 2009-09-10 2011-03-17 Opentv, Inc. Method and system for sharing digital media content
CN108063874A (zh) * 2017-12-26 2018-05-22 上海展扬通信技术有限公司 一种信息处理方法、装置、终端以及计算机可读存储介质
CN109857364A (zh) * 2019-01-28 2019-06-07 Oppo广东移动通信有限公司 音频播放方法及装置、存储介质、通信终端
WO2020207132A1 (zh) * 2019-04-09 2020-10-15 海信视像科技股份有限公司 应用程序的音频数据的输出方法及显示设备
CN112399243A (zh) * 2019-08-18 2021-02-23 海信视像科技股份有限公司 一种播放方法及显示设备
CN111385621A (zh) * 2020-03-18 2020-07-07 海信视像科技股份有限公司 一种显示设备及蓝牙音频传输方法

Also Published As

Publication number Publication date
CN113794928A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN111741372B (zh) 一种视频通话的投屏方法、显示设备及终端设备
CN113794928B (zh) 一种音频播放方法及显示设备
CN111757171A (zh) 一种显示设备及音频播放方法
CN112367543B (zh) 显示设备、移动终端、投屏方法及投屏系统
CN114286165B (zh) 一种显示设备、移动终端、投屏数据传输方法及系统
CN112272417B (zh) 一种双蓝牙音响回连方法及显示设备
CN111277884A (zh) 视频播放方法及设备
CN113055788B (zh) 一种音频输出通道的切换控制方法及显示设备
CN116208794A (zh) 一种显示设备及播放终端中音乐的方法
CN112153440B (zh) 一种显示设备及显示系统
CN112188279A (zh) 一种频道切换方法和显示设备
WO2022078065A1 (zh) 显示设备资源播放方法及显示设备
CN111885665B (zh) 一种无线网络连接控制方法及显示设备
CN114286137A (zh) 一种镜像投屏方法、显示设备及终端
CN112637957A (zh) 显示设备及显示设备与无线音箱的通信方法
CN114095778A (zh) 一种应用级播放器的音频硬解码方法及显示设备
CN111263223A (zh) 一种媒体音量调节方法及显示设备
CN114900386A (zh) 一种终端设备及数据接力方法
CN116347148A (zh) 一种投屏方法及显示设备
CN117836754A (zh) 一种音频控制方法及显示设备
CN113115105B (zh) 一种显示设备及配置wisa扬声器的提示方法
CN113596543B (zh) 防止蓝牙设备干扰的方法及显示设备
CN115223521B (zh) 显示设备及接力设备展示方法
CN114860370B (zh) 一种显示设备、服务器及软件开发工具包切换方法
CN113709557B (zh) 一种音频输出的控制方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221109

Address after: 83 Intekte Street, Devon, Netherlands

Applicant after: VIDAA (Netherlands) International Holdings Ltd.

Address before: 266100 Songling Road, Laoshan District, Qingdao, Shandong Province, No. 399

Applicant before: QINGDAO HISENSE MEDIA NETWORKS Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant