CN105791937A - 一种音视频处理方法以及相关设备 - Google Patents

一种音视频处理方法以及相关设备 Download PDF

Info

Publication number
CN105791937A
CN105791937A CN201610125958.2A CN201610125958A CN105791937A CN 105791937 A CN105791937 A CN 105791937A CN 201610125958 A CN201610125958 A CN 201610125958A CN 105791937 A CN105791937 A CN 105791937A
Authority
CN
China
Prior art keywords
synchronization process
voice data
source device
auxiliary voice
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610125958.2A
Other languages
English (en)
Inventor
钟国杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610125958.2A priority Critical patent/CN105791937A/zh
Publication of CN105791937A publication Critical patent/CN105791937A/zh
Priority to PCT/CN2016/105442 priority patent/WO2017148178A1/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams

Abstract

本发明实施例提供了一种音视频处理方法以及相关设备，方法包括源设备接收宿设备发送的模式信息，模式信息包括第一标识，第一标识用于指示源设备对从外接设备接收的辅音频数据不进行同步处理，源设备通过HDMI接口将未经过同步处理的辅音频数据、同步处理后的主音频数据以及视频数据发送给宿设备。采用本实施例所示的音视频数据处理方法，源设备不会将视频数据与辅音频数据进行同步处理，而是分别将辅音频数据和与视频数据同步的主音频数据发送给宿设备，使得宿设备无需将辅音频数据与视频数据进行同步处理，从而降低了辅音频数据的直达声时延，有效的保障了宿设备所播放的音频的音质。

Description

一种音视频处理方法以及相关设备
技术领域
本发明涉及多媒体领域，尤其涉及的是一种音视频处理方法以及相关设备。
背景技术
高清晰度多媒体接口(英文全称：HighDefinitionMultimediaInterface，英文简称：HDMI)是一种数字化视频/音频接口技术，HDMI接口可以在一根传输电缆内传送无压缩的音频数据以及高分辨率视频数据，由于HDMI接口支持数字音视频传输，能够给广大用户带来高品质的视听享受，所以HDMI接口技术在消费类电子产品中的应用越来越广泛。
以下结合图1所示对音视频处理系统在卡拉OK场景下如何对音视频数据进行处理的过程进行说明，音视频处理系统包括源设备101和宿设备102，与源设备101连接的麦克风103接收唱者所唱的歌曲“青藏高原”，麦克风103将唱者所唱的歌曲“青藏高原”转换为辅音频数据并发送给源设备101，源设备的混音处理器104接收辅音频数据和主音频数据，其中，主音频数据为用于为视频数据进行伴奏的音频数据，混音处理器104将主音频数据和混音频数据进行混音处理，并将混音处理后的主音频数据和辅音频数据发送给同步处理器109，同步处理器109还用于接收视频数据，同步处理器109用于对视频数据和混音处理后的主音频数据和辅音频数据进行同步处理，并将同步处理后的视频数据、主音频数据和辅音频数据发送给HDMI接口105，源设备101的HDMI接口105将视频数据、主音频数据和辅音频数据发送给宿设备的HDMI接口106，HDMI接口106将视频数据、主音频数据和辅音频数据发送给宿设备102的同步处理器110，同步处理器110再次对接收到的视频数据、主音频数据和辅音频数据进行同步处理，同步处理器110将同步处理后的视频数据发送给显示器108，显示器108用于显示视频数据，同步处理器110还将同步处理后的主音频数据和辅音频数据发送给扬声器107，扬声器107用于播放主音频数据和辅音频数据。
在音视频处理系统中，直达声时延是指用户听到音频数据的时刻与该音频数据开始传播的时刻的差值，直达声时延大小直接影响音视频处理系统所发出的声音的音质效果。如果直达声时延太大，听者会感觉有明显的回声效果，音质非常糟糕。实验表明，直达声时延小于30毫秒以内，音质效果非常好；直达声时延在30～80毫秒以内，音质效果可接受；直达声时延在80毫秒以上，音质效果变差，听者会有听到回声的感觉，唱者无法实时感受到扬声器所发出的自己的声音。
如图1所示，T0时刻，表示唱者开始传播声音“青藏高原”的时刻，T1时刻，表示唱者声音“青藏高原”经过源设备101和宿设备102的处理，从扬声器107发声后，直接传播到听者的时刻，则直达声时延＝T1–T0。
可见，如图1所示的源设备101的同步处理器109和宿设备102的同步处理器110均需要对音频数据、主音频数据和辅音频数据进行同步处理，从而增加了辅音频数据的直达声时延，会导致辅音频数据的直达声时延可能超过100毫秒，从而使得扬声器107所播放的声音有明显的回声，且音质效果差。
发明内容
本发明实施例提供了一种能够有效的降低辅音频数据的直达声时延的音视频处理方法以及相关设备。
本发明实施例第一方面提供了一种音视频处理方法，该方法基于音视频播放系统：
该音视频播放系统包括源设备以及与源设备连接的宿设备。
源设备是指带高清晰度多媒体接口(英文全称：HighDefinitionMultimediaInterface，英文简称：HDMI)的音视频输出设备。
宿设备指示带HDMI接口的音视频接收设备。
源设备以HDMI方式与宿设备连接。
为实现宿设备能够正常的播放音视频数据，则源设备和宿设备均支持HDMI协议。
HDMI2.0和HDMI2.0以上协议支持2路音频流传输，分别是主音频数据和辅音频数据。
本实施例在现有的HDMI2.0和HDMI2.0以上协议上增加卡拉OK模式，具体请参见表1所示：
表1
其中，本实施例以视频数据为MV视频数据，主音频数据可为用于为MV视频数据进行伴奏的音频数据，辅音频数据可为用户唱歌的音频数据为例进行说明。
HDMI2.0和HDMI2.0以上协议中，当服务类型为正常模式时，源设备需要保持主音频数据、辅音频数据以及视频数据同步，而宿设备也需要保持主音频数据、辅音频数据以及视频数据同步。
本实施例所增加的卡拉OK模式下，源设备需要保持主音频数据与视频数据的同步，而源设备无需保持视频数据与辅音频数据同步，宿设备则需要保持主音频数据与视频数据同步，而宿设备无需保持辅音频数据与视频数据的同步。
本实施例所示的音视频处理方法包括：
源设备以HDMI方式连接宿设备；
具体的，源设备的HDMI接口通过HDMI线缆与宿设备的HDMI接口连接。
源设备确定宿设备支持的服务类型，即源设备确定宿设备支持的服务类型是正常模式还是卡拉OK模式；
具体的，宿设备将能够指示宿设备所支持的服务类型的模式信息发送给源设备；
更具体的，本实施例所示的模式信息能够指示宿设备支持正常模式，或，该模式信息能够指示宿设备支持卡拉OK模式。
其中，服务类型为正常模式以及服务类型为卡拉OK模式时，源设备与宿设备具体如何对音视频数据进行处理的，请详见表1所示。
可选的，源设备可向宿设备发送用于请求宿设备发送模式信息的消息，宿设备接收到用于请求宿设备发送模式信息的消息时，宿设备即可将模式信息发送给源设备；
若源设备接收到该模式信息，则源设备即可确定宿设备支持的服务类型。
可选的，当源设备与宿设备成功建立HDMI连接时，宿设备即可自动将模式信息发送给源设备。
源设备根据该模式信息即可确定宿设备所能够支持的服务类型，即源设备即可确定宿设备支持正常模式还是支持卡拉OK模式。
本实施例以宿设备通过模式信息通知宿设备支持卡拉OK模式为例进行说明，具体的，宿设备通过模式信息所包括的第一标识指示第一处理模式，其中，该第一处理模式即为表1所示的卡拉OK模式。
该音视频处理方法还包括：
该源设备通过外接设备接收辅音频数据；
其中，该外接设备为与该源设备连接的设备；
在具体应用场景中，外接设备可为麦克风设备。
源设备在根据模式信息确定宿设备支持卡拉OK模式的情况下，源设备即可只需保持视频数据和主音频数据同步，而无需对辅音频数据进行同步处理。
该源设备通过HDMI接口将未经过同步处理的辅音频数据、同步处理后的该主音频数据以及该视频数据发送给该宿设备。
宿设备对接收到的主音频数据以及该视频数据进行同步处理，而且宿设备无需对辅音频数据与视频数据进行同步处理；
宿设备能够显示视频数据，且宿设备还能够播放辅音频数据以及与视频数据同步的主音频数据。
可见，采用本实施例所示的音视频数据处理方法，因源设备以及宿设备支持卡拉OK模式，则源设备以及宿设备不会对辅音频数据与视频数据进行同步处理，从而降低了辅音频数据的直达声时延，从而使得宿设备所播放的辅音频数据不会让用户听见明显的回声，有效的保障了宿设备所播放的音频的音质。
结合本发明实施例第一方面，本发明实施例第一方面的第一种实现方式中，
该模式信息为辅助音频类型列表；
以下首先结合表2对服务类型为正常模式下时，该辅助音频类型列表所包含的具体内容进行说明：
表2
其中，表2所示的辅助音频类型列表包括了标识和音视频数据处理方式的对应关系。
表2所示的标识为3比特的二进制数据。
具体的，表2所示的辅助音频类型列表中的第二标识“000”、“001”、“010”、“011”与“100”所对应的音视频数据处理方式为现有HDMI2.0和HDMI2.0以上协议所规定的，即源设备向宿设备发送两路音频数据，一路是主音频数据，另一路是辅音频数据，其中，源设备和宿设备需要保持视频数据、主音频数据与辅音频数据的同步。
以下首先结合表3对服务类型为正常模式和卡拉OK模式下时，该辅助音频类型列表所包含的具体内容进行说明：
表3
本实施例所示的辅助音频类型列表中的第二标识“000”、“001”、“010”、“011”与“100”所对应的音视频数据处理方式与表2所示保持不变。
具体的，本实施例在表2所示的辅助音频类型列表标识预留字段中增加第一标识“101”以及在音视频数据处理方式的保留扩展字段中增加与第一标识对应的第一处理模式，第一处理模式为不对辅音频数据进行同步处理。
宿设备通过第一处理模式通知源设备不对辅音频数据进行同步处理，即宿设备通过第一处理模式指示支持卡拉OK模式。
该源设备通过该HDMI接口接收该宿设备发送的该辅助音频类型列表。
本实施例源设备通过辅助音频类型列表即可确定宿设备支持卡拉OK模式，则源设备即可无需保持辅音频数据与视频数据的同步，从而有效的减少了在源设备测保持辅音频数据与视频数据同步时所带来的直达声时延，即有效的减少了辅音频数据在源设备测的直达声时延。
源设备接收到该辅助音频类型列表后，该源设备需要判断源设备以及宿设备是否支持第一处理模式；
具体的，若源设备确定辅助音频类型列表中包括第一标识，则源设备即可确定宿设备支持第一处理模式；
具体的，源设备预先存储有能力集合，该能力集合中存储有源设备能够对视频数据、辅音频数据以及主音频数据如何进行处理的处理模式；
更具体的，若源设备确定该能力集合中存储有第一标识，则源设备即可确定源设备支持第一处理模式，若源设备确定该能力集合中没有存储有第一标识，则源设备即可确定源设备不支持第一处理模式。
结合本发明实施例第一方面或本发明实施例第一方面的第一种实现方式，本发明实施例第一方面的第二种实现方式中，
若该源设备确定该源设备支持该第一处理模式，则该源设备通过该HDMI接口将响应信息发送给该宿设备，宿设备通过该响应信息即可确定宿设备对从源设备接收到的辅音频数据不进行同步处理。
可选的，响应信息可为与第一处理模式对应的第一标识；
可选的，响应信息可为包含有目标内容的信息，该目标内容为指示宿设备对从源设备接收到的辅音频数据不进行同步处理。
本实施例中，源设备通过响应信息指示源设备支持卡拉OK模式，则宿设备即可执行卡拉OK模式，即宿设备能够无需保持辅音频数据与音频数据的同步，进而有效的减少了辅音频数据在宿设备侧的直达声时延。
结合本发明实施例第一方面至本发明实施例第一方面的第二种实现方式任一项所述的方法，本发明实施例第一方面的第三种实现方式中，
若源设备不支持对辅音频数据不进行同步处理，则源设备对视频数据、主音频数据和辅音频数据进行同步处理；
源设备通过HDMI接口将经过同步处理的辅音频数据、主音频数据以及视频数据发送给宿设备。
本发明实施例第二方面提供了一种音视频数据处理方法，该方法包括：
宿设备将已配置的模式信息通过高清晰度多媒体接口HDMI发送给源设备；
该模式信息具体请详见表1所示。
该宿设备接收该源设备通过该HDMI接口发送的未经过同步处理的辅音频数据、经过同步处理的主音频数据以及视频数据；
本实施例中的宿设备能够支持服务类型为卡拉OK模式的情况，则该宿设备对该视频数据和该主音频数据进行同步处理，而且宿设备无需保持辅音频数据与视频数据的同步。
该宿设备显示该视频数据；
具体的，宿设备通过宿设备的显示器显示视频数据。
该宿设备播放该辅音频数据和与该视频数据同步的主音频数据。
具体的，宿设备通过宿设备的扬声器播放辅音频数据和与该视频数据同步的主音频数据。
本实施例中，因宿设备支持卡拉OK模式，则源设备以及宿设备不会对辅音频数据与视频数据进行同步处理，从而降低了辅音频数据的直达声时延，从而使得宿设备所播放的辅音频数据不会让用户听见明显的回声，有效的保障了宿设备所播放的音频的音质。
结合本发明实施例的第二方面，本发明实施例第二方面的第一种实现方式中，
宿设备通过HDMI接口中预先存储的能力集合确定是否支持对辅音频数据不进行同步处理，能力集合包括支持对辅音频数据不进行同步处理或支持对辅音频数据进行同步处理；
具体的，若宿设备的能力集合中预先存储有支持对辅音频数据不进行同步处理，则宿设备即可确定宿设备能够支持对辅音频数据不进行同步处理。
若宿设备的能力集合中预先存储有不支持对辅音频数据不进行同步处理，则宿设备即可确定宿设备不能够支持对辅音频数据不进行同步处理。
若宿设备通过HDMI接口中预先存储的能力集合确定支持对辅音频数据不进行同步处理，则宿设备将包括有第一标识的模式信息发送给源设备。
宿设备通过该第一标识通知源设备，宿设备支持卡拉OK模式。
结合本发明实施例的第二方面或本发明实施例第二方面的第一种实现方式，本发明实施例第二方面的第二种实现方式中，
该宿设备通过该HDMI接口接收该源设备发送的该响应信息；
该宿设备根据该响应信息确定源设备支持卡拉OK模式。
本实施例中，源设备通过响应信息指示源设备支持卡拉OK模式，则宿设备即可执行卡拉OK模式，即宿设备能够无需保持辅音频数据与音频数据的同步，进而有效的减少了辅音频数据在宿设备侧的直达声时延。
结合本发明实施例的第二方面至本发明实施例第二方面的第二种实现方式中任一项所述的方法，本发明实施例第二方面的第三种实现方式中，
该宿设备配置该模式信息，该模式信息为辅助音频类型列表，该辅助音频类型列表具体请详见表3所示。
本实施例源设备通过辅助音频类型列表即可通知源设备，宿设备支持卡拉OK模式，则源设备即可无需保持辅音频数据与视频数据的同步，从而有效的减少了在源设备测保持辅音频数据与视频数据同步时所带来的直达声时延，即有效的减少了辅音频数据在源设备测的直达声时延。
本发明实施例第三方面提供了一种源设备，包括高清晰度多媒体接口HDMI、处理器以及存储器；
HDMI接口，用于接收宿设备发送的模式信息，模式信息包括第一标识，第一标识用于指示源设备对从外接设备接收的辅音频数据不进行同步处理；
处理器，用于判断源设备自身是否支持对辅音频数据不进行同步处理；
存储器，用于存储视频数据和主音频数据；
处理器还用于，若源设备支持对辅音频数据不进行同步处理，则处理器对视频数据和主音频数据进行同步处理；
HDMI接口还用于，将未经过同步处理的辅音频数据和经过同步处理的主音频数据和视频数据发送给宿设备。
结合本发明实施例第三方面，本发明实施例第三方面的第一种实现方式中，
HDMI接口还用于，预先存储有能力集合，能力集合包括支持对辅音频数据不进行同步处理或支持对辅音频数据进行同步处理；
处理器还用于，通过HDMI接口中预先存储的能力集合确定是否支持对辅音频数据不进行同步处理。
结合本发明实施例第三方面或本发明实施例第三方面的第一种实现方式，本发明实施例第三方面的第二种实现方式中，HDMI接口还用于，若源设备支持对辅音频数据不进行同步处理，则向宿设备发送响应信息，响应信息用于指示宿设备对从源设备接收到的辅音频数据不进行同步处理。
结合本发明实施例第三方面至本发明实施例第三方面的第二种实现方式任一项的源设备，本发明实施例第三方面的第三种实现方式中，
模式信息还包括第二标识，第二标识用于指示源设备对从外接设备接收的辅音频数据进行同步处理；
处理器还用于，若源设备不支持对辅音频数据不进行同步处理，则对视频数据、主音频数据和辅音频数据进行同步处理；
HDMI接口还用于，将经过同步处理的辅音频数据、主音频数据以及视频数据发送给宿设备。
本发明实施例第四方面提供了一种宿设备，包括高清晰度多媒体接口HDMI、处理器以及播放器；
HDMI接口，用于向源设备发送模式信息，模式信息包括第一标识，第一标识用于指示源设备对从外接设备接收的辅音频数据不进行同步处理；
HDMI接口还用于，接收源设备发送的未经过同步处理的辅音频数据和经过同步处理的主音频数据和视频数据；
处理器，用于对主音频数据和视频数据进行同步处理；
播放器，用于播放未经同步处理的辅音频数据和经过同步处理的主音频数据和视频数据。
结合本发明实施例第四方面，本发明实施例第四方面的第一种实现方式中，HDMI接口还用于，预先存储有能力集合，能力集合包括支持对辅音频数据不进行同步处理或支持对辅音频数据进行同步处理；
处理器还用于，通过HDMI接口中预先存储的能力集合确定是否支持对辅音频数据不进行同步处理；
HDMI接口还用于，若处理器通过能力集合确定支持对辅音频数据不进行同步处理，则将包括有第一标识的模式信息发送给源设备。
结合本发明实施例第四方面或本发明实施例第四方面的第一种实现方式，本发明实施例第四方面的第二种实现方式中，HDMI接口还用于，接收源设备发送的响应信息，响应信息用于指示宿设备对从源设备接收到的辅音频数据不进行同步处理。
结合本发明实施例第四方面至本发明实施例第四方面的第二种实现方式任一项所述的宿设备，本发明实施例第四方面的第三种实现方式中，
处理器还用于，配置模式信息，模式信息还包括第二标识，第二标识用于指示源设备对从外接设备接收的辅音频数据进行同步处理；
HDMI接口还用于，若源设备不支持对辅音频数据不进行同步处理，则接收源设备通过HDMI接口发送的经过同步处理的辅音频数据、主音频数据以及视频数据；
处理器还用于，对视频数据、主音频数据和辅音频数据进行同步处理；
播放器还用于，播放经过同步处理的辅音频数据、主音频数据和视频数据。
本发明实施例提供了一种音视频数据处理方法、相关设备以及播放系统，该音视频数据处理方法包括源设备接收宿设备发送的模式信息，该模式信息包括第一标识，第一标识用于指示源设备对从外接设备接收的辅音频数据不进行同步处理，该源设备通过外接设备接收辅音频数据，该源设备对视频数据和主音频数据进行同步处理，该源设备通过该HDMI接口将未经同步处理的辅音频数据、经过同步处理的该主音频数据以及该视频数据发送给该宿设备。采用本实施例所示的音视频数据处理方法，该源设备不会将视频数据与辅音频数据进行同步处理，而是分别将该辅音频数据和与该视频数据同步的该主音频数据发送给该宿设备，使得该宿设备无需将该辅音频数据与该视频数据进行同步处理，从而降低了该辅音频数据的直达声时延，从而使得该宿设备所播放的该辅音频数据不会让用户听见明显的回声，有效的保障了该宿设备所播放的音频的音质。
附图说明
图1为现有技术所示的音视频数据通过音视频数据处理系统进行传播的示意图；
图2为本发明所提供的音视频数据播放系统的一种实施例结构示意图；
图3为本发明所提供的音视频数据处理方法的一种实施例步骤流程图；
图4为本发明所提供的源设备的一种实施例结构示意图；
图5为本发明所提供的宿设备的一种实施例结构示意图。
具体实施方式
以下结合图2所示对本发明实施例所提供的音视频数据播放系统的具体结构进行说明：
本实施例所示的音视频数据播放系统包括源设备以及与源设备连接的宿设备。
源设备是指带高清晰度多媒体接口(英文全称：HighDefinitionMultimediaInterface，英文简称：HDMI)的音视频数据输出设备。
例如，源设备可为DVD播放器、机顶盒STB、蓝光DVD。
宿设备为带HDMI接口的音视频数据接收设备。
例如，宿设备可为支持HDMI接口的电视机。
源设备通过HDMI线缆与宿设备连接。
具体的，本实施例所示的源设备的HDMI接口与宿设备的HDMI接口通过HDMI线缆连接。
采用HDMI接口进行源设备和宿设备连接的优势在于，源设备可同时将音频数据和视频数据传输给宿设备。
其中，HDMI接口是一种数字化视频数据/音频接口技术，是适合影像传输的专用型数字化接口，其可同时传送音频和视频数据，最高数据传输速度为5Gbps。同时无需在数据传送前进行数/模或者模/数转换。
HDMI接口可搭配宽带数字内容保护(英文全称：High-bandwidthDigitalContentProtection，英文简称：HDCP)，以防止具有著作权的影音内容遭到未经授权的复制。
在HDMI接口的音频数据和视频数据采用的是最小化传输差分数据(英文全称：Transition-minimizeddifferentialsignaling，英文简称：TMDS)进行传输。
最小化传输差分数据在HDMI接口具体传输过程请详见现有技术所示，具体在本实施例中不做赘述。
以下结合图2和图3所示对本实施例所提供的音视频数据处理方法的具体过程进行详细说明：
步骤301、源设备通过外接设备接收辅音频数据。
如图2所示，本实施例所示的音视频数据播放系统还包括外接设备201。
外接设备201为与源设备连接的且用于接收音频信号的设备。
在具体应用场景中，外接设备201可为麦克风设备，电子游乐器等。
电子游乐器可为吉他、钢琴等游乐器、射击游乐器等。
本实施例对外接设备201不做限定，只要外接设备201能够接收到用户输入的音频信号即可。
例如，若外接设备201为麦克风设备，则用户通过麦克风设备输入音频信号，麦克风设备能够因已输入的音频信号进行处理以形成辅音频数据。
其中，用户通过麦克风输入的音频信号可为说话的声音数据或者为唱歌的声音。
还例如，若外接设备201为电子游乐器，则用户通过电子游乐器输入的音频信号可为操作电子游乐器的声音。
为更好的理解本发明实施例，本发明实施例以音视频数据处理方法应用至卡拉OK场景下为例，即以外接设备为麦克风设备，用户通过麦克风设备输入唱歌的音频信号，麦克风设备将音频信号转换为辅音频数据，并将已转换的音频数据发送给源设备为例。
其中，麦克风设备具体如何将音频信号转换为辅音频数据的请详见现有技术所示，具体在本实施例中不做赘述。
需明确的是，本实施例所示的应用场景仅仅为可选的示例，不做限定。
步骤302、源设备对辅音频数据进行处理。
具体的，源设备的辅音频数据处理器207接收外接设备201发送的辅音频数据。
更具体的，辅音频数据处理器207对辅音频数据进行处理。
本实施例中，在不同的应用场景下辅音频数据处理器207能够对辅音频数据进行不同的处理，具体的处理方式在本实施例中不做限定。
例如，若外接设备为麦克风设备，则辅音频数据处理器207能够对辅音频数据进行卡拉OK音效处理。
更具体的，辅音频数据处理器207将处理后的辅音频数据发送给源设备的HDMI接口205。
步骤303、宿设备配置模式信息。
具体的，宿设备的HDMI接口208配置模式信息，该模式信息用于指示源设备对从外接设备接收的辅音频数据进是否行同步处理。
更具体的，模式信息为辅助音频类型列表。
其中，宿设备通过辅助音频类型列表通知源设备音视频数据的应用场景，以使源设备根据辅助音频类型列表确定如何对音视频数据进行处理。
以下对辅助音频类型列表进行说明：
本实施例所示的辅助音频类型列表为在现有技术所示的辅助音频类型列表的基础上进行的改进，以使通过本实施例改进后的辅助音频类型列表能够使得源设备确定宿设备是否支持不对辅音频数据进行同步处理的应用场景。
以下首先结合表2对现有技术所示的辅助音频类型列表进行说明：
表2
其中，现有技术所示的辅助音频类型列表包括了标识和音视频数据处理方式的对应关系。
现有技术所示的标识为3比特的二进制数据。
具体的，辅助音频类型列表包括第二标识和第二处理模式的对应关系。
其中，第二处理模式为对辅音频数据进行同步处理。
更具体的，现有技术所示的辅助音频类型列表中的第二标识“000”、“001”、“010”、“011”与“100”所对应的第二处理模式为现有HDMI2.X协议所规定的，具体请详见现有HDMI2.X协议所示，在本实施例中不做赘述。
具体的，本实施例所示的HDMI2.X协议为HDMI2.0或HDMI2.0以上的协议所规定。
更具体的，X为大于或等于0的自然数。
可选的，将现有技术所提供的辅助音频类型列表中所包含的标识确定为第二标识，将现有技术所示的与第二标识对应的音视频数据处理方式确定为第二处理模式，即现有技术所示的辅助音频类型列表包括了第二标识和第二处理模式的对应关系。
对现有技术所提供的第二处理模式在本实施例不做赘述，可选的，第二处理模式为对辅音频数据进行同步处理。
本实施例中，宿设备在配置辅助音频类型列表时，在现有的HDMI2.X协议所规定的配置辅助音频类型列表的标识预留字段中增加新的标识，在音视频数据处理方式保留扩展字段中增加与新的标识对应的音视频数据处理方式，以下结合表3所示对本实施例所提供的辅助音频类型列表进行说明：
表3
本实施例所示的辅助音频类型列表中的第二标识“000”、“001”、“010”、“011”与“100”所对应的音视频数据处理方式与现有HDMI2.X协议所规定的保持不变，即本实施例所示的辅助音频类型列表对现有的HDMI2.X协议已规定的音视频数据处理方式不作更改。
具体的，本实施例在HDMI2.x协议中的辅助音频类型列表标识预留字段中增加第一标识“101”以及在音视频数据处理方式的保留扩展字段中增加与第一标识对应的第一处理模式，第一处理模式为对辅音频数据不进行同步处理。
需明确的是，本实施例对第一标识不做限定，只要本实施例新增的第一标识与现有的HDMI2.X协议已规定的第二标识不一致即可。
宿设备通过第一处理标识通知源设备不对辅音频数据进行同步处理。
需明确的是，本实施例中的步骤303与步骤301至步骤302之间并无执行时序上的先后关系。
步骤304、宿设备将辅助音频类型列表发送给源设备。
宿设备的HDMI接口208通过HDMI线缆将辅助音频类型列表发送给源设备的HDMI接口205。
具体的，宿设备需要通过辅助音频类型列表通知源设备，宿设备是否支持对辅音频数据不进行同步处理。
更具体的，本实施例所示的宿设备需要确定宿设备是否支持对辅音频数据不进行同步处理。
可选的，宿设备的HDMI接口208可预先存储有能力集合。
宿设备的能力集合中存储有宿设备能够对音频数据、辅音频数据以及主音频数据如何进行处理的处理模式。
若宿设备确定宿设备的能力集合中包括对辅音频数据不进行同步处理的处理模式，则宿设备可将包括有第一标识和第一处理模式的辅助音频类型列表发送给源设备。
若宿设备确定宿设备的能力集合中包括对辅音频数据进行同步处理的处理模式，则宿设备可将包括有第二标识和第二处理模式的辅助音频类型列表发送给源设备。
步骤305、源设备接收辅助音频类型列表。
具体的，源设备的HDMI接口205接收宿设备的HDMI接口208通过HDMI线缆所发送的辅助音频类型列表。
步骤306、源设备判断辅助音频类型列表中是否包括第一标识，若是，则执行步骤307，若否，则执行步骤308。
具体的，在源设备接收到辅助音频类型列表后，源设备判断宿设备是否支持第一处理模式。
具体的，若源设备确定辅助音频类型列表中包括第一标识，则源设备确定宿设备支持第一处理模式，若源设备确定辅助音频类型列表中不包括第一标识，则源设备确定宿设备支持第二处理模式。
第一处理模式和第二处理模式的具体说明请详见上述所示，具体在本处不再赘述。
步骤307、源设备判断自身是否支持对辅音频数据不进行同步处理，若否，则执行步骤308，若是，则执行步骤311。
具体的，源设备的HDMI接口205预先存储有能力集合。
源设备的能力集合中存储有源设备能够对音频数据、辅音频数据以及主音频数据如何进行处理的处理模式。
可选的，该能力集合中可存储有第一处理模式和/或第二处理模式，其中，第一处理模式以及第二处理模式的具体说明请详见上述所示，具体在本处不再赘述。
还需明确的是，源设备的HDMI接口如何建立能力集合为现有技术，具体在本实施例中不做赘述。
更具体的，若源设备确定能力集合中包括第一处理模式，则源设备即可确定源设备支持第一处理模式，若源设备确定能力集合中不包括有第一处理模式，则源设备即可确定源设备不支持第一处理模式。
具体的，在源设备执行步骤306以确定出辅助音频类型列表中不包括第一标识，和/或，在源设备执行步骤307以确定出源设备自身不支持对辅音频数据不进行同步处理，则执行步骤308。
步骤308、源设备按第二处理模式对音视频数据进行处理。
本实施例中，第二处理模式为现有的HDMI2.X协议已规定的音视频数据处理方式，具体在本实施例中不做赘述。
具体的，在源设备确定宿设备和/或源设备自身不支持第一处理模式的情况下，源设备即可按第二处理模式对音视频数据进行处理。
例如，源设备确定宿设备所发送的辅助音频类型列表中只包括第二标识，则源设备即可按第二处理模式对音视频数据进行处理。
还例如，源设备确定宿设备所发送的辅助音频类型列表中包括第一标识和第二标识，但源设备的能力集合中只包括有第二处理模式，则源设备即可按第二处理模式对音视频数据进行处理。
步骤309、源设备通过HDMI接口将经过同步处理的辅音频数据、主音频数据和视频数据发送给宿设备。
具体的，源设备确定源设备自身不支持对从外接设备接收的辅音频数据不进行同步处理，和/或源设备确定宿设备不支持对辅音频数据不进行同步处理的情况下，源设备即可将按第二处理模式处理后的，即同步的辅音频数据、主音频数据和视频数据发送给宿设备。
步骤310、宿设备接收源设备发送的经过同步处理的辅音频数据、主音频数据和视频数据发送给宿设备。
本实施例中宿设备的HDMI接口208能够接收HDMI线缆发送过来的HDMI信号，且宿设备的HDMI接口208能够获取HDMI信号所包含的辅音频数据、主音频数据以及视频数据。
步骤311、宿设备按第二处理模式对辅音频数据、主音频数据和视频数据进行处理。
具体的，宿设备按现有技术所示对辅音频数据、主音频数据和视频数据进行同步处理，具体在本实施例中不做赘述。
步骤312、源设备按第一处理模式对音视频数据进行处理。
具体的，源设备可对视频数据和主音频数据进行同步处理。
具体的，如图2所示，源设备的存储器203中存储有视频数据以及主音频数据。
其中，在本实施例卡拉OK场景下，视频数据为MV视频数据，主音频数据可为用于为MV视频数据进行伴奏的音频数据。
源设备的视频数据解码器202从存储器203中获取视频数据，并对已获取到的视频数据进行解码。
视频数据解码器202将已解码的视频数据发送给同步处理器204。
源设备的主音频数据解码器205从存储器203中获取主音频数据，并对已获取到的主音频数据进行解码。
主音频数据解码器205将已解码的视频数据发送给同步处理器204。
同步处理器204对视频数据与主音频数据进行同步处理，以使视频数据与主音频数据同步。
本实施例对同步处理器204具体如何对视频数据与主音频数据进行同步处理的不做限定，只要同步处理后的视频数据与主音频数据同步即可。
例如，同步处理器204对主音频数据进行时延缓冲处理，以使视频数据与主音频数据同步。
同步处理器204将经过同步处理的视频数据和主音频数据发送给源设备的HDMI接口205。
步骤313、源设备通过HDMI接口将未经过同步处理的辅音频数据和经过同步处理的主音频数据和视频数据发送给宿设备。
在源设备确定宿设备以及源设备能够支持第一处理模式的情况下，源设备即可不将辅音频数据与视频数据进行同步处理，并将未经过同步处理的辅音频数据和经过同步处理后的主音频数据和视频数据发送给宿设备。
具体的，本实施例所示的源设备的HDMI接口205能够将辅音频数据、主音频数据以及视频数据以HDMI信号的形式通过HDMI线缆发送给宿设备的HDMI接口208。
因本实施例所示的源设备不将辅音频数据与视频数据进行同步处理，从而减少了辅音频数据在源设备侧的直达声时延。
步骤314、源设备向宿设备发送响应信息。
响应信息用于指示宿设备对从源设备接收到的辅音频数据不进行同步处理。
本实施例中，源设备可通过两种方式将响应信息发送给宿设备。
可选的，一种为：在源设备确定宿设备和源设备均支持第一处理模式的情况下，源设备即可查询表3所示的辅助音频类型列表，进而源设备即可确定与第一处理模式对应的第一标识。
本种情况下，该第一标识即为响应信息，源设备的HDMI接口205通过HDMI线缆将第一标识发送给宿设备的HDMI接口208。
可选的，另一种为：在源设备确定宿设备和源设备均支持第一处理模式的情况下，则源设备即可生成包括有目标内容的响应信息，该目标内容为指示宿设备对从源设备接收的辅音频数据不进行同步处理，则使得宿设备在接收到包括目标内容的响应信息时，宿设备即可确定对从源设备接收到的辅音频数据不进行同步处理。
步骤315、宿设备接收源设备发送的响应信息。
响应信息的具体说明请详见步骤312所示，具体在本步骤中不做赘述。
步骤316、宿设备根据响应信息确定源设备支持第一处理模式。
具体的，若响应信息为第一标识，则宿设备即可根据辅助音频类型列表即可确定与第一标识对应的第一处理模式，宿设备即可确定源设备支持第一处理模式。
具体的，若响应信息为包含有目标内容的信息，则宿设备即可根据响应信息所包含的目标内容确定对从源设备接收到的辅音频数据不进行同步处理。
具体的，HDMI接口208能够将视频数据发送给视频数据处理器209。
本实施例对视频数据处理器209具体如何对视频数据进行处理不做限定，在不同的应用场景下，视频数据处理器209能够对视频数据进行不同的处理。
例如，视频数据处理器209能够对视频数据进行美化处理等。
视频数据处理器209能够将已处理的视频数据发送给宿设备的同步处理器211。
具体的，HDMI接口208能够将主音频数据发送给音频处理器210。
本实施例对音频处理器210具体如何对主音频数据进行处理不做限定，在不同的应用场景下，音频处理器210能够对主音频数据进行不同的处理。
例如，音频处理器210能够对主音频数据进行音量的大小调节等。
音频处理器210能够将已处理的主音频数据发送给宿设备的同步处理器211。
在本实施例中，宿设备在确定宿设备和源设备均支持不对辅音频数据进行同步处理的情况下，宿设备的同步处理器211只需要对主音频数据和视频数据进行同步处理即可。
具体的，同步处理器211用于对视频数据和主音频数据进行同步处理，以使同步处理后的视频数据与主音频数据同步。
更具体的，同步处理器211将已同步处理完成的主音频数据发送给混音器212。
步骤317、宿设备的混音器接收主音频数据和辅音频数据。
具体的，宿设备的HDMI接口将辅音频数据发送给混音器。
具体的，本实施例中，宿设备的HDMI接口208接收到辅音频数据时，HDMI接口208不对辅音频数据进行处理，即HDMI接口208直接将辅音频数据发送给混音器212。
具体的，宿设备的同步处理器211将进行同步处理后的主音频数据发送给混音器。
本实施例中，宿设备无需将视频数据与辅音频数据进行同步处理，从而有效的减少了辅音频数据在宿设备中的直达声时延。
步骤318、宿设备的混音器将主音频数据和辅音频数据发送给扬声器。
本实施例中，混音器212能够对接收到的主音频数据和混音频数据进行混音处理，并将混音处理后的主音频数据和辅音频数据发送给扬声器214。
步骤319、宿设备显示视频数据。
具体的，同步处理器211将处理完成的视频数据发送给显示器213，从而使得显示器213能够显示视频数据。
在本实施例卡拉OK的场景下，显示器213显示的是MV视频数据。
具体的，混音器212将混音处理后的音频数据发送给扬声器214。
在本实施例卡拉OK的场景下，扬声器214能够播放为MV视频数据伴奏且与MV音频数据同步的主音频数据，且扬声器214还能够播放外接设备201所发送的辅音频数据。
进一步参见图2所示，本实施例所示的辅音频数据的直达声时延为辅音频数据在源设备侧进行处理的时延T0、辅音频数据由源设备的HDMI接口205发送至宿设备的HDMI接口208的时延T1以及辅音频数据在宿设备侧进行混音处理的时延T2的和。
即辅音频数据的直达声时延＝T0+T1+T2。
在本实施例所示的卡拉OK场景下，T0＝15ms，T1＝5ms，T2＝10ms，继而辅音频数据的直达声时延为30ms。
需明确的是，本实施例对T0、T1以及T2的取值为可能的示例，不做限定，在具体应用中，因设备的不同，使用环境的不同等情况，T0、T1以及T2的取值也可不同。
可见，采用本实施例所示的音视频数据处理方法，因源设备以及宿设备不会对辅音频数据与视频数据进行同步处理，从而降低了辅音频数据的直达声时延，从而使得宿设备所播放的辅音频数据不会让用户听见明显的回声，有效的保障了宿设备所播放的音频的音质。
图3所示的实施例说明了本发明实施例所提供的音视频处理方法，以下结合图4所示的实施例说明本发明实施例所提供的一种源设备，其中，图4所提供的源设备能够支持图3所示的音视频处理方法。
具体的，源设备包括高清晰度多媒体接口HDMI401、处理器402以及存储器403。
具体的，该源设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器402。
存储器403可以是短暂存储或持久存储。
更具体的，所述处理器402分别与所述存储器403以及所述高清晰度多媒体接口HDMI401通过总线连接。
其中，HDMI接口401，用于接收宿设备发送的模式信息，模式信息包括第一标识，第一标识用于指示源设备对从外接设备接收的辅音频数据不进行同步处理；
处理器402，用于判断源设备自身是否支持对辅音频数据不进行同步处理；
存储器403，用于存储视频数据和主音频数据；
处理器402还用于，若源设备支持对辅音频数据不进行同步处理，则处理器对视频数据和主音频数据进行同步处理；
HDMI接口401还用于，将未经过同步处理的辅音频数据和经过同步处理的主音频数据和视频数据发送给宿设备。
可选的，HDMI接口401还用于，预先存储有能力集合，能力集合包括支持对辅音频数据不进行同步处理或支持对辅音频数据进行同步处理；
处理器402还用于，通过所述HDMI接口中预先存储的能力集合确定是否支持对所述辅音频数据不进行同步处理。
可选的，HDMI接口401还用于，若源设备支持对辅音频数据不进行同步处理，则向宿设备发送响应信息，响应信息用于指示宿设备对从源设备接收到的辅音频数据不进行同步处理。
可选的，处理器402还用于，若源设备不支持对辅音频数据不进行同步处理，则对视频数据、主音频数据和辅音频数据进行同步处理；
HDMI接口401还用于，将同步处理后的辅音频数据、主音频数据以及视频数据发送给宿设备。
本实施例所示的源设备能够实现图3所示的音视频数据处理方法，具体实现音视频处理方法的过程请详见图3所示，具体在本实施例中不做赘述。
通过本实施例所提供的源设备能够降低辅音频数据的直达声时延，从而使得宿设备所播放的辅音频数据不会让用户听见明显的回声，有效的保障了宿设备所播放的音频的音质。
图3所示的实施例说明了本发明实施例所提供的音视频处理方法，以下结合图5所示的实施例说明本发明实施例所提供的一种宿设备，其中，图5所提供的宿设备能够支持图3所示的音视频处理方法。
具体的，源设备包括高清晰度多媒体接口HDMI501、处理器502以及播放器503。
具体的，该宿设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器502。
播放器503可为用于播放视频数据的显示屏，以及用于播放主音频数据和辅音频数据的扬声器。
具体的，处理器502分别通过总线与高清晰度多媒体接口HDMI501以及播放器503连接。
HDMI接口501，用于向源设备发送模式信息，模式信息包括第一标识，第一标识用于指示源设备对从外接设备接收的辅音频数据不进行同步处理；
HDMI接口501还用于，接收源设备发送的未经过同步处理的辅音频数据和经过同步处理的主音频数据和视频数据；
处理器502，用于对主音频数据和视频数据进行同步处理；
播放器503，用于播放未经同步处理的辅音频数据和经过同步处理的主音频数据和视频数据。
可选的，HDMI接口501还用于，预先存储有能力集合，能力集合包括支持对辅音频数据不进行同步处理或支持对辅音频数据进行同步处理；
处理器502还用于，通过HDMI接口中预先存储的能力集合确定是否支持对辅音频数据不进行同步处理；
HDMI接口501还用于，若处理器通过能力集合确定支持对辅音频数据不进行同步处理，则将包括有第一标识的模式信息发送给源设备。
可选的，HDMI接口501还用于，接收源设备发送的响应信息，响应信息用于指示宿设备对从源设备接收到的辅音频数据不进行同步处理。
可选的，处理器502还用于，配置模式信息，模式信息还包括第二标识，第二标识用于指示源设备对从外接设备接收的辅音频数据进行同步处理；
HDMI接口501还用于，若源设备不支持对辅音频数据不进行同步处理，则接收源设备通过HDMI接口发送的同步处理后的辅音频数据、主音频数据以及视频数据；
处理器502还用于，对视频数据、主音频数据和辅音频数据进行同步处理；
播放器503还用于，播放经过同步处理的辅音频数据、主音频数据和视频数据。
本实施例所示的宿设备能够实现图3所示的音视频数据处理方法，具体实现音视频处理方法的过程请详见图3所示，具体在本实施例中不做赘述。
通过本实施例所提供的宿设备能够降低辅音频数据的直达声时延，从而使得宿设备所播放的辅音频数据不会让用户听见明显的回声，有效的保障了宿设备所播放的音频的音质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种音视频处理方法，其特征在于，所述方法包括：
源设备通过高清晰度多媒体接口HDMI接收宿设备发送的模式信息，所述模式信息包括第一标识，所述第一标识用于指示所述源设备对从外接设备接收的辅音频数据不进行同步处理；
所述源设备判断自身是否支持对所述辅音频数据不进行同步处理；
若所述源设备支持对所述辅音频数据不进行同步处理，则所述源设备对视频数据和主音频数据进行同步处理；
所述源设备通过所述HDMI接口将未经过同步处理的所述辅音频数据和经过同步处理的所述主音频数据和所述视频数据发送给所述宿设备。
2.根据权利要求1所述的方法，其特征在于，所述源设备判断自身是否支持对所述辅音频数据不进行同步处理包括：
所述源设备通过所述HDMI接口中预先存储的能力集合确定是否支持对所述辅音频数据不进行同步处理，所述能力集合包括支持对辅音频数据不进行同步处理或支持对辅音频数据进行同步处理。
3.根据权利要求1或2所述的方法，其特征在于，若所述源设备支持对所述辅音频数据不进行同步处理，所述方法还包括：
所述源设备向所述宿设备发送响应信息，所述响应信息用于指示所述宿设备对从所述源设备接收到的所述辅音频数据不进行同步处理。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述模式信息还包括第二标识，所述第二标识用于指示所述源设备对从所述外接设备接收的辅音频数据进行同步处理，所述方法还包括：
若所述源设备不支持对所述辅音频数据不进行同步处理，则所述源设备对所述视频数据、所述主音频数据和所述辅音频数据进行同步处理；
所述源设备通过所述HDMI接口将经过同步处理的所述辅音频数据、所述主音频数据以及所述视频数据发送给所述宿设备。
5.一种音视频处理方法，其特征在于，包括：
宿设备通过高清晰度多媒体接口HDMI向源设备发送模式信息，所述模式信息包括第一标识，所述第一标识用于指示所述源设备对从外接设备接收的辅音频数据不进行同步处理；
所述宿设备接收所述源设备通过所述HDMI接口发送的未经过同步处理的所述辅音频数据和经过同步处理的主音频数据和视频数据；
所述宿设备对所述主音频数据和所述视频数据进行同步处理；
所述宿设备播放未经同步处理的所述辅音频数据和经过同步处理的所述主音频数据和所述视频数据。
6.根据权利要求5所述的方法，其特征在于，所述宿设备通过高清晰度多媒体接口HDMI向源设备发送模式信息之前，所述方法还包括：
所述宿设备通过所述HDMI接口中预先存储的能力集合确定是否支持对所述辅音频数据不进行同步处理，所述能力集合包括支持对辅音频数据不进行同步处理或支持对辅音频数据进行同步处理；
若所述宿设备通过所述HDMI接口中预先存储的能力集合确定支持对所述辅音频数据不进行同步处理，则所述宿设备将包括有所述第一标识的所述模式信息发送给所述源设备。
7.根据权利要求5或6所述的方法，其特征在于，所述宿设备对所述主音频数据和所述视频数据进行同步处理之前，所述方法还包括：
所述宿设备接收所述源设备发送的响应信息，所述响应信息用于指示所述宿设备对从所述源设备接收到的所述辅音频数据不进行同步处理。
8.根据权利要求5至7任一项所述的方法，其特征在于，所述宿设备通过高清晰度多媒体接口HDMI向源设备发送模式信息之前，所述方法还包括：
所述宿设备配置所述模式信息，所述模式信息还包括第二标识，所述第二标识用于指示所述源设备对从所述外接设备接收的辅音频数据进行同步处理，所述方法还包括：
若所述源设备不支持对所述辅音频数据不进行同步处理，则所述宿设备接收所述源设备通过所述HDMI接口发送的经过同步处理的所述辅音频数据、所述主音频数据以及所述视频数据；
所述宿设备对所述视频数据、所述主音频数据和所述辅音频数据进行同步处理；
所述宿设备播放所述经过同步处理的所述辅音频数据、所述主音频数据和所述视频数据。
9.一种源设备，其特征在于，包括高清晰度多媒体接口HDMI、处理器以及存储器；
所述HDMI接口，用于接收宿设备发送的模式信息，所述模式信息包括第一标识，所述第一标识用于指示所述源设备对从外接设备接收的辅音频数据不进行同步处理；
所述处理器，用于判断源设备自身是否支持对所述辅音频数据不进行同步处理；
所述存储器，用于存储视频数据和主音频数据；
所述处理器还用于，若所述源设备支持对所述辅音频数据不进行同步处理，则所述处理器对所述视频数据和所述主音频数据进行同步处理；
所述HDMI接口还用于，将未经过同步处理的所述辅音频数据和经过同步处理的所述主音频数据和所述视频数据发送给所述宿设备。
10.根据权利要求9所述的源设备，其特征在于，
所述HDMI接口还用于，预先存储有能力集合，所述能力集合包括支持对辅音频数据不进行同步处理或支持对辅音频数据进行同步处理；
所述处理器还用于，通过所述HDMI接口中预先存储的所述能力集合确定是否支持对所述辅音频数据不进行同步处理。
11.根据权利要求9或10所述的源设备，其特征在于，所述HDMI接口还用于，若所述源设备支持对所述辅音频数据不进行同步处理，则向所述宿设备发送响应信息，所述响应信息用于指示所述宿设备对从所述源设备接收到的所述辅音频数据不进行同步处理。
12.根据权利要求9至11任一项所述的源设备，其特征在于，所述模式信息还包括第二标识，所述第二标识用于指示所述源设备对从所述外接设备接收的辅音频数据进行同步处理；
所述处理器还用于，若所述源设备不支持对所述辅音频数据不进行同步处理，则对所述视频数据、所述主音频数据和所述辅音频数据进行同步处理；
所述HDMI接口还用于，将经过同步处理的所述辅音频数据、所述主音频数据以及所述视频数据发送给所述宿设备。
13.一种宿设备，其特征在于，包括高清晰度多媒体接口HDMI、处理器以及播放器；
所述HDMI接口，用于向源设备发送模式信息，所述模式信息包括第一标识，所述第一标识用于指示所述源设备对从外接设备接收的辅音频数据不进行同步处理；
所述HDMI接口还用于，接收所述源设备发送的未经过同步处理的所述辅音频数据和经过同步处理的主音频数据和视频数据；
所述处理器，用于对所述主音频数据和所述视频数据进行同步处理；
所述播放器，用于播放所述未经同步处理的所述辅音频数据和经过同步处理的主音频数据和视频数据。
14.根据权利要求13所述的宿设备，其特征在于，
所述HDMI接口还用于，预先存储有能力集合，所述能力集合包括支持对辅音频数据不进行同步处理或支持对辅音频数据进行同步处理；
所述处理器还用于，通过所述HDMI接口中预先存储的所述能力集合确定是否支持对所述辅音频数据不进行同步处理；
所述HDMI接口还用于，若所述处理器通过所述能力集合确定支持对所述辅音频数据不进行同步处理，则将包括有所述第一标识的所述模式信息发送给所述源设备。
15.根据权利要求13或14所述的宿设备，其特征在于，
所述HDMI接口还用于，接收所述源设备发送的响应信息，所述响应信息用于指示所述宿设备对从所述源设备接收到的所述辅音频数据不进行同步处理。
16.根据权利要求13至15任一项所述的宿设备，其特征在于，
所述处理器还用于，配置所述模式信息，所述模式信息还包括第二标识，所述第二标识用于指示所述源设备对从所述外接设备接收的辅音频数据进行同步处理；
所述HDMI接口还用于，若所述源设备不支持对所述辅音频数据不进行同步处理，则接收所述源设备通过所述HDMI接口发送的经过同步处理的所述辅音频数据、所述主音频数据以及所述视频数据；
所述处理器还用于，对所述视频数据、所述主音频数据和所述辅音频数据进行同步处理；
所述播放器还用于，播放所述经过同步处理的所述辅音频数据、所述主音频数据和所述视频数据。
CN201610125958.2A 2016-03-04 2016-03-04 一种音视频处理方法以及相关设备 Pending CN105791937A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610125958.2A CN105791937A (zh) 2016-03-04 2016-03-04 一种音视频处理方法以及相关设备
PCT/CN2016/105442 WO2017148178A1 (zh) 2016-03-04 2016-11-11 一种音视频处理方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610125958.2A CN105791937A (zh) 2016-03-04 2016-03-04 一种音视频处理方法以及相关设备

Publications (1)

Publication Number Publication Date
CN105791937A true CN105791937A (zh) 2016-07-20

Family

ID=56386974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610125958.2A Pending CN105791937A (zh) 2016-03-04 2016-03-04 一种音视频处理方法以及相关设备

Country Status (2)

Country Link
CN (1) CN105791937A (zh)
WO (1) WO2017148178A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017148178A1 (zh) * 2016-03-04 2017-09-08 华为技术有限公司 一种音视频处理方法以及相关设备
CN109688460A (zh) * 2018-12-24 2019-04-26 深圳创维－Rgb电子有限公司 一种数字电视画面的辅音输出方法、数字电视及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1819707A (zh) * 2005-02-08 2006-08-16 上海渐华科技发展有限公司 卡拉ok麦克风
US20110217025A1 (en) * 2010-03-02 2011-09-08 Cisco Technology, Inc. Auxiliary audio transmission for preserving synchronized playout with paced-down video
JP2011197344A (ja) * 2010-03-19 2011-10-06 Yamaha Corp サーバ
CN103179451A (zh) * 2013-03-19 2013-06-26 深圳市九洲电器有限公司 基于dvb标准的双音频混合输出方法、装置及机顶盒
CN103268763A (zh) * 2013-06-05 2013-08-28 广州市花都区中山大学国光电子与通信研究院 一种基于同步音频提取和实时传输的无线影音系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098523B (zh) * 2006-06-29 2012-12-05 海尔集团公司 一种手机实现卡拉ok的方法及具有卡拉ok功能的手机
CN105791937A (zh) * 2016-03-04 2016-07-20 华为技术有限公司 一种音视频处理方法以及相关设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1819707A (zh) * 2005-02-08 2006-08-16 上海渐华科技发展有限公司 卡拉ok麦克风
US20110217025A1 (en) * 2010-03-02 2011-09-08 Cisco Technology, Inc. Auxiliary audio transmission for preserving synchronized playout with paced-down video
JP2011197344A (ja) * 2010-03-19 2011-10-06 Yamaha Corp サーバ
CN103179451A (zh) * 2013-03-19 2013-06-26 深圳市九洲电器有限公司 基于dvb标准的双音频混合输出方法、装置及机顶盒
CN103268763A (zh) * 2013-06-05 2013-08-28 广州市花都区中山大学国光电子与通信研究院 一种基于同步音频提取和实时传输的无线影音系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017148178A1 (zh) * 2016-03-04 2017-09-08 华为技术有限公司 一种音视频处理方法以及相关设备
CN109688460A (zh) * 2018-12-24 2019-04-26 深圳创维－Rgb电子有限公司 一种数字电视画面的辅音输出方法、数字电视及存储介质

Also Published As

Publication number Publication date
WO2017148178A1 (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
KR101844388B1 (ko) 개인용 오디오의 전달을 위한 시스템들 및 방법들
KR102393798B1 (ko) 오디오 신호 처리 방법 및 장치
WO2016150316A1 (zh) 音频输出控制方法及装置
US20070087686A1 (en) Audio playback device and method of its operation
WO2020182020A1 (zh) 一种音频信号播放方法及显示设备
US20130100236A1 (en) Method and apparatus for playing audio of attendant at remote end and remote video conference system
KR101987473B1 (ko) 온라인 노래방 서비스의 반주 및 가창 음성 간 동기화 시스템 및 이를 수행하기 위한 장치
US11120808B2 (en) Audio playing method and apparatus, and terminal
JP2022050516A (ja) 端末、音声連携再生システム及びコンテンツ表示装置
CN111343620A (zh) 多设备音频播放校正方法，装置及其终端
CN105791937A (zh) 一种音视频处理方法以及相关设备
TWI449438B (zh) 具有迴音消除機制之通訊系統及方法
JP2022548400A (ja) ハイブリッド式近距離／遠距離場スピーカー仮想化
WO2015131591A1 (zh) 音频信号输出方法、装置、终端及系统
US20240040191A1 (en) Livestreaming audio processing method and device
CN112073890B (zh) 音频数据处理方法、装置和终端设备
JP7452526B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN114915874A (zh) 音频处理方法、装置、设备、介质及程序产品
WO2019225448A1 (ja) 送信装置、送信方法、受信装置および受信方法
US20060039567A1 (en) Audio reproducing apparatus
GB2552794A (en) A method of authorising an audio download
WO2023195353A1 (ja) 音処理装置及びカラオケシステム
CN112346694A (zh) 显示装置
WO2021039189A1 (ja) 送信装置、送信方法、受信装置および受信方法
US11924622B2 (en) Centralized processing of an incoming audio stream

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160720

WD01 Invention patent application deemed withdrawn after publication