CN106375820B - 对音频和视频信号进行同步的方法和装置 - Google Patents
对音频和视频信号进行同步的方法和装置 Download PDFInfo
- Publication number
- CN106375820B CN106375820B CN201610772829.2A CN201610772829A CN106375820B CN 106375820 B CN106375820 B CN 106375820B CN 201610772829 A CN201610772829 A CN 201610772829A CN 106375820 B CN106375820 B CN 106375820B
- Authority
- CN
- China
- Prior art keywords
- frame
- audio
- picture frame
- signal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 25
- 230000005236 sound signal Effects 0.000 claims abstract description 52
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 6
- GJWAPAVRQYYSTK-UHFFFAOYSA-N [(dimethyl-$l^{3}-silanyl)amino]-dimethylsilicon Chemical compound C[Si](C)N[Si](C)C GJWAPAVRQYYSTK-UHFFFAOYSA-N 0.000 claims 2
- 239000000463 material Substances 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 29
- 238000006243 chemical reaction Methods 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 102100031699 Choline transporter-like protein 1 Human genes 0.000 description 4
- 102100035954 Choline transporter-like protein 2 Human genes 0.000 description 4
- 102100039497 Choline transporter-like protein 3 Human genes 0.000 description 4
- 101000940912 Homo sapiens Choline transporter-like protein 1 Proteins 0.000 description 4
- 101000948115 Homo sapiens Choline transporter-like protein 2 Proteins 0.000 description 4
- 101000889279 Homo sapiens Choline transporter-like protein 3 Proteins 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
- H04N21/43635—HDMI
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
公开了一种对音频和视频信号进行同步的方法和装置。其中，该方法包括：提取视频信号中所包含的各个图像帧的帧头信息；以及，根据图像帧的帧头信息，调整音频信号的输出以便与视频信号的输出保持同步。根据本公开的方法和装置，通过提取视频信号的图像帧的信息，将对应的图像帧信息提供给音频信号，从而可以调整音频信号的输出，来确保音频的输出与视频的输出保持同步，从而提高了视听节目的质量，并且增强了用户体验。
Description
技术领域
本公开涉及多媒体领域，具体涉及一种对音频和视频信号进行同步的方法和装置。
背景技术
随着高清显示技术的发展，可以显示的画面的分辨率越来越高。为此，对接收到的视频信号进行图像处理以在显示器上最终显示高清画面所需的资源的性能也日益提高。例如，以目前作为显示领域的热点的4K以上分辨率的电视机或者显示器来说，大多需要采用FPGA或者性能比较强大的专用处理芯片对视频信号进行处理。然而，如图1所示，由于音频信号和视频信号是分开处理的，有可能会造成处理后的视频信号与音频信号的输出不同步的现象，导致降低了用户的观看体验。
发明内容
针对以上问题，本公开提出了一种对音频和视频信号进行同步的方法和装置，其在对视频信号进行处理时，将对应的图像帧信息提供给音频信号，以便可以调整音频信号的输出，使之与处理后的视频信号的输出保持同步，从而提高了视听节目的质量，并且增强了用户体验。
根据本公开的一方面，提供了一种对音频和视频信号进行同步的方法，包括：提取视频信号中所包含的各个图像帧的帧头信息；以及，根据图像帧的帧头信息，调整音频信号的输出以便与视频信号的输出保持同步。
根据本公开的另一方面，提供了一种对音频和视频信号进行同步的装置，包括：收发器，接收音频信号和视频信号；处理器，被配置为提取视频信号中所包含的各个图像帧的帧头信息，并且根据图像帧的帧头信息，调整音频信号的输出以便与视频信号的输出保持同步。
根据本公开的方法和装置，通过提取视频信号的图像帧的信息，将对应的图像帧信息提供给音频信号，从而可以调整音频信号的输出，来确保音频的输出与视频的输出保持同步，从而提高了视听节目的质量，并且增强了用户体验。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍。显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1是一种已知的对视频和音频信号进行处理的系统的示意性框图。
图2是根据本公开的一实施例的对音频和视频信号处理的系统的示意性框图。
图3是I2S的标准时序的示意图。
图4是根据I2S标准时序的一种变形的数据位右对齐的示意性时序图。
图5是一种单链路的DVI接口的示意图。
图6a是一种单链路TMDS通道的系统示意图。
图6b是一种单链路TMDS通道上各信号映射关系的示意图。
图7a是一种TMDS输入数据流的示意图。
图7b是一种TMDS编码转换后的数据流的示意图。
图8是根据本公开的一实施例的一种对音频和视频信号进行同步的方法的示意性流程图。
图9是根据本公开的另一实施例的对音频数据进行处理的示意性的流程图。
图10是根据本公开的另一实施例的一种对音频和视频信号进行同步的装置的示意图。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，也属于本公开保护的范围。
图1图示了一种已知的对视频和音频信号进行处理的示意性框图。如图1所示，在经过解码器解码之后，分别得到数字视频数据和数字音频数据。如上所述，数字视频数据和数字音频数据的处理是分开进行的。例如，对于数字音频数据而言，经过简单的数模转换处理后获得模拟信号，并将其提供给播放装置(例如麦克风、音箱等)供输出音频。对于数字视频数据而言，对其的处理相对比较复杂。如图1所示，将数字视频数据提供给视频处理单元，进行图像处理。例如，对于数字视频数据的处理包括但不限于：色彩空间转换、色彩增强处理、帧率转换和像素格式转换中的至少一个。为此，除了视频处理单元之外，可能还需要控制器以及相应的存储器。例如，如图1所示，在视频处理单元对视频图像进行色彩增强处理之后，如果要对各个图像帧进行帧率转换，则可以通过帧率转换模块(FRC)(例如，图1中所示的控制器)与双倍速率动态随机存储器(DDR)芯片进行交互处理，实现对视频数据的帧率转换。或者，可以利用视频处理单元经由控制器与DDR进行交互，对图像进行图像拉伸、图像增强、颜色调整、边缘处理、降噪等处理、在对数字视频数据进行了各种处理之后，将其输出给显示终端进行显示。
由此可见，相比于对音频信号的处理，对视频信号的处理要复杂得多，且由于视频信号和音频信号的处理是分开进行的，没有考虑彼此之间的同步关系，因此，可能会造成在向用户提供输出的视听信号时，用户所观看的视频画面与所听到的音频信号之间存在不同步，从而降低了用户体验。
为此，根据本公开的实施例，提供了一种对音频信号和视频信号进行同步的方案。具体而言，根据本公开的技术方案，在利用视频处理单元对视频信号进行处理时，为了实现将音频信号与处理后的视频信号同步输出给播放终端，利用缓冲器对音频信号进行缓存，并且在其中加入视频信号对应的图像帧的信息，从而使得音频信号和视频信号的输出保持同步。
可选地，根据本公开的一实施例，可以将经过缓存的数字音频数据也提供处理视频信号的处理器，以便在其中添加有关图像帧的信息。可选地，该处理器可以是FPGA(Field－Programmable Gate Array，现场可编程门阵列)实现的专用芯片、DSP(数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)，专用或者通用的处理器，在此不作限制。
图2示意性地示出了根据本公开的一实施例的对音频和视频信号处理的系统的框图。如图2所示，接收的视听信号经过解码器(例如HDMI解码器)解码为数字视频数据和数字音频数据。将数字视频数据输入给视频处理单元进行处理，例如，进行色彩空间转换、色彩增强处理、帧率转换和像素格式转换中的至少一个。同时，将解码后的数字音频数据缓存在存储器中。作为示例，根据本公开的一实施例，可以利用I2S总线将数字音频数据传输给存储器以便进行缓存。
如图2所示，可以在缓存数字音频数据的存储器和视频处理单元之间增加同步单元，以便将视频数据中的图像帧的帧头信息提供给音频数据。可选地，可以利用视频处理单元从数字视频数据中提取各个图像帧的帧头信息。可选地，图像帧的帧头信息可以包括但不限于：图像帧的帧号、图像帧的传输协议、图像帧的帧率中至少一项。
经过视频处理单元处理后的视频数据经由传输接口发送给显示终端，而添加了图像帧的帧号的数字音频数据经由数字音频总线输出给音频播放终端(可以是显示终端内置的音频播放终端，也可以是外置的音频播放终端)，从而可以在图像帧的显示时同步播放音频。
根据本公开的一实施例，数字音频总线可以是I2S总线。I2S总线拥有三条数据信号线：(1)SCK:(continuous serial clock)串行时钟，SCK的时钟脉冲对应数字音频的每一位数据，SCK的频率＝2×采样频率×采样位数，例如，常用的采样频率可以是48kHz或者44.1kHZ，采样位数，即数据长度可以是16比特或者24比特等等；(2)WS:(word select)字段(声道)选择，用于切换左右声道的数据，WS为“1”表示正在传输的是左声道的数据，WS为“0”表示正在传输的是右声道的数据；WS可以在串行时钟的上升沿或者下降沿发生改变，并且WS信号不需要一定是对称的；(3)SD:(serial data)串行数据，用二进制补码表示的音频数据。I2S格式的音频数据无论有多少位有效数据，数据的最高位总是被最先传输，在WS变化(也就是一帧开始)后的第2个SCK脉冲处，因此最高位拥有固定的位置，而最低位的位置则是依赖于数据的有效位数，也就使得接收端与发送端的有效位数可以不同。如果接收端能处理的有效位数少于发送端，可以放弃数据帧中多余的低位数据；如果接收端能处理的有效位数多于发送端，可以自行补足剩余的位(常补足为零)，这种同步机制使得数字音频设备的互连更加方便，而且不会造成数据错位。
图3是I2S的标准时序的示意图。如图3所示，WS代表的是左右声道的信号，其为高电平时表示左声道，为低电平时表示右声道，SCK为数字音频数据的串行时钟。如图3所示，在以I2S标准时序传输数字音频数据时，第一个时钟信号对应的数据位是空的，直接从第二个时钟信号对应的数据位开始。如果数字音频数据以16位的位宽来表示，则传输16比特的数据，若是24位，则传输24比特的数据，其他位宽以此类推。
如上所述，由于采用I2S格式的数字音频数据可以使得接收端和发送端的有效位数不同，利用这种机制，根据本公开的一实施例，可以在数字音频数据帧的有效数据位以外的数据位中添加视频信号的图像帧的帧号，以便将音频数据帧与视频图像帧相关联，从而可以同步音频信号和视频信号的输出。
以图3所示的I2S的标准时序为例，在有效数据位宽之外的数据位中添加对应的图像帧的帧号信息，例如，可以在最低有效位之后添加图像帧的帧号信息，从而可以将音频数据与视频信号的图像帧进行关联。
尽管以上参照图3所示的I2S的标准时序说明了根据本公开一实施例的在数字音频数据的最低有效位之后添加图像帧的帧号信息，然而，本发明的原理不限于此。实际上，在I2S的标准时序下，根据串行数据SD相对于WS和SCK的位置的不同，还可以采用左对齐或者右对齐的方式。图4图示了根据I2S标准时序的一种变形的数据位右对齐的示意性的时序，在这种右对齐的方式下，数据的最低有效位对应于WS变化(也就是一帧结束)前的第1个SCK脉冲处。在这种情况下，可以利用最高有效位之前的空数据位来添加图像帧的帧号信息，从而可以将音频数据与视频信号的图像帧进行关联。
另外，尽管上文中以I2S总线传输音频数据为例，阐述了本公开的原理。然而，本领域技术人员应理解，本原理的实现不限于使用I2S总线，而是可以利用任何能够传输数字音频数据的总线来实现，只要在利用该数字音频总线传输数字音频数据时一并传输对应的图像帧的帧号信息即可，诸如，AES/EBU(Audio Engineering Society/European BroadcastUnion)或者“S/PDIF”(Sony/Philips Digital Interface Format)之类的音频总线也可以应用本公开的原理。
如上所述，在对数字视频信号进行了处理之后，需要将其发送给显示终端进行显示。为了实现显示终端上呈现的视频画面以及播放的音频信号二者之间的同步，需要将视频画面对应的图像帧信息发送给显示终端，例如，电视机、PC显示器等。可选地，可以在图像帧的帧头信息包括图像帧的帧率、图像帧的传输协议中的至少一项，使得显示终端能够获悉接收的视频信号的具体参数，从而自动地或者用户手动地调整显示设置。
根据本公开的一实施例，还可以在图像帧的帧头信息中包括图像帧的帧号，从而使得显示终端可以根据接收的图像帧对应的帧号信息与音频信号同步地显示视频画面。
目前，在对数字视频信号进行传输时，可以采用例如DVI(Digital VideoInterface)接口或者HDMI(High Definition Multimedia Interface)接口。DVI/HDMI接口均可以基于TMDS(Transition Minimized Differential signal)协议进行数字信号的传输。
DVI接口是一种高速传输数字信号的接口，其避免了模拟视频信号传输过程中发送端(例如，显卡)的数模转换和接收端(例如，LCD显示器)的模数转换过程，同时也避免了模拟信号传输过程中的噪声干扰的问题，保证了传输的视频信号的质量。
DVI接口在传输数字信号时又分为单链路(Single Link)和双链路(Dual Link)两种方式。如图5所示，对于单链路的DVI接口，共有4个通道，通道0-2对应RGB三个分量，而行场同步信号及一些可选的控制信号分别分配在这三个通道上，第4个通道为时钟通道。如上所述，DVI基于TMDS协议进行数字信号的传输。以8bit的R分量的传输为例，并行的8bit的R分量传输时需要转化为串行数据。为了可靠传输，不能简单地进行了并转串，而是采用TMDS编码算法进行。TMDS算法使转换后的串行信号的变换最小(Transition Minimization)以及串行码流直流分量的平衡(DC Balancing)。串行信号是以差分形式传输的(Differential Signal)。在接收端，通过TMDS接收器可以解码出R、G、B、Hs、Vs、像素时钟等信号。
HDMI源于DVI接口，同样基于TMDS信号传输技术，其是一种数字化视频/音频接口技术，是适合影像传输的专用型数字化接口，可同时传送音频和影音信号，同时无需在信号传送前进行数/模或者模/数转换。HDMI所具备的额外空间还可应用在日后升级的音视频格式中。
图6a图示了单链路TMDS通道的系统示意图。如图6a所示，TMDS传输系统主要分为两个部分：发送侧和接收侧。在TMDS发送侧，接收来自例如HDMI接口传输来的表示RGB信号的24位并行数据。例如，TMDS对每个像素的RGB三原色分别按8比特编码，即RGB信号分别占据8比特，然后对这些数据进行编码和并/串转换，再将表示RGB信号的数据分别分配到独立的传输通道发送给接收侧。相应地，在接收侧，接收来自发送侧的串行信号，对其进行解码和串/并转换，然后发送到显示终端。
相应地，在图6b中示出了单链路TMDS通道上各信号映射关系。基于图6a-6b所示的TMDS传输系统的结构，图7a示出了TMDS的输入数据流的时序。其中，输入数据流中包含了像素和控制数据。信号DE有效的区间表示传输像素数据的期间，而DE无效的期间表示传输控制数据的期间。如图7所示，每个TMDS通道包括2位的控制数据，一共6位的控制数据，分别为HSYNC(行同步)、VSYNC(场同步)、CTL0、CTL1、CTL2和CTL3。根据本公开的一实施例，可以利用控制位CTL0、CTL1、CTL2和CTL3来嵌入图像帧的帧号信息，从而可以与I2S通道上的音频数据进行匹配。
换句话说，根据本公开的一实施例，在将经过视频处理的数字视频流发送给TMDS发送器进行编码时，可以在该数字视频流中的控制位CTL0、CTL1、CTL2和CTL3中嵌入图像帧的帧号信息，从而可以与I2S通道上传输的音频数据进行匹配。
相应地，如图7b所示，在TMDS发送器接收到视频处理单元处理后的嵌入了图像帧的帧号信息的视频流之后，对其进行编码，使得在所产生的TMDS编码时序中，编码的控制位CTL0、CTL1、CTL2和CTL3包括了各个图像帧的帧号信息，从而可以与发送给音频播放器的音频数据相匹配，以便同步地播放视频信号和音频信号。
图8图示了根据本公开的一实施例的一种对音频和视频信号进行同步的方法的示意性流程。如图8所示，该方法包括：S810，提取视频信号中所包含的各个图像帧的帧头信息；以及，S820，根据图像帧的帧头信息，调整音频信号的输出以便与视频信号的输出保持同步。
可选地，该方法还包括：接收视频信号以提取图像帧的帧头信息。
可选地，经由HDMI接口或者DVI接口接收经过压缩编码的视频信号，并且对所接收的压缩编码的视频信号进行解码以获得相应的数字视频数据。
可选地，该方法还包括，对数字视频数据进行处理，以提取视频信号的各个图像帧的帧头信息。
可选地，其中，图像帧的帧头信息包括图像帧的帧号、图像帧的帧率、图像帧的传输协议中的至少一项。
可选地，对数字视频数据进行处理可以包括但不限于：色彩空间转换、色彩增强处理、帧率转换和像素格式转换中的至少一个。
可选地，该方法还包括：接收音频信号并且将其转换为数字音频数据。
可选地，其中，经由HDMI接口接收经过压缩编码的音频信号，并且对所接收的压缩编码的音频信号进行解码以转换为相应的数字音频数据。
可选地，该方法还包括：经由音频总线将转换后的数字音频数据缓存在存储器中。
可选地，采用集成电路内置音频(I2S)总线将数字音频数据传输到存储器中。
可选地，根据本公开的一实施例，该方法还包括，在缓存的数字音频数据中添加对应的图像帧的帧号，使得数字音频数据与视频信号的各个图像帧相关联。
可选地，在数字音频数据具有I2S格式的情况下，该方法包括，在数字音频数据的有效采样数据位之外的字段添加对应的图像帧的帧号。
可选地，该方法包括：在数字音频数据的最高采样有效位之前的或者在其最低采样有效位之后的空余位中添加对应的图像帧的帧号。
可选地，该方法还包括，根据I2S总线的基准时钟将数字音频数据顺序缓存在存储器中。
根据本公开的一实施例，该方法还包括：将处理后的数字视频数据发送给TMDS接口，以便经由TMDS接口对数字视频数据进行编码转换后发送给显示终端。
可选地，该方法还包括，在将处理后的数字视频数据发送给TMDS接口时，在对应于数字视频数据的控制数据的保留位中嵌入对应图像帧的帧号。
可选地，该方法还包括，在TMDS接口对数字视频数据进行编码转换时，对嵌入的图像帧的信号进行编码转换，以便将图像帧的帧号信息提供给显示终端。
可选地，该方法还包括：基于数字音频数据中添加的图像帧的帧号，与对应的图像帧同步输出音频。
图9示出了根据本公开的另一实施例的对音频数据进行处理的示意性的流程。如图9所示，S900，对接收到数字音频数据进行缓存；S910，对缓存的数字音频数据添加对应的图像帧的帧号信息；S920,根据要播放的视频信号的图像帧的帧号，输出对应的数字音频数据。
根据本公开的一实施例，其中，判断要输出的音频信号是否与要输出的视频信号的图像帧相匹配，如果不匹配，则根据图像帧的帧号调整对应的数字音频数据并输出相应的音频信号。
可选地，其中，以提取的图像帧的帧率为基础，周期性地将数字音频数据中添加的图像帧的帧号与要输出的视频信号的图像帧的帧号进行比较，来判断要输出的对应于数字音频数据的音频信号是否与要输出的视频信号的图像帧相匹配。
考虑到对音频数据频繁调整可能会对声音的连贯性造成影响，可选地，可以基于预先设定的一阈值进行上述比较来保证输出音频的流畅性。例如，如果数字音频数据中添加的图像帧的帧号与要输出的视频信号的图像帧的帧号之间的差超出了该阈值，则判断二者不匹配，从而可以调整音频数据的输出，例如，可以根据对应的图像帧的帧号，直接从缓存数字音频数据的存储器中取得与之对应的音频数据；反之，如果二者匹配，则无需对输出的音频数据进行调整。
根据本公开的另一实施例，提供了一种对音频和视频信号进行同步的装置。如图10所示，该装置包括：收发器1000，接收音频信号；处理器1010，被配置为提取视频信号中所包含的各个图像帧的帧头信息，并且根据图像帧的帧头信息，调整音频信号的输出以便与视频信号的输出保持同步。
其中，该装置的收发器1000还被配置为接收视频信号，并且处理器1010被配置为将视频信号转换为数字视频数据，并且提取其中所包含的各个图像帧的帧头信息。
可选地，该装置还包括：存储器1020，其中处理器1010将接收的音频信号转换为数字音频数据缓存在存储器1020中。
尽管以上将存储器示为被内置在上述装置中，然而，本领域技术人员应理解，上述装置可以不包括存储器，而通过总线连接到外接存储器。
可选地，所述图像帧的帧头信息包括图像帧的帧号、图像帧的帧率、图像帧的传输协议中的至少一项。
可选地，处理器1010被配置为在缓存的数字音频数据中添加对应的图像帧的帧号，使得数字音频数据与视频信号的各个图像帧相关联。
可选地，该装置还包括I2S总线，收发器1000经由I2S总线将数字音频数据传输到存储器1020中。
可选地，处理器1010还被配置为，在缓存的数字音频数据的有效数据位之外的字段添加对应的图像帧的帧号。
可选地，处理器1010还被配置为基于I2S总线的基准时钟将接收到的数字音频数据顺序缓存在存储器1020中。
可选地，处理器1010还被配置为将接收的视频信号转换为数字视频数据，并且在数字视频数据的保留位中嵌入各个图像帧的帧号。
可选地，该装置还包括视频传输接口，其将嵌入了图像帧的帧号的数字视频数据传输给显示终端。
可选地，该视频传输接口是TMDS传输接口，处理器在将处理后的数字视频数据发送给TMDS接口时，在对应于数字视频数据的控制数据的保留位中嵌入对应图像帧的帧号。
可选地，在TMDS接口对数字视频数据进行编码转换时，对嵌入的图像帧的信号进行编码转换，以便将图像帧的帧号信息提供给显示终端。
可选地，该装置还包括音频传输接口，处理器1010被配置为利用数字音频数据中添加的图像帧的帧号，控制音频传输接口与视频信号同步输出音频。
可选地，处理器被配置为判断要输出的音频信号是否与要输出的视频信号的图像帧相匹配，如果不匹配，则根据图像帧的帧号调整对应的数字音频数据并将其作为音频信号输出。
可选地，处理器被配置为以提取的图像帧的帧率为基础，周期性地将与要输出的音频信号对应的数字音频数据中添加的图像帧的帧号与要输出的视频信号的图像帧的帧号进行比较，来判断要输出的音频信号是否与要输出的视频信号的图像帧相匹配。
可选地，其中，上述比较基于预先设定的一阈值进行，如果数字音频数据中添加的图像帧的帧号与要输出的视频信号的图像帧的帧号之间的差超出了该阈值，则判断二者不匹配，从而可以调整音频数据的输出，例如，可以根据对应的图像帧的帧号，直接从缓存数字音频数据的存储器中取得与之对应的音频数据；反之，如果二者匹配，则无需对输出的音频数据进行调整。
尽管在上述实施例中，利用同一处理器来实现对音频数据和视频数据的处理，然而，本公开的原理不限于此。实际上，可以利用不止一个处理器来分别实现对音频数据和视频数据的处理。例如，采用主处理器来实现对视频数据的处理，而利用辅处理器来实现对音频数据的处理，主处理器和辅处理器之间通过总线连接，并且还可以在它们之间耦接SDRAM等存储器件，以便交换和同步数据。
可选地，也可以利用FPGA(Field－Programmable Gate Array，现场可编程门阵列)来实现上述处理器的功能。作为替代，还可以由其它硬件来实现上述处理器的功能，包括但不限于DSP(数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)，以及专用或者通用的处理器来实现，在此不作限制。
根据本公开的方法和装置，通过提取视频信号的图像帧的信息，将对应的图像帧信息提供给音频信号，从而可以调整音频信号的输出，来确保音频的输出与视频的输出保持同步，从而提高了视听节目的质量，并且增强了用户体验。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开实施例公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应该以权利要求的保护范围为准。
Claims (16)
1.一种对音频和视频信号进行同步的装置，包括：
收发器，接收音频信号和视频信号；
存储器；
处理器，被配置为提取视频信号中所包含的各个图像帧的帧头信息，其中所述图像帧的帧头信息包括图像帧的帧号、图像帧的帧率、图像帧的传输协议中的至少一项，
将接收的音频信号转换为数字音频数据，将转换后的数字音频数据缓存在所述存储器中，在缓存的数字音频数据中添加对应的图像帧的帧号以使数字音频数据与视频信号的各个图像帧相关联，并且判断数字音频数据中添加的图像帧的帧号与待输出的视频信号中的图像帧的帧号之间的帧号差是否超出预定阈值，在所述帧号差超出预定阈值的情况下，调整音频信号的输出以便与视频信号的输出保持同步。
2.根据权利要求1所述的装置，其中，所述处理器还被配置为将接收的视频信号转换为数字视频数据，并且提取其中所包含的各个图像帧的帧头信息。
3.根据权利要求2所述的装置，其中，所述处理器被配置为经由数字音频总线将转换后的数字音频数据传输到所述存储器进行缓存。
4.根据权利要求3所述的装置，其中，所述数字音频总线是I2S总线，并且所述处理器被配置为在数字音频数据的有效音频数据位之外的字段添加对应的图像帧的帧号。
5.根据权利要求1-4任一项所述的装置，其中，所述处理器被配置为判断要输出的音频信号是否与要输出的视频信号的图像帧相匹配，如果不匹配，则根据图像帧的帧号调整对应的数字音频数据并输出相应的音频信号。
6.根据权利要求5所述的装置，其中，所述处理器被配置为周期性地判断要输出的音频信号对应的数字音频数据中添加的图像帧的帧号与要输出的视频信号的图像帧的帧号之间的帧号差是否超出所述预定阈值，来确定要输出音频信号是否与要输出的视频信号的图像帧相匹配。
7.根据权利要求1-4任一项所述的装置，其中，所述处理器被配置为对转换后的数字视频数据进行图像处理，并且在处理后的数字视频数据的控制数据的保留位中嵌入各个图像帧的帧号。
8.根据权利要求7所述的装置，其中，所述处理器被配置为将嵌入了图像帧的帧号的处理后的数字视频数据发送给TMDS传输接口以便提供给显示终端。
9.一种对音频和视频信号进行同步的方法，包括：
接收音频信号和视频信号；
提取视频信号中所包含的各个图像帧的帧头信息，其中，所述图像帧的帧头信息包括图像帧的帧号、图像帧的帧率、图像帧的传输协议中的至少一项；
将接收的音频信号转换为数字音频数据，并且将转换后的数字音频数据缓存在存储器中；
在缓存的数字音频数据中添加对应的图像帧的帧号，使得数字音频数据与视频信号的各个图像帧相关联；以及
判断数字音频数据中添加的图像帧的帧号与待输出的视频信号中的图像帧的帧号之间的帧号差是否超出预定阈值，在所述帧号差超出所述预定阈值的情况下，调整音频信号的输出以便与视频信号的输出保持同步。
10.根据权利要求9所述的方法，其中，经由数字音频总线将转换后的数字音频数据传输到所述存储器进行缓存。
11.根据权利要求10所述的方法，其中，所述数字音频总线是I2S总线，并且在缓存的数字音频数据的有效音频数据位之外的字段添加对应的图像帧的帧号。
12.根据权利要求9-11任一项所述的方法，其中，判断要输出的音频信号是否与要输出的视频信号的图像帧相匹配，如果不匹配，则根据图像帧的帧号调整对应的数字音频数据并输出相应的音频信号。
13.根据权利要求12所述的方法，其中，周期性地判断要输出的音频信号对应的数字音频数据中添加的图像帧的帧号与要输出的视频信号的图像帧的帧号之间的帧号差是否超出所述预定阈值，来确定要输出的音频信号是否与要输出的视频信号的图像帧相匹配。
14.根据权利要求9-11任一项所述的方法，还包括：接收视频信号，将其转换为数字视频数据，并且提取其中所包含的各个图像帧的帧头信息。
15.根据权利要求14所述的方法，其中，对转换后的数字视频数据进行图像处理，并且在处理后的数字视频数据的控制数据的保留位中嵌入各个图像帧的帧号。
16.根据权利要求15所述的方法，其中，将嵌入了图像帧的帧号的处理后的数字视频数据发送给TMDS传输接口以便提供给显示终端。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610772829.2A CN106375820B (zh) | 2016-08-30 | 2016-08-30 | 对音频和视频信号进行同步的方法和装置 |
| US15/568,758 US20180310047A1 (en) | 2016-08-30 | 2017-06-14 | Method and Apparatus for Synchronizing Audio and Video Signals |
| PCT/CN2017/088268 WO2018040669A1 (zh) | 2016-08-30 | 2017-06-14 | 对音频和视频信号进行同步的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610772829.2A CN106375820B (zh) | 2016-08-30 | 2016-08-30 | 对音频和视频信号进行同步的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106375820A CN106375820A (zh) | 2017-02-01 |
| CN106375820B true CN106375820B (zh) | 2018-07-06 |
Family
ID=57902153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610772829.2A Active CN106375820B (zh) | 2016-08-30 | 2016-08-30 | 对音频和视频信号进行同步的方法和装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20180310047A1 (zh) |
| CN (1) | CN106375820B (zh) |
| WO (1) | WO2018040669A1 (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106375820B (zh) * | 2016-08-30 | 2018-07-06 | 京东方科技集团股份有限公司 | 对音频和视频信号进行同步的方法和装置 |
| CN106911987B (zh) * | 2017-02-21 | 2019-11-05 | 珠海全志科技股份有限公司 | 主控端、设备端、传输多声道音频数据的方法和系统 |
| US11170889B2 (en) * | 2019-01-15 | 2021-11-09 | Fujifilm Medical Systems U.S.A., Inc. | Smooth image scrolling |
| CN110830677A (zh) * | 2019-11-07 | 2020-02-21 | 金华深联网络科技有限公司 | 一种凿岩机器人远程操控视频数据与音频数据同步的方法 |
| CN110753165A (zh) * | 2019-11-07 | 2020-02-04 | 金华深联网络科技有限公司 | 一种推土机远程操控视频数据与音频数据同步的方法 |
| CN110753166A (zh) * | 2019-11-07 | 2020-02-04 | 金华深联网络科技有限公司 | 一种清淤机器人远程操控视频数据与音频数据同步的方法 |
| CN110798591A (zh) * | 2019-11-07 | 2020-02-14 | 金华深联网络科技有限公司 | 一种挖掘机远程操控视频数据与音频数据同步的方法 |
| CN111277885B (zh) * | 2020-03-09 | 2023-01-10 | 北京世纪好未来教育科技有限公司 | 音视频同步方法、装置、服务器和计算机可读存储介质 |
| CN111479154B (zh) * | 2020-04-03 | 2022-03-22 | 海信视像科技股份有限公司 | 音画同步的实现设备、方法及计算机可读存储介质 |
| TWI747250B (zh) * | 2020-04-24 | 2021-11-21 | 矽統科技股份有限公司 | 數位音訊陣列電路 |
| CN112351273B (zh) * | 2020-11-04 | 2022-03-01 | 新华三大数据技术有限公司 | 一种视频播放质量检测方法及装置 |
| CN112738356A (zh) * | 2020-12-31 | 2021-04-30 | 威创集团股份有限公司 | 一种视频信号同步采集方法和装置 |
| EP4322536A4 (en) * | 2021-08-05 | 2024-10-09 | Samsung Electronics Co Ltd | ELECTRONIC DEVICE AND METHOD FOR MULTIMEDIA PLAYBACK IN AN ELECTRONIC DEVICE |
| WO2023035096A1 (zh) * | 2021-09-07 | 2023-03-16 | 深圳市大疆创新科技有限公司 | 帧率控制方法、控制设备、电子设备和计算机可读介质 |
| CN114189728B (zh) * | 2021-12-13 | 2022-08-09 | 深圳市日声数码科技有限公司 | 一种数字视频和音频输入转换成模拟格式的播放系统 |
| CN116721678B (zh) * | 2022-09-29 | 2024-07-05 | 荣耀终端有限公司 | 音频数据的监测方法、电子设备以及介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5815634A (en) * | 1994-09-30 | 1998-09-29 | Cirrus Logic, Inc. | Stream synchronization method and apparatus for MPEG playback system |
| CN1182715C (zh) * | 2000-09-25 | 2004-12-29 | 松下电器产业株式会社 | 信号传输系统、信号发送装置和信号接收装置 |
| US20050100023A1 (en) * | 2003-11-07 | 2005-05-12 | Buckwalter Paul B. | Isochronous audio network software interface |
| CN100496133C (zh) * | 2004-12-13 | 2009-06-03 | 武汉大学 | 一种测试音视频编解码系统音视频失步的方法 |
| CN101118776B (zh) * | 2007-08-21 | 2012-09-05 | 中国科学院计算技术研究所 | 实现音、视频数据同步的方法、系统及装置 |
| CN104782109B (zh) * | 2012-10-30 | 2018-09-07 | 三菱电机株式会社 | 视频音频再现系统、视频显示装置以及音频输出装置 |
| CN103051921B (zh) * | 2013-01-05 | 2014-12-24 | 北京中科大洋科技发展股份有限公司 | 一种精确检测视音频处理系统视频、音频同步误差的方法 |
| US20150062353A1 (en) * | 2013-08-30 | 2015-03-05 | Microsoft Corporation | Audio video playback synchronization for encoded media |
| CN106375820B (zh) * | 2016-08-30 | 2018-07-06 | 京东方科技集团股份有限公司 | 对音频和视频信号进行同步的方法和装置 |
| CN106358039B (zh) * | 2016-09-07 | 2019-02-01 | 深圳Tcl数字技术有限公司 | 音画同步测试方法及装置 |
-
2016
- 2016-08-30 CN CN201610772829.2A patent/CN106375820B/zh active Active
-
2017
- 2017-06-14 US US15/568,758 patent/US20180310047A1/en not_active Abandoned
- 2017-06-14 WO PCT/CN2017/088268 patent/WO2018040669A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| US20180310047A1 (en) | 2018-10-25 |
| CN106375820A (zh) | 2017-02-01 |
| WO2018040669A1 (zh) | 2018-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106375820B (zh) | 对音频和视频信号进行同步的方法和装置 | |
| US20030145336A1 (en) | Encryption transmission system | |
| TW200931268A (en) | Method, apparatus and system for generating and facilitating mobile high-definition multimedia interface | |
| CN104813676B (zh) | 显示设备、用于控制该显示设备的方法、眼镜和用于控制该眼镜的方法 | |
| TW201002066A (en) | Data transmission interface apparatus, transmitter, and method of transmitting multimedia data | |
| JPWO2008056709A1 (ja) | 受信装置、受信装置における遅延情報送信方法、音声出力装置および音声出力装置における遅延制御方法 | |
| JP2009124349A (ja) | 表示装置、表示装置における映像信号送信方法、送信装置および映像信号の送信方法 | |
| JP5232319B2 (ja) | 通信装置及び通信方法 | |
| CN101742345A (zh) | 发送机、接收机、信号传输系统和信号传输方法 | |
| TWI532374B (zh) | 訊號傳輸裝置及其傳送器與接收器 | |
| KR100541755B1 (ko) | 베이스밴드 영상 전송 시스템 | |
| CN104954725B (zh) | 一种基于sdi的传输双向辅助数据方法 | |
| JP5577789B2 (ja) | 画像データ送信装置、画像データ送信方法および画像データ受信装置 | |
| JP6809450B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| JP5784810B2 (ja) | 送信装置、受信装置、送信方法及び受信方法 | |
| JP6717670B2 (ja) | タイムコード送信装置、タイムコード受信装置、映像信号送信装置及び映像信号受信装置 | |
| CA2719954C (en) | Video serializer and deserializer with mapping conversion | |
| WO2017101334A1 (zh) | 一种专用接口转hdmi接口的方法和装置 | |
| CN103763608A (zh) | 头戴式音视频设备、音视频传输系统和音视频传输方法 | |
| JP3965047B2 (ja) | 暗号伝送システム | |
| KR20140036697A (ko) | 영상데이터 전송장치 | |
| JP5474253B1 (ja) | 受信装置および信号受信方法 | |
| JP5706012B2 (ja) | 受信装置および信号受信方法 | |
| JP4560264B2 (ja) | ベースバンド映像伝送システム、送信装置 | |
| JP2009088941A (ja) | 画像表示装置、画像表示方法、受信装置、受信方法および携帯端末機 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |