CN117241081A - 影音同步方法 - Google Patents

Abstract

本申请公开了一种影音同步方法，包括有下列步骤，首先以讯号处理装置将第一数位影音讯号分离成数位影像讯号与第一数位声音讯号。然后，取得关于数位影像讯号每一影像帧的识别资讯。接着，将对应每一影像帧的识别资讯编码成标识资讯嵌入于第一数位声音讯号以形成第二数位声音讯号。最后，将具有标识资讯的第二数位声音讯号与数位影像讯号合成第二数位影音讯号。

Description

影音同步方法

技术领域

本申请涉及一种影音控制技术，特别是指一种解决声音与影像传输时产生延迟的影音同步方法。

背景技术

请参阅图1所示，该图为习用的影音多媒体播放系统示意图。习用技术的多媒体讯号源10(source)提供数位影音讯号DAV，例如：HDMI或DVI影音讯号。以HDMI讯号为例，数位影音讯号DAV被影音分离模组11接收，之后影音分离模组11从该数位影音讯号DAV分离出数位声音讯号DA，其中，原本的数位影音讯号DAV输出给影像处理模组12，而数位声音讯号DA则输出至声音处理模组13。之后，影像处理模组12将处理后的影像讯号输出给影像播放装置14，例如：显示器或电视墙，而声音处理模组13将处理后的声音讯号输出给声音播放装置15，例如：扬声器。

在习用技术中，影像处理模组12处理影像需要的处理时间比声音处理模组13处理声音讯号所需要的时间长，例如：在一习用技术中，处理影像需要的时间大约400ms，而处理声音讯号则需要大约50ms两者相差的时间有八倍。因为处理影像与处理声音所需要的时间有落差，因此影像播放装置14拨放影像的速度与声音播放装置15输出声音的速度产生了落差，致使影像播放装置14所播放的影像与声音输出装置15所输出的声音有延迟的问题产生，进而让使用者从影像播放装置14所看到的影像与从声音播放装置15听到的声音有不同步的问题产生。

综合上述，因此需要一种影音同步方法来解决习用技术的问题。

发明内容

本申请为一种影音同步方法，其是将每一影像帧的识别资讯，例如：影像帧编号或每一影像帧所对应的时间，编成水标印记，嵌入到数位影音讯号内，送给影像播放装置播出，然后再从影像播放装置所输出的带有标示码的声音讯号中解码出识别资讯，再利用此识别资讯与目前播出声新讯号所对应的影像帧的识别资讯去计算出音讯与影像之间的延迟资讯，进而透过该延迟资讯，调整播放声音的时序，达到让播放声音与播放影像相互同步的功效。

本申请为一种影音同步方法，其是将每一影像帧的识别资讯，例如：影像帧编号或每一影像帧所对应的时间，编成水标印记，嵌入到数位声音讯号内，再将数位声音讯号嵌入到数位影音讯号内。在数位声音讯号以及数位影音讯号经过处理之后，透过分析处理过的数位声音讯号与数位声音讯号内含的水标印剂所对应的识别资讯，分析两者在时间上的落差，进而同步数位声音讯号与数位影音讯号，达到解决影像与声音处理造成时间延迟问题的功效。

在一实施例中，本申请提供一种影音同步方法，包括有下列步骤，首先以讯号处理装置将第一数位影音讯号分离成数位影像讯号与第一数位声音讯号。然后，取得关于数位影像讯号每一影像帧的识别资讯。接着，将对应每一影像帧的识别资讯编码成标识资讯嵌入于第一数位声音讯号以形成第二数位声音讯号。最后，将具有标识资讯的第二数位声音讯号与数位影像讯号合成第二数位影音讯号。

在一实施例中，影音同步方法更包括有将第一数位声音讯号输出至声音播放装置，然后，将第二数位影音讯号输出至多媒体播放装置，使得多媒体播放装置播放特定帧影像以及输出相应特定帧影像的第二数位声音讯号，之后，接收第二数位声音讯号，然后于特定时间点解码该标识资讯以得到识别资讯，接下来，于数位影像讯号中取得对应时间点的影像帧的识别资讯，最后，根据前述特定时间点下的第二数位声音讯号与数位影像讯号所得到的识别资讯的差异，决定延迟第一数位声音讯号输出至声音播放装置的时间。

在另一实施例中，本申请的影音同步方法，其更包括有将第二数位影音讯号经由影像处理之后输入至同步单元，将第二数位声音讯号经由声音处理之后输入至同步单元，将同步单元于特定时间点分别撷取第二数位影音讯号以及第二数位声音讯号中的标识资讯，并解码还原成识别资讯；比较前述特定时间点下对应第二数位影音讯号以及第二数位声音讯号的识别资讯的差异，最后再根据差异决定延迟播放第二数位声音讯号的时间。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为习用之影音多媒体播放系统示意图。

图2为本申请的影音同步方法流程的一实施例示意图。

图3A为本申请的讯号处理装置的一实施例示意图。

图3B为本申请的讯号处理装置另一实施例示意图。

图3C为本申请的讯号处理装置另一实施例示意图。

图4为本申请的影音同步方法另一实施例流程示意图。

图5为本申请的讯号处理装置之另一实施例示意图。

具体实施方式

在下文将参考随附图式，可更充分地描述各种例示性实施例，在随附图式中展示一些例示性实施例。然而，本申请概念可能以许多不同形式来体现，且不应解释为限于本文中所阐述之例示性实施例。确切而言，提供此等例示性实施例使得本申请将为详尽且完整，且将向熟习此项技术者充分传达本申请概念的范畴。类似数字始终指示类似元件。以下将以多种实施例配合图式来说明影音同步方法，然而，下述实施例并非用以限制本申请。

请参阅图2所示，该图为本申请的影音同步方法流程的一实施例示意图。在本实施例中，影音同步方法3包括有以下步骤，首先进行步骤30，以讯号处理装置将第一数位影音讯号分离成数位影像讯号与第一数位声音讯号。在本步骤中的一实施例中，请参阅图3A所示，该图为本申请的讯号处理装置的一实施例示意图。本实施例中的讯号处理装置2包括有影音分离模组20，用以接收来自于多媒体讯号源(图中未示)所输出的第一数位影音讯号VAS1。多媒体讯号源可以为网路的影音串流伺服器、计算机或者是DVD影音装置等，但不以此为限制。影音分离模组20从第一数位影音讯号VAS1分离出第一数位声音讯号AS1以及数位影像讯号DS。数位影像讯号DS可以为载有声音资讯的数位影像讯号，例如：HDMI影像讯号或者是DVI影像讯号。其中，第一数位声音讯号AS1被传输至讯号处理装置2中的延迟单元21，再经由延迟单元21输出至扩大器40(AVR)，然后再由声音播放装置41，例如：扬声器，播放声音。延迟单元21用来调整第一数位声音讯号AS1输出至扩大器40的时间，其详细作用容后再述。

分离声音与影像之后，进行步骤31取得关于该数位影像讯号每一影像帧的识别资讯。在步骤31的一实施例中，分离的数位影像讯号DS被传输至识别资讯处理模组22。识别资讯为数位影像讯号的帧数编号资讯(例如：第一帧、第二帧…等)，或者是与每一影像帧所对应的时间讯息(例如：每一影像帧所具有独立的时间标记)。本实施例为帧数资讯。由于数位影像讯号DS是由一连串关于时间序列的影像帧(frame)所构成，例如：1080p/30fps，其中1080p代表每一帧的解析度，而30fps代表每秒有30帧1080p的影像。因此识别资讯处理模组22接收到数位影像讯号DS之后会计数目前收到的影像所对应的帧数作为对应目前收到影像帧的识别资讯。也就是说，本步骤31启动时，数位影像讯号DS的每一帧画面经过了识别资讯处理模组22处理之后，就会产生识别资讯FS1，然后再将相应的数位影像讯号DS依序传输到影音合成单元23。同时，识别资讯FS1会传到编码模组24进行编码，详细如后再述。

接下来进行步骤32，将对应每一影像帧的识别资讯编码成标识资讯嵌入于第一数位声音讯号以形成第二数位声音讯号。在本步骤中，编码模组24除了接收识别资讯FS1之外，同时也接收第一数位声音讯号AS1，编码模组24将识别资讯FS1转换成标识资讯嵌入于第一数位声音讯号AS1，以形成第二数位声音讯AS2。要说明的是，本步骤32的一实施例中，标识资讯为音频水印(watermark)，其为人耳无法听觉的独立的声音态样(distinctiveaudio pattern)，属于人耳无法听觉的声音讯号，因此嵌入到第一数位声音讯号AS1形成第二数位声音讯AS2之后，并不会影响第二数位声音讯AS2在后续被播放。

步骤32之后，进行步骤33将具有标识资讯的第二数位声音讯号与该数位影像讯号合成第二数位影音讯号。在步骤33的一实施例中，影音合成单元23将数位影像讯号DS与带有识别资讯FS1的第二数位讯号AS2经由影音合成，已形成第二影音讯号VAS2。要说明的是，在本步骤中的第二影音讯号VAS2为HDMI讯号，其是透过影音介面VI，例如：HDMI介面，经由影音缆线VCA和多媒体播放装置4电性连接。在一实施例中，多媒体播放装置4可以为显示器、电视机或者是电视墙等。多媒体播放装置4将第二影音讯号转换成影像播放，产生视觉效果。于此同时，第一数位声音讯号AS1经由延迟单元21输出至扩大器40(AVR)，然后再由声音播放装置41，例如：扬声器，播放声音。

当使用者发现多媒体播放装置4所播放的影像与声音播放装置41所输出的声音不同步的时候，启动步骤34使得多媒体播放装置4一方面将第二数位影音讯号VAS2解码成帧影像播放之外，同时也输出原本合成在第二数位影音讯号VAS2内相应目前播放的帧影像的第二数位讯号AS2。本实施例中，第二数位声音讯号AS2从多媒体播放装置4的扬声器42播出音讯SO。要说明的是，虽然对应第二数位声音讯号AS2的音讯SO内含有识别资讯FS1，但是在扬声器42播出时，人耳是无法觉察。

之后，进行步骤35，以讯号处理装置2接收第二数位声音讯号，然后于特定时间点解码该标识资讯以得到识别资讯。在步骤35的一实施例中，启动讯号处理装置2具有收音装置MIC，例如：麦克风，让收音装置MIC接收对应第二数位声音讯号AS2的音讯SO，并将其传输给讯号处理装置2内的解码模组25。解码模组25将接收的音讯SO内含的第二数位声音讯号AS2中的识别资讯FS1解出，并将识别资讯FS1传给延迟演算模组26。接下来，进行步骤36，于数位影像讯号DS中取得对应时间点的影像帧的识别资讯。在步骤36的一实施例中，讯号处理装置2内部更具有延迟决定模组26，其一方面接收解码模组25所输出的识别资讯FS1，同时也接收在当下来自于识别资讯处理模组22接收数位影像讯号DS时，所得到对应该时间点下的影像帧所具有的识别资讯FS2。然后，延迟决定模组26根据识别资讯FS1与识别资讯FS2进行比较，就可以决定两识别资讯FS1与FS2的差异资讯DI。在另一实施例中，差异资讯DI为两识别资讯的时间差或者是落后或超前的帧数。

最后，进行步骤37，根据前述特定时间点下的第二数位声音讯号与数位影像讯号所得到的识别资讯的差异，决定延迟第一数位声音讯号输出至声音播放装置的时间。在步骤37的一实施例中，讯号处理装置2内的延迟单元21根据所接收的差异资讯DI，对第一数位声音讯号AS1进行时间调整，例如根据时间差或者是根据落后的帧数计算出时间差，来延迟第一数位声音讯号AS1以形成第三数位声音讯号AS3，再输出至扩大器40(AVR)，然后再由声音播放装置41，例如：扬声器，播放和多媒体播放装置4所显示的影像帧同步的声音。一但同步之后，使用者就可以关掉多媒体播放装置4的扬声器42。

要说明的是，前述步骤34的实施例是使用者发现有不同步的时候，启动步骤34，让多媒体播放装置4的扬声器42输出声音SO让讯号处理装置2侦测带有识别资讯FS1第二数位声音讯号AS2的实施例，但不以此为限。在步骤34的输出第二数位影音讯号VAS2相应该帧影像的第二数位声音讯号AS2的另一实施例中，如图3B所示，该图为讯号处理装置另一实施例示意图。本实施例中，多媒体播放装置4具有音讯输出孔AO，其是透过音讯线材AC与讯号处理装置2a的音讯输入孔AI耦接。因此在步骤34的一实施例中，媒体播放装置4并非透过扬声器42而是透过音讯输出孔AO经由音讯线材AC输出带有识别资讯FS1第二数位声音讯号AS2至音讯输入孔AI，然后给讯号处理装置2的解码模组25。解码模组25的处理方式以及后续步骤是如前所述，在此不做赘述。

除了上述步骤34之实施例外，在另一实施例中，如图3C所示，该图为讯号处理装置另一实施例示意图。本实施例中，多媒体播放装置4支援音讯回传规格，例如音讯回传通道(audio return channel,ARC)或增强音讯回传通道(enhanced audio return channel,eARC)。要说明的是，ARC或eARC规格，可以让多媒体播放装置4透过和讯号处理装置2c的影音介面VI电性连接的影音缆线VCA回传符合ARC或eARC规格的声音回传讯号。在本步骤34的实施例中，声音回传讯号ARC-AS2为带有识别资讯FS1第二数位声音讯号AS2。声音回传讯号ARC-AS2再传给讯号处理装置2的解码模组25。解码模组25的处理方式以及后续步骤是如前所述，在此不做赘述。

综合上述，本申请所提供的种影音同步方法，可以将每一影像帧的识别资讯，例如：影像帧编号或每一影像帧所对应的时间，编成水标印记，嵌入到数位影音讯号内，送给影像播放装置播出，然后再从影像播放装置所输出的带有标示码的声音讯号中解码出识别资讯，再利用此识别资讯与目前播出声新讯号所对应的影像帧的识别资讯去计算出音讯延迟资讯，进而透过该延迟资讯，调整播放声音的时序，达到让播放声音与播放影像相互同步的功效。

请参阅图4所示，该图为本申请的影音同步方法另一实施例流程示意图。在本实施例的影音同步方法3a，首先进行步骤30a，以讯号处理装置将第一数位影音讯号分离成数位影像讯号与第一数位声音讯号。在本步骤中的一实施例中，请参阅图5所示，该图为本申请的讯号处理装置的另一实施例示意图。本实施例中的讯号处理装置2c包括有影音分离模组20，用以接收来自于多媒体讯号源VS所输出的第一数位影音讯号VAS1。多媒体讯号源VS可以为网路的影音串流伺服器、计算机或者是DVD影音装置等，但不以此为限制。影音分离模组20从第一数位影音讯号VAS1分离出第一数位声音讯号AS1以及数位影像讯号DS。第一数位声音讯号AS1以及数位影像讯号DS传输至讯号处理装置2中的延迟与合成单元21a。

接下来进行步骤31a取得关于该数位影像讯号每一影像帧的识别资讯。在步骤31a的一实施例中，分离的数位影像讯号DS被传输至识别资讯处理模组210。识别资讯可以为数位影像讯号的帧数资讯(例如：第一帧、第二帧…等)，或者是每一影像帧的时间讯息(例如：每一影像帧所具有独立的时间标记)，以下用帧数资讯来做说明。由于数位影像讯号DS是由一连串关于时间序列的影像帧(frame)所构成，例如：1080p/30fps，其中1080p代表每一帧的解析度，而30fps代表每秒有30帧1080p的影像。因此识别资讯处理模组22接收到数位影像讯号DS之后会计算目前收到的影像所对应的帧数序作为识别资讯。也就是说，本步骤31a启动时，数位影像讯号DS的每一帧画面经过了识别资讯处理模组210处理之后，就会产生识别资讯FS1，并且在将相应的数位影像讯号DS依序传输到影音合成单元211。同时，识别资讯FS1会传到编码模组212进行编码。

接下来进行步骤32a，将对应每一影像帧的识别资讯编码成标识资讯嵌入于第一数位声音讯号以形成第二数位声音讯号。在本步骤中，编码模组212除了接收识别资讯FS1同时也接收第一数位声音讯号AS1，编码模组212将识别资讯FS1转换成标识资讯嵌入于第一数位声音讯号AS1，以形成第二数位声音讯AS2。要说明的是，本步骤32a的一实施例中，标识资讯为音频水印(watermark)，其为人耳无法听觉的独立的声音态样(distinctiveaudio pattern)，属于人耳无法听觉的声音讯号，因此嵌入到第一数位声音讯号AS1形成第二数位声音讯AS2之后，并不会影响第二数位声音讯AS2在后续被播放。

步骤32a之后，进行步骤33a将具有标识资讯的第二数位声音讯号与该数位影像讯号合成第二数位影音讯号。在本步骤中，识别资讯处理模组210将接收到的数位影像讯号DS传输至影音合成单元211，并将接收到的数位影像讯号DS所对应的识别资讯FS1传输至编码模组212。编码模组212将含有识别资讯FS1的第二数位声音讯号AS2传输至影音合成单元211。影音合成单元211将具有标识资讯FS1的第二数位声音讯号AS2与数位影像讯号DS合成第二数位影音讯号VAS2，其是可以为HDMI讯号或者是DVI讯号。

之后，进行步骤34a将该第二数位影音讯号经由一影像处理之后输入至一同步单元，以及步骤35a将该第二数位声音讯号经由一声音处理之后输入至该同步单元。在步骤34a与步骤35a的一实施例中，影音合成单元211将第二数位影音讯号VAS2传输至影像处理处理模组VP，影像处理处理模组VP对第二数位影音讯号VAS2进行讯号处理。编码模组212输出第二数位声音讯AS2给声音处理模组AP进行讯号处理。步骤34a与步骤35a所产生的处理后的第二数位影音讯号VAS2以及第二数位声音讯AS2出至同步单元22a进行同步运算处理。

接下来进行步骤36a同步单元于一时间点分别撷取第二数位影音讯号以及第二数位声音讯号中的标识资讯，并解码还原成识别资讯。在步骤36a的一实施例中，同步单元22a包括有解码模组220与224，分别接收第二数位影音讯号VAS2以及第二数位声音讯号AS2，其中解码模组220从第二数位影音讯号VAS2解出识别资讯FS2，而解码模组224从第二数位声音讯号AS2解出识别资讯FS1。

之后，进行步骤37a，比较该时间点下对应该第二数位影音讯号以及该第二数位声音讯号的该识别资讯的差异。在本步骤的一实施例中，同步单元22a更包括有延迟演算模组221，用以接收识别资讯FS1与FS2。要说明的是，本实施例中的识别资讯FS1与FS2代表影像的帧数，代表第几帧。因此延迟演算模组221从识别资讯FS1与FS2计算出差异的帧数，例如：落后或超前的帧数。由于影像处理处理模组VP处理影像讯号所花的时间比声音处理处理模组AP处理声音讯号多，因此识别资讯FS2落后识别资讯FS1。最后，进行步骤38a根据该差异决定延迟播放该第二数位声音讯号的时间。在本步骤中，因为每一帧的时间为已知，因此落后的帧数差异就可以根据每一帧的时间，计算出落后的时间资讯，进而将落后时间的资讯提供给延迟单元222，使延迟模组222对第二数位声音讯号AS2进行延迟处理以形成第三数位声音讯号AS3，最后将经过延迟处理的第三数位声音讯号AS3输出至扩大机40，再将第三数位声音讯号AS3经由扬声器41输出声音。经过步骤38a之后，多媒体播放装置4所输出的影像与扬声器41所放出的声音产生同步的效果，而解决了声音与影像不同步的问题。

综合上述，本申请所提供的影音同步方法，其是将每一影像帧的识别资讯，例如：影像帧编号或每一影像帧所对应的时间标记，编码成音频水印，嵌入到数位声音讯号内，再将数位声音讯号嵌入到数位影音讯号内。在数位声音讯号以及数位影音讯号经过处理之后，透过分析处理过的数位声音讯号与数位声音讯号内含的音频水印所对应的识别资讯，分析两者在时间上的落差，进而同步数位声音讯号与数位影音讯号，达到解决影像与声音处理造成时间延迟问题的功效。

以上所述，乃仅记载本申请为呈现解决问题所采用的技术手段的较佳实施方式或实施例而已，并非用来限定本申请专利实施的范围。即凡与本申请专利申请范围文义相符，或依本申请专利范围所做的均等变化与修饰，皆为本申请专利范围所涵盖。

Claims (8)

1.一种影音同步方法，其特征在于，包括：

以讯号处理装置将第一数位影音讯号分离成数位影像讯号与第一数位声音讯号；

取得关于所述数位影像讯号每一影像帧的识别资讯；

将对应每一影像帧的所述识别资讯编码成标识资讯嵌入于所述第一数位声音讯号以形成第二数位声音讯号；

将具有所述标识资讯的所述第二数位声音讯号与所述数位影像讯号合成第二数位影音讯号。

2.根据权利要求1所述的影音同步方法，其特征在于，更包括有：

将所述第一数位声音讯号输出至声音播放装置；

将所述第二数位影音讯号输出至多媒体播放装置，使得所述多媒体播放装置播放特定帧影像以及输出相应所述特定帧影像的所述第二数位声音讯号；

接收所述第二数位声音讯号；

于一时间点解码所述标识资讯以得到所述识别资讯；

于所述数位影像讯号中取得对应所述时间点的影像帧的所述识别资讯；

根据所述时间点下所述第二数位声音讯号与所述数位影像讯号所得到的所述识别资讯的差异，决定延迟所述第一数位声音讯号输出至所述声音播放装置的时间。

3.根据权利要求2所述的影音同步方法，其特征在于，接收所述第二数位声音讯号更包括有：

使所述多媒体播放装置的喇叭播放对应所述第二数位声音讯号的声音；

使用所述讯号处理装置的收音装置接收所述声音。

4.根据权利要求2所述的影音同步方法，其特征在于，接收所述第二数位声音讯号更包括有利用所述多媒体播放装置具有的声音输出介面将所述第二数位声音讯号回传给所述讯号处理装置。

5.根据权利要求1所述的影音同步方法，其特征在于，更包括有下列步骤：

将所述第二数位影音讯号经由影像处理之后输入至同步单元；

将所述第二数位声音讯号经由声音处理之后输入至所述同步单元；

所述同步单元于一时间点分别撷取所述第二数位影音讯号以及所述第二数位声音讯号中的所述标识资讯，并解码还原成所述识别资讯；

比较所述时间点下对应所述第二数位影音讯号以及所述第二数位声音讯号的所述识别资讯的差异；

根据所述差异决定延迟播放所述第二数位声音讯号的时间。

6.根据权利要求1所述的影音同步方法，其特征在于，所述识别资讯为所述数位影像讯号的所述影像帧的影像帧编号。

7.根据权利要求1所述的影音同步方法，其特征在于，所述识别资讯为所述数位影像讯号的所述影像帧的时间讯息。

8.根据权利要求1所述的影音同步方法，其特征在于，所述标识资讯为音频水印。