CN103119952B - 处理多媒体流的方法以及相应设备 - Google Patents

处理多媒体流的方法以及相应设备 Download PDF

Info

Publication number
CN103119952B
CN103119952B CN201180045642.8A CN201180045642A CN103119952B CN 103119952 B CN103119952 B CN 103119952B CN 201180045642 A CN201180045642 A CN 201180045642A CN 103119952 B CN103119952 B CN 103119952B
Authority
CN
China
Prior art keywords
media stream
video
data
video data
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180045642.8A
Other languages
English (en)
Other versions
CN103119952A (zh
Inventor
G.比乔特
A.劳伦特
Y.莱格莱斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN103119952A publication Critical patent/CN103119952A/zh
Application granted granted Critical
Publication of CN103119952B publication Critical patent/CN103119952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

本发明涉及同步由不同的多媒体源提供的、或通过不同的传输协议发送到单个接收设备的或计划用不同的呈现设备呈现的多媒体流。根据本发明，代表第一多媒体流的数据的参考数据被提供在第二多媒体流中并与该第二多媒体流的数据相关联以同步这两个流。该参考数据构成与之相关联的第二多媒体流的数据的定时参考。它被用来同步两个多媒体流。

Description

处理多媒体流的方法以及相应设备
技术领域
本发明涉及处理来自不同的多媒体源或通过不同的传输协议发送和/或在不同的呈现设备上恢复的多媒体流。
背景技术
在广播电视中，通常一起广播音频和视频流。它们通常由单个多媒体源（例如，多媒体内容的提供商）提供，然后使用单个传输协议通过给定的传输网络传送到负责读取这些流、将视频数据显示在屏幕上并在扬声器上广播音频数据的单个端用户设备，例如，电视机。
随着因特网网络和移动电信网络的迅速发展，已经出现了新的多媒体应用，其中用于音频流和视频流的源和/或传输协议和/或呈现设备可以不同。对于这些新的应用，确保音频流的呈现与视频流的呈现同步是必须的。
新的多媒体应用的一个实例是通过不同于视频流的源的源生成音频流，该音频流旨在用其自身代替会和视频流一起被提供的基本音频流。例如，在电视上播放足球比赛的情形中，用包括例如除了会由另外一个多媒体提供商而不是比赛广播商传送的基本音频流的评论之外的语言评论的音频流代替与比赛的视频流一起被提供的基本音频流是可能的。为了使得音频流可以与视频流同步，所述流必须包含公共或相等的定时参考。作为通常规则，传输协议向呈现设备提供这些数据或时间戳以使得它可以控制并同步两个流的呈现。
时间戳通常是表示在其期间发生与该时间戳相关联的事件的时间的计数器值。计数器的时钟频率必须是呈现设备已知的一个值，这样它可以正确地控制流呈现。时钟频率提供给呈现设备的方式在传输层规范（MPEG-TS、RTS等）中有说明。
为了使得呈现设备可以同步这两个流，后者通常参考一般被称作“挂钟”的公共时钟。例如，在RTP协议（实时传输协议）的情形中，发送器周期性地发送表示时间戳和公共时钟提供的时间之间的相等性的被称作发送报告RTCP的消息。如果音频和视频流由不同的源提供，那么这两个源必须共享相同的公共时钟。NTP协议（网络时间协议）通常被用来将两个源同步到同一个时钟。
然而，当两个源未通过足够可靠的网络在传输时间方面联系在一起时，那么另外的同步机制就是必须的了。
音频和/或视频流之间的同步问题也在两个流的呈现由不同的呈现设备执行时存在，例如当视频流由电视机呈现，音频流由个人终端呈现（例如，移动电话）时。事实上，即使传输协议提供了时间戳以执行音频流和视频流的呈现，也只有视频流呈现设备精确地知道视频帧何时显示在屏幕上，这个时刻尤其取决于设备中的存储时间和解码时间。对用户端的音频呈现来说也是一样的情形。
当两个流不是由同一个源或通过相同的传输协议提供时，该同步问题还可能存在于显示在单个呈现设备上的两个视频流之间，其中使用画中画将一个视频内容显示在另一个中。
发明内容
本发明的目的就是提出一种旨在克服上述缺陷使得同步由不同的源提供或通过不同的传输协议发送给单个接收设备和/或旨在用不同的呈现设备呈现的两个音频和/或视频流成为可能的解决方案。
为了达到此目的，本发明涉及一种用于在接收设备中处理多媒体数据流的方法，包括以下步骤：
-接收包括音频或视频数据的第一多媒体流和包括音频或视频数据的第二多媒体流，所述第二流至少包含同步信息，
-通过使用所述同步信息同步所述第一和第二多媒体流，
-对所述第一和第二多媒体流执行呈现步骤，
所述方法的显著特征在于，同步信息包括代表第一多媒体流的音频或视频数据的数据，称为参考数据，它与第二多媒体流的音频或视频数据相关联，还在于，在同步过程中，第一和第二多媒体流以使得与参考数据相关联的第二多媒体流的视频或音频数据的呈现与相当于所述参考数据的第一多媒体流的视频或音频数据的呈现同步的方式同步。
因此，根据本发明，在第二多媒体流中提供了代表第一多媒体流的数据的参考数据，该参考数据与该第二多媒体流的数据相关联以同步这两个流。并且，两个多媒体流的数据被同步以使得它们通过显示设备和/或音频设备的呈现是同步的。
根据一个特定的实施例中，第二多媒体流相对于第一多媒体流同步。同步的步骤包括比较第一多媒体流的音频或视频数据和第二多媒体流的参考数据然后将第二多媒体流的呈现与第一多媒体流的呈现锁定。
该比较的步骤包括例如计算第一多媒体流的音频或视频数据中的每一个和参考数据之间的信噪比的步骤。
根据一个特定的实施例，第一多媒体流是包含视频帧的视频流，引入第二多媒体流的参考数据是第一多媒体流的视频帧或从所述视频帧导出的数据，第二多媒体流是音频流。
根据一个特定的实施例，所述第一和第二多媒体流来自不同的多媒体源和/或通过不同的传输网络提供。
本发明还涉及一种能够生成包括参考数据的第二多媒体流的方法，更具体地说是一种用于在发送设备中处理多媒体数据流的方法，包括以下步骤：
-接收包括音频或视频数据的第一多媒体流，
-对所述第一多媒体流执行呈现步骤，
-生成包括音频或视频数据的第二多媒体流，
-生成至少一个数据，被称为参考数据，代表第一多媒体流的音频或视频数据，
-在所述第二多媒体流中关联所述参考数据和在呈现对应于所述参考数据的第一多媒体流的音频或视频数据的时间生成的第二多媒体流的音频或视频数据。
本发明还涉及能够实施本发明的方法的接收设备。在接收级，第一和第二多媒体流的呈现可以在单个设备（例如，电视机）或在两个不同的设备中执行。
在第一种情况下，根据本发明，提出一种设备，包括：
-用于接收包括音频或视频数据的第一多媒体流和包括音频或视频数据的第二多媒体流的部件，所述第二流至少包含同步信息，
-用于使用所述同步信息同步所述第一和第二多媒体流的部件，
-用于呈现所述第一和第二多媒体流的部件，
其特征在于，同步信息包括代表第一多媒体流的音频或视频数据的数据，称为参考数据，它与第二多媒体流的音频或视频数据相关联，同步部件以使得与参考数据相关联的第二多媒体流的视频或音频数据的呈现与对应于所述参考数据的第一多媒体流的视频或音频数据的呈现同步的方式同步所述第一和第二多媒体流。
在第二种情况下，根据本发明，提出一种用于接收多媒体流的设备，包括：
-用于捕获包括音频或视频数据的第一多媒体流的呈现的部件，
-用于接收包括音频或视频数据的第二多媒体流的部件，所述第二流至少包含同步信息，
-用于使用所述同步信息同步第二多媒体流的部件，
-用于呈现第二多媒体流的部件，
其特征在于，同步信息包括代表第一多媒体流的音频或视频数据的数据，称为参考数据，它与第二多媒体流的音频或视频数据相关联，同步部件以使得与参考数据相关联的第二多媒体流的视频或音频数据的呈现与对应于所述参考数据的第一多媒体流的视频或音频数据的呈现同步的方式同步所述第一和第二多媒体流。
附图说明
通过下面详细的说明，将会更好地理解本发明，其它的目的、细节、特点和优点将显得更清楚，在附录中引用以下附图：
-图1示出了在发送设备中实施本发明的方法的步骤的流程图，
-图2示出了在接收设备中实施本发明的方法的步骤的流程图，
-图3示出了表示当第一和第二多媒体流的呈现在同一设备中执行时实施本发明的部件的图，以及
-图4示出了表示当第一和第二多媒体流的呈现在不同的设备中执行时实施本发明的部件的图。
具体实施方式
根据本发明，将第一多媒体流的音频或视频数据用作定时参考是为第二多媒体流的音频或视频数据设计的，目的是同步呈现两个流。这两个流由不同的多媒体源提供，或通过不同的传输协议发送到单个接收设备，或计划用不同的呈现设备呈现。
在本说明书中，考虑第一多媒体流是视频流，第二多媒体流是音频流。呈现视频流被理解为是指将视频流的数据或视频帧显示在显示设备上，呈现音频流被理解为是指使用音频设备（如，扬声器或耳机）恢复音频流的音频数据（声音）。
为了音频流的呈现和视频流的呈现能够同步，代表视频流的一个视频帧的数据（称为参考数据）被引入音频流，并与音频流数据相关联，该音频流数据的呈现必须与所述视频帧的呈现同步。
这个参考数据可以是视频流的一个视频帧或从该视频帧导出的一个数据。
生成包含参考数据的音频流如图1所示。
根据步骤E1，接收包括多个视频帧的视频流。该视频流可能已经默认和音频数据一起发送。该视频流被显示在显示设备上（E2步骤）。并且，生成要与视频流同步的音频流（E3步骤）。例如，此音频流对应于另一种语言的评论而不是默认的音频数据的评论。例如，该音频流是当视频流的图像正在显示时某个人对它们进行解说生成的。在生成音频流的同时，优选地周期性地生成代表音频流的视频帧的参考数据（E4步骤）。正如前面所示，这些参考数据要么是视频流的视频帧，要么是从该帧导出的数据，例如对应于视频帧中低分辨率图像的一帧或所述视频帧的签名。然后，这些参考数据中的每一个都被引入音频流并与在显示对应于参考数据的视频帧期间生成的音频流的数据相关联（E5步骤）。然后，通过一个传输或通信网络将该音频流发送给接收设备。
执行两个流的呈现的过程如图2所示。一个或两个接收设备接收两个流（E6步骤）。这两个流可能被解码，然后同步（E7步骤）。同步音频流，以使得与参考数据相关联的音频数据与相当于参考数据的音频流的视频帧同步。该同步的步骤包括例如比较参考数据的视频帧和视频流的视频帧的步骤。对于每个视频帧，计算例如PSNR（峰值信噪比）。PSNR值最高的视频帧是参考数据的视频帧。当显示该视频帧时，必须播放（再现）与参考数据相关联的音频数据。
例如，以分贝表示的PSNR（dB）的计算如下进行：
其中
其中，
-m是视频帧列中的像素数目，
-n是视频帧行中的像素数目，
-f（i，j）是视频流的视频帧的坐标（i，j）处像素的值，以及
-F（i，j）是参考数据的视频帧的坐标（i，j）处像素的值。
可以只对亮度（Y分量）进行计算，忽略色度分量U和V。
如果参考数据和视频流的图像格式是不同的，那么重新调整它们的大小，以比较相同高度和宽度的图像。
正如前面所示，当音频流的源和视频流的源是独立的源，或者当两个流的传输协议不同时，或者当用于呈现音频和视频流的设备是不同的设备时，本发明的方法是有用的。
现在，我们将描述在以下两种情况下的发送和接收设备：多媒体源的音频和视频流的源是不同的情况，以及用于呈现两个流的设备是不同的设备的情况。
第一种情况：音频流的源和视频流的源是不同的
图3说明了这种情况。视频流由视频源10提供，音频流由音频源20提供。视频流和音频流分别通过两个传输网络40和50被发送给接收设备。这些传输网络可以是使用不同技术的传输网络。
视频流是例如通过TV广播网络或因特网网络（网络40）实时广播给接收设备30的足球比赛。视频源10以服务器的形式表示。
通过网络40发送的视频流被接收设备的视频解码器31接收，一被解码，就显示在构成用于呈现视频流的设备的电视机32上。
并且，该视频流通过网络40发送到音频源20。作为一种变型，音频源可以使用其他的方法接收该视频流，例如通过另一广播网络，在该网络中视频流可以来自另一台服务器。并且，视频流的内容可以相同，而在大小或编码方面的格式上可以不同。
源20包括用来接收并解码视频流的视频解码器21、用来显示视频流的屏幕22、用来从已解码的视频流中生成参考数据的参考数据发生器23、用于生成音频流的设备24以及负责将发生器23提供的参考数据引入音频流的混合器25。视频流24在将视频流呈现在屏幕22上的过程中生成。
以此种方式丰富过的音频流通过网络50发送到接收设备30。音频/视频解码器33接收并解码音频流。同步设备34分别接收来自31和33解码器的已解码的音频和视频流。同步设备比较视频帧和音频流的参考数据以同步两个流。然后，以此种方式同步过的流被提供给电视机以供显示和声音再现。
应当注意的是，设备24在屏幕22显示视频流之后生成音频流。其结果是，生成的音频流可以（一被创建，就）相对于视频流偏移。该偏移有利地在接收设备30中通过延迟补偿，在视频解码器31的输出端，视频流被发送给电视机32。
该第一种情况的典型应用对应于例如广播视听节目，其中端用户可以使用他的接收终端用网站提供的声轨代替和图像一起被提供的声轨。
第二种情况：用于呈现音频和视频流的设备是不同的设备
图4说明了这种情况。接收设备130负责显示网络4提供的视频流。设备130包括视频解码器131和用来显示已解码的视频帧的屏幕132。
接收设备230负责呈现音频源20在屏幕22呈现视频流的过程中生成并通过网络50提供的音频流。设备230包括用来接收和解码的音频流的音频/视频解码器233、用来捕获显示在屏幕232上的视频帧的设备235、以及用来比较捕获的视频帧和参考数据的视频帧并以此种方式同步显示的视频流上和扬声器或耳机235上的音频流以再现同步音频流的声音的同步设备234。
第二种情况的一种可能的应用是例如在公共场所或电影院中广播电影并通过移动电话网络发送改善或定制的声音。观看者可以使用他的移动电话通过聆听改善或定制的声音观看电影图像。
在这种情况下，捕获设备235是例如移动电话的摄像头。如果捕获设备235提供的视频帧有较之参考数据中包含的视频帧更低的分辨率，那么必须在比较之前将后者转换成与捕获的视频帧相同分辨率。
类似地，捕获的帧可能和视频流的帧不完全相同。捕获的帧可以是偏离中心的和/或包含多余的数据的帧，例如，显示视频帧的屏幕的一部分。在这种情况下，必须对视频帧中包含的参考数据进行修减。也可以设计只比较帧的中央区域的视频数据。
本发明可以用来同步音频流和视频流，或者同步一起的两个视频流（在PIP（画中画）应用的情形中），或者同步一起的两个音频流。
虽然本发明已就不同的特定实施例进行说明，但是显而易见的这样做并非是用于限制本发明，本发明包括描述过的部件的所有的技术等同物以及它们的组合（如果后者落在本发明的范围内）。特别是，这里提出的基于视频数据的定时参考数据可以用音频流的提取物替换。

Claims (11)

1.一种用于在处理设备中生成第一多媒体流的方法，所述第一多媒体流包括至少一个第一音频和/或视频数据，所述第一多媒体流要与包括视频数据的第二多媒体流进行同步，所述方法包括：
-在呈现所述第二多媒体流的第二视频数据的时刻生成(E3)所述至少一个第一音频和/或视频数据，
所述方法的特征在于：
-生成(E4)包括代表所呈现的第二视频数据的视频帧的至少一个参考数据，以及
在所述第一多媒体流中插入(E5)所述至少一个参考数据，所述插入包括：将所述至少一个参考数据引入所述第一多媒体流并且将所述至少一个参考数据与所述至少一个第一音频和/或视频数据相关联。
2.如权利要求1所述的方法，其中所述第二多媒体流的第二视频数据是视频帧，参考数据的视频帧是第二多媒体流的第二视频数据或者是从所述第二多媒体流的第二视频数据导出的视频帧。
3.如权利要求2所述的方法，其中，所述至少一个参考数据中包括的视频帧是从所述第二多媒体流的第二视频数据中导出的视频帧，并且从所述第二多媒体流的第二视频数据导出的视频帧包括与所述第二多媒体流的第二视频数据的低分辨率图像对应的帧。
4.一种要在处理设备中执行的用于呈现包括至少一个第一音频和/或视频数据的第一多媒体流的方法，包括：
-通过使用所述第一多媒体流的参考数据将所述第一多媒体流的至少一个第一音频和/或视频数据与具有视频数据的第二多媒体流的第二视频数据进行同步(E7)，所述参考数据与所述至少一个第一音频和/或视频数据相关联，
-呈现(E8)同步后的第一多媒体流；
所述方法的特征在于，所述参考数据包括视频帧，该视频帧包括与所述第二多媒体流的第二视频数据的低分辨率的图像对应的帧。
5.如权利要求4所述的方法，其中同步包括：比较第二多媒体流的视频数据和参考数据中包括的视频帧。
6.如权利要求5所述的方法，其中比较包括：计算第二多媒体流的每个视频数据和参考数据中包括的视频帧之间的信噪比。
7.如权利要求2所述的方法，其中所述第一多媒体流和第二多媒体流由不同的多媒体源和/或不同的传输网络提供。
8.一种用于呈现第一多媒体流的设备(30)，所述第一多媒体流包括至少一个第一音频和/或视频数据，所述第一多媒体流要与包括视频数据的第二多媒体流进行同步，所述设备包括：
-用于通过使用所述第一多媒体流的至少一个参考数据将所述第一多媒体流的至少一个第一音频和/或视频数据与第二多媒体流的第二视频数据进行同步的部件(34)，所述至少一个参考数据与所述第一多媒体流的第一音频和/或视频数据相关联并且包括代表所述第二视频数据的视频帧，
-用于呈现同步后的第一多媒体流的部件(32)，所述第一多媒体流的第一数据的呈现与所述第二多媒体流的视频数据的呈现同步；
所述设备的特征在于，所述参考数据包括视频帧，该视频帧包括与所述第二多媒体流的第二视频数据的低分辨率的图像对应的帧。
9.根据权利要求8所述的设备，特征在于，其包括用于呈现所述第二多媒体流的部件(32)。
10.根据权利要求9所述的设备，特征在于，其包括用于捕捉所述第二多媒体流的呈现的部件(235)。
11.一种用于生成第一多媒体流的设备，所述第一多媒体流包括至少一个第一音频和/或视频数据，所述第一多媒体流要与包括视频数据的第二多媒体流进行同步，该设备包括：
-用于在呈现所述第二多媒体流的第二视频数据的时刻生成所述至少一个第一音频和/或视频数据的部件，
所述设备的特征在于，其包括：
-用于生成包括代表所呈现的第二视频数据的视频帧的至少一个参考数据的部件，
-用于在所述第一多媒体流中插入所述至少一个参考数据的部件，所述插入包括：将所述至少一个参考数据引入所述第一多媒体流并且将所述至少一个参考数据与所述至少一个第一音频和/或视频数据相关联。
CN201180045642.8A 2010-09-22 2011-09-22 处理多媒体流的方法以及相应设备 Active CN103119952B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1057600 2010-09-22
FR1057600 2010-09-22
PCT/EP2011/066515 WO2012038506A1 (en) 2010-09-22 2011-09-22 Methods for processing multimedia flows and corresponding devices

Publications (2)

Publication Number Publication Date
CN103119952A CN103119952A (zh) 2013-05-22
CN103119952B true CN103119952B (zh) 2017-06-09

Family

ID=43875229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180045642.8A Active CN103119952B (zh) 2010-09-22 2011-09-22 处理多媒体流的方法以及相应设备

Country Status (7)

Country Link
US (1) US9609179B2 (zh)
EP (1) EP2619989A1 (zh)
JP (1) JP5837074B2 (zh)
KR (1) KR101841313B1 (zh)
CN (1) CN103119952B (zh)
BR (1) BR112013005160A2 (zh)
WO (1) WO2012038506A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192200A1 (en) * 2013-01-08 2014-07-10 Hii Media Llc Media streams synchronization
EP2814259A1 (en) * 2013-06-11 2014-12-17 Koninklijke KPN N.V. Method, system, capturing device and synchronization server for enabling synchronization of rendering of multiple content parts, using a reference rendering timeline
WO2015116162A1 (en) 2014-01-31 2015-08-06 Thomson Licensing Method and apparatus for synchronizing playbacks at two electronic devices
ES2665022T3 (es) * 2014-01-31 2018-04-24 Thomson Licensing Método y aparato para sincronizar reproducciones de dos dispositivos electrónicos
CN104135667B (zh) * 2014-06-10 2015-06-24 腾讯科技（深圳）有限公司 一种视频异地解说同步方法、终端设备,及系统
KR101833942B1 (ko) * 2017-01-05 2018-03-05 네이버 주식회사 실시간 영상 합성을 위한 트랜스코더
CN107155126A (zh) * 2017-03-30 2017-09-12 北京奇艺世纪科技有限公司 一种音视频播放方法及装置
CN113382300B (zh) * 2021-06-08 2023-03-21 三星电子（中国）研发中心 一种音视频播放方法和装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471576A (en) * 1992-11-16 1995-11-28 International Business Machines Corporation Audio/video synchronization for application programs
US5751694A (en) 1995-05-22 1998-05-12 Sony Corporation Methods and apparatus for synchronizing temporally related data streams
CN2304214Y (zh) 1996-02-02 1999-01-13 深圳凌云电子有限公司 带有灭菌、喷香装置的电话机
KR100224099B1 (ko) * 1997-05-30 1999-10-15 윤종용 오디오/비디오 신호의 동기장치 및 방법
AU2415800A (en) 1999-01-22 2000-08-07 Sony Electronics Inc. Method and apparatus for synchronizing playback of multiple media types over networks having different transmission characteristics
EP1161838A1 (en) 1999-03-22 2001-12-12 Scientific-Atlanta, Inc. Method and apparatus for generating time stamp information
US6480902B1 (en) 1999-05-25 2002-11-12 Institute For Information Industry Intermedia synchronization system for communicating multimedia data in a computer network
AU2001264676A1 (en) * 2000-05-19 2001-12-03 Intellibridge Corporation Method and apparatus for providing customized information
US7099266B2 (en) * 2001-03-26 2006-08-29 Victor Company Of Japan, Limited Orthogonal frequency division multiplexed signal transmitting apparatus, orthogonal frequency division multiplexed signal receiving apparatus, and orthogonal frequency division multiplexed signal transmitting/receiving system
EP1393298B1 (en) * 2001-05-25 2010-06-09 Dolby Laboratories Licensing Corporation Comparing audio using characterizations based on auditory events
US7206434B2 (en) * 2001-07-10 2007-04-17 Vistas Unlimited, Inc. Method and system for measurement of the duration an area is included in an image stream
US8248528B2 (en) * 2001-12-24 2012-08-21 Intrasonics S.A.R.L. Captioning system
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
US6912010B2 (en) 2002-04-15 2005-06-28 Tektronix, Inc. Automated lip sync error correction
US7333519B2 (en) * 2002-04-23 2008-02-19 Gateway Inc. Method of manually fine tuning audio synchronization of a home network
US7116894B1 (en) * 2002-05-24 2006-10-03 Digeo, Inc. System and method for digital multimedia stream conversion
KR20040032532A (ko) 2002-10-10 2004-04-17 삼성전자주식회사 테스트 프로그램의 표준 문서를 자동적으로 관리하는 시스템
JP4140709B2 (ja) * 2003-02-05 2008-08-27 松下電器産業株式会社 画像信号再生装置および画像信号再生方法
US20040204962A1 (en) 2003-04-14 2004-10-14 Howser Steven Joseph Automated patient compliancy monitoring system and method
KR100499037B1 (ko) 2003-07-01 2005-07-01 엘지전자 주식회사 디지털 텔레비젼 수신기의 립 싱크 테스트 방법 및 장치
JP2005109703A (ja) 2003-09-29 2005-04-21 Pioneer Electronic Corp 画像出力装置、画像出力方法、画像表示システムおよび画像出力プログラム並びに情報記録媒体
JP2005210196A (ja) 2004-01-20 2005-08-04 Sony Corp 情報処理装置、情報処理方法
KR101145261B1 (ko) * 2004-02-27 2012-05-24 삼성전자주식회사 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
KR20050107227A (ko) 2004-05-08 2005-11-11 주식회사 대우일렉트로닉스 방송 수신기의 영상 출력 제어 장치
US7593061B2 (en) * 2004-06-22 2009-09-22 Sarnoff Corporation Method and apparatus for measuring and/or correcting audio/visual synchronization
JPWO2006006714A1 (ja) 2004-07-14 2008-05-01 セイコーエプソン株式会社 映像再生同期信号生成方法、映像再生同期信号生成プログラム、タイミング制御装置、映像音声同期再生方法、映像音声同期再生プログラム及び映像音声同期再生装置
US20060101504A1 (en) 2004-11-09 2006-05-11 Veveo.Tv, Inc. Method and system for performing searches for television content and channels using a non-intrusive television interface and with reduced text input
KR20060127459A (ko) * 2005-06-07 2006-12-13 엘지전자 주식회사 디지털방송 콘텐츠 변환 기능을 갖는 디지털방송용 단말기및 그 방법
US7573868B2 (en) 2005-06-24 2009-08-11 Microsoft Corporation Audio/video synchronization using audio hashing
US7843974B2 (en) 2005-06-30 2010-11-30 Nokia Corporation Audio and video synchronization
JP4573301B2 (ja) 2005-08-18 2010-11-04 Ｋｄｄｉ株式会社 映像信号のフレーム同期方式
US7907212B2 (en) * 2006-03-20 2011-03-15 Vixs Systems, Inc. Multiple path audio video synchronization
US7961792B2 (en) 2006-05-16 2011-06-14 Lsi Corporation Robust system for maintaining audio/video synchronization during playback of multimedia streams with no embedded time stamps
JP4131284B2 (ja) * 2006-07-14 2008-08-13 ソニー株式会社 ビデオ信号処理装置、ビデオ信号処理方法
EP2043323A1 (en) * 2007-09-28 2009-04-01 THOMSON Licensing Communication device able to synchronise the received stream with that sent to another device
JP5256682B2 (ja) * 2007-10-15 2013-08-07 ヤマハ株式会社 情報処理装置、情報処理方法及びプログラム
EP2232843A4 (en) 2007-12-19 2011-07-27 Colin Simon DIGITAL VIDEO AND AUDIO FLOW SYNCHRONIZATION DEVICE AND METHOD FOR MULTIMEDIA PRESENTATION DEVICES
JP5602138B2 (ja) * 2008-08-21 2014-10-08 ドルビー ラボラトリーズ ライセンシング コーポレイション オ−ディオ及びビデオ署名生成及び検出のための特徴の最適化及び信頼性予測
KR20110123658A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
US9516086B2 (en) * 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof

Also Published As

Publication number Publication date
JP5837074B2 (ja) 2015-12-24
BR112013005160A2 (pt) 2016-04-26
KR101841313B1 (ko) 2018-03-22
WO2012038506A1 (en) 2012-03-29
EP2619989A1 (en) 2013-07-31
CN103119952A (zh) 2013-05-22
KR20130138213A (ko) 2013-12-18
US20130182181A1 (en) 2013-07-18
US9609179B2 (en) 2017-03-28
JP2013541894A (ja) 2013-11-14

Similar Documents

Publication Publication Date Title
CN103119952B (zh) 处理多媒体流的方法以及相应设备
US8477950B2 (en) Home theater component for a virtualized home theater system
US8880720B2 (en) Method and device for delivering supplemental content associated with audio/visual content to a user
US8931025B2 (en) Generating a stream comprising synchronized content
TWI495331B (zh) 機上盒、快閃眼鏡及多個用戶同時觀看多套影音節目的方法
KR102469142B1 (ko) 미디어 스트림 재생들 사이를 트랜지션하는 동안 트랜지션 프레임들의 동적 재생
JP2012507968A (ja) ステレオスコピック画像を同期化する装置及び方法と、これを利用したステレオスコピック画像提供装置及び方法
US20130076980A1 (en) Systems and methods for synchronizing the presentation of a combined video program
CN101594538A (zh) 一种数字电视广告播放方法及系统
KR101741747B1 (ko) 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법
US20120154679A1 (en) User-controlled synchronization of audio and video
CN103281585A (zh) Iptv的stb装置
US10264241B2 (en) Complimentary video content
JP6324829B2 (ja) 映像提供システムおよびプロラム
JP5581437B1 (ja) 映像提供システムおよびプロラム
WO2014169634A1 (zh) 媒体播放处理方法、装置、系统及媒体服务器
RU135870U1 (ru) Пользовательское устройство воспроизведения для отображения аудиовизуального ряда, преимущественно относящегося к одному событию, сформированного при съемках несколькими камерами
KR20220021387A (ko) 셋탑박스 및 그 동작 방법
CN117241081A (zh) 影音同步方法
JP2014060625A (ja) 映像信号送信方法、映像信号受信装置及び映像信号受信方法
Dosch Convergence of broadcasting and broadband Internet-a benefit for people with disabilities (and for us all)
WO2018051161A1 (en) Method for producing and playing video and multichannel audio content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190201

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190201

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING