CN113077799A - 具有两个音频链路的解码器装备 - Google Patents
具有两个音频链路的解码器装备 Download PDFInfo
- Publication number
- CN113077799A CN113077799A CN202011510759.6A CN202011510759A CN113077799A CN 113077799 A CN113077799 A CN 113077799A CN 202011510759 A CN202011510759 A CN 202011510759A CN 113077799 A CN113077799 A CN 113077799A
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- decoder
- latency
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 41
- 230000001747 exhibiting effect Effects 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 21
- 230000000007 visual effect Effects 0.000 description 21
- 238000009877 rendering Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000001360 synchronised effect Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000008054 signal transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种解码器装备(11),包括:适于连接到音频回放装备(15)的第一输出;适于连接到视频回放装备(13)的第二输出;处理器装置,其被配置成使用所述第一输出的第一音频链路(17)来递送来自由所述解码器装备接收的传入音频/视频流的第一音频信号,以及使用第二音频链路(16)来递送与由所述解码器装备生成的至少一个声音相关联的第二音频信号,呈现第一特性的所述第一链路将第一等待时间赋予所述第一音频信号,并且呈现第二特性的所述第二链路将低于第一等待时间的第二等待时间赋予所述第二音频信号。
Description
技术领域
本发明涉及经由一件或多件回放装备的音频/视频回放的领域。
背景技术
如今,在现代家庭多媒体设施中,出于在音频/视频内容的回放期间改善用户收听体验的目的,机顶盒(STB)类型的解码器装备既连接到音频/视频回放装备又连接到与该音频/视频回放装备相异的一件或多件音频回放装备是非常常见的。
常规上,解码器装备尝试使在接收到传入音频/视频流的时刻与来自所述传入流的视频信号被递送到音频/视频回放装备的时刻之间的等待时间最小化。
另外,解码器装备还尝试使在用户在导航接口上请求动作(诸如从频道N去往频道N+1)的时刻与以下时刻之间的等待时间最小化:
·该动作(例如,更改频道)发生的时刻,以便尽可能快地响应用户请求;
·发出声音反馈的时刻,以便用户了解该动作请求确实已被考虑在内(例如,对从一个频道到另一频道的更换进行标记的蜂鸣)。
这一声音反馈功能也被称为“听觉反馈”,并且为了有用,它必须快速执行(即它需要与低等待时间相关联)。具体而言,例如,它必须使视力残疾的用户能够获得动作请求已被考虑的确认。如果等待时间过高,则用户将错误地认为动作请求(例如,按下遥控器的按钮)没有被考虑,并随后冒着重复该请求的风险(例如,再次按下按钮),从而产生导致执行不想要的附加动作的效果。
此外,现有的附加音频回放装备(诸如智能扬声器)目前主要经由无线协议(Wi-Fi、蓝牙、……)来操作,因此优选的是将此类装备与大尺寸的缓冲存储器相关联,以便尽可能稳健地对抗无线连接的潜在干扰,这些干扰可能有多种来源(与打开干扰该信号的电器(例如霓虹灯起动器)相关联的干扰,使用靠近所考虑的解码器装备的传输信道的信道在不同网络上传输无线信号,……)。缓冲存储器的尺寸越大,其稳健性越好,但在接收到传入音频/视频流的时刻与扬声器发出声音的时刻之间的等待时间也就越高。
因此,使用经由无线协议(Wi-Fi、蓝牙、……)连接到解码器装备的扬声器(也用于提供声音反馈)导致具有大尺寸缓冲存储器和快速发出声音反馈之间的相冲突的等待时间约束。
为了减轻这一问题,已经提出使音频信号的等待时间不太高(以避免干扰声音反馈),同时仍然不太低(以便赋予无线传输一定程度的稳健性)。因而,现有解码器装备以大约300毫秒(ms)的平均等待时间来操作,该等待时间对于声音反馈或解码器装备与智能扬声器之间的无线传输都不理想。
发明目的
本发明的目标是提出一种提供在声音反馈的等待时间和回放与视频相关联的声音的等待时间方面具有更好折中的无线智能扬声器的解码器装备。
发明内容
为了实现这一目标,本发明提供了一种解码器装备,包括:
适于连接到音频回放装备的第一输出;
适于连接到视频回放装备的第二输出;
处理器装置,其被配置成使用所述第一输出的第一音频链路来递送来自由所述解码器装备接收的传入音频/视频流的第一音频信号,以及使用第二音频链路来递送与由所述解码器装备生成的至少一个声音相关联的第二音频信号,呈现第一特性的所述第一链路将第一等待时间赋予所述第一音频信号,并且呈现第二特性的所述第二链路将低于第一等待时间的第二等待时间赋予所述第二音频信号。
因而,本发明使得音频渲染能被拆分成两个部分:第一部分生成与视频回放装备所回放的视频相关联的声音,并且第二部分创建与解码器装备生成的至少一个声音相关联的声音反馈,每个部分都由解码器装备处理以与具有不同等待时间的音频信号相关联。作为结果,第二部分可与低于第一部分的等待时间的等待时间相关联,从而使得“声音反馈”功能(也称为“听觉反馈”)两者都能够被更好地应用。
由解码器装备生成的至少一个声音可以具有各种不同的来源,并且例如,它可以响应于用户借助导航接口请求动作(更改频道、运行视频、……的请求)或者响应于运行交互式电视类型的应用而生成,或者实际上是为了提供通知(例如音量过大、观看时间过长、……)。一般而言,声音反馈可以是解码器装备生成的任何声音。
应当理解,由解码器装备生成的声音是为了提供声音反馈以便与用户交互而生成的。因而,解码器装备生成的声音应当与来自传入音频/视频流的声音区分开,后者可能潜在地由解码器装备处理但不是由所述解码器装备创建的。因而,第一音频信号和第二音频信号传达不同种类的声音信息。
处理器装置使得要由用户收听的音频渲染能被拆分成两个部分:第一部分生成与视频回放装备所回放的视频相关联的声音,并且第二部分创建与解码器装备生成的声音相关联的声音反馈,每个部分都由解码器装备处理以与具有不同等待时间的相应音频信号相关联。
第一等待时间由在处理器装置接收到传入音频/视频流的时刻与音频回放装备播放与所述传入音频/视频流相关联的多媒体声音的时刻之间的时间间隔来定义,并且第二等待时间由在处理器装置接收到命令以使解码器装备生成声音的时刻与所述声音由音频回放装备或由音频/视频回放装备播放的时刻之间的时间间隔来定义。
生成声音的命令可以是解码器装备外部的,例如它可以是用户经由导航接口做出的动作请求(更改频道、运行视频、……的请求),和/或它可以是解码器装备内部的命令,例如由处理器装置本身生成(例如,在运行交互式电视类型的应用程序时,或者实际上是为了提供通知(例如,音量过大、观看时间过长、……))。
可任选地,第一音频链路和第二音频链路是经由同一第一输出来递送的。
可任选地,第一音频链路是经由第一输出来递送的,而第二音频链路是经由第二输出来递送的。
可任选地,这两个音频链路是使用相同协议来配置的。
可任选地,这两个音频链路是使用针对它们所传达的信号的相同编码/解码格式来配置的。
可任选地,第二等待时间低于50ms。
可任选地,第二等待时间低于30ms。
可任选地,该装备被配置成使得所述第一视频信号相对于所述第二音频信号部分地或完全地解除同步。
可任选地,该装备被配置成在加载视频信号的时间期间显示过渡屏幕。
可任选地,过渡屏幕是来自视频信号的静止图像。
本发明还提供了一种音频回放装备,其被配置成经由单个通信信道连接到如上所述的解码器装备并处理来自在所述通信信道中传达的两个音频链路的信号。
本发明还提供了一种如上所述的解码器装备和音频回放装备。
本发明还提供了一种管理两个声音链路的方法,该方法由如上所述的解码器装备来执行。
本发明还提供了一种包括用于使如上所述的解码器装备执行如上所述的方法的指令的计算机程序。
本发明还提供了一种其上存储有如上所述的计算机程序的计算机可读存储介质。
在阅读了下面的对本发明的特定、非限制性实施例的描述之后,本发明的其他特征及优点将变得显而易见。
附图说明
参考附图,根据下面描述可以更好地理解本发明,附图中:
图1是示出了包括本发明的第一实施例中的解码器装备的设施的示图;
图2是示出如何在图1中所示的设施中管理音频渲染的流程图;
图3是示出了音频渲染如何被图1中所示的解码器装备分开的示图;
图4示出了当用户正在跳转频道时在图1中所示的设施的视频回放装备上的连贯显示画面,并且没有解码器装备的干预;
图5是与图4相似的图像,但具有第一变型的解码器装备的干预;
图6是与图5相似的图像,但具有第二变型的解码器装备的干预;
图7是与图5相似的图像,但具有第三变型的解码器装备的干预;
图8是示出了在图7中示出了其对应显示画面的第三变型中执行的主步骤的时序图;
图9是示出了包括本发明的第二实施例中的解码器装备的设施的示图。
具体实施方式
参考图1,在第一实施例中,设施是包括解码器装备11的多媒体设施,在该示例中,解码器装备11连接到视频回放装备,并且具体地既连接到一件音频/视频回放装备13又连接到一件音频回放装备15。该件音频回放装备15未被包括在解码器装备11中:它们形成处于无线通信中的两个不同实体。
在这一示例中,解码器装备11是机顶盒,该件音频/视频回放装备13是电视机,而该件音频回放装备15是外部扬声器。
在服务中,解码器装备11从解码器装备11的通信接口采集传入多媒体流,该流可以来自一个或多个广播网络。广播网络可以是任何类型。例如,广播网络可以是卫星电视网络,其中解码器装备11经由抛物面天线接收传入多媒体流。在第二变型中,广播网络可以是因特网连接,其中解码器装备11经由所述因特网连接接收传入多媒体流。在又一变型中,广播网络可以是数字地面电视(DTT)网络或有线电视网络。总而言之,广播网络可以是各种源:卫星、有线、因特网协议(IP)、DTT、存储在本地或局域网(LAN)上的视频流,等等。
具体而言,由解码器装备11接收的传入多媒体流包括元数据以及具有彼此同步的音频部分和视频部分的传入音频/视频流。
解码器装备11包括尤其用于处理传入音频/视频流的处理器装置。
音频/视频回放装备13连接到解码器装备11的音频/视频输出。音频回放装备15连接到解码器装备11的音频输出。术语“音频/视频输出”被用来意指如下输出:解码器装备11对该输出应用至少一个音频/视频信号以经由(至少)一件音频/视频回放装备13(具体而言是电视机)执行音频回放和视频回放。术语“音频输出”被用来意指如下输出:解码器装备11对该输出应用至少一个音频信号以经由(至少)一件音频回放装备15(具体而言是外部扬声器)执行音频回放。
在该第一实施例中,解码器装备11操作单个音频输出以既经由第一音频链路16递送第一音频信号又经由第二音频链路17递送第二音频信号。
因此,以对应的方式,音频回放装备15包括专用于处理由解码器装备11递送的第一音频信号和第二音频信号的处理器装置,这些信号两者都是经由音频回放装备15的通信接口来接收的。
此外,解码器装备11经由单个音频/视频链路14操作以将音频/视频信号递送到音频/视频回放装备13。
解码器装备11和音频/视频回放装备13之间的音频/视频链路所通过的通信信道10可以是有线或无线的。可使用任何类型的技术来作出这一信道10:光学、无线电,等等。因而,信道10可以是各种不同“物理”种类(例如,高清多媒体接口(HDMI)、Toslink、RCA,等等)和/或它可使用各种不同的“计算机”协议(例如,蓝牙、UPnP、Airplay、Chromecast、Wi-Fi,等等)。
解码器装备11与音频回放装备15之间的、第一和第二音频链路16和17所通过的通信信道12是无线的。可使用任何类型的技术来作出这一信道12:光学、无线电,等等。信道12因而可以使用各种不同的“计算机”协议(例如,蓝牙、UPnP、Airplay、Chromecast、Wi-Fi,等等)。
因此,并且根据非限制性选项,音频/视频回放装备13具有与解码器装备11的HDMI连接(即,通信信道10是HDMI线缆),并且音频回放装备15经由本地网络连接到解码器装备11。作为示例,本地网络可以是Wi-Fi类型的无线网络(即,通信信道12是Wi-Fi链路)。在另一变型中,本地网络包括Wi-Fi路由器,解码器装备11经由以太网类型的有线连接来连接到所述Wi-Fi路由器,并且Wi-Fi路由器经由Wi-Fi类型的无线连接来连接到音频回放装备15。
因而,应当理解,在该设施中,解码器装备11与音频回放装备15之间的两个不同音频链路16和17两者都通过同一通信信道12。因而,单个收发机单元提供解码器装备11和音频回放装备15之间的两个不同音频链路16和17。因而,单件音频回放装备15用于发出来自两个音频链路16和17的声音。
参考图1和2,以下描述了解码器装备11如何操作。
在音频渲染方面,解码器装备11区分开两个部分:
·与解码器装备生成的声音相关联的声音反馈(例如,在用户经由导航接口1发出动作请求之后);
·多媒体声音,用于回放传入音频流。
在本示例中,导航接口1是遥控器,但它同样可以是指点设备、操纵杆、……。作为示例,声音反馈可包括每次用户按下遥控器的按钮之一时发出蜂鸣声。
在服务中,解码器装备11接收20传入音频/视频流,它随后被拆分21成音频信号和视频信号。视频信号被解码22并且随后对应的“多媒体视频”信号被置于解码器装备11中的缓冲存储器23中。作为对比,音频信号被解码24以提供“多媒体声音”信号,并且它随后被重新编码25并经由无线链路递送给音频回放装备15,然后由所述音频回放装备15再次解码27,并随后被置于音频回放装备15中的缓冲存储器28中。为了确保“多媒体视频”信号和“多媒体声音”信号同步,在给定的演示时间同时输出缓冲存储器中的视频和音频数据:“多媒体视频”信号被递送29给音频/视频回放装备13以被显示30,并且“多媒体声音”信号由音频回放装备15播放31。
用户按下导航接口1的按钮以请求动作(例如,更改频道)的情况可能发生。控制信号随后被递送32给处理器装置,处理器装置处理所述信号以生成33并编码34“声音反馈”信号。该信号随后经由无线链路递送35到音频回放装备15,并且随后由所述音频回放装备15解码36。“声音反馈”信号随后与“多媒体声音”信号混合37,以便它们两者由音频回放装备15一起播放。
解码器装备11还被配置成使得以低于“多媒体声音”信号的“多媒体声音”等待时间的“声音反馈”等待时间来回放“声音反馈”信号。在该示例中,声音反馈等待时间由在处理器装置接收到来自导航接口的控制信号的时刻与音频回放装备15播放声音反馈的时刻之间的时间间隔来定义;而多媒体声音等待时间由在处理器装置接收到传入流的时刻与音频回放装备15播放与所述传入流相关联的多媒体声音的时刻之间的时间间隔来定义。
处理器装置以如下方式管理声音反馈:使得第一音频链路16具有低等待时间,并且因此具有限制质量,而没有任何重传的可能性或几乎没有重传的可能性。举例而言,声音反馈等待时间可以低于50ms,并且优选低于30ms。
作为对比,处理器装置以如下方式管理多媒体声音回放:使得第二音频链路17具有更好的质量(在采样频率、链路尺寸等等方面),并且通过利用多媒体声音的更高等待时间来保证更好的重传。举例而言,多媒体声音的等待时间在100ms到2秒(s)的范围内,并且通常在500ms到1s的范围内。
然而,应当理解,声音反馈的等待时间不能低于与在各件装备之间递送信号相关联以及与在音频回放装备15和音频/视频回放装备13内处理信号相关联的不可压缩的等待时间。
因此,最小声音反馈等待时间“Low_audio_latency(低音频等待时间)”由以下定义:
Low_audio_latency=min[(video_signal_transmission_delay+video_display_delay),(audio_transmission_delay+audio_decoding_delay+low_latency_audio_buffer)]
其中:
·video_signal_transmission_delay(视频信号传输延迟):用于经由解码器装备11和音频/视频回放装备13之间的通信信道10发送和接收视频信号的延迟;
·video_display_delay(视频显示延迟):音频/视频回放装备13的内部显示延迟;
·audio_transmission_delay(音频传输延迟):在解码器装备11和音频回放装备15之间的第一音频链路16上发送和接收声音反馈信号的延迟;
·audio_decoding_delay(音频解码延迟):音频回放装备15对音频信号进行解码的延迟;
·low_latency_audio_buffer(低等待时间音频缓冲):第一音频链路16的预定等待时间值的缓冲存储器;
(应了解,在某些情况下,上述某些数值可能非常小,或实际上几乎为零,或实际上为零)。
举例而言,“low_latency_audio_buffer”可具有低于30ms的等待时间,通常低于5ms。
以相同方式,多媒体声音等待时间不能低于与在各件装备之间递送信号相关联以及与在音频回放装备15和音频/视频回放装备13内处理信号相关联的不可压缩的等待时间。
因而,最小多媒体声音等待时间“High_audio_latency(高音频等待时间)由以下定义:”
High_audio_latency=min[(video_signal_transmission_delay+video_display_delay),(audio_transmission_delay+audio_decoding_delay+high_latency_audio_buffer)]
其中high_latency_audio_buffer(高等待时间音频缓冲):第二音频链路17的预定值的缓冲存储器;
(应了解,在某些情况下,上述某些数值可能非常小,或实际上几乎为零,或实际上为零)。
举例而言,“high_latency_audio_buffer”可具有范围在0.5s到几秒的等待时间,优选地在0.5s到1.5s的范围中,并且例如在0.5s到1s的范围中。
要知晓“high_latency_audio_buffer”等待时间高于“low_latency_audio_buffer”等待时间,Low_audio_latency必定严格低于High_audio_latency。
因而在通过同一通信信道12的同时,实际上获得了具有不同等待时间的两个音频链路16和17。
音频信号可通过使用任何已知协议(超文本传输协议(http);实时传输协议/实时流传输协议(RTP/RTSP);用户数据报协议(UDP)……)经由这一共同通信信道12来递送。在本示例中,相同的协议被用于音频链路16和17这两者。
当然,有必要区分开使多媒体声音信号能与多媒体视频信号同步的缓冲存储器(基于目标演示时间)与使得声音反馈信号和多媒体声音信号具有不同等待时间成为可能的“low_latency_audio_buffer”和“high_latency_audio_buffer”缓冲存储器(图2中未示出,但布置在处理器装置中)。因而,用于音频/视频同步的缓冲存储器的使用发生在音频回放装备中,而与将声音反馈同多媒体渲染分开相关联的缓冲存储器的使用发生在处理器装置中。
参考图9,下面是对第二实施例的描述。除了音频回放装备15仅播放多媒体声音外,该第二实施例与第一实施例相同。举例而言,声音反馈因而由音频/视频回放装13直接播放,或者由与第一件音频回放装备不同的第二件音频回放装备(例如,第二扬声器、直接通过导航接口,等等)播放。因而,第一音频链路16可以是各种“物理”种类(例如,HDMI、Toslink、RCA、Sony/Philips数字接口(S/PIDF)、模拟音频输出,等等)和/或它可使用各种不同的“计算机”协议(例如,蓝牙、UPnP、Airplay、Chromecast、Wi-Fi,等等)。
这一第二实施例在下文更详细地描述。
在第二实施例的该设施中,该设施是包括解码器装备11的多媒体设施,在该示例中,解码器装备11连接到视频回放装备,具体地既连接到一件音频/视频回放装备13又连接到一件音频回放装备件15。该件音频回放装备15未被包括在解码器装备11中:它们形成处于无线通信中的两个不同实体。在这一示例中,解码器装备11是机顶盒,该件音频/视频回放装备13是电视机,而该件音频回放装备15是外部扬声器。
在服务中,解码器装备11从解码器装备11的通信接口采集传入多媒体流,该流可以来自一个或多个广播网络。广播网络可以是任何类型。例如,广播网络可以是卫星电视网络,其中解码器装备11经由抛物面天线接收传入多媒体流。在一个变型中,广播网络可以是因特网连接,其中解码器装备11经由所述因特网连接接收传入多媒体流。在又一变型中,广播网络可以是DTT网络或有线电视网络。总而言之,广播网络可以是各种源:卫星、有线、IP、DTT、本地存储的视频流,等等。
具体而言,由解码器装备11接收的传入多媒体流包括元数据以及具有彼此同步的音频部分和视频部分的传入音频/视频流。
解码器装备11包括尤其用于处理传入音频/视频流的处理器装置。
音频/视频回放装备13连接到解码器装备11的音频/视频输出。音频回放装备15连接到解码器装备11的音频输出。术语“音频/视频输出”被用来意指如下输出:解码器装备11对该输出应用至少一个音频/视频信号以经由(至少)一件音频/视频回放装备13(具体而言是电视机)执行音频回放和视频回放。术语“音频输出”被用来意指如下输出:解码器装备11对该输出应用至少一个音频信号以经由(至少)一件音频回放装备15(具体而言是外部扬声器)执行音频回放。
在这一第二实施例中,解码器装备11经由第二音频链路17通过音频输出来递送第一音频信号。
因此,以对应的方式,音频回放装备15包括专用于处理经由音频回放装备15的通信接口接收到的第二音频信号17的处理器装置。
此外,解码器装备11经由单个音频/视频链路14操作来将音频/视频信号递送给音频/视频回放装备13,以及还经由第一音频链路16向其递送第一音频信号。
解码器装备11和音频/视频回放装备13之间的音频/视频链路14以及第一音频链路16两者所通过的通信信道10可以是有线或无线的。可使用任何类型的技术来提供这一信道:光学、无线电,等等。因而,该信道可以是各种不同“物理”种类(例如,HDMI、Toslink、RCA,等等)和/或它可使用各种不同的“计算机”协议(例如,蓝牙、UPnP、Airplay、Chromecast、Wi-Fi,等等)。
解码器装备11与音频回放装备15之间的、第二音频链路17所通过的通信信道12是无线的。可使用任何类型的技术来作出这一信道12:光学、无线电,等等。信道12因而可以使用各种不同的“计算机”协议(例如,蓝牙、UPnP、Airplay、Chromecast、Wi-Fi,等等)。
因此,并且根据非限制性选项,音频/视频回放装备13具有与解码器装备11的HDMI连接(即,通信信道10是HDMI线缆),并且音频回放装备15经由本地网络连接到解码器装备11。作为示例,本地网络可以是Wi-Fi类型的无线网络(即,通信信道12是Wi-Fi链路)。在另一变型中,本地网络包括Wi-Fi路由器,解码器装备11经由以太网类型的有线连接来连接到所述Wi-Fi路由器,并且Wi-Fi路由器经由Wi-Fi类型的无线连接来连接到音频回放装备15。
因而,应当理解,在该设施中,存在不同的两个音频链路16和17,一个在解码器装备11与音频回放装备15之间,而另一个在解码器装备11和音频/视频回放装备13之间。同样,存在两个不同链路14和16(一个是音频链路而另一个是音频/视频链路),这两者都通过同一通信信道10。
因而,存在只具有两个通信信道10和12的设施,具有带不同等待时间的两个音频链路16和17。
以下描述解码器装备11如何操作。
在音频渲染方面,解码器装备11区分开两个部分:
·与用户经由导航接口1作出的动作请求相关联的声音反馈;
·多媒体声音,用于回放传入音频流。
在本示例中,导航接口1是遥控器,但它同样可以是指点设备、操纵杆、……。作为示例,声音反馈可包括每次用户按下遥控器的按钮之一时发出蜂鸣声。
在服务中,解码器装备11接收传入音频/视频流,它随后被拆分成音频信号和视频信号。视频信号被解码并且随后对应的“多媒体视频”信号被置于解码器装备11中的缓冲存储器中。作为对比,音频信号被解码以提供“多媒体声音”信号,并且它随后被重新编码并经由无线链路递送给音频回放装备15,然后由所述音频回放装备再次解码,并随后被置于音频回放装备15中的缓冲存储器中。为了确保“多媒体视频”信号和“多媒体声音”信号同步,在给定的演示时间同时输出缓冲存储器中的视频和音频数据:“多媒体视频”信号被递送给音频/视频回放装备13以被显示,并且“多媒体声音”信号由音频回放装备15播放。
用户按下遥控器的按钮以请求动作(例如,更改频道)的情况可能发生。控制信号随后被递送给处理器装置,处理器装置处理所述信号以生成“声音反馈”信号。这一信号随后被递送给音频回放装备15以由音频回放装备15播放。
解码器装备11还被配置成使得以低于“多媒体声音”信号的“多媒体声音”等待时间的“声音反馈”等待时间来回放“声音反馈”信号。在该示例中,声音反馈等待时间由在处理器装置接收到来自导航接口1的控制信号的时刻与音频/视频回放装备13播放声音反馈的时刻之间的时间间隔来定义;而多媒体声音等待时间由在处理器装置接收到传入流的时刻与音频回放装备15播放与所述传入流相关联的多媒体声音的时刻之间的时间间隔来定义。
处理器装置以如下方式管理声音反馈:使得第一音频链路16具有低等待时间,并且因此具有限制质量,而没有任何重传的可能性或几乎没有重传的可能性。举例而言,声音反馈等待时间可低于50ms,并且优选地低于30ms。
作为对比,处理器装置以如下方式管理多媒体声音回放:使得第二音频链路17具有更好的质量(在采样频率、链路尺寸等等方面),并且通过利用多媒体声音的更高等待时间来保证更好的重传。举例而言,多媒体声音的等待时间在100ms到2s的范围内,并且通常在500ms到1s的范围内。
然而,应当理解,声音反馈的等待时间不能低于与在各件装备之间递送信号相关联以及与在音频回放装备15和音频/视频回放装备13内处理信号相关联的不可压缩的等待时间。
因此,最小声音反馈等待时间“Low_audio_latency”由以下定义:
Low_audio_latency=min[(video_signal_transmission_delay+video_display_delay),(audio_transmission_delay+audio_decoding_delay+low_latency_audio_buffer)]
其中:
·video_signal_transmission_delay:用于经由解码器装备11和音频/视频回放装备13之间的通信信道10发送和接收视频信号的延迟;
·video_display_delay:音频/视频回放装备13的内部显示延时;
·audio_transmission_delay:在解码器装备11和音频/视频回放装备13之间的第一音频链路16上发送和接收声音反馈信号的延迟;
·audio_decoding_delay:音频/视频回放装备13对音频信号进行解码的延迟;
·low_latency_audio_buffer:第一音频链路16的预定等待时间值的缓冲存储器;
(应了解,在某些情况下,上述某些数值可能非常小,或实际上几乎为零,或实际上为零)。
举例而言,“low_latency_audio_buffer”可具有低于30ms的等待时间,通常低于5ms。
以相同方式,多媒体声音等待时间不能低于与在各件装备之间递送信号相关联以及与在音频回放装备15和音频/视频回放装备13内处理信号相关联的不可压缩的等待时间。
因而,最小多媒体声音等待时间“High_audio_latency”由以下定义:
High_audio_latency=min[(video_signal_transmission_delay+video_display_delay),(audio_transmission_delay+audio_decoding_delay+high_latency_audio_buffer)]
其中high_latency_audio_buffer:第二音频链路17的预定等待时间值的缓冲存储器;
(应了解,在某些情况下,上述某些数值可能非常小,或实际上几乎为零,或实际上为零)。
举例而言,“high_latency_audio_buffer”可具有范围在0.5s到几秒的等待时间,优选地在0.5s到1.5s的范围中,并且例如在0.5s到1s的范围中。
要知晓“high_latency_audio_buffer”等待时间高于“low_latency_audio_buffer”等待时间,Low_audio_latency必定严格低于High_audio_latency。
因而在通过不同通信信道10和12时,实际上获得了具有不同等待时间的两个音频链路16和17。
当然,有必要区分开使多媒体声音信号能与多媒体视频信号同步的缓冲存储器(基于目标演示时间)与使得声音反馈信号和多媒体声音信号具有不同等待时间成为可能的“low_latency_audio_buffer”和“high_latency_audio_buffer”缓冲存储器。因而,用于音频/视频同步的缓冲存储器的使用发生在音频回放装备15中,而与将声音反馈同多媒体渲染分开相关联的缓冲存储器的使用发生在处理器装置中。
因此,上文描述了设施并且具体而言是解码器装备11的两个不同实施例,但是这两个实施例使得提供用于“听觉反馈”功能的相对较低的第一等待时间并且还提供确保用于播放多媒体声音的较高第二等待时间成为可能,这是通过将声音渲染拆分成两部分来完成的。
上述实施例中的每一者呈现具体特征。
第一实施例
音频回放装备15需要被配置成能够管理以下事实:它经由传达两个不同音频链路16和17的单个通信信道12与解码器装备11相关联。
作为对比,用户对声音被渲染的方式并不奇怪。
第二实施例
音频回放装备15不必呈现特定配置。因而使用任何可购得的音频回放装备来执行本发明是可能的。
作为对比,用户可能对声音被渲染的方式感到奇怪,因为它由被用来播放多媒体声音的音频回放装备15以外的装备来播放。
无论预期实施例如何,声音回放都可与视觉反馈相关联。因而,取决于用户经由导航接口1所请求的动作,对应的信息将由音频/视频回放装备13显示。例如,如果用户请求更改频道,则所显示的信息可以是以下类型:新目标频道的名称、当前正在所述频道上广播的节目、……。
参考图3,处理器装置因而被配置成使用音频/视频通信信道10来递送由多媒体视频信号(来自传入音频/视频流)和视觉反馈信号两者构成的单个视频信号。
因而,该设施既有与声音反馈信号同步的视觉反馈信号通过它,也有与多媒体声音信号同步的多媒体视频信号通过它。因此,由于多媒体声音信号和声音反馈信号的不同等待时间,并且由于导航和多媒体流两者的音频/视频同步,多媒体视频信号是以比视觉反馈的等待时间更长的等待时间来回放的。
因此,在没有解码器装备11的附加处理的情况下,视觉反馈和视频将不同步,并且这可能对用户造成干扰。
例如,当频道跳转时,如图4所示,视频从一个频道更改到另一频道将花费比视觉反馈所呈现的信息(频道名称、现在可以在所述频道上观看的节目的名称、突出显示所请求频道的号码的频道列表、……)更长的时间。
因此,在视觉反馈和视频之间将存在偏移,使得呈现的信息没有对应于同时显示的频道。
为了避免视觉反馈和多媒体视频之间的偏移,在第一变型中,解码器装备11被配置成如图5所示地操作。
在该第一变型中,处理器装置将视觉反馈视频信号与声音反馈信号解除同步,以便使其与多媒体视频信号同步。
因此,显示视觉反馈元素的等待时间与显示多媒体视频的等待时间相同。
因而,该装备等待直到所请求频道的视频确实由该音频/视频回放装备播放,以便同时显示相应的信息。因而,所显示的频道与正在显示的频道信息相关,从而限制用户混淆的任何风险。
将视觉反馈视频信号与声音反馈信号完全解除同步以使其与多媒体视频信号同步也是可能的,或者仅部分地解除同步:在这种情况下,信息的一部分将与声音渲染同时显示,并且只有当对应的视频也被显示时,才会显示另一部分信息。
例如,突出显示所请求的频道的号码40的频道列表可以与声音反馈信号同步地显示在屏幕的一侧上,以便用户能够清楚地看到所请求的动作确实已经被考虑在内。作为对比,诸如频道名称、关于频道当前正在广播的节目的信息……之类的其他信息41将仅在对应的视频也被显示时才被显示。
在图6所示的第二变型中,为了避免视觉反馈和多媒体视频之间的偏移,处理器装置保持声音反馈和视觉反馈之间的同步,同时显示过渡屏幕42而不是多媒体视频信号,直到用户停止在导航接口上操作。例如,在频道跳转时,显示过渡屏幕42,直到用户选定在一个频道上。当自最近控制信号以来流逝的时间间隔Δt不小于“video_signal_transmission_delay+video_display_delay(视频信号传输延迟+视频显示延迟)”时,认为频道已被选定。
此后,处理器装置启动相应频道的视频。
过渡屏幕42可以是彩色屏幕、黑屏、带有徽标(例如,频道的徽标)的屏幕、动画化屏幕……,以及一般而言任何临时屏幕背景。
因此,用户因而只能访问由视觉反馈提供的信息43,该信息因而不再与多媒体视频的显示冲突。这同样限制了用户混淆的任何风险。
图7和8示出了用于限制视觉反馈和多媒体视频之间的偏移的第三变型。
在该第三变型中,处理器装置保持声音反馈和视觉反馈之间的同步,但是显示来自多媒体视频信号的静止图像44,直到用户停止在导航接口上操作为止。具体而言,解码器装备11事实上已经能够访问用户请求的视频,但是正是为了呈现多媒体声音和视频所需的高等待时间导致了视觉反馈和多媒体视频之间的偏移。为了限制用户混淆,在需要时,处理器装置可以因而非常快速地显示静止图像44(尽管如此,在与视频解码相关联的不可压缩等待时间之后,即video_signal_transmission_delay加video_display_delay)。
例如,在频道跳转时,静止图像44被显示,直到一个频道被选定。当自最近控制信号以来流逝的时间间隔Δt不小于“video_signal_transmission_delay+video_display_delay”时,认为频道已被选定。
因此,用户因而可以访问由视觉反馈提供的信息43,该信息与由音频/视频回放装备13显示的静止图像44相匹配。这同样限制了用户混淆的任何风险。
自然地,本发明不限于上述实施例,并且可提供变型实施例而不超出本发明的范围。
因此,尽管如上所述,解码器装备是解码器盒,但是解码器装备可以是能够执行音频/视频解码的任何其他装备,诸如数字视频解码器,并且例如它可以是游戏控制台、计算机、智能电视机、数字平板、移动电话、数字电视解码器、机顶盒或HDMI加密狗(dongle),等等。
虽然上述视频回放装备是音频/视频回放装备,但它可以是任何其他类型的音频/视频回放装备或仅用于视频回放的装备。该装备因而可以是电视机、视频投影仪、平板、移动电话,等等。视频回放装备和解码器装备因而可一起形成单个实体。
同样,虽然在上文中音频回放装备是外部智能扬声器,但它可以是具有扬声器的任何其他装备,例如条形音箱、连接到Wi-Fi/音频桥的音频系统、……。
视频回放装备的件数和/或音频回放装备的件数(具体而言,更多扬声器)和/或解码器装备的数目可以大于以上提及的数目。
解码器装备和音频回放装备之间的通信信道可以不同于所描述的通信信道,并且例如它可以是蓝牙类型。对于Wi-Fi链路,该链路可以是专用类型或基础设施类型。
虽然如上所述,相同协议被用于这两个音频链路,但对这两个音频链路中的每一者使用不同协议将是可能的。例如,对声音反馈链路使用UDP协议并且对多媒体音频/视频链路使用HTTP协议将是可能的。同样,对这两个音频链路使用相同或不同信号编码/解码格式将是可能的。如果传输协议和/或音频编码格式在这两个音频链路之间是不同的,则audio_transmission_delay和audio_decoding_delay值对于每一音频链路而言彼此不同是可能的。例如,UDP/RTP协议可具有比HTTP协议更低的等待时间,PCM或ADPCM声音编码可具有比MPEG 4、AAC、或Opus、……编码更低的解码等待时间。
虽然如上所述,总是有两个通信信道来用于通过三个链路(两个音频链路和音频/视频链路),但对于第二实施例,设想在视频回放装备和解码器装备之间具有分别用于通过第一音频链路和视频链路(音频/视频链路)的两个通信信道是可能的,并且在音频回放装备和解码器装备之间仅有一个通信信道也是可能的。
此外,尽管上述用于限制视觉反馈和多媒体视频之间的偏移的变型是参考更改频道来描述的,但是上述变型可以自然地用于用户请求的其他类型的动作,例如当请求视频回放(视频点播(VOD)回放)、网络视频流的回放,个人视频录像机(PVR)上录制的回放、……时)。例如,在一旦达到多媒体视频等待时间延迟继续到动画化视频之前,可快速呈现从解码视频取得的静止图像,或者可以呈现过渡屏幕。
此外,尽管上述声音反馈与用户请求的动作相关联,但由解码器装备生成的声音反馈可以具有某个其他来源。例如,声音反馈可以在交互式电视应用程序的上下文中生成,或者为了提供通知(例如,音量过大、观看时间过长、……)。一般而言,声音反馈可以是解码器装备生成的任何声音。
此外,尽管在上文传入音频/视频流来自外部并且由通信接口接收以便由解码器装备直接处理,但传入音频/视频流可以已经由通信接口预先接收并且记录在解码器装备本地。解码器装备随后将处理已被记录在本地的传入音频/视频流。
尽管上述处理器装置被配置成使用单个音频/视频通信信道来递送由多媒体视频信号(来自传入音频/视频流)和视觉反馈信号两者构成的单个视频信号,但该处理器装置可以经由单个通信信道递送两种类型的视频信号(多媒体视频信号和视觉反馈信号):并且音频/视频回放装备随后将处理这两种类型的信号,以生成用于显示的单个视频信号。
Claims (16)
1.一种解码器装备(11),包括:
适于连接到音频回放装备(15)的第一输出;
适于连接到视频回放装备(13)的第二输出;
处理器装置,其被配置成使用所述第一输出的第一音频链路(17)来递送来自由所述解码器装备接收的传入音频/视频流的第一音频信号,以及使用第二音频链路(16)来递送与由第一输出或第二输出的解码器装备生成的至少一个声音相关联的第二音频信号,由所述解码器装备生成的声音与来自所述传入音频/视频流的声音不同,呈现第一特性的所述第一链路将第一等待时间赋予所述第一音频信号,并且呈现第二特性的所述第二链路将低于第一等待时间的第二等待时间赋予所述第二音频信号。
2.如权利要求1所述的解码器装备,其特征在于,所述第一音频链路(17)和所述第二音频链路(16)是经由同一第一输出来传达的。
3.如权利要求1所述的解码器装备,其特征在于,所述第二音频链路(16)是经由所述第二输出传达的。
4.如任一前述权利要求所述的解码器装备,其特征在于,这两个音频链路(16,17)是用不同协议来配置的。
5.如任一前述权利要求所述的解码器装备,其特征在于,这两个音频链路(16,17)是用针对它们所传达的信号的不同编码/解码格式配置的。
6.如任一前述权利要求所述的装备,其特征在于,所述第二等待时间低于50ms。
7.如权利要求6所述的装备,其特征在于,所述第二等待时间低于30ms。
8.如任一前述权利要求所述的装备,其特征在于,其被配置成生成与用户请求动作相关联的视频信号。
9.如权利要求8所述的装备,其特征在于,其被配置成使得所述第一视频信号相对于所述第二音频信号部分地或完全地解除同步。
10.如任一前述权利要求所述的装备,其特征在于,其被配置成在加载视频信号的时间期间显示过渡屏幕。
11.如权利要求10所述的装备,其特征在于,所述过渡屏幕是来自所述视频信号的静止图像(44)。
12.一种音频回放装备,其被配置成经由单个通信信道连接到如权利要求2所述的解码器装备并处理来自在所述通信信道中传达的两个音频链路的信号。
13.一种至少包括如权利要求2所述的解码器装备和如权利要求12所述的音频回放装备的设施。
14.一种管理两个声音链路的方法,所述方法由如权利要求1到11中的任一项所述的解码器装备来执行。
15.一种包括指令的计算机程序,所述指令用于使得如权利要求1到11中的任一项所述的解码器装备执行如权利要求14所述的方法。
16.一种其上存储有如权利要求15所述的计算机程序的计算机可读存储介质。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1914786A FR3105686A1 (fr) | 2019-12-18 | 2019-12-18 | Equipement décodeur à double liaison audio |
FR1914786 | 2019-12-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113077799A true CN113077799A (zh) | 2021-07-06 |
Family
ID=71111469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011510759.6A Pending CN113077799A (zh) | 2019-12-18 | 2020-12-18 | 具有两个音频链路的解码器装备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210195256A1 (zh) |
EP (1) | EP3840388B1 (zh) |
CN (1) | CN113077799A (zh) |
BR (1) | BR102020025848A2 (zh) |
FR (1) | FR3105686A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3131161A1 (fr) * | 2021-12-20 | 2023-06-23 | Sagemcom Broadband Sas | Dispositif et procédé pour la restitution audio-vidéo synchronisée. |
US12003563B2 (en) | 2022-09-23 | 2024-06-04 | Qualcomm Incorporated | Seamless transitions between media modes |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030106056A1 (en) * | 2001-11-30 | 2003-06-05 | Naimpally Saiprasad V. | System and method for carriage of program-related information in vertical blanking interval (VBI) of video output signal of program guide-Equipped video equipment |
JP2004328513A (ja) * | 2003-04-25 | 2004-11-18 | Pioneer Electronic Corp | 音声データ処理装置、音声データ処理方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
JP4182437B2 (ja) * | 2004-10-04 | 2008-11-19 | ソニー株式会社 | オーディオビデオ同期システム及びモニター装置 |
DE602005007634D1 (de) * | 2004-12-15 | 2008-07-31 | Koninkl Philips Electronics Nv | Synchronisierung von audio mit verzögertem video |
KR100789548B1 (ko) * | 2005-04-15 | 2007-12-28 | 엘지전자 주식회사 | 티브이의 오디오 출력 동기화 장치 및 방법 |
WO2006118106A1 (ja) * | 2005-04-28 | 2006-11-09 | Matsushita Electric Industrial Co., Ltd. | リップシンク補正装置及びリップシンク補正方法 |
EP1931140B1 (en) * | 2005-09-29 | 2014-07-16 | Panasonic Corporation | Video/sound output device and external speaker control device |
JP4575324B2 (ja) * | 2006-03-29 | 2010-11-04 | 株式会社東芝 | Av装置及びその制御方法 |
EP2107825A1 (en) * | 2008-03-31 | 2009-10-07 | Phonic Ear A/S | System for transmitting amplified audio signals to a user |
WO2009135033A1 (en) * | 2008-04-30 | 2009-11-05 | Zeevee, Inc. | System and method for local broadcasting |
JP5316189B2 (ja) * | 2008-05-23 | 2013-10-16 | ヤマハ株式会社 | Avシステム |
BRPI0822671A2 (pt) * | 2008-08-13 | 2015-06-30 | Hewlett Packard Development Co | Mídia utilizável por computador, sistema de áudio e vídeo e método de operação de sistema de áudio e vídeo |
JP2010282136A (ja) * | 2009-06-08 | 2010-12-16 | Toshiba Corp | 映像表示制御装置、映像表示制御方法およびこの制御方法を用いる映像機器 |
JP5782705B2 (ja) * | 2009-11-26 | 2015-09-24 | 三菱電機株式会社 | デジタル放送受信装置及びその受信方法 |
US20120038827A1 (en) * | 2010-08-11 | 2012-02-16 | Charles Davis | System and methods for dual view viewing with targeted sound projection |
US8832743B2 (en) * | 2012-03-15 | 2014-09-09 | Echostar Technologies, Llc | Managing remote distribution of content recorded at a television receiver |
AU2013326854A1 (en) * | 2012-10-05 | 2015-04-30 | Tactual Labs Co. | Hybrid systems and methods for low-latency user input processing and feedback |
US9886980B2 (en) * | 2014-05-05 | 2018-02-06 | Lattice Semiconductor Corporation | Method for synchronizing A/V streams |
US9928844B2 (en) * | 2015-10-30 | 2018-03-27 | Intel Corporation | Method and system of audio quality and latency adjustment for audio processing by using audio feedback |
US10123058B1 (en) * | 2017-05-08 | 2018-11-06 | DISH Technologies L.L.C. | Systems and methods for facilitating seamless flow content splicing |
US10057648B1 (en) * | 2017-05-08 | 2018-08-21 | Sling Media Pvt Ltd. | Modified channel surfing based on monitored viewing habits |
US10262696B1 (en) * | 2017-10-13 | 2019-04-16 | ANI Technologies Private Limited | Clock synchronization for playback of multimedia files |
CN108012177A (zh) * | 2017-12-01 | 2018-05-08 | 晨星半导体股份有限公司 | 音视频播放系统及应用于其上的音频数据的播放方法 |
US10681463B1 (en) * | 2019-05-17 | 2020-06-09 | Sonos, Inc. | Wireless transmission to satellites for multichannel audio system |
US11871069B2 (en) * | 2019-07-26 | 2024-01-09 | Lg Electronics Inc. | Multimedia service providing device and multimedia service providing method |
US11122321B1 (en) * | 2020-04-06 | 2021-09-14 | International Business Machines Corporation | Stream synchronization using an automated digital clapperboard |
-
2019
- 2019-12-18 FR FR1914786A patent/FR3105686A1/fr active Pending
-
2020
- 2020-12-08 EP EP20212468.1A patent/EP3840388B1/fr active Active
- 2020-12-17 BR BR102020025848-6A patent/BR102020025848A2/pt not_active Application Discontinuation
- 2020-12-17 US US17/125,702 patent/US20210195256A1/en not_active Abandoned
- 2020-12-18 CN CN202011510759.6A patent/CN113077799A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
FR3105686A1 (fr) | 2021-06-25 |
US20210195256A1 (en) | 2021-06-24 |
EP3840388B1 (fr) | 2023-06-14 |
BR102020025848A2 (pt) | 2021-06-29 |
EP3840388A1 (fr) | 2021-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3603077B1 (en) | Content-activated intelligent, autonomous audio/video source controller | |
US10200779B2 (en) | Audio forwarding device and corresponding method | |
US10362346B2 (en) | Simultaneous playback for multiple audience members with different visual and audio needs | |
US10178345B2 (en) | Apparatus, systems and methods for synchronization of multiple headsets | |
US9876944B2 (en) | Apparatus, systems and methods for user controlled synchronization of presented video and audio streams | |
US8132224B2 (en) | Transmitting and receiving multimedia SMIL documents | |
EP3188180B1 (en) | Enhancing an audio recording | |
US20210195256A1 (en) | Decoder equipment with two audio links | |
KR102630037B1 (ko) | 정보 처리 장치, 정보 처리 방법, 송신 장치, 및 송신 방법 | |
WO2003058965A1 (en) | Conferencing with synchronous presention of media programs | |
CN103327364B (zh) | 一种用于音视频播放的无线传输方法及装置 | |
WO2021049048A1 (ja) | 映像提供システムおよびプログラム | |
RU2527732C2 (ru) | Способ озвучивания видеотрансляции | |
CN109818979A (zh) | 一种实现音频回传的方法、装置、设备及存储介质 | |
JP2008136027A (ja) | 映像音声再生システムと映像再生装置 | |
JP2011023811A (ja) | コンテンツ処理装置 | |
JP6508831B2 (ja) | 受信装置、受信方法、放送システムおよびプログラム | |
JP2006186454A (ja) | 放送受信装置、携帯型放送受信装置 | |
KR20160074310A (ko) | 하이브리드망에서의 스트리밍 방법 및 그 장치 | |
JP2022183550A (ja) | 受信装置、クライアント端末装置、およびプログラム | |
JP2010187256A (ja) | 通信システム、並びに放送情報送信装置および通信装置 | |
JP2010157818A (ja) | 放送受信装置およびその出力制御方法 | |
JP2007241719A (ja) | データ配信システム及びデータ配信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210706 |