CN103270764A - 用于处理视频信号的方法和设备 - Google Patents
用于处理视频信号的方法和设备 Download PDFInfo
- Publication number
- CN103270764A CN103270764A CN2011800635150A CN201180063515A CN103270764A CN 103270764 A CN103270764 A CN 103270764A CN 2011800635150 A CN2011800635150 A CN 2011800635150A CN 201180063515 A CN201180063515 A CN 201180063515A CN 103270764 A CN103270764 A CN 103270764A
- Authority
- CN
- China
- Prior art keywords
- frame
- vision signal
- information content
- visual information
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000000007 visual effect Effects 0.000 claims abstract description 82
- 239000000872 buffer Substances 0.000 claims abstract description 71
- 238000004590 computer program Methods 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000005236 sound signal Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 6
- 239000003550 marker Substances 0.000 description 14
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 206010021403 Illusion Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
Abstract
用于处理视频信号的方法、设备和计算机程序产品,所述视频信号包括多个帧,其中视频信号的帧在抖动缓冲器中被接收,以及帧是以可变的输出速率从抖动缓冲器被输出的,以便解决在接收的帧中的抖动。输出速率的变化根据视频信号的视觉信息内容被控制,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。
Description
技术领域
本发明涉及用于处理视频信号的方法和设备。具体地,本发明涉及控制来自抖动缓冲器的视频信号的帧的输出速率。
背景技术
用户可以通过在网络上传送和接收信号而在通信网上互相通信。通信技术的进步导致在这样的网络上通信的用户的数量快速增加,并且在通信中在用户之间转移的数据量也快速增加。网络现在支持视频信号在用户之间的传输。视频信号可包括帧序列,当视频信号被播出时帧序列被顺序地显示。正如本领域已知的,视频信号可以按照用于网络上的传输的许多不同的协议被编码。
当设备通过通信网接收视频信号的帧时,在播出帧之前需要进行一定量的去抖动(dejitter)。例如,这可能是由于到达接收设备的帧的定时被网络中的问题扰乱。接收设备可以把所接收的视频帧存储在抖动缓冲器中,以便平滑接收的帧中的某些抖动。然而,即使当在接收设备中使用抖动缓冲器时,在视频帧中仍可能出现抖动,例如,当抖动缓冲器变为完全满或完全空时。为了处置剩余的抖动,可以在接收设备中实施算法,以计算来自抖动缓冲器的视频帧的输出速率应当如何改变,以便减小视频帧的抖动。算法的目的在于通过改变来自抖动缓冲器的帧的输出速率而减少抖动缓冲器变为完全满或完全空的次数。
发明内容
按照本发明的第一方面,提供了处理视频信号的方法,视频信号包括多个帧,该方法包括:在抖动缓冲器上接收视频信号的帧;以可变的输出速率从抖动缓冲器输出所述帧,以便解决在接收的帧中的抖动,其中输出速率的变化根据视频信号的视觉信息内容被控制,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。
按照本发明的第二方面,提供了用于处理视频信号的设备,视频信号包括多个帧,该设备包括:用于接收视频信号的帧的抖动缓冲器,该设备被配置成以可变的输出速率从抖动缓冲器输出帧,以便解决在接收的帧中的抖动,该设备还包括控制装置,用于根据视频信号的视觉信息内容控制输出速率的变化,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。
按照本发明的第三方面,提供了计算机程序产品,其包括由计算机处理装置执行的用于处理视频信号的计算机可读指令,视频信号包括多个帧,所述指令包括用于进行以下项的指令:在抖动缓冲器上接收视频信号的帧;以可变的输出速率从抖动缓冲器输出帧,以便解决在接收的帧中的抖动,其中输出速率的变化根据视频信号的视觉信息内容被控制,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。
按照本发明的第四方面,提供了处理视频信号的方法,视频信号包括多个帧,该方法包括:分析视频信号的视觉信息内容,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分;根据对视觉信息内容的分析,确定视频信号的帧中的每个帧对于用以播出视频信号帧的速率的变化的各自敏感度;以及用指示各自的确定的敏感度的标志来标记所述帧中的每个帧。
按照本发明的第五方面,提供了用于处理视频信号的设备,视频信号包括多个帧,该方法包括:分析装置,用于分析视频信号的视觉信息内容,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分;敏感度确定装置,用于根据对视觉信息内容的分析,确定视频信号的帧中的每个帧对于用以播出视频信号帧的速率的变化的各自敏感度;以及标记装置,用于用指示各自的确定的敏感度的标志来标记所述帧中的每个帧。
按照本发明的第六方面,提供了计算机程序产品,其包括由计算机处理装置执行的用于处理视频信号的计算机可读指令,视频信号包括多个帧,所述指令包括用于进行以下项的指令:分析视频信号的视觉信息内容,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分;根据对视觉信息内容的分析,确定视频信号的帧中的每个帧对于用以播出视频信号帧的速率的变化的各自敏感度;以及用指示各自的确定的敏感度的标志来标记所述帧中的每个帧。
本发明人认识到,改变视频帧的输出速率将加快或减慢视频信号的回放,以及这可以导致以所显示信号中的太快或太慢运动的形式的、视频信号中的可视伪像,由此使得视频信号失真。
然而,有利地,视频信号的视觉信息内容被考虑,以及来自抖动缓冲器的帧的输出速率的变化是考虑到这样的变化将引入到视觉信息内容的感知的失真而被控制的。本发明人认识到,来自抖动缓冲器的帧的输出速率的变化所造成的感性失真,对于某些视觉信息内容要比对于其它视觉信息内容更大。对于输出速率的变化将对其造成较低水平的感性失真的那些帧,所述变化可被控制为更大。这样做的结果是,比起不考虑视频信号的视觉信息内容的现有方法,在视频信号中的与回放速度有关的失真更少可见(即,对于观看视频信号的视觉信息内容的用户来说是更少能察觉的)。由于与回放速度有关的失真对于用户不太能察觉,所以达到了视频信号的感知上的更愉悦的回放。
优选地,输出速率的变化被控制成使得输出速率的显著变化仅仅对于在视觉信息内容中有较低运动水平的帧才出现。还优选地,输出速率的变化被控制成使得输出速率的变化随视觉信息内容中运动的增加而减小。术语“运动(motion)”被使用来指每帧的视觉信息内容的改变的量(与前一帧相比较)。当输出速率的变化对于在其被播出时具有视觉信息内容中的相对较低运动水平的帧序列发生时,它们对于视频信号的观众而言是不太能察觉的。本发明人认识到,如果要在其上输出视频信号的设备是移动设备,则用户趋向于摇动移动设备,这样使得与设备不是移动设备时相比,视频信号中的运动的质量对于用户来说在感觉上可能是不太重要的。所以,输出设备是否为移动设备的知识可被使用来据此控制视频信号的输出速率。
优选地,每个帧包括指示所述帧对于用以播出视频信号帧的速率的变化的敏感度的标志,并根据帧的标志来控制输出速率的变化。所述标志可以在编码器、在解码器、或在通信网中的另外节点上被添加到帧。优选地,帧的输出速率仅仅在被输出的帧的标志指示所述帧对于用以播出视频信号帧的速率的变化相当不敏感时才显著地变化。
视频信号的帧的视觉信息内容的外观(appearance)可以被确定,并且被使用来确定帧对于用以播出帧的速率的改变的敏感度。本发明人认识到,通过在改变帧被播出的速率时考虑帧的视觉信息内容,可以达到视频信号在感觉上的更愉悦的回放。
附图说明
为了更好地了解本发明和显示本发明可以如何付诸实践,现在将通过例子的方式参照以下的附图,在图上:
图1是按照优选实施例的通信网的示意图;
图2是按照优选实施例的、用于标记视频信号的帧的过程的流程图;以及
图3是按照优选实施例的、用于从抖动缓冲器输出帧的过程的流程图。
具体实施方式
参照图1,现在描述按照优选实施例的通信网100。通信网100包括设备102和设备114,它们可以经由通信网的其余部分(在图1上总的被表示为112)而通过网络100互相通信。通信网100例如可以是互联网。设备102包括CPU 104、编码器块106、标记器块108和网络接口块110。CPU 104控制设备102中其它块的运行,正如对本领域技术人员来说是明显的。编码器块106的输出被耦合到标记器块108的输入。标记器块108的输出被耦合到网络接口块110的输入。网络接口块110被耦合到网络的其余部分112。
设备114包括CPU 116、网络接口块118、抖动缓冲器120、解码器块122、显示器124和控制器块126。CPU 116控制设备114中其它块的运行,正如对本领域技术人员来说是明显的。网络接口块118被耦合到网络的其余部分112。网络接口块118的输出被耦合到抖动缓冲器120的输入。抖动缓冲器120的输出被耦合到解码器块122的输入。解码器块122的输出被耦合到显示器124的输入。控制器块126被耦合到抖动缓冲器120,以便控制它的运行。
现在参照图2描述网络100的运行,图2显示了按照优选实施例的、用于标记视频信号的帧的过程的流程图。设备102将视频信号经由通信网的其余部分112发送到设备114。视频信号的帧通过使用对于设备102和设备114都已知的特定协议在编码器块106中被编码。
在步骤S202,分析视频信号的帧的视觉信息内容。视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。换句话说,视觉信息内容是当视频信号被播出时观众将看到的视频信号的部分,并且视频信号的这个部分被分析。这样,分析视觉信息内容的步骤包括确定视觉信息内容的外观。
在步骤S204,根据对帧的视觉信息内容的分析,确定视频信号的帧中的每个帧对于用以播出视频信号帧的速率的变化的敏感度。本发明人认识到,帧对于用以播出帧的速率的变化的敏感度依赖于视频信号的帧的视觉信息内容。例如,在视觉信息内容中有相对较高运动水平的帧的敏感度高于在视觉信息内容中有相对较低运动水平的帧的敏感度。带有相对较高运动水平的帧具有相对较大量的、从前一帧的视觉信息内容发生改变的视觉信息内容。同样地,带有相对较低运动水平的帧具有相对较小量的、从前一帧的视觉信息内容发生改变的视觉信息内容。其他因素也可以影响帧的敏感度。例如,对应于视频信号的音频信号可以伴随视频信号,以及确定帧的敏感度的步骤可以依赖于对音频信号的分析。例如,当视频信号描绘正在谈话的人时,来自音频信号的暗示可被使用来确定在视频信号与音频信号之间的同步(例如,对口型)是否重要。当视频信号的视觉信息内容描绘正在谈话的人时,视频帧对于用以播出帧的速率的变化是非常敏感的,因为当一个人正谈话时视频的观众可以容易地注意到视频信号的定时的失真。
在步骤S206,标记器块108用帧的已确定的敏感度来标记帧。因此,在步骤S206后,帧具有指示帧对于用以播出帧的速率的变化的敏感度的标志。然后,通过使用网络接口块110和118,可以通过网络的其余部分112把帧发送到设备114。虽然图1显示标记器块108是与编码器块106分开的,但在其它实施例中,标记器块108是编码器块106的一部分。在这些其它实施例中,标记操作可以是编码过程的一部分,其中关于视频信号的许多有用信息在编码过程期间得到,其可被使用来在标记过程中对帧进行标记。在另外的实施例中,标记器块108可以放置在编码器块106的前面,以使得标记过程对未编码的信号进行操作(先于在编码器块106中执行编码)。
现在将参照图3描述设备114的运行,图3显示了按照优选实施例的、用于从抖动缓冲器120输出帧的过程的流程图。如上所述,设备114在网络接口块118处接收视频信号的帧。在步骤S302,所述帧被传递到抖动缓冲器120。帧被存储在抖动缓冲器120中,以便解决在接收的帧中的抖动。控制器块126被使用来控制用以从抖动缓冲器120输出帧的速率。在步骤S304,帧从抖动缓冲器120输出,并在解码器块122上被接收,在解码器块122中通过使用与编码器块106使用来对帧进行编码的相同协议对帧进行解码,正如本领域已知的。然后,解码的帧传到显示器124,在步骤S306,在显示器124上显示所述帧。
帧的标志被控制器块126使用来确定从抖动缓冲器120输出帧的输出速率。具体地,在帧的标志指示帧对于用以播出帧的速率的变化高度敏感的场合下,则帧从抖动缓冲器输出的速率不变化(与前一帧的输出速率相比较)。而在帧的标志指示帧对于用以播出帧的速率的变化并非高度敏感的场合下,则帧从抖动缓冲器输出的速率可以变化。帧从抖动缓冲器120的输出速率确定当帧在显示器124中被显示时帧被播出的速率。
考虑帧的视觉信息内容,控制器块126控制从抖动缓冲器120的输出速率的变化,以便解决在接收的帧中的抖动。如上所述,这可以通过以下方式而达到,即:用指示帧对于用以播出帧的速率的变化的敏感度的标志来标记帧,以使得控制器块126可以简单地读取帧的标志,而由此在确定从抖动缓冲器120的输出速率的变化时考虑帧的视觉信息内容。
作为例子,输出速率的显著加速或减慢可能只在其中视频信号的视觉信息内容中有小运动的视频区域中(在时间和/或空间上)被执行。在一些实施例中,抖动缓冲器持有视频帧的区段(即,空间区域)。例如,如果视频帧中的背景是静止的,则可以发送该帧的仅仅其中有运动的空间区域。在这种情形下,如上所述,输出速率的显著加速或减慢可能只在其中视频信号的视觉信息内容中有小运动的视频空间区域中执行。
如上所述,在确定视频帧的敏感度时,标记器块108可以考虑与视频信号相伴随的音频信号的内容。视频帧的从抖动缓冲器120的输出速率的确定也可以考虑音频信号的内容和音频帧的时间戳。对应的音频抖动缓冲器可能因为各种原因而决定延迟或加速音频帧,正如本领域已知的。控制器块126可以比照使得音频和视频信号不同步的成本来对改变视频信号的回放速度的成本加权,以确定如何变化视频帧的从抖动缓冲器120的输出速率。如上所述,当音频信号输送语音时,使得音频和视频信号同步是很重要的。
使得音频和视频信号同步的重要性可以取决于视频信号的质量。例如,对于较高质量的视频信号(例如,较高的分辨率、帧速率或比特速率)来说,同步音频和视频信号可以是更重要的,因为当视频信号的质量较高时,音频和视频信号之间的同步的任何缺乏对于用户都是更明显的。当视频信号的质量较低时,控制器块126可以不尝试把音频和视频信号同步到这样高的程度(即,采取更宽松的方法)。
在上述的方法中,步骤S202和S204在设备102中实施,例如在编码器块106中、在标记器块108中、或通过CPU 104被实施。步骤S206在设备102的标记器块108中被实施。这样,帧的标记在发送设备102中—即在传输的编码器端—被实施。作为编码过程的一部分,编码器块106分析视频信号,并能访问原始视频,所以,在发送设备102处执行标记可以是高效的。帧可以被指派以相对敏感度,这可以通过使用带内或带外信号而用信号通知接收设备114的控制器块126。
在替换实施例中,帧的标记可以在接收设备114处(即,在传输的解码器端)而不是在发送设备102处被实施。比起在发送设备102处执行帧的标记,这是不太高效的,因为接收设备114(以及发送设备102)于是需要分析视频信号。然而,在接收设备114处执行标记的好处在于,这并不需要专门的编码器来得到参数。这允许本发明在接收设备114处被实施,即使是在视频信号是从通信网100中不实施本发明的第三方设备被接收的情况下。
在另外的替换实施例中,帧的标记可以在通信网的其余部分112中的另外节点处被执行。该另外节点在视频信号被从发送设备102发送时接收它,执行标记过程,然后把视频信号转发到接收设备114。这样,流分析在另外的节点处执行,以便在发送设备102之外分析视频信号的视觉信息内容。这些实施例可能不能同上述的其它实施例一样高效,因为在另外的节点处需要进行对视频信号的处理,而在那里以前只需要很少的处理或不需要处理。然而,使用另外的节点的好处在于,既不需要发送设备102也不需要接收设备114具有能力来分析视频信号的视觉信息内容以便确定帧对于用以播出帧的速率的变化的敏感度。
图1显示抖动缓冲器120处在解码器块122的前面,这样,接收的帧被传递到抖动缓冲器120,以便解决在接收的帧中的抖动,然后,从抖动缓冲器输出的帧被传递到解码器块122以便解码。在替换实施例中,在接收的视频信号的处理中解码器块可以在抖动缓冲器之前,这样使得视频信号在解码器块中被解码,然后,帧被传送到抖动缓冲器,以便解决在接收的帧中的抖动。
在另外的实施例中,可以有两个抖动缓冲器:放置在解码器块122之前的第一抖动缓冲器,和放置在解码器块122之后的第二抖动缓冲器。控制器块126可以根据CPU可用性和视频数据对于输出速率的改变的敏感度做出决定,以确定如何快速地从第一抖动缓冲器移动数据到第二抖动缓冲器。例如,对于具有无限的CPU资源可用的情况,优选地是尽可能快速地腾空第一抖动缓冲器,然后,根据解码的数据,做出关于视频帧的输出速率的变化的决定。实际上,某些数据将既处在第一抖动缓冲器又处在第二抖动缓冲器中。
类似地,图1显示在设备102中进行视频信号处理时,编码器块106处在标记器块108的前面,这样,视频信号在编码器块106中被编码,然后,编码的帧被传递到标记器块108,以随之对帧进行标记,正如上面讨论的。在替换实施例中,标记器块可以在编码器块的前面,这样,帧被标记器块标记,然后帧在编码器块中被编码。
块106到110和118到126可以在设备102和114中以软件或硬件被实施,正如本领域技术人员将会明白的。同样地,在图2和3中给出的方法步骤可以在设备102和114中以软件或硬件被实施。
正如本领域已知的,通信网100可以使用在私有协议上构建的对等(“P2P”)拓扑,以便允许在设备104与设备114之间通信。替换地,通信网100可以使用另外一种拓扑来允许在设备104与设备114之间通信,诸如基于集中式服务器的通信系统。
以上描述的方法步骤可以借助于计算机可读指令在设备102和设备114处被实施。在这种意义下,可以提供一种计算机程序产品,其包括由CPU(104和116)执行的计算机可读指令,用于执行以上描述的方法步骤,由此随之处理视频信号。
虽然本发明是参照优选实施例具体地显示和描述的,但本领域技术人员将理解,可以在形式和细节上做出各种改变,而不背离由所附权利要求限定的本发明的范围。
权利要求书(按照条约第19条的修改)
1.一种处理视频信号的方法,所述视频信号包括多个帧,该方法包括:
在抖动缓冲器上接收视频信号的帧;
以可变的输出速率从抖动缓冲器输出帧,以便解决在接收的帧中的抖动,其中输出速率的变化根据视频信号的视觉信息内容被控制,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。
2.用于处理视频信号的设备,所述视频信号包括多个帧,该设备包括:
用于接收视频信号的帧的抖动缓冲器,该设备被配置成以可变的输出速率从抖动缓冲器输出帧,以便解决在接收的帧中的抖动,
该设备还包括控制装置,用于根据视频信号的视觉信息内容来控制输出速率的变化,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。
3.权利要求1的方法或权利要求2的设备,其中输出速率的变化或是根据输出速率的变化将引入到视觉信息内容的、感知的失真的确定而被控制,或是被控制成使得输出速率的变化随着视觉信息内容中运动的增加而减小。
4.权利要求1的方法或权利要求2的设备,其中每个帧包括指示帧对于用以播出视频信号帧的速率的变化的敏感度的标志,以及其中输出速率的变化根据所述帧的标志被控制。
5.权利要求4的方法或设备,其中用所述标志标记每个帧。
6.权利要求5的方法或设备,其中视频信号的视觉信息内容被分析,以确定每个帧对于用以播出视频信号帧的速率的变化的敏感度,以便在标记所述帧时使用。
7.权利要求6的方法或设备,其中对应于视频信号的音频信号被分析,以便在确定每个帧对于用以播出视频信号帧的速率的变化的敏感度时使用。
8.权利要求5的方法,其中抖动缓冲器是接收设备的一部分,以及在抖动缓冲器上通过通信网从发送设备接收所述视频信号,以及
其中在以下设备上标记每个帧,即:(i)发送设备;(ii)接收设备;或(iii)通信网中的其它设备。
9.权利要求1的方法或权利要求2的设备,其中从抖动缓冲器输出的帧以可变的输出速率被播出。
10.一种计算机程序产品,其包括由计算机处理装置执行的、用于处理视频信号的计算机可读指令,所述视频信号包括多个帧,所述指令包括用于进行以下项的指令:
在抖动缓冲器上接收视频信号的帧;
以可变的输出速率从抖动缓冲器输出帧,以便解决在接收的帧中的抖动,其中输出速率的变化根据视频信号的视觉信息内容被控制,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。
Claims (25)
1.一种处理视频信号的方法,所述视频信号包括多个帧,该方法包括:
在抖动缓冲器上接收视频信号的帧;
以可变的输出速率从抖动缓冲器输出帧,以便解决在接收的帧中的抖动,其中输出速率的变化根据视频信号的视觉信息内容被控制,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。
2.权利要求1的方法,其中输出速率的变化根据由输出速率的变化将引入到视觉信息内容的、感知的失真的确定而被控制。
3.权利要求1的方法,其中输出速率的变化被控制成使得输出速率的变化随着视觉信息内容中运动的增加而减小。
4.权利要求1的方法,其中每个帧包括指示帧对于用以播出视频信号帧的速率的变化的敏感度的标志,以及其中输出速率的变化根据所述帧的标志被控制。
5.权利要求4的方法,还包括用所述标志来标记每个帧。
6.权利要求5的方法,还包括分析视频信号的视觉信息内容,以确定每个帧对于用以播出视频信号帧的速率的变化的敏感度,以便在标记所述帧时使用。
7.权利要求6的方法,还包括分析对应于视频信号的音频信号,以便在确定每个帧对于用以播出视频信号帧的速率的变化的敏感度时使用。
8.权利要求1的方法,其中抖动缓冲器是接收设备的一部分,以及在抖动缓冲器上通过通信网从发送设备接收所述视频信号。
9.权利要求8的方法,当从属于权利要求5时,其中用所述标志标记每个帧的步骤在以下设备上被执行,即:(i)发送设备;(ii)接收设备;或(iii)通信网中的其它设备。
10.权利要求1的方法,还包括播出以可变的输出速率从抖动缓冲器输出的帧。
11.用于处理视频信号的设备,所述视频信号包括多个帧,该设备包括:
用于接收视频信号的帧的抖动缓冲器,该设备被配置成以可变的输出速率从抖动缓冲器输出帧,以便解决在接收的帧中的抖动,
该设备还包括控制装置,用于根据视频信号的视觉信息内容来控制输出速率的变化,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。
12.权利要求11的设备,还包括标记装置,用于用指示帧对于用以播出视频信号帧的速率的变化的敏感度的标志来标记所述帧中的每个帧,其中所述控制装置被配置成根据帧的标志来控制输出速率的变化。
13.权利要求12的设备,还包括分析装置,用于分析视频信号的视觉信息内容,以确定每个帧对于用以播出视频信号帧的速率的变化的敏感度,以便供标记装置在标记所述帧时使用。
14.权利要求11的设备,其中抖动缓冲器是接收设备的一部分,该设备还包括发送设备,用于通过通信网发送所述视频信号到抖动缓冲器。
15.权利要求11的设备,还包括用于播出以可变的输出速率从抖动缓冲器输出的帧的装置。
16.一种计算机程序产品,其包括由计算机处理装置执行的、用于处理视频信号的计算机可读指令,所述视频信号包括多个帧,所述指令包括用于进行以下项的指令:
在抖动缓冲器上接收视频信号的帧;
以可变的输出速率从抖动缓冲器输出帧,以便解决在接收的帧中的抖动,其中输出速率的变化根据视频信号的视觉信息内容被控制,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。
17.一种处理视频信号的方法,所述视频信号包括多个帧,该方法包括:
分析视频信号的视觉信息内容,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分;
根据对视觉信息内容的分析,确定视频信号的帧中的每个帧对于用以播出视频信号帧的速率的变化的各自敏感度;以及
用指示各自的确定的敏感度的标志来标记所述帧中的每个帧。
18.权利要求17的方法,其中分析视觉信息内容的步骤包括确定视觉信息内容的外观。
19.权利要求17的方法,还包括分析对应于视频信号的音频信号,其中确定所述帧中的每个帧的各自敏感度的步骤是根据音频信号的分析而被执行的。
20.权利要求17的方法,还包括确定视频信号的帧被播出的速率的变化将引入到视觉信息内容的、感知的失真,其中确定所述帧中的每个帧的各自敏感度的步骤是根据所确定的感知的失真被执行的。
21.权利要求17的方法,其中对于在视觉信息内容中有相对较高运动水平的帧的确定的敏感度高于对于在视觉信息内容中有相对较低运动水平的帧的确定的敏感度。
22.权利要求17的方法,还包括:把通过通信网发送的视频信号从发送设备传送到接收设备;以及
在接收设备处以由帧的标志所确定的速率播出视频信号的帧。
23.权利要求22的方法,其中用标志标记每个帧的步骤在以下设备之一上被执行,即:(i)发送设备;(ii)接收设备;或(iii)通信网中的其它设备。
24.用于处理视频信号的设备,所述视频信号包括多个帧,该方法包括:
分析装置,用于分析视频信号的视觉信息内容,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分;
敏感度确定装置,用于根据对视觉信息内容的分析而确定视频信号的帧中的每个帧对于用以播出视频信号帧的速率的变化的各自敏感度;以及
标记装置,用于用指示各自的确定的敏感度的标志来标记所述帧中的每个帧。
25.一种计算机程序产品,其包括由计算机处理装置执行的、用于处理视频信号的计算机可读指令,所述视频信号包括多个帧,所述指令包括用于进行以下项的指令:
分析视频信号的视觉信息内容,视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分;
根据对视觉信息内容的分析,确定视频信号的帧中的每个帧对于用以播出视频信号帧的速率的变化的各自敏感度;以及
用指示各自的确定的敏感度的标志来标记所述帧中的每个帧。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201061428000P | 2010-12-29 | 2010-12-29 | |
US61/428000 | 2010-12-29 | ||
US61/428,000 | 2010-12-29 | ||
PCT/EP2011/073969 WO2012089670A1 (en) | 2010-12-29 | 2011-12-23 | Method and apparatus for processing a video signal |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103270764A true CN103270764A (zh) | 2013-08-28 |
CN103270764B CN103270764B (zh) | 2016-12-21 |
Family
ID=45420670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180063515.0A Active CN103270764B (zh) | 2010-12-29 | 2011-12-23 | 用于处理视频信号的方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8836861B2 (zh) |
EP (1) | EP2643977B1 (zh) |
CN (1) | CN103270764B (zh) |
WO (1) | WO2012089670A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106656649A (zh) * | 2016-09-14 | 2017-05-10 | 腾讯科技(深圳)有限公司 | 一种实时通话过程中基于测速的通道切换方法、客户端与服务器 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9208798B2 (en) * | 2012-04-09 | 2015-12-08 | Board Of Regents, The University Of Texas System | Dynamic control of voice codec data rate |
GB2521104B (en) | 2013-08-28 | 2017-05-31 | Metaswitch Networks Ltd | Data processing |
CN105376607A (zh) * | 2015-10-29 | 2016-03-02 | 深圳云聚汇数码有限公司 | 一种网络抖动环境下的视频直播方法及装置 |
US10582258B2 (en) * | 2015-12-26 | 2020-03-03 | Intel Corporation | Method and system of rendering late or early audio-video frames |
CN108111900B (zh) * | 2016-11-25 | 2020-11-13 | 杭州海康威视数字技术股份有限公司 | 一种播放速度控制方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6665751B1 (en) * | 1999-04-17 | 2003-12-16 | International Business Machines Corporation | Streaming media player varying a play speed from an original to a maximum allowable slowdown proportionally in accordance with a buffer state |
EP1437896A2 (en) * | 2003-01-07 | 2004-07-14 | VLS Com Ltd. | Method and apparatus for improving MPEG picture compression |
US20040172478A1 (en) * | 2001-07-19 | 2004-09-02 | Jacobs Richard J | Video stream switching |
CN1926862A (zh) * | 2004-02-23 | 2007-03-07 | 诺基亚公司 | 视频信息传输 |
WO2009113926A1 (en) * | 2008-03-13 | 2009-09-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Method for manually optimizing jitter, delay and synch levels in audio-video transmission |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR940007846B1 (ko) * | 1991-12-09 | 1994-08-25 | 주식회사 금성사 | 움직임 검출장치 |
US5387943A (en) * | 1992-12-21 | 1995-02-07 | Tektronix, Inc. | Semiautomatic lip sync recovery system |
US5995153A (en) * | 1995-11-02 | 1999-11-30 | Prime Image, Inc. | Video processing system with real time program duration compression and expansion |
US7693220B2 (en) * | 2002-01-03 | 2010-04-06 | Nokia Corporation | Transmission of video information |
US20080181256A1 (en) * | 2006-11-22 | 2008-07-31 | General Instrument Corporation | Switched Digital Video Distribution Infrastructure and Method of Operation |
-
2011
- 2011-12-23 WO PCT/EP2011/073969 patent/WO2012089670A1/en active Application Filing
- 2011-12-23 CN CN201180063515.0A patent/CN103270764B/zh active Active
- 2011-12-23 EP EP11802436.3A patent/EP2643977B1/en active Active
- 2011-12-28 US US13/339,180 patent/US8836861B2/en active Active
-
2014
- 2014-08-25 US US14/468,157 patent/US20140362291A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6665751B1 (en) * | 1999-04-17 | 2003-12-16 | International Business Machines Corporation | Streaming media player varying a play speed from an original to a maximum allowable slowdown proportionally in accordance with a buffer state |
US20040172478A1 (en) * | 2001-07-19 | 2004-09-02 | Jacobs Richard J | Video stream switching |
EP1437896A2 (en) * | 2003-01-07 | 2004-07-14 | VLS Com Ltd. | Method and apparatus for improving MPEG picture compression |
CN1926862A (zh) * | 2004-02-23 | 2007-03-07 | 诺基亚公司 | 视频信息传输 |
WO2009113926A1 (en) * | 2008-03-13 | 2009-09-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Method for manually optimizing jitter, delay and synch levels in audio-video transmission |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106656649A (zh) * | 2016-09-14 | 2017-05-10 | 腾讯科技(深圳)有限公司 | 一种实时通话过程中基于测速的通道切换方法、客户端与服务器 |
CN106656649B (zh) * | 2016-09-14 | 2021-01-01 | 腾讯科技(深圳)有限公司 | 一种实时通话过程中基于测速的通道切换方法、客户端与服务器 |
Also Published As
Publication number | Publication date |
---|---|
EP2643977B1 (en) | 2019-05-15 |
US20120169929A1 (en) | 2012-07-05 |
CN103270764B (zh) | 2016-12-21 |
US20140362291A1 (en) | 2014-12-11 |
EP2643977A1 (en) | 2013-10-02 |
US8836861B2 (en) | 2014-09-16 |
WO2012089670A1 (en) | 2012-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106303658B (zh) | 应用于视频直播的交互方法和装置 | |
CN111245680B (zh) | 检测云游戏响应延迟的方法、装置、系统、终端和服务器 | |
CN109168078B (zh) | 一种视频清晰度切换方法及装置 | |
CN103270764B (zh) | 用于处理视频信号的方法和设备 | |
CN105612743A (zh) | 编码的媒体的音频视频回放同步 | |
CN108847214B (zh) | 语音处理方法、客户端、装置、终端、服务器和存储介质 | |
CA2529889A1 (en) | Stream switching based on gradual decoder refresh | |
CN112399258B (zh) | 直播回放视频生成播放方法、装置、存储介质及电子设备 | |
CN109565620A (zh) | 低延迟http实时流传输 | |
CN109493888B (zh) | 漫画配音方法及装置、计算机可读存储介质、电子设备 | |
CN105191321A (zh) | 分发控制系统、分发控制方法和计算机可读存储介质 | |
CN105847252B (zh) | 一种多账户切换的方法及装置 | |
CN105959743A (zh) | 一种视频广告播放方法、装置和服务器 | |
CN112492347A (zh) | 处理信息流、显示弹幕信息的方法及信息流处理系统 | |
CN105142000A (zh) | 基于电视播放内容的信息推送方法及系统 | |
CN112771881A (zh) | 弹幕处理方法、装置、电子设备及计算机可读取存储介质 | |
CN106792154A (zh) | 视频播放器的跳帧同步系统及其控制方法 | |
KR101769353B1 (ko) | 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법 | |
CN107659603B (zh) | 用户与推送信息互动的方法及装置 | |
MY146443A (en) | Method and apparatus for signaling transmission code set in data broadcasting | |
CN111008287B (zh) | 音视频处理方法、装置、服务器及存储介质 | |
CN105791964B (zh) | 跨平台的媒体文件播放方法及系统 | |
CN113784094B (zh) | 视频数据处理方法、网关、终端设备及存储介质 | |
CN113923530B (zh) | 一种互动信息展示方法、装置、电子设备及存储介质 | |
CN112839256B (zh) | 视频播放方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20200402 Address after: Redmond, Washington, USA Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC Address before: Ai Erlandubailin Patentee before: Skype |