CN1860792B - 视频编码设备、控制视频编码方法 - Google Patents

视频编码设备、控制视频编码方法 Download PDF

Info

Publication number
CN1860792B
CN1860792B CN200480028220XA CN200480028220A CN1860792B CN 1860792 B CN1860792 B CN 1860792B CN 200480028220X A CN200480028220X A CN 200480028220XA CN 200480028220 A CN200480028220 A CN 200480028220A CN 1860792 B CN1860792 B CN 1860792B
Authority
CN
China
Prior art keywords
frame
coding
encoding process
time
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200480028220XA
Other languages
English (en)
Other versions
CN1860792A (zh
Inventor
塚越郁夫
高田信司
后藤晃一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1860792A publication Critical patent/CN1860792A/zh
Application granted granted Critical
Publication of CN1860792B publication Critical patent/CN1860792B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Abstract

可以实现一种简单结构的视频编码设备，其能够避免因为视频编码处理的超限运行而导致的视频显示质量下降。该视频编码设备包括：编码装置，用于使得每个视频帧经历第一编码处理；处理时间检测装置，用于检测执行帧编码所需要的编码处理时间；延迟时间计算装置，用于根据对于编码处理给出的估计编码处理时间和实际编码处理时间来计算帧编码处理的处理延迟时间；以及编码负荷控制装置，用于当帧处理延迟时间超过预定阈值时以具有低于第一编码处理方法的处理负荷的第二编码处理方法对随后的帧进行编码。因此，可以在已经发生了超限运行之后减少帧处理时间，恢复超限运行，防止跳帧发生。

Description

视频编码设备、控制视频编码方法
技术领域
本发明涉及视频编码设备、控制视频编码的方法和控制视频编码的程序，并且适于被应用到实施软件编码的视频编码设备。
背景技术
传统地，对视频信号进行压缩编码/解码的设备常常以视频处理专用硬件来进行编码处理(编码)和解码处理(解码)。将此称为硬件编解码(例如，见专利文献1)。
相反地，随着近来计算机技术的发展，已经通过在通用CPU(中央处理单元)上执行视频处理程序来实现上述的编码处理和解码处理(将此称为软件编解码)。
与硬件编解码不同，这种软件编解码的优点是其具有仅仅通过改变视频处理程序就能容易地对诸如MPEG(运动图像专家组)1/2/4和JPEG 2000等的国际标准化的压缩编码系统或其他各种压缩编码方法进行解析的能力。此外，在其中已经开发了新的压缩编码方法的情况中，仅仅根据该方法来更新视频处理程序就能够容易的解析最新的压缩编码方法。
专利文献1日本专利公开No.2003-61097
在软件编码中，CPU以分时的方式交替地处理视频编码处理(视频编码线程或进程)和音频编码处理(音频编码线程或进程)。对于音频，其延迟或缺失易于被用户察觉，而且通常，音频编码线程优先进行处理。例如，覆盖一帧的音频在一帧时间段期间(1/30秒)经历处理，之后一帧的视频经历处理。
图8示出了软件编码的处理状态，将从外部输入的视频数据以及音频数据临时分别存储在视频输入缓存器以及音频输入缓存器中。CPU首先执行音频编码线程并且从音频输入缓存器中读出压缩的代码，之后将覆盖一帧的音频数据输出。随后，CPU执行视频编码线程，从视频输入缓存器中读出压缩的代码，之后输出一帧的视频数据。因此，CPU以分时的方式以帧时间段为基础顺序地进行对音频数据以及视频数据的编码。
这里，在对音频进行压缩编码处理中，其处理时间变化不大，但是相反地，在对视频进行压缩编码处理中，其处理时间根据试图经历编码的输入视频(图片或运动画面等)的复杂程度而明显变化。
例如，对于有很多相对平缓部分和较少运动的视频的处理时间较短，相反地，对包括复杂画面和诸如体育广播的、以中等速度经历镜头移动和缩放的正在进行的运动的视频的处理时间就会增加。因为这种处理时间的增加，存在其中在一帧时间段内不能完成编码处理的情况。将这种处理延迟称为超限运行(overrun)。
也就是，在图8中，第N帧极其复杂并且认为在一帧时间段内完成编码已经失败(发生超限运行)。在这种情况中，经历超限运行发生的CPU对第N帧的编码处理的完成将以削减对第N+1帧进行编码的时间而结束。这里，通常由OS(操作系统)的上下文切换来实施对音频的各个编码线程的切换。
这里，这种帧时间段原来是用于处理第N+1帧的时间段，但是经历超限运行发生的帧已经经历了处理，所以第N+1帧不能经历处理.因此，CPU跳过对相关第N+1帧的编码处理以从随后的第N+2帧进行编码处理.
因此，传统的软件编码被设计来在视频编码处理中已经发生超限运行的情况中跳过对随后帧的编码。但是，发生这种跳帧将使得所显示的视频处于逐帧提前的状态，从而产生损害视频的显示质量的问题。
为了防止这种超限运行，可以考虑多个CPU的并行操作和增加CPU的时钟频率等，但是就会存在使得整个设备变得复杂并且增加功耗的问题。
发明内容
在考虑到上述问题的情况下已经获得了本发明，本发明试图提出一种结构简单并且能够避免因为视频编码处理的超限运行而导致的视频显示质量下降的视频编码设备，以及一种控制视频编码的方法和一种控制视频编码的程序。
为了解决这种问题，将本发明进行设计以提供一种视频编码设备，其带有：编码装置，用于以相关的第一编码处理方法或带有低于第一编码处理方法的编码处理负荷的第二编码处理方法基于帧将视频送入编码处理；处理时间检测装置，用于检测对帧进行编码处理所需要的实际编码处理时间；延迟计算装置，用于根据由第一编码处理方法按照编码处理时间段给出的预定编码目标时间和当将当前帧以第一编码处理方法进行编码处理时的实际编码处理时间来计算对当前帧进行编码处理的处理延迟时间；以及编码负荷控制装置，用于当根据当前帧的编码目标时间和实际编码处理时间所计算的相关当前帧的处理延迟时间大于或等于预定的阈值的情况中，指令编码装置以带有低于第一编码处理方法的编码处理负荷的第二编码处理方法对随后的帧实施编码处理。将编码装置进行设计，从而在被编码负荷控制装置指令来以第二编码处理方法对随后帧进行编码处理的情况中，在相关随后帧的帧时间段中，以第一编码处理方法对当前帧的未被编码的部分进行编码；并且在完成对相关当前帧的未被编码的部分进行编码处理之后立即对随后帧开始编码处理。
根据编码处理中延迟的发生，为了减小对随后帧的编码负荷而进行的控制使得在发生超限运行之后缩短帧处理时间从而从超限运行中恢复成为可能，并且使得防止由于超限运行的发生而导致的跳帧和防止视频显示质量下降成为可能。
此外，已经将本发明进行设计，以当对连续的多个帧的处理延迟时间的累积值大于或等于预定的阈值时，以带有低于第二编码处理方法的编码处理负荷的第三编码处理方法对相关多个帧之后的帧实施编码处理。。
即使在超限运行的值较大并且从对一帧的相关超限运行的恢复以失败结束的情况中，进一步减轻对前向帧的编码处理负荷也使得在多个帧期间从超限运行进行具体实际的恢复成为可能。
如上所述，本发明可以实现一种视频编码设备、控制视频编码的方法和控制视频编码的程序，其能够根据视频编码处理中延迟的发生来控制对随后帧的编码负荷以减少延迟的发生；从而，在发生超限运行之后缩短帧的处理时间以从超限运行中进行恢复；并且防止由于发生超限运行而导致的跳帧并且避免视频显示质量的下降。
附图说明
图1示出了根据本发明的信号处理设备的整体结构框图；
图2示出了信号处理设备的系统的示意框图；
图3示出了用于解释根据本发明的超限运行恢复的时序图；
图4示出了对正常编码进行处理的示意框图；
图5示出了在恢复编码模式1上进行处理的示意框图；
图6示出了在恢复编码模式2上进行处理的示意框图；
图7示出了根据本发明的超限运行恢复处理过程的流程图；和
图8示出了用于解释根据超限运行的跳帧的时序图。
具体实施方式
以下，参照附图来说明本发明的实施方式。
(1)信号处理设备的整体结构
在图1中，参考数字1整体表示作为根据本发明的视频编码设备的信号处理设备，并且将本地存储器3、信号输入/输出部分4和网络接口5都连接到整体控制相关信号处理设备1的CPU 2。用快速本地总线将CPU 2直接连接到本地存储器3。
而且在信号处理设备1中，将CPU 2进行设计以读出和执行未在图中示出的ROM中所存储的编解码程序，从而用软件对视频和音频信号进行编码和解码处理。
也就是，信号处理设备1在编码视频和音频的时候，将从外部输入的模拟视频信号和模拟音频信号送到信号输入/输出部分4的A/D(模拟/数字)转换器4A进行数字转换，产生数字视频数据和数字音频数据(之后简称为视频数据和音频数据)，并且临时将它们存储在本地存储器3中。
CPU 2顺序地读出在本地存储器3中存储的视频数据和音频数据，并且例如以诸如MPEG 1/2/4等的国际标准化的压缩系统，或者以符合已经在上面描述的编解码程序的其他各种视频/音频压缩系统，对所述数据进行压缩编码，并且产生编码的视频数据和编码的音频数据。
而且CPU 2临时地将这些编码的视频数据和编码的音频数据存储在本地存储器3中，之后顺序地读出它们并且将它们提供给网络接口5。网络接口5处理编码的视频数据和编码的音频数据以根据预定的格式形成数据包(打包)，从而将它们发送到外部存储介质或者位于发送目的地的设备。
在另一方面，信号处理设备1在对视频和音频进行解码的时候，将从外部存储介质和位于发送源处的设备提供来的打包过的编码的视频数据和编码的音频数据用网络接口5进行恢复(解打包)，并且将它们临时地存储在本地存储器3中。
作为编码装置的CPU 2顺序地读出在本地存储器3中所存储的压缩的视频数据和压缩的音频数据，并且根据已经在上面描述过的编解码程序将它们解码以产生视频数据和音频数据。
而且CPU 2临时地将这些视频数据和音频数据存储在本地存储器3中，并之后将它们顺序读出并且提供给信号输入/输出部分4.信号输入/输出部分4的D/A(数字/模拟)转换器4B将视频数据和音频数据进行模拟转换，以产生模拟视频信号和模拟音频信号，并且将它们对外输出.
因此，信号处理设备1用软件编解码对视频信号和音频信号执行编码处理和解码处理。
随后，将参照图2中示出的系统示意图来详细描述在信号处理设备1中用软件编解码对视频信号和音频信号进行的编码处理和解码处理。
在编码的时候，将从信号输入/输出部分4的A/D转换器4A(见图1)提供来的视频数据和音频数据分别存储在本地存储器3的视频输入缓存器3A和音频输入缓存器3B中。
在图2中，在由CPU 2所执行的编解码程序中的视频输入缓存器控制器10A总是监视视频输入缓存器3A，并且当在具有覆盖两帧的尺寸的相关视频输入缓存器3A中积累了覆盖一个帧的视频数据时，控制器10A将开始命令发送到与它们符合的编解码程序中的视频编码线程11A，并且使得其将覆盖一帧的视频数据从视频输入缓存器3A传送到视频编码线程11A。
视频编码线程11A根据从视频输入缓存器控制器10A提供来的开始命令从视频输入缓存器3A读出覆盖一帧的视频数据，并且将它们压缩编码以输出到本地存储器3的视频流输出缓存器3C，而且将反馈消息作为完成提示发送回视频输入缓存器控制器10A以完成该线程。
类似地，在编解码程序中的音频输入缓存器控制器10B总是监测音频输入缓存器3B，并且当在相关音频输入缓存器3B中积累了覆盖一帧的音频数据时，控制器10B将开始命令发送到与它们符合的编解码程序中的音频编码线程11B，并且使得其将覆盖一帧的音频数据从音频输入缓存器3B发送到音频编码线程11B。
音频编码线程11B根据从音频输入缓存器控制器10B提供来的开始命令从音频输入缓存器3B读出覆盖一帧的音频数据，并且将它们压缩编码以输出到本地存储器3的音频流输出缓存器3D，而且将反馈消息作为完成提示发送回音频输入缓存器控制器10B以完成线程。
这里，相对于视频编码线程11A优先处理音频编码线程11B。
而且，网络接口5的打包器5A将编码视频数据和编码音频数据读出、打包并且从视频流输出缓存器3C和音频流输出缓存器3D输出。
在另一方面，在解码的时候，网络接口5的解包器5B从外部提供的数据包中提取编码的视频数据和编码的音频数据，以将它们存储在本地存储器3的视频流输入缓存器3E和音频流输入缓存器3F中。
在CPU 2所执行的编解码程序中的视频流输入缓存器控制器10C总是监测视频流输入缓存器3E，并且当在相关视频流输入缓存器3E中积累了覆盖一个访问单元的编码的视频数据时，控制器10C将开始命令发送到由CPU 2所执行的编解码程序中的视频解码线程12A，并且使得其将覆盖一个访问单元的编码的视频数据从视频流输入缓存器3E发送到视频解码线程12A。
视频解码线程12A根据从视频流输入缓存器控制器10C提供来的开始命令从视频流输入缓存器3E读出覆盖一个访问单元的编码的视频数据，并且将它们解码以输出到本地存储器3的视频输出缓存器3G，而且将反馈消息作为完成提示发送回视频流输入缓存器控制器10C以完成线程.
类似地，在编解码程序中的音频流输入缓存器控制器10D总是监测音频流输入缓存器3F，并且当在相关音频流输入缓存器3F中积累了覆盖一个访问单元的编码的音频数据时，控制器10D将开始命令发送到与它们符合的编解码程序中的音频解码线程12B，并且使得其将覆盖一个访问单元的编码的音频数据从音频流输入缓存器3F发送到音频解码线程12B。
音频解码线程12B根据从音频流输入缓存器控制器10D提供来的开始命令从音频流输入缓存器3F读出覆盖一个访问单元的编码的音频数据，并且将它们解码以输出到本地存储器3的音频输出缓存器3H，而且将反馈消息作为完成提示发送回音频流输入缓存器控制器10D以完成线程。
(2)根据本发明的超限运行恢复
如上所述，将这种信号处理设备1进行设计以在编码的时候优先音频编码线程，并且在一个帧时间段期间交替执行分别覆盖一帧的音频编码线程和视频编码线程以进行编码处理。
在此之外，将这种信号处理设备1进行设计以在视频编码处理中已经发生编码延迟(超限运行)的情况下，改变线程执行顺序并且减少视频编码处理的负荷，从而在不进行编码跳过的情况下从超限运行中恢复(之后称为超限运行恢复)。
也就是，作为处理时间检测装置的CPU 2在视频编码线程开始的时候和结束的时候从系统时钟(未在附图中示出)获得时间信息，并且根据该开始时间和结束时间之间的时间差计算每一帧的实际编码处理时间。而且作为延迟计算装置的CPU 2通过将事先设置的编码目标时间从该实际编码处理时间中减去来计算处理延迟时间。
而且作为编码负荷控制装置的CPU 2将偶尔大于“0”的这种处理延迟时间当作发生超限运行并且执行超限运行恢复。
随后，将参照图3中所示的时序图来描述这种超限运行恢复的处理例子。在图3中，假设因为第N帧非常复杂所以在一帧期间还没有完成编码(发生超限运行)。在下面情况中，即如传统情况将CPU 2对已经发生了超限运行的第N帧的编码处理中断，并且在随后帧时间段期间，与第N+1帧对应的音频数据首先经历编码，之后恢复对已经发生了超限运行的第N帧的视频数据的编码，从而将对相关第N帧的编码完成。
在完成对恢复的第N帧的编码之后，CPU 2立即开始对第N+1帧的编码处理。在此时，作为编码负荷控制装置的CPU 2将带有低于正常编码处理的负荷的编码处理方法应用于该第N+1帧。将带有低于正常负荷的这种编码处理方法称为恢复编码模式1。相反地，将正常编码处理方法称为正常编码。图4和图5示出了正常编码和恢复编码模式1的处理示意图。
在这种恢复编码模式1中，CPU 2在编码预测中采用比正常编码中的窄的运动矢量搜索范围，从而消减运动矢量搜索的处理周期以减小处理负荷，因此缩短每帧的编码处理时间。
因此，在应用恢复编码模式1以缩短在一帧时间段内对相关第N+1帧完成编码处理而产生的编码处理时间(未在附图中示出)的情况中，CPU 2将正常编码应用于随后的第N+2帧并且向前进行处理。
相反的，如图3中所示，在计划了应用恢复编码模式1以缩短处理时间但是第N+1帧没有经历编码(超限运行恢复没有成功)的情况下，CPU 2临时地中断对相关第N+1帧的编码，而且在随后帧时间段期间首先将与第N+1帧对应的音频数据进行编码，之后恢复对第N+1帧的视频数据进行编码。
而且，在完成对所恢复的第N+1帧的编码之后，CPU 2开始对随后的第N+2帧进行编码处理。此时，作为编码负荷控制装置的CPU 2将带有比恢复编码模式1低得多的处理负荷的编码处理方法应用于该第N+2帧。将这种编码处理方法称为恢复编码模式2。
在该恢复编码模式2中，如图6中所示的处理示意图，CPU 2通过逆量化、逆变换编码和运动补偿来恢复(revitalize)帧的一系列反馈处理系统。这种反馈处理系统是将参考帧重构到帧存储器上以预测下一帧的过程。CPU 2在恢复编码模式2中停止这种反馈系统，从而与模式1相比也缩短了编码处理时间。
因此，将CPU 2进行设计以在应用恢复编码模式1不能从超限运行恢复的情况中，通过将带有更低处理负荷的模式2应用于随后的帧而确保在3帧时间段内从发生超限运行中恢复。
这里，为了超限运行恢复而应用恢复编码模式2将产生其中不将用于运动预测的参考帧记录在帧存储器中的状态，从而下一帧将禁止运动预测使用这种参考帧。
因此，在已经应用了恢复编码模式2的情况中，CPU 2将随后的帧进行编码作为没有经历运动预测的I画面(内编码画面)，并且用该帧作为开始点重构GOP(图像组)。
随后，将参照图7中所示的流程图来描述已经在上面说明过的编解码程序中的超限运行恢复的处理过程。信号处理设备1的CPU 2以例程RT 1中的开始步骤来开始，并且前进到下一步骤SP1。
在步骤SP1，CPU 2直接从OS(操作系统)或者硬件获得对于紧接之前的视频帧的编码线程结束定时和对于当前视频帧的编码线程开始定时，并且将它们分别存储。并且CPU 2得到已经在存储中的、对于紧接之前帧的开始时间和随后的结束时间之间的差，从而计算对紧接之前帧进行编码所需要的处理延迟时间TN，并且将相关的TN与超限运行积累处理时间相加，再前进到步骤SP2。这里，在处理开始时将积累处理延迟时间设置为“0”。
在步骤SP2，CPU 2根据所计算的积累处理延迟时间和超限运行计数器的值来确定是否存在超限运行的发生。
在步骤SP2中，在通过将积累处理延迟时间除以超限运行计数器值而获得的值小于在系统开始的时候作为视频编码线程给出的目标时间TGT(TarGet时间)的情况中，这就指示还没有发生超限运行，并且在此时，CPU 2前进到步骤SP3从而用正常编码来对该帧进行编码，以将积累处理延迟时间复位到“0”并且同时将超限运行计数器复位到“1”而且返回步骤SP1。
在另一方面，在步骤SP2，在通过将积累处理延迟时间除以超限运行计数器值而获得的值大于在系统开始的时候作为视频编码线程给出的目标时间TGT(TarGet时间)的情况中，这就指示已经发生了超限运行，并且在此时，CPU 2前进到步骤SP4从而对超限运行计数器的值加“1”以对其中已经发生了超限运行的帧进行计数，并且前进到下一步骤SP5。
在步骤SP5，CPU 2根据超限运行计数器的计数值来确定已经经历了超限运行的帧的数目。
在步骤SP5，在将已经经历了超限运行的帧的数目确定为一次的情况中，CPU 2前进到步骤SP6，将恢复编码模式1应用于随后帧以执行编码并且返回到步骤SP1。
相反地，在步骤SP5，在将已经经历了超限运行的帧的数目确定不为一次的情况中，CPU 2前进到步骤SP7，将恢复编码模式2应用于随后的帧以执行编码，而且指定以I画面对再随后的帧进行编码并且重构GOP以返回到步骤SP1。
(3)操作和效果
在上述结构中，这种信号处理设备1对音频编码线程优先，并且在一帧时间段期间交替执行分别覆盖一帧的音频编码线程和视频编码线程以进行对视频和音频的编码。
并且信号处理设备1检测在视频编码线程中超限运行的发生，然后根据检测结果，对经历相关超限运行的发生的帧之后的下一个帧立即开始编码。在此时，信号处理设备1将带有较轻处理负荷的恢复编码模式1应用到下一帧，从而试图缩短每帧的编码处理时间以从超限运行恢复。
而且，在已经应用了恢复编码模式1到下一帧但是没有从超限运行恢复的情况中，信号处理设备1将带有更轻的处理负荷的恢复编码模式2应用于再随后的帧，从而可以确保在从超限运行发生起有限的帧时间段内(例如，在3个帧时间段内)从超限运行恢复。
此外，信号处理设备1因此可以避免超限运行而导致的跳帧，并且因此可以降低类似于CPU 2的和外设的处理能力和时钟频率，而且能够从其整体上减少系统的配置和降低功耗。
根据上述结构，信号处理设备1根据超限运行的发生来减小对随后帧的编码处理负荷，从而可以避免跳帧导致的视频显示质量下降。
(4)其他实施方式
这里，已经将上述实施方式进行设计以首先将带有已经根据超限运行的发生而被变窄的运动矢量搜索范围的恢复编码模式1进行应用，并且在尽管如此还不能从超限运行恢复的情况中，进一步将带有更轻处理负荷的模式2应用于随后的帧，从而使得在从发生超限运行起3帧时间段内能够从超限运行恢复，但是该恢复时间段并不限于3帧时间段。此外，连续多次应用模式1或者在发生超限运行之后立即应用模式2等，各种样式的使用都允许在发生超限运行当时或之后减轻视频编码处理负荷。
此外，已经将上述实施方式进行设计以使用两种类型的恢复编码，即，带有已经被变窄的运动矢量搜索范围的模式1和省略了用于帧间预测的参考帧重构处理的模式2，但是本发明并不限于此，相反地，可以将经过减轻处理负荷的各种其他编码处理进行组合使用。
而且，在上述实施方式中，已经描述了将本发明已经应用于具有对视频和音频进行编码和解码两种功能的信号处理设备的情况，但是本发明并不限于此，相反地，可以将本发明应用于仅仅具有编码功能或者解码功能的信号编码设备中。
产业的可利用性
例如，可以将本发明的视频编码设备、控制视频编码的方法和控制视频编码的程序应用到如下应用中：通过因特网对运动图像数字化的内容或者已经经历了压缩编码的经过数字化的模拟视频信号进行实时分发或接收；在国内或者有限网络环境下进行实时分发和接收；以及诸如时间偏移的视频记录器(PVR：个人视频记录)。

Claims (5)

1.一种视频编码设备，其特征在于包括：
编码装置，用于以第一编码处理方法或带有低于相关第一编码处理方法的编码处理负荷的第二编码处理方法基于帧将视频送入编码处理；
处理时间检测装置，用于检测对所述帧进行编码处理所需要的实际编码处理时间；
延迟计算装置，用于根据由所述第一编码处理方法按照编码处理时间段给出的预定编码目标时间和当将当前帧以所述第一编码处理方法进行编码处理时的实际编码处理时间来计算对所述当前帧进行编码处理的处理延迟时间；以及
编码负荷控制装置，用于当根据对所述当前帧的所述编码目标时间和所述实际编码处理时间而计算的对相关当前帧的所述处理延迟时间大于或等于预定阈值时，指令所述编码装置以第二编码处理方法对随后的帧实施编码处理，其中
所述编码装置，在被所述编码负荷控制装置指令来以所述第二编码处理方法对随后帧进行编码处理的情况中，在相关随后帧的帧时间段中，以所述第一编码处理方法对所述当前帧的未被编码的部分执行编码；
并且在完成对相关当前帧的未被编码的部分进行编码处理之后立即对所述随后帧开始编码处理。
2.根据权利要求1所述的视频编码设备，特征在于
所述延迟计算装置将对于所述编码处理给出的所述编码预期处理时间从所述实际编码处理时间中减去，从而计算所述处理延迟时间。
3.根据权利要求1所述的视频编码设备，特征在于
当对连续的多个所述帧的所述处理延迟时间的累积值大于或等于预定的阈值时，所述编码负荷控制装置指令所述编码装置以带有低于所述第二编码处理方法的编码处理负荷的第三编码处理方法对相关多个帧之后连续的帧实施编码处理。
4.根据权利要求1所述的视频编码设备，特征在于
在对所述帧的所述处理延迟时间大于或等于预定阈值的情况中，所述编码负荷控制装置使得所述编码装置在完成对相关帧的编码处理之后开始对连续的随后帧进行编码处理。
5.一种视频编码控制方法，其特征在于包括：
编码步骤，用于以第一编码组件或带有低于相关第一编码处理方法的编码处理负荷的第二编码处理方法基于帧将视频送入编码处理；
处理时间检测步骤，用于检测基于帧对视频进行编码处理所需要的实际编码处理时间；
延迟计算步骤，用于根据由所述第一编码处理方法按照编码处理时间段给出的预定编码目标时间和当将当前帧以所述第一编码处理方法进行编码处理时的所述实际编码处理时间来计算对所述当前帧进行编码处理的处理延迟时间；以及
编码负荷控制步骤，用于当根据对所述当前帧的所述编码目标时间和所述实际编码处理时间而计算的对相关当前帧的所述处理延迟时间大于或等于预定阈值时，在随后帧的帧时间段中，以所述第一编码处理方法对所述当前帧的未被编码的部分进行编码，并且在完成对相关当前帧的未被编码的部分的编码处理之后，立即以带有低于所述相关第一编码处理方法的编码处理负荷的第二编码处理方法对所述随后帧进行编码处理。
CN200480028220XA 2003-09-02 2004-09-02 视频编码设备、控制视频编码方法 Expired - Fee Related CN1860792B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003310638A JP3802521B2 (ja) 2003-09-02 2003-09-02 符号化装置、符号化制御方法及び符号化制御プログラム
JP310638/2003 2003-09-02
PCT/JP2004/013083 WO2005025226A1 (ja) 2003-09-02 2004-09-02 映像符号化装置、映像符号化制御方法及び映像符号化制御プログラム

Publications (2)

Publication Number Publication Date
CN1860792A CN1860792A (zh) 2006-11-08
CN1860792B true CN1860792B (zh) 2010-05-12

Family

ID=34269653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200480028220XA Expired - Fee Related CN1860792B (zh) 2003-09-02 2004-09-02 视频编码设备、控制视频编码方法

Country Status (7)

Country Link
US (1) US8665966B2 (zh)
EP (1) EP1662794A4 (zh)
JP (1) JP3802521B2 (zh)
KR (1) KR101121613B1 (zh)
CN (1) CN1860792B (zh)
TW (1) TWI249958B (zh)
WO (1) WO2005025226A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711923B2 (en) * 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
JP4623650B2 (ja) * 2005-09-06 2011-02-02 パナソニック株式会社 動画像符号化装置，動画像符号化方法
CN100466736C (zh) * 2005-12-30 2009-03-04 杭州华三通信技术有限公司 运动图像编码控制方法及编码装置
JP2007195117A (ja) * 2006-01-23 2007-08-02 Toshiba Corp 動画像復号装置
JP2007251553A (ja) * 2006-03-15 2007-09-27 Matsushita Electric Ind Co Ltd リアルタイム処理装置及びその方法
JP2008092107A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 情報処理装置及び音声／映像データ再生方法
CN100463525C (zh) * 2006-12-11 2009-02-18 浙江大学 计算复杂度可动态调整的视频编码方法和装置
JP2008216472A (ja) * 2007-03-01 2008-09-18 Matsushita Electric Ind Co Ltd 音声復号化装置及び音声復号化システム
EP2143668A1 (de) 2008-07-09 2010-01-13 Interrroll Holding AG Rollenbahn mit Profilschiene
CN101394554B (zh) * 2008-09-28 2010-06-09 湖北科创高新网络视频股份有限公司 一种自适应跳帧方法和装置
JP5652066B2 (ja) * 2010-09-03 2015-01-14 ヤマハ株式会社 動画圧縮制御装置、動画記録装置及び動画記録再生装置
WO2014179890A1 (en) * 2013-05-09 2014-11-13 Sunnybrook Research Institute Systems and methods for providing visual feedback of touch panel input during magnetic resonance imaging
CN103402086B (zh) * 2013-07-22 2017-02-15 华为技术有限公司 一种用于视频编码系统的性能控制方法及编码器
US9397683B2 (en) * 2014-08-05 2016-07-19 Intel Corporation Reduced digital audio sampling rates in digital audio processing chain
CN105898371A (zh) * 2015-12-07 2016-08-24 乐视云计算有限公司 实时转码的实时控制方法及装置
JP6724581B2 (ja) * 2016-06-15 2020-07-15 富士通株式会社 画像符号化装置、方法、及びプログラム
CN112040235B (zh) * 2020-11-04 2021-03-16 北京金山云网络技术有限公司 视频资源的编码方法和装置，视频资源的解码方法和装置
CN113038139B (zh) * 2021-03-25 2023-05-12 贵州电网有限责任公司 一种应用于机巡图片上传的图像压缩方法
CN113613071B (zh) * 2021-07-30 2023-10-20 上海商汤临港智能科技有限公司 一种图像处理方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1211876A (zh) * 1997-06-25 1999-03-24 索尼公司 数字信号编码方法和装置、信号记录介质和信号传送方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69031145T2 (de) * 1989-05-12 1998-03-26 Nec Corp Video-Übertragungssystem mit einer adaptiven Bild-zu-Bild-Prädiktionscodierung
US5818969A (en) * 1995-05-12 1998-10-06 Intel Corporation Intelligent start for motion estimation search
JPH10200900A (ja) 1997-01-10 1998-07-31 Nippon Telegr & Teleph Corp <Ntt> 符号化映像の高画質メディア同期再生方法及び装置
JP3588970B2 (ja) * 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
JP3407287B2 (ja) * 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
JP3185763B2 (ja) 1998-07-13 2001-07-11 日本電気株式会社 動画像符号化装置
JP3184175B2 (ja) 1999-03-05 2001-07-09 日本電気アイシーマイコンシステム株式会社 復号化装置
US6876703B2 (en) 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
JP2001346216A (ja) * 2000-06-06 2001-12-14 Toshiba Corp 動画像圧縮方法および情報処理装置
JP2001352471A (ja) * 2000-06-07 2001-12-21 Toshiba Corp ビデオカメラ装置
EP1267464B1 (de) 2001-06-11 2005-08-24 ABB Schweiz AG Isolator für ein elektrisches Verschienungssystem sowie ein Isolatorsystem mit solchen Isolatoren
JP2003061097A (ja) 2001-08-09 2003-02-28 Sony Corp 画像符号化装置および方法、記録媒体、並びにプログラム
JP4151374B2 (ja) 2002-03-29 2008-09-17 セイコーエプソン株式会社 動画像符号化装置および動画像符号化方法
US20050024486A1 (en) 2003-07-31 2005-02-03 Viresh Ratnakar Video codec system with real-time complexity adaptation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1211876A (zh) * 1997-06-25 1999-03-24 索尼公司 数字信号编码方法和装置、信号记录介质和信号传送方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2001-346216A 2001.12.14
JP特开2001-352471A 2001.12.21
JP特开平10-200900A 1998.07.31

Also Published As

Publication number Publication date
JP2005080123A (ja) 2005-03-24
US20070014355A1 (en) 2007-01-18
WO2005025226A1 (ja) 2005-03-17
TWI249958B (en) 2006-02-21
JP3802521B2 (ja) 2006-07-26
EP1662794A1 (en) 2006-05-31
US8665966B2 (en) 2014-03-04
KR20060131725A (ko) 2006-12-20
EP1662794A4 (en) 2012-07-25
CN1860792A (zh) 2006-11-08
TW200515820A (en) 2005-05-01
KR101121613B1 (ko) 2012-04-16

Similar Documents

Publication Publication Date Title
CN1860792B (zh) 视频编码设备、控制视频编码方法
JP6207116B2 (ja) 監視ビデオをエンコードするための方法及び装置
US20020118756A1 (en) Video coding method and data processing device
CN1199308A (zh) 图像预测解码/编码方法及装置以及数据存储媒体
JP2017200176A (ja) フレーム間ビデオ圧縮におけるオープン・グループ・オブ・ピクチャからクローズ・グループ・オブ・ピクチャへの変換
CN102017636B (zh) 影像的解码
JP4342139B2 (ja) 信号処理装置
JP2004357002A (ja) 映像データフォーマット変換システム及び方法
JPH10336679A (ja) 可変レート符号化装置
EP2277311B1 (en) Apparatus and method for recording video data
KR20060109317A (ko) 프로그램, 정보 처리 장치, 정보 처리 방법, 및 기록 매체
JP3410669B2 (ja) 映像音声処理装置
WO2010134238A1 (ja) 映像記録装置
KR19980033397A (ko) 동화상 부호화 방법, 동화상 부호화 장치, 및 동화상 부호화 프로그램 기록 매체
JPH0984023A (ja) フレーム内符号化挿入方法および映像符号化装置
KR100480518B1 (ko) 영상 데이터 인코딩 또는 디코딩 방법 및 그 장치
KR100726695B1 (ko) 디지털 신호 처리 장치 및 방법과 제공 매체
JP5361577B2 (ja) 映像復号化装置及び映像復号化方法
JP2014075708A (ja) 動画像符号化装置及び動画像符号化方法
JP2621337B2 (ja) 背景予測を用いた動画像の予測符号化方式とその装置
JP2001320653A (ja) 画像復号装置及び画像復号方法
JP3861453B2 (ja) 動画データ圧縮装置
JPH07135652A (ja) 静止画データの圧縮方法及び装置、静止画データの伸長方法及び装置
JP2008244585A (ja) デコード処理装置
JP2002112275A (ja) 画像復号方法、画像復号装置、およびデータ記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100512

Termination date: 20150902

EXPY Termination of patent right or utility model