CN101107859B - 对编码转换视频进行视觉检查的方法、设备和系统 - Google Patents

Abstract

本发明提供了一种在将视频文件再编码为例如另一视频格式的同时对视频文件与其源进行视觉比较的方法、设备和系统。根据本发明的实施例，将视频帧和对应的再编码视频帧放入单个宽(组合)视频帧中，以在相同帧中例如并排地显示每副图像。通过对源视频帧与再编码视频帧同步，并在相同的宽视频帧轴显示，可以在将视频再编码为所需的第二视频格式的同时从视觉上确定由例如编码过程引起的差别。

Description

对编码转换视频进行视觉检查的方法、设备和系统

技术领域

本发明涉及视频编码系统，更具体地涉及一种在将视频文件再编码为例如另一视频格式的同时对视频文件进行视觉检查的方法、设备和系统。

背景技术

当将视频从一种格式再编码为另一种格式时，难以确定各种编码参数会对产生的视频图像造成怎样的影响。一些将原始视频与其产生的新编码视频相比较的现有技术解决方案包括：对视频流进行编码，然后独立地播放原始视频和新编码视频，以检测任何差别。但是，编码过程可能比较冗长，等待完成编码过程之后再比较视频流不允许在编码过程中进行实时调整，并不是最有效的解决方案。此外，在这种现有技术解决方案中，没有可靠的方法将视频流彼此同步以进行比较。

发明内容

本发明通过提出一种用于对编码转换视频进行实时视觉检查的方法、设备和系统。

在本发明的一个实施例中，一种用于在将视频流再编码为第二视频格式的同时对视频流进行视觉检查的方法包括：将解码视频流分割为至少第一和第二部分；将视频流的第一分割部分再编码为第二视频格式；以及将视频流的第二分割部分的解码视频帧和对应的再编码视频帧设置成组合视频帧，以使解码视频帧和对应的再编码视频帧一并出现在该组合视频帧中。

在本发明的备选实施例中，一种允许在将视频流再编码为第二视频格式的同时对视频文件进行视觉检查的视频混合器包括处理器和存储池，所述视频混合器适于执行如下步骤：逐帧地接收视频流的解码的第二分割部分；逐帧地接收视频流的、对应的再编码的第一分割部分；以及将视频流的第二分割部分的解码视频帧和对应的再编码视频帧设置成组合视频帧，以使解码视频帧和对应的再编码视频帧一并出现在该组合视频帧中。

在本发明的备选实施例中，一种允许在将视频流再编码为第二视频格式的同时对视频文件进行视觉检查的系统包括：视频解码器，用于对所接收的视频流进行解码；流分割器，用于将解码视频流分割为至少第一和第二部分；编码器，用于接收解码视频流的第一分割部分，并将所接收的解码视频流部分再编码为第二视频格式；以及视频混合器，包括处理器和存储器。本发明的视频混合器适于执行如下步骤：接收视频流的解码的第二分割部分；接收来自编码器的、视频流的再编码的第一部分；以及将视频流的第二分割部分的解码视频帧和对应的再编码视频帧设置成组合视频帧，以使解码视频帧和对应的再编码视频帧一并出现在该组合视频帧中。本发明的系统还可以包括显示设备，用于在组合视频帧中显示解码视频帧和对应的再编码视频帧。

附图说明

通过考虑以下结合附图的详细描述，可以容易地理解本发明的示教，附图中：

图1示出了根据本发明实施例的视频编码和视觉比较(VEVC)系统的高层框图；

图2示出了适合在图1的VEVC系统中使用的视频混合器实施例的高层框图；

图3示意性地示出了在沿基本上相同的取向并排显示对应视频帧的操作模式下的视频混合器的输出；

图4示意性地示出了在正常显示原始解码视频帧而沿x轴反转对应的再编码视频帧的模式下视频混合器的输出；以及

图5示出了根据本发明实施例、在视频混合器中用于接收视频流输入并将完成的宽帧通信至显示设备以进行视觉比较的方法的流程图。

为了方便理解，使用相同的附图标记来指示附图中共有的相同元件。

具体实施方式

本发明有利地提供了用于对编码转换视频进行实时视觉检查的方法、设备和系统。虽然主要在对解码的原始视频流与再编码视频流的帧进行视觉比较的情况下对本发明进行描述，但是所属领域的技术人员可以理解，通过本发明的示教，本发明的构思可以应用于多于两个的视频流的视觉比较。

图1示出了根据本发明实施例的视频编码和视觉比较(VEVC)系统的高层框图。图1所示VEVC系统100包括视频源102、视频解码器104、视频流分割器106、编码器108、视频混合器110和显示设备(图中所示的是视频监视器)112。在图1的VEVC100中，将来自视频源102的视频流通信至视频解码器104。在视频解码器104中，将视频流解码为例如RGB或YUV，并将解码视频流通信至流分割器106。流分割器106将解码视频流分割为两个基本上相同的流。将第一流通信至编码器108，以将所接收的解码视频流编码为所需的第二视频格式。将来自流分割器106的第二流通信至视频混合器110。

编码器108输出新编码的比特流，同时也向视频混合器110提供一组再编码的预览帧。编码器108不调整所接收视频流的帧速率，这样，通信至视频混合器110的解码的原始视频流的每个视频帧具有从编码器108通信至视频混合器的同步视频帧。如图1的VEVC100所示，视频混合器110包括两个输入115和117。在图1的VEVC100中，通信至第一输入115的视频流是从流分割器106通信而来的解码的原始视频流，通信至第二输入117的视频流是从编码器108通信而来的再编码视频流。视频混合器110的输出包括单个(组合)视频帧，该视频帧具有与原始视频帧基本上相同的高度，但是宽度是后者的两倍。这允许将解码的原始视频流的视频图像与再编码视频流的视频图像定位在要由视频监视器112显示的组合视频帧中，以便对图像进行视觉检查，检测是否有任何差别。

图2描绘了适合在图1的VEVC系统100中使用的视频混合器110的实施例的高层框图。图2的视频混合器110包括处理器210和用于存储控制程序、缓冲池等的存储器220。处理器210与诸如电源、时钟电路、高速缓存等常规支持电路230以及协助执行存储器220中存储的软件例程的电路彼此协作。这样，可以考虑将在此所述的作为软件过程的过程步骤中的一些在硬件内实现，例如，作为与处理器210协作以执行多种步骤的电路。视频混合器110还包含输入输出电路240，该输入输出电路240形成与视频混合器110进行通信的多种功能元件之间的接口。例如，如图1所示，视频混合器110分别经由第一路径S1和第二路径S2与流分割器106和编码器108进行通信，并经由输出路径01与显示设备112进行通信。

虽然将图2的视频混合器110描绘为编程用于执行根据本发明的多种控制功能的通用计算机，但是本发明可以实现为硬件，例如，作为专用集成电路(ASIC)。因此，在此描述的过程步骤要广义地解释为可由软件、硬件或其组合等效地执行。

相对于视频采样的特定细节，对流分割器106和编码器108与视频混合器110的连接进行协商。即，向视频混合器110通知第一输入115具有图像(宽度×高度)和(帧速率)，第二输入117具有图像(宽度×高度)和(帧速率)。在本发明的一个实施例中，至视频混合器110的输入(例如，解码的原始视频流和再编码视频流)具有相同高度和宽度，并且再编码视频流保留解码的原始视频流的帧速率，以便进行正确同步。这种配置方便了对解码的原始视频流和再编码视频流的最佳比较。更具体地，如果至视频混合器110的输入具有相同高度和宽度，并且再编码视频流保留解码的原始视频流的帧速率，则输出图像包括基本上相同的尺寸，并显示对应的视频帧，这使两个输出视频图像之间的比较容易得多。

在至视频混合器110的输入(例如，解码的原始视频流和再编码视频流)不具有相同高度和宽度、并且再编码视频流未保留解码的原始视频流的帧速率的情况下，可选地，本发明的视频混合器，例如图1的视频混合器100可以拒绝输入并不执行任何处理，或者可以对输入之一或两个输入执行缩放例程。即，在后一种情况下，视频混合器可以尝试对输入的属性(例如，高度、宽度和速率)进行缩放，以使输出图像包括基本上相同的尺寸，并显示对应的视频帧。但是，在这种实施例中，经调整的视频流可能产生质量下降的图像。

如上所述，首先，确定视频流的输入属性(例如，颜色空间、高度、宽度、帧速率等)。接着，在视频混合器110中创建宽(组合)帧(例如，{输入高度}×{输入宽度^*2}×{量化})的缓冲池。对于由视频混合器110接收的每个帧，在从缓冲池中选择的宽帧的适当位置处存储该帧的复制件。例如，对于第一操作模式，将解码的原始视频帧和对应的再编码帧复制到宽帧的各个位置处。在第一操作模式下，视频混合器110使要在视频监视器112上显示的解码的原始视频帧和对应的再编码视频帧在宽输出帧中是沿基本上相同的取向并排放置的。图3示意性地描绘了这种操作模式下视频混合器110的输出。如图3所示，在宽输出帧中沿基本上相同的取向显示解码的原始视频帧和对应的再编码视频帧。可以实施本发明的这种模式，以检测由于例如编码转换过程引起的图像之间相对较大的差别。

对于第二操作模式，将解码的原始视频帧复制到宽帧中的适当位置，并将对应的再编码视频帧复制到宽帧中的位置处，以使在视频监视器112上显示时，这些视频帧看起来是沿x轴彼此反转的。即，对于第二操作模式，视频混合器110使要在视频监视器112上显示的解码的原始视频帧和对应的再编码视频帧沿基本上相反的取向而并排放置的。更具体地，在第二操作模式中，正常显示视频帧之一，而将第二视频帧沿x轴反转，以使逐像素的差别更加明显。例如，在本发明的一个实施例中，正常显示解码的原始视频帧，而沿x轴反转对应的再编码视频帧。在本发明的可选实施例中，正常显示再编码视频帧，而沿x轴反转对应的解码原始帧。图4示意性地描绘了在实施例的这种模式下视频混合器110的输出，其中正常显示解码的原始视频帧，而沿x轴反转对应的再编码视频帧。

在本发明的可选实施例中，在本发明的视频混合器中，将解码的原始视频帧和对应的再编码视频帧复制到宽帧中的位置处，从而以蝴蝶形配置在视频监视器112上显示视频帧，以便将解码原始视频帧的一半显示在对应的再编码视频帧的相应一半的旁边。即，在宽帧的一侧(例如，左半部分)，将解码原始视频帧的第一半显示在对应的再编码视频帧的相应第一半的旁边，在宽帧的另一侧(例如，右半部分)，将解码原始视频帧的第二半显示在对应的再编码视频帧的相应第二半的旁边。但是，这种实施例要求在视频混合器中进行附加处理，以在宽帧中正确定位视频帧。

再次参照图1和2，在视频混合器110中，针对缓冲池的宽帧，实现队列，以定义进入视频帧的顺序。在一个实施例中，队列包括两个布尔标识符，一个针对宽帧的填充的左半部分，一个针对宽帧的填充的右半部分，每一半表示解码的原始视频流或再编码视频流的完整视频帧。对队列中的帧按顺序编号，从将队列看作各个帧本身。当宽帧的两侧，即左半部分和右半部分均得到填充时，将宽帧中的图像通信至视频监视器112。然后使等待递增到队列中的下一缓冲器。

图5描绘了根据本发明实施例、在视频混合器中用于接收视频流输入并将完成的宽帧通信至显示设备以进行视觉比较的方法的流程图。在步骤502进入图5的方法500，在此步骤中，本发明的视频混合器接收输入视频帧。然后，方法500前进到步骤504。应该注意，图5的方法500的步骤表示以宽帧的相同缓冲池进行操作的解码的原始视频流和再编码视频流。

在步骤504，视频混合器确定缓冲器(宽帧)对于所接收的视频帧是否是可用的。如果缓冲器不可用，则方法500前进到步骤506。如果缓冲器可用，则方法500跳到步骤508。

在步骤506，阻挡所接收的视频帧，直到缓冲器可用为止。然后方法500前进到步骤508。

在步骤508，将所接收的输入视频帧存储在队列中的第一逻辑缓冲器中。然后方法前进到步骤510。

在步骤510，用所接收的输入帧分别填充宽帧的左侧和右侧。当得到填充时，宽帧的每一半向视频混合器指示各个半部分均已填充。然后方法前进到步骤512。

在步骤512，将完成的宽帧通信至显示设备。然后方法前进到步骤514。

在步骤514，将与已通信的宽帧相关的缓冲器释放到队列中。然后，退出方法500。

在本发明的可选实施例中，根据本发明的视频混合器可以包括独立的线程，用于监视队列，以确定宽帧以及宽帧的各侧是否并在何时得到填充。在这种实施例中，当完全填充了宽帧时，该线程将使图像发送至显示器，并使相关缓冲器释放到队列中。

尽管以上内容描述了本发明的多种实施例，但是在不背离本发明基本范围的情况下，可以设计本发明的其他实施例。因此，本发明的保护范围由所附权利要求确定。

Claims (21)

1.一种用于在将视频流再编码为第二视频格式的同时对视频流进行视觉检查的方法，包括：

将解码视频流分割为至少两个基本上相同的解码视频流；

将所述至少两个分割的解码视频流中的一个再编码为第二视频格式；以及

将没有被再编码的解码视频流的帧和再编码视频流的对应帧设置成组合视频帧，以使所述解码视频帧和所述对应的再编码视频帧一并出现在所述组合视频帧中。

2.根据权利要求1所述的方法，包括：对所述解码视频流的至少一部分或所述再编码视频流的对应部分执行缩放例程，以对所述视频流的各个部分进行缩放，从而使所显示的图像包括基本上相同的尺寸。

3.根据权利要求2所述的方法，其中对所述视频流中至少部分的高度、宽度和帧速率中的至少一个进行缩放。

4.根据权利要求1所述的方法，其中在所述组合视频帧中将所述解码视频帧和对应的再编码视频帧设置为并排出现。

5.根据权利要求1所述的方法，其中在所述组合视频帧中设置所述解码视频帧和对应的再编码视频帧，以使视频帧沿x轴相对于彼此反转而出现。

6.根据权利要求1所述的方法，其中在所述组合视频帧中设置所述解码视频帧和对应的再编码视频帧，以使解码视频帧的一半出现在对应的再编码视频帧的相应一半的旁边。

7.根据权利要求1所述的方法，包括：保持宽帧的缓冲池，用于存储所述组合的解码视频帧和对应的再编码视频帧。

8.根据权利要求7所述的方法，其中针对所述缓冲池的宽帧，实现队列，以定义所存储的视频帧的顺序。

9.根据权利要求8所述的方法，其中所述队列包括两个布尔标识符，一个针对宽帧的已填充左半部分，一个针对宽帧的已填充右半部分，每一个半部分表示视频流的解码部分或视频流的再编码部分的完整视频帧。

10.一种用于在将视频流再编码为第二视频格式的同时对视频文件进行视觉检查的设备，所述设备包括：

用于接收解码的分割第一视频流的装置；

用于接收对应再编码的分割第二视频流的装置，所述第一视频流和第二视频流包括来自所述视频流的基本上相同的两个解码分割视频流；以及

用于将没有被再编码的解码视频流的帧和再编码视频流的对应帧设置成组合视频帧的装置，以使所述解码视频帧和所述对应的再编码视频帧一并出现在所述组合视频帧中。

11.根据权利要求10所述的设备，还包括装置，用于对所述所接收的解码第一视频流或所接收的对应再编码第二视频流执行缩放例程，以对所述所接收视频流进行缩放，从而使所显示的图像包括基本上相同的尺寸。

12.根据权利要求10所述的设备，还包括保持宽帧的缓冲池的装置，用于存储所述组合的解码视频帧和对应的再编码视频帧。

13.根据权利要求12所述的设备，其中针对所述缓冲池的宽帧，实现队列，以定义所接收的视频帧的顺序。

14.根据权利要求12所述的设备，还包括在各个组合视频帧中将所接收的解码视频帧和所接收的对应的再编码视频帧设置为并排出现的装置。

15.根据权利要求12所述的设备，还包括在各个组合视频帧中设置所接收的解码视频帧和所接收的对应的再编码视频帧，以使视频帧沿x轴相对于彼此反转而出现的装置。

16.根据权利要求12所述的设备，还包括在各个组合视频帧中设置所接收的解码视频帧和所接收的对应的再编码视频帧，以使解码视频帧的一半出现在对应的再编码视频帧的相应一半的旁边的装置。

17.一种用于在将视频流再编码为第二视频格式的同时对视频文件进行视觉检查的系统，包括：

视频解码器，用于对所接收的视频流进行解码；

流分割器，用于将解码视频流分割为至少第一和第二部分；

编码器，用于接收解码视频流的第一分割部分，并将所接收的解码视频流部分再编码为第二视频格式；以及

视频混合器，所述视频混合器包括：

用于接收解码的第一分割视频流的装置；

用于接收对应再编码的分割第二视频流的装置，所述第一视频流和第二视频流包括来自所述视频流的基本上相同的两个解码分割视频流；以及

用于将没有被再编码的解码视频流的帧和再编码视频流的对应帧设置成组合视频帧的装置，以使所述解码视频帧和所述对应的再编码视频帧一并出现在所述组合视频帧中；以及

显示设备，用于在所述组合视频帧中显示解码视频帧和对应的再编码视频帧。

18.根据权利要求17所述的系统，还包括装置，用于对所述所接收的解码第一视频流或所接收的对应再编码第二视频流执行缩放例程，以对所接收的视频流进行缩放，从而使所显示的图像包括基本上相同的尺寸。

19.根据权利要求17所述的系统，其中所述视频混合器还包括在各个组合视频帧中设置所接收的解码视频帧和所接收的对应的再编码视频帧的装置，从而当所述显示设备进行显示时，所接收的视频帧并排出现。

20.根据权利要求17所述的系统，其中所述视频混合器还包括在各个组合视频帧中设置所接收的解码视频帧和所接收的对应的再编码视频帧的装置，从而当所述显示设备进行显示时，视频帧是沿x轴相对于彼此反转而出现的。

21.根据权利要求17所述的系统，其中所述视频混合器还包括在各个组合视频帧中设置所接收的解码视频帧和所接收的对应的再编码视频帧的装置，从而当所述显示设备进行显示时，解码视频帧的一半出现在对应的再编码视频帧的相应一半的旁边。

Images