CN106067974A - 用于处理摄影机中的视频流的方法和装置 - Google Patents

Abstract

一种用于处理视频装置中的图像的方法，包括：读取图像；并且通过将与所述图像相关的元数据嵌入所述图像中或嵌有所述图像，将所述图像与所述元数据组合。所述方法进一步包括：在编码器中对所述图像编码且利用所述元数据作为进一步处理中的输入之前，将变换所述图像和从所述图像提取所述元数据组合。

Description

用于处理摄影机中的视频流的方法和装置

技术领域

本申请涉及用于处理视频流的方法，具体涉及用于处理摄影机内的视频流的方法。

背景技术

在摄影机中，图像传感器用于获取经由摄影机的成像光学器件所获取的图像。图像传感器典型地是对辐射(典型地采用光的形式)敏感的像素矩阵。

从图像传感器读取的原始图像通常不适合直接显示，并且针对这种情况存在若干原因，因此图像在被转发用于显示之前经受实质处理。摄影机的一般目的在于获取图像并且制备图像用于观察。在如本文所使用的摄影机中，该摄影机大多数用于监控操作，例如监视。在这种摄影机中，图像作为视频流中的一帧离开摄影机，并且像这样的摄影机将包括制备和转发视频流的编码器。

处理步骤可以包括对像这样的图像执行的操作，例如去马赛克、平衡强度、平衡颜色、校正图像失真，并且此外该图像可被调整尺寸、旋转以及最终在编码器中被处理。所述步骤仅仅是示例，并且不以任何特定顺序给出。

当处理图像时，可以使用元数据，例如从原始图像推导出的数据。仅仅给出几个相关的示例，元数据可以涉及：

图像各个部分的信噪比(SNR)。SNR数据可以用于配置或改变摄影机内部的滤波器，例如噪音过滤，并且SNR也可以用于触发外部光以改进光状况。

如果摄影机用于监控或监视目的，对已经检测到移动的区域的识别被典型地识别，其中图像中的变化典型地识别感兴趣的事件。

对关于图像处理特别感兴趣(或者通过用户被识别为特别令人感兴趣)的预设的感兴趣区域(ROI)的识别，例如面部、特定的形状等。

这种类型的元数据的最终示例涉及用于图像的压缩图谱(map)。压缩图谱可以是提供给编码器以在空间上改变其压缩参数的表格，并且压缩图谱可能与压缩水平有关、与具有常数和阈值的表格有关、或者与用于块类型决策的常数有关。通过将该图像与之前的图像进行比较，可以生成指示可以如何根据特定协议对图像编码的图谱。

当原始图像已经从图像传感器被读取时，元数据的上述示例可以从原始图像提取，并且可用于下游过程。

元数据不必包括从图像提取的在本公开上下文中被认为是元数据的信息。这种类型的元数据的示例可以与各种掩模(mask)有关，各种掩模在图像处理的后期阶段用于校正或调节图像。另一个示例可以与用户预设的感兴趣区域相关。元数据也可以与用户定义的感兴趣区域、隐私掩模、优先区域(根据需要图像质量应当被优先化的图谱)、以及涉及摄影机设置的信息或者来自传感器的输入、缩放水平、快门速度、倾斜传感器相关。

摄影机的成像光学器件常常会将一定程度的失真引入到图像。一些常见的示例是桶形失真和枕形失真。其它类型的失真可以包括色差、单色像差以及相关的子组。

失真将意味着从图像传感器读取的图像不适合以其目前的形式显示；在显示该图像之前可能存在对变换的需求。

所描述的图像处理可以在编码器、代码转换器或者视频管理系统(只提及摄影机的一些可替代方案)中执行，即处理可以相同或类似，而不管图像是从图像传感器读取的还是由文件提供的。

发明内容

为了努力简化图像的处理，尤其是当处理包括图像变换时，本申请公开了一种用于处理视频装置中的图像的方法。该方法包括一系列的步骤，该一系列的步骤可以按照或可以不按照列出的顺序执行，并且包括：读取图像；通过将与图像相关的元数据嵌入图像中或者通过将该元数据嵌有图像，来将图像与元数据组合；变换图像；从图像提取元数据；在编码器中对图像编码；以及在进一步处理中利用元数据作为输入。

当元数据在变换之前被嵌有图像或嵌入图像中时，该方法尤其是有利的，因为与图像的特定区域(像素、像素块等)相关的元数据在变换期间将跟随该区域。进一步的效果是针对每组原数据和图像仅必须执行一次变换，而不是一个接一个的变换它们。

在一个或多个实施例中，进一步的处理包括对该图像的处理或对后续图像的处理，即例如在对特定图像编码期间，从一个图像提取的元数据可以用于处理该特定图像，但是元数据也可以例如通过改变设置用于处理后续图像，以作为在特定图像区域中特定信噪比的结果。

在其它或相关实施例中，处理可以包括像这样的以与图像隔离的方式处理元数据。处理可以包括对SNR元数据、移动元数据、对象识别元数据的估算等。SNR元数据可以用于避免在边缘检测中的错误，并且移动元数据可以用于在执行移动检测时支持分析部分，上述仅仅是提及一些不同的使用情况。

在相关的或分离的实施例中，进一步的处理可以包括诸如图像分析、视觉应用、码率控制或者帧拼接之类的过程。这些过程显然地可以隔离地执行或组合地执行。图像分析意味着包括用于分析物体图像、移动或者其它基本信息的过程，其它基本信息例如移动检测、对象检测、面部检测等。视觉应用设想处理图像从而理解该图像、模仿人类视觉和认知方法；并且示例包括对象识别、面部识别和人数统计等。

这种处理的结果或基础可以从元数据形式的图像或图像序列得到，并且元数据可以隔离使用和/或用于支持其它过程。

在一个或几个实施例中，嵌入图像中的元数据或嵌有图像的元数据已经从图像得到，即图像已经使用各种算法被分析来获得各种类型的元数据。这将在具体实施方式中进一步图示出。在该方法用于摄影机中的情况中，该实施例多半会是可应用的。原始图像使用不同的算法来估算，并且结果可以采用元数据的形式。这种元数据然后为了方便可以嵌有图像或嵌入图像中。

在一个或多个实施例中，在变换图像之前执行将图像从光栅格式转换到块格式，并且其中在使用元数据作为输入来处理图像之前执行将图像从块格式转换回光栅格式。

在一个或几个实施例中，该方法包括在变换图像之前和/或在变换图像之后将图像与元数据组合，其中元数据采用叠层的形式。关于本发明描述的几个优点被结合到在执行变换之前元数据的嵌入，然而也存在仅在变换之后增加元数据的情况。

在一个或其它实施例中，通过将元数据作为附加颜色空间分量嵌入对应的像素块，来将元数据嵌有图像。

在一个或多个其它实施例中，通过利用对应于特定像素块的元数据填补特定像素块的颜色空间分量，来将元数据嵌有图像。

在更多其它实施例中，通过替代图像中的颜色或亮度信息的一部分，来将元数据嵌入图像中。

在图像是块格式化图像的实施例中，元数据可以被附加到在块格式化图像中的每个宏块。

在一个或几个实施例中，在将图像转发到编码器之前，使元数据与图像分离，而不是仅仅被提取。如果使用标准编码器，那么在将元数据发送到编码器之前移除元数据是有利的，因为存在嵌入图像中的元数据可能引起编码器中的故障或冲突。

在一个或多个实施例中，元数据可以从包括下列的组中选择：信噪元数据、压缩元数据、移动元数据、隐私掩模元数据和感兴趣区域元数据、以及其组合。

在任何实施例中或者附加实施例中，视频装置可以是摄影机、编码器、代码转换器、或者视频管理系统(VMS)中的组件。

根据另一个方面，本发明涉及一种被配置成执行前述或下述实施例中的一个或多个实施例的方法的视频装置。该视频装置可以包括：图像处理管线，被配置成从图像提取元数据，并且进一步被配置成将所述元数据或其它元数据嵌入到图像中；变换器，被配置成接收具有被嵌入的元数据的图像，并且根据已定义的设置来变换具有被嵌入的元数据的图像；提取器，被配置成从具有元数据的变换后图像提取元数据，并且转发该图像，例如到图像编码器，图像编码器被配置成根据特定协议来压缩该图像。

在一个或多个实施例中，元数据的至少所选择的部分也被转发以便进一步处理，并且所选择的部分在压缩图像时被用作输入。

本发明各种实施例的视频装置的更多特征不将被隔离地讨论。相反地，视频装置的更多实施例可以从该方法的对应实施例获得，并且这些特征的效果也可以从对应方法的效果推断出。作为示例，视频装置可以是摄影机、视频编码器、视频代码转换器或者VMS中的组件。

附图说明

图1是图示本发明第一实施例的框图。

图2是图示本发明第二实施例的框图。

图3是图示本发明第三实施例的框图。

图4是图示本发明第四实施例的功能图。

具体实施方式

图1图示根据本发明第一实施例100的方法。

在描述图1的细节之前，值得提及一些示例，这些示例中的对象在本说明书上下文中可包括在元数据的定义中。首先，感兴趣的元数据是与图像的不同区域具有一些关联性的元数据。它可以是单个像素水平直到像素的不同尺寸块。在上述之内，广义定义的较窄示例包括描述图像属性的统计或其它数据(例如颜色、感兴趣区域、移动等)，其增加到或包括在背景部分给出的示例中。并入摄影机中的图像处理器的分析单元可以检测图像的特定部分中的运动，或者存储部分可以结合掩模，该掩模涉及图像的各个部分的强度应当如何被平衡，以便考虑图像传感器的无规律性。此外，元数据可以关于之前的图像来跟踪强度在该图像中如何变化，以及图像的各个部分如何移动，并且通过上述内容，元数据将定义图像的各个部分如何表现以及图像在图像流中应当如何被编码。元数据也涉及图像的各个部分的信噪比、图像各个部分的对比度、图像各个部分的灰度直方图等。除了上述之外，元数据应当对单个像素水平或者像素组有影响，元数据优选应当旨在由下游过程使用，例如由编码器使用，这是现如今的情况。

返回到图1的框图，元数据102与原始图像104组合，因为元数据被嵌入106图像中。

实际实施例可以以多种方式中的一种方式来执行。第一示例能够包括将元数据填补到现有颜色空间。典型地，U/V分量可以是一个字节，并且如果不会在较高程度上劣化图像质量，降低到6或7位是可接受的。然后，元数据能够随后被增加到现在可用的2或1位。由于该方案纯粹是位于摄影机内部，因此针对特定应用能够选择最佳方式。第二个示例能够是通过增加元数据的字节来扩大颜色空间分量。作为示例，U/C分量可以是1字节长，但是用于元数据的额外字节被增加到每个U/V分量，反而使其成为2字节长。

如何执行图像和元数据的组合的一些更具体的示例可以包括：

对于YUV422，针对U和V＝UYVY，每个像素具有1xY字节并且每个2x1像素块具有1x字节，元数据的一个以上字节可以被增加到UYVY格式，使其成为UYVYM，其中M表示所增加的元数据；

对于YUV420，针对U和V＝YYYYUV，每个像素具有1xY字节并且每个2x2像素块具有1x字节，对于每个2x2块，可以增加元数据的一个以上字节，使其成为YYYYUVM，再次M表示所增加的元数据；或者

对于NV12，元数据可以保存在分离的平面内。除了对于NV12已经存在的两个Y和UV平面之外，可以增加用于元数据的第三平面。

元数据也可以作为一个或多个位被填补到Y、U或者V颜色空间分量中。

存在将元数据嵌入到图像中的若干更多方式，并且上述的非常具体的示例因此不应当被解释为限制由权利要求限定的本发明。上述示例主要涉及其中元数据嵌有图像的情况。另一种类别将是元数据嵌入图像中，即例如颜色信息或亮度信息的部分被去除并且由元数据替代。一些图像信息可以丢失，然而在将图像发送到标准编码器之前元数据不必被去除，并且这将参考编码器来讨论。

因此，元数据可以如例示的那样嵌有图像或嵌入图像中。如果元数据太大，或者如果其适合于其它理由，则元数据可以由指针替代。将指针嵌入到元数据的实现方式和方法完全类似于嵌入像这样的元数据，并且指针将以与元数据相同的方式，与像素、像素块或者区域相关联。为此，为了本说明书的目的，指向元数据的指针将包含在更宽定义的“元数据”内。每个指针指向存储器空间中实际元数据所位于的位置。

示例的列表不意味着是穷尽性的，而是意味着图示存在用于实现图像和元数据的组合的几个选项，并且方法的选择可以取决于上下文。

在数据的组合之后，图像从也被称为光栅格式的线格式转换成块格式108。该转换并不需要用于所有实施例，因为一些变换(例如反扭曲)可能需要块数据，而若干其它情况可以直接对光栅图像操作。在本发明实施例中，每个块被增加元数据，并且因此转变是有意义的。事实上，能够将每块元数据用到光栅图像，但是这种过程是不必要地难处理的。

现在包括嵌入的元数据的图像可以在组合之后以各种方式被变换110。典型的变换包括：反扭曲；包括针对诸如桶形失真之类的光学失真以及其它图像失真校正图像；以及旋转，其中图像相对于特定参考系统被正确地设置。另一个示例是图像稳定化，其中像素信息可以左右移位以考虑在图像采集期间不可控的移动。任意变换的结果可以是单个像素或像素块在图像中左右移位。

在变换110之后，尽管不必立即在其后，但是图像被转发到编码器114，并且在到编码器之前，因为待被解释的原因，可以优选地从图像提取(和移除)元数据。在编码器114中，图像被编码并且作为视频流中的帧被转发，或者作为分离的压缩图像被转发。在提取元数据和对图像数据编码之前，组合后的图像从块格式翻译回线格式112。因此，根据多个现有编码技术中的一个可以执行这样的编码，并且因为编码不是本发明的核心，因此也可以包括未来的编码技术。在编码中，使用元数据或元数据的至少一部分。由于元数据被嵌入图像中或嵌有图像的事实，元数据将随着像素或像素块在变换步骤中移动而移动。因为在整个过程中保持到图像的正确部分的结合，因此这意味着元数据可以容易地被提取并结合到图像的正确部分。在进入实际编码器之前可以优选地实现元数据的提取，并且就允许使用任何标准的编码器的意义来说，该理由是实用的。除了其可以是在进入编码器之前提取元数据的理由的该方面，在编码器内提取元数据绝非是不可能的或者甚至是困难的，因此不应当从由随附权利要求限定的本发明的范围排除。

当元数据被嵌入图像中时，即当元数据替代例如颜色信息的部分时，这样的信息仍然可以从图像提取，但是在将该图像发送到编码器之前可能没有必要从图像移除元数据。编码器不会认识到其就在那里，并且尽管其可能影响图像的外观，但是该效果是可忽略的。效果可能是元数据贯穿整个过程以及在过程之外被包含在图像中。

对编码器主要感兴趣的元数据可以是压缩元数据或者压缩图谱，然而本公开的进一步效果是会存在元数据的集合，该元数据与从编码器发送出的图像完美匹配，该图像即是将被显示给用户的图像或者在客户端处进一步处理的图像。这意味着元数据或者所选择的元数据部分可以被转发到下游过程。下游过程可以是摄影机约束条件内的过程，然而也可以位于其外部。这在图2中进一步被图示并且涉及第二实施例。图2实际上可以包括一系列实施例，该一系列实施例的共同之处在于，所提取的元数据在除了编码之外的过程中使用，如在图2中的116处指示的。在一个实施例中，元数据被转发到码率控制118。在另一个实施例中，元数据可以被转发到外部应用120和VMS(视频管理系统)和/或被转发到内部应用。在又一个实施例中，元数据被转发到帧拼接过程122，例如四个不同的视图(每个视图来自四个摄影机中的每个摄影机)被组合成显示给操作者的单个视图。这些实施例中的任何实施例可以自由组合。其它示例能够包括边缘检测算法，该边缘检测算法在每个区域使用SNR以避免假阳性，即降低实际上不是边缘的边缘检测风险。在另一个示例中，移动检测算法的结果是作为元数据被嵌入图像中或嵌有图像，其中该结果可以被发送到边界检测算法以预期交叉的保护区域。

在如图3所图示的第三实施例中，在变换图像的步骤之前或之后存在增加叠层(overlay)124的附加步骤，并且该叠层可以被认为是与图像组合的另外元数据。叠层可以是隐私掩模或者是将文本信息增加到图像以有益于用户的文本层，并且取决于类型，其可以在图像变换之前或之后被嵌入该图像中，一般在变换之后才会增加文本层，因为该文本层可能不连接到特定的像素或区域，同时取决于掩模类型，可以在变换之前或之后增加隐私掩模。如果隐私掩模被动态地应用，则识别待被遮蔽的区域的算法可以利用非变换图像。

应当指出，到目前为止公开的实施例可以自由组合以产生更多的实施例，例如，如在图3图示的第三实施例中使用的叠层源的增加可以被增加到图2图示的第二实施例中，这将产生第四实施例。

在图1至图3的示意性介绍之后，图4图示出本发明的一些更加详细的应用。图4是根据本发明第四实施例的图像处理的功能图。因此，实施例包括已经公开的若干特征，并且其也可以相应地被分割成多个实施例。图4的目的在于描述稍微不同于图1至图3的本发明的方面，并且由此增加对本发明的理解。

在第一步骤中获取图像。像这样的图像可以从图像传感器获取，然而其也可以从文件读取或者从另一个图像源获取。在本实施例中，树被成像。该图像以此简化布局被分割成四个部分：左上(UL)、右上(UR)、左下(LL)和右下(LR)。

图像然后进入图像处理管线406，并且在第一步骤408中，可以检测在每个部分中的移动，在本示例中，在左上部分检测到移动m1并且在左下部分检测到移动m2，如在输出图像410处所示。在本示例中在其它部分没有检测到移动。

在第二步骤412中，针对每个部分可计算信噪比，这导致从图像的左上部分到右下部分计数的数值snr1至snr4，每个数值指示用于特定部分的SNR水平。

在信噪比的推导之后，识别感兴趣区域414和压缩图谱416的步骤可以被执行，并且相应的元数据被嵌入图像418中。

在图像处理管线之后，结果是原始图像具有所嵌入的元数据，并且对于图像418的每个部分，结果是下述：

UL:m1,snr1,comp1,

UR:snr1,roi1,comp1

LL:m2,snr3,comp1

LR:snr4,roi1comp3

随着组合后的图像现在进入变换步骤420，本发明的优点变得显而易见。在本实施例中，变换对应于图像的180度旋转，并且当图像旋转时，被嵌入的元数据也将被旋转。对于元数据，这对应于以顺时针(或者就此事而论，是逆时针)移动两个部分，但是显而易见的是，不论变换，被嵌入的元数据将跟随对应的图像数据，如在输出图像422中指示的。

在变换之后，元数据可以与图像分离并且从图像被分派424；并且与压缩图谱有关的元数据426可以与变换后的图像428一起被转发到编码器430，来自编码器430的结果是压缩后的图像432。其它类型的元数据，例如与信噪比有关的元数据434，可能与感兴趣区域有关的元数据436组合，可以被转发到其它应用，例如在应用平台438处可用的应用。

在本示例中，图像被分割成四个部分，这应当被认为是仅仅具有解释性目的的非限制性示例。在其它实施例中，分割可以更接近像素尺寸，例如16x16像素至32x32像素，其能够被分割成图像块，使得每个图像将包含32x32部分或64x64部分，仅仅是给出一些进一步的示例。部分将不必在宽度和高度上是对称的，它们也能够将图像分割成片段等。

图4的实施例包括多个实施例和可替代方案。通过例如从图4的流程选择单个图像处理步骤(例如步骤408或412或416等)以及省略其它步骤中的一个或多个步骤，图4的实施例可以被分割成更多的实施例。

进一步对于关于元数据定义已经公开的内容，需要强调的是，元数据能够与实际数据相关(对于本文中示例的大部分)，但是在不偏离由随附权利要求限定的本发明范围的情况下，元数据也包括到元数据表格的ID或者指针。此外，在图像处理期间的任何阶段可以使用元数据。说明书中已经给出多个元数据示例，并且应当强调的是，元数据的列表不是穷尽性的。本发明不涉及新类型的元数据，而是涉及在图像处理管线中处理与图像结合的元数据的新方式，如通过权利要求限定的。进一步关于这方面。在说明书的示例中，图像至今为止从传感器获取，然而如果图像从文件读取或来自另一个输入源，则本发明方法可能同样是有利的。当然，这种图像在某点可以从传感器获取，然而本发明不应当被限制在该方面。

像这样的方法及其实施例能够孤立地使用以作为编码序列或代码转换序列中的部分，并且术语“视频装置”用作通用术语，该通用术语包括但不限于示例化的装置，即摄影机、视频编码装置、视频代码转换装置以及视频管理系统。

Claims (16)

1.一种用于处理视频装置中的图像的方法，包括：

读取图像；

通过将与所述图像相关的元数据嵌入所述图像中，来将所述图像与所述元数据组合；

变换具有被嵌入的元数据的所述图像，其中与像素或像素块相关联的元数据跟随这种像素或像素块的移动；

从所述图像提取所述元数据，并且将所述该图像转发到编码器；

在所述编码器中对所述图像编码；

在进一步处理中利用所述元数据作为输入。

2.根据权利要求1所述的方法，其中所述进一步处理包括对所述图像的处理或对后续图像的处理。

3.根据权利要求1所述的方法，其中所述进一步处理包括处理所述元数据。

4.根据权利要求1所述的方法，其中所述进一步处理包括图像分析、视觉应用、码率控制或帧拼接、及其组合；执行码率控制、帧拼接、动作触发；支持图像分析工具及其组合。

5.根据权利要求1所述的方法，进一步包括在将所述元数据嵌入所述图像之前从所述图像获取所述元数据。

6.根据权利要求1所述的方法，其中在变换所述图像之前执行将所述图像从光栅格式转换成块格式，并且其中在使用所述元数据作为输入来处理所述图像之前将所述图像从块格式转换回光栅格式。

7.根据权利要求1所述的方法，包括在变换所述图像之前和/或在变换所述图像之后将所述图像与元数据组合，其中所述元数据采用叠层的形式。

8.根据权利要求1所述的方法，其中通过将所述元数据作为附加颜色空间分量嵌入对应的像素块，来将所述元数据与所述图像组合。

9.根据权利要求1所述的方法，其中通过利用对应于特定像素块的所述元数据填补所述特定像素块的颜色空间分量，来将所述元数据与所述图像组合。

10.根据权利要求1所述的方法，其中所述元数据替代所述图像中的颜色或亮度信息的一部分。

11.根据权利要求1所述的方法，其中所述元数据被附加到块格式化图像中的每个宏块。

12.根据权利要求1所述的方法，其中在将所述图像转发到所述编码器之前使所述元数据与所述图像分离。

13.根据权利要求1所述的方法，其中所述元数据从包括下列的组中选择：信噪比元数据、压缩元数据、移动元数据、隐私掩模元数据和感兴趣区域元数据、以及其组合。

14.根据权利要求1所述的方法，其中所述视频装置是摄影机、视频编码器、视频代码转换器或者视频管理系统。

15.一种被布置成执行权利要求1所述的方法的视频装置，所述视频装置包括：

图像处理管线，被配置成从图像提取元数据，并且进一步被配置成将所述元数据或其它元数据嵌入所述图像中；

变换器，被配置成接收具有被嵌入的元数据的所述图像，并且根据已定义的设置来变换具有所述被嵌入的元数据的所述图像；

提取器，被配置成从具有所述元数据的变换后图像提取所述元数据，并且转发所述图像到进一步处理，例如将所述图像转发到图像编码器，所述图像编码器被配置成根据特定协议来压缩所述图像。

16.根据权利要求15所述的视频装置，其中所述视频装置是摄影机、视频编码器、视频代码转换器或者视频管理系统。