CN106488117A - 数字图像的预处理方法和数字图像预处理系统 - Google Patents

Abstract

提供了一种数字图像的预处理方法和数字图像预处理系统。公开了一种对图像传感器捕获的数字图像进行预处理以用于编码的方法。该方法包括接收第一数字图像(S01)，接收表示捕获所述第一数字图像(S02)时图像传感器的移动的信息，以及预处理所述第一数字图像(S03)。所述预处理的至少一个参数取决于表示移动的所述信息(S04)。还公开了一种数字图像预处理系统。

Description

数字图像的预处理方法和数字图像预处理系统

技术领域

本发明涉及数字图像处理领域，更具体地，涉及为编码做准备的数字图像的预处理。

背景技术

在例如在监控系统中的数字图像的多种使用中，为传输或存储，数字图像利用多种编码机制来压缩。在编码之前执行数字图像的预处理。预处理可例如包括锐化或噪声滤波，以改进图像质量。然而，当捕获图像的图像传感器在捕获期间移动时，产生了问题。首先，因为图像之间的时间冗余较少，所以接踵而至的图像变化导致编码器较高的输出比特率。如果带宽非常有限(如通过移动网络传输时)，甚至可能在快速移动引起比特率增加时无法传输来自摄像机的视频。另外，移动可使图像预处理的计算压力更大。最重要的是，与图像传感器静止时捕获的对应图像相比，预处理可增加表示图像所需的比特数量。该问题的一个解决方案为，在包括图像传感器的摄像机的平移和/或倾斜期间冻结图像的编码，并仅在移动停止之后重新开始编码新的输入图像帧。然而，这意味着在移动期间丢失视觉信息，并且观察所传输的图像序列的操作者可能被迷惑。因此，需要一种改进的编码方法。

发明内容

本发明的目标在于提供一种对数字图像进行预处理以用于编码的方法，该方法允许捕获图像的图像传感器移动时的较低的比特率。本发明的另一目标在于提供一种预处理方法，该方法使避免在图像传感器移动时的不必要的大量计算成为可能。进一步目标在于提供一种对数字图像进行预处理以用于编码的方法，该方法使能在图像传感器移动期间的视觉信息。再一个目标在于提供一种预处理方法，该方法可在图像传感器移动期间提供具有改进的可用性的图像。

本发明的目标还在于提供一种预处理系统，该系统可避免在捕获图像的图像传感器移动时的不必要的高比特率和不必要的大量计算的使用。进一步地，本发明的目标在于提供一种预处理系统，该系统可在图像传感器移动期间使能改进了可用性的图像。

附加的目标在于提供一种预处理系统，该系统还使能图像传感器移动时图像的供给。

又一目标在于提供一种计算机程序产品，该产品还使能捕获图像的图像传感器移动时高效的比特率。

根据第一方面，这些目标全部或至少部分地由对图像传感器捕获的数字图像进行预处理以用于编码的方法来实现，包括：接收第一数字图像，接收表示捕获所述第一数字图像时图像传感器的移动的信息，并预处理所述第一数字图像，其中所述预处理的至少一个参数取决于表示移动的所述信息。以这种方式，预处理可被调节以使图像传感器的移动不引起不必要的高比特率。由此，图像还可在该图像传感器移动时段的期间被编码并且针对显示被存储或传输，而不消耗增加了的比特率。进一步地，由于在例如快速平移期间的图像传感器的移动期间捕获的图像通常是模糊的，因此可能由修改预处理引起的图像质量损失对这种图像的可用性几乎没有影响。

如果图像传感器的移动高于预定阈值，则所述预处理的所述至少一个参数可被修改以使第一数字图像由所述预处理进行比移动等于或低于所述阈值的情况更少的处理。

进一步地，所述预处理的所述至少一个参数可被修改以使至少一个预处理过程被禁用。例如，当图像传感器移动时，由于图像不会以任何方式实际地从锐化受益，所以省去锐化。

根据另一变型，所述至少一个参数被修改以使至少一个预处理过程以较大或较小的程度处理所述第一数字图像。例如，可以更大程度应用滤波。作为进一步示例，可以较小的程度执行色调映射。

根据又一变型，所述预处理的所述至少一个参数被修改以使在其他方面被禁用的至少一个预处理过程被启用。例如，模糊化可被应用于该图像传感器的移动期间，由此使这种图像中的像素块或多或少地均匀，这导致更低的用于表示图像的比特的需求。

预处理可包括执行选自由锐化、增加对比度、色调映射、颜色校正、空域和/或时域噪声滤波、模糊化、贝尔(Bayer)模板采样、去马赛克、HDR合并、控制焦点、控制曝光、和控制增益组成的组的至少一个预处理过程。应当注意的是，在图像传感器数据的环境下，噪声为表示未出现于该场景的内容的传感器数据。噪声可以是时域的，即从一个图像帧到下一图像帧变化，或是空域的，即同一帧内一个像素到另一像素不同。存在多种噪声源。时域噪声例如可以是复位噪声、热噪声、闪变噪声、暗电流散粒噪声、量子噪声或相位噪声。空域噪声例如可以是暗固定模板噪声、亮固定模板噪声、渗漏噪声、缺陷像素噪声或外观缺陷噪声。

表示图像传感器移动的信息可由控制所述图像传感器移动的平移、倾斜和/或变焦控制器提供。以这种方式，预处理的调节可根据图像的有意移动而进行。这里应当注意，变焦本身并非代表该图像传感器的移动。然而，为编码图像，变焦导致的被捕获图像的变化类似于图像传感器的实际移动。因此，在本申请环境下，变焦操作将被视为等同于图像传感器的移动。

表示图像传感器的移动的信息可由运动传感器提供。由此，由抖动引起的不期望的移动可被考虑。来自运动传感器的信息还可用于提供平移、倾斜和/或变焦操作的信息。

根据方法的变型，所述至少一个参数被逐渐修改以为图像传感器的计划的移动做准备。以这种方式，例如，更有力的噪声滤波可逐渐增加，导致计划的移动，或锐化可被逐渐减少。由此，可避免图像外观的突变。

该方法可进一步包括，将所述第一数字图像编码为帧内帧，以为图像传感器的计划的移动做准备。如果所捕获的图像中存在移动，由于帧之间的较大的差异，帧间帧将变大。在某些点，该差异会足够大以使帧内帧不依靠用于其编码的其他图像帧而将更加有效。如果已知存在移动，则可强制帧内帧，以使不必要的较大帧间帧可被避免。通过强制或插入帧内帧，该被编码帧可具有更高质量，而后继图像可参考该帧内帧而编码为帧间帧。因为具有更合适的参考帧，所以后继帧间帧还可需要较少的比特。

根据第二方面，以上提到的目标全部或至少部分地由对图像传感器所捕获的输入图像进行预处理以用于编码的数字图像预处理系统实现，该系统包括：图像接收模块，设置为接收输入图像，移动信息接收模块，设置为接收表示捕获所述第一数字图像时图像传感器的移动的信息，以及预处理模块，设置为在编码之前预处理输入图像，其中所述预处理的至少一个参数取决于表示移动的所述信息。通过这样的系统，在图像传感器的移动期间提供图像可以是可能的，而不消耗不需要的高输出比特率。

预处理模块可设置为执行从由锐化、增加对比度、色调映射、颜色校正、时域和/或空域噪声滤波、模糊化、贝尔模板采样、去马赛克、HDR合并、控制焦点、控制曝光、和控制增益组成的组中选择的至少一个预处理过程。

在数字图像预处理的实施例中，移动信息接收模块通信地连接至控制所述图像传感器移动的平移、倾斜和/或变焦的控制器。由此，可提供有意移动的信息。

可替换地或另外地，移动信息接收模块可通信地连接至运动传感器。如结合方法讨论的，关于无意以及有意移动的信息由此可被提供。

根据第三方面，以上提到的目标全部或至少部分地由包括根据第二方面的预处理系统的摄像机实现。这样的摄像机可通常以与具有所附优点的第二方面相同的方式实现。

根据第四方面，以上提到的目标全部或至少部分地由包括具有适用于当由处理器执行时实现根据第一方面的方法的指令的计算机可读存储介质的计算机程序产品来实现。处理器可以是任何类型的处理器，例如，中央处理单元(CPU)、图形处理单元(GPU)、实现为集成电路的定制处理设备、ASIC、FPGA或包括离散组件的逻辑电路。计算机程序产品可通常以与具有所附优点的第一方面相同的方式来变化。

本发明的可应用性的进一步范围将从以下给出的详细描述显而易见。然而，应当理解的是，尽管表示本发明的优选实施例，该详细描述和特定示例仅以说明的形式给出，因此本发明范围内的多种改变和修改将对本领域技术人员从该详细描述中显而易见。

因此，应当理解的是，本发明不限于所描述设备的特定组成部分或所描述方法的步骤，因为设备和方法是可变化的。还应理解的是，本文使用的术语仅用于描述特定实施例，并非意图限制。必须注意的是，如说明书和所附权利要求使用的冠词“一个(a)”、“一个(an)”、“该(the)”和“所述”意图表示存在一个或多个元素，除非上下文明确另行表明。因此，例如，“一个目标”、“该目标”的引用可包括多个目标等。此外，词语“包括”不排除其他元素或步骤。

附图说明

现在本发明将以示例的方式并参考所附的示意性附图而更详细地描述，其中：

图1为被摄像机监控的场景的图示，

图2为具有平移/倾斜/变焦能力的摄像机的前视图，

图3为图2的摄像机的框图，

图4为示出捕获、预处理和编码图像的过程中的某些功能的框图，

图5为数字图像预处理方法的流程图，

图6为数字图像预处理系统的实施例的框图，以及

图7为包含数字图像预处理系统的摄像机的框图。

具体实施方式

在图1中示出了被摄像机2监控的场景1。摄像机的示例在图2中示出。此摄像机2具有图像传感器(未在图2中示出)和镜头3。摄像机2是所谓的PTZ摄像机，具有围绕平移轴4平移和围绕倾斜轴5倾斜的能力。摄像机2还能够变焦。

图3为示出摄像机2的组件中的一些的框图。这里，可看到用以捕获图像而设置的图像传感器6，以及用于控制摄像机2的平移和倾斜的PT控制器7。进一步地，摄像机2具有用于控制变焦的变焦控制器8。摄像机2还具有本领域已知的与本发明不相关的并且因此在此不被示出和讨论的附加组件。

用摄像机2捕获并编码场景1的图像的过程的基本原理将参考图4描述。来自场景1的光通过镜头3进入摄像机2并被图像传感器捕获10。来自图像传感器6的数据是灰度级强度形式的，通常具有由相应的数字值表示的每个像素。然后，捕获的图像(或更具体地，表示图像的数据)经历预处理11。预处理11可包括一个或多个预处理过程，如贝尔模板采样、去马赛克、锐化和色调映射。预处理过程通常以提供更高质量或更可用的图像为目标。之后，预处理图像准备就绪以进行编码12。编码可根据任何压缩格式进行。

如果摄像机2在捕获视频序列期间移动，图像可能由于摄像机2的计划的或自发的有意平移、倾斜或变焦操作或者由于无意振动而变模糊。进一步地，因为移动场景的图像之间存在比静态场景的图像之间更少的冗余，所以移动导致用于表示图像的增加的比特率。如果带宽非常有限，诸如在移动网络上，则增加的比特率可能太高而无法传输视频，由此使得诸如在摄像机的快速平移或倾斜移动期间不可能传输任何图像。如上所述，有时通过在平移、倾斜和/或变焦期间冻结图像来处理比特率问题。以这种方式，在移动期间没有图像被预处理和编码，由此导致较低的比特率。然而，这样的方法意味着在移动期间提供较少的视觉信息或不提供视觉信息给操作者。操作者因此基本没有注意到移动期间场景区域中发生的可疑目标或行为转变的机会。移动期间的视觉信息的缺失还可导致迷惑，这是因为仅提供移动起始位置的图像和移动结束位置的图像给操作者而没有两者之间的图像。这些问题对于视频序列的直播显示与记录的视频序列是相同的。

根据本发明，图像在摄像机移动期间将不冻结。尽管其可导致较高的比特率，但移动期间可用的视觉信息可以值得该较高的比特率。然而，发明人已意识到可通过修改编码之前所应用的预处理来避免部分比特率的增加。

例如，锐化通过在图像中增加差异来工作，并可由此导致噪声的增加。而当编码被锐化的图像时，差异和噪声转而导致了较高的比特率。通过在摄像机或更准确地说是图像传感器的移动期间降低或者甚至禁用锐化，比特率的增加可被约束。

类似地，用于改进图像的动态范围的色调映射在图像的亮区域和暗区域中增加差异并可增加噪声，由此增加比特率。在移动期间禁用色调映射可抑制一部分比特率增加。

以相同的方式，可能以其他方式增加比特率的其他预处理过程可被禁用或以较小的程度应用。直观上，这将降低图像的质量，但由于在摄像机移动期间捕获的图像通常是模糊的，因此降低的图像质量在多数情况下不会受到操作者的任何关注。进一步地，在快速移动期间，图像甚至可能不会从预处理受益。

甚至可在摄像机移动期间进行锐化的降低或禁用直到实际增加了模糊。因此，例如，可通过计算像素块或组的平均亮度值并利用其作为该块中的全部像素的亮度值来降低差异，而不是增大差异。以这种方式，像素值在图像的区域中被“模糊化”。

某些预处理过程可在摄像机移动期间被修改，尽管不会由此对降低比特率的目标做出贡献，但实际上改进了图像质量或图像可用性。某些摄像机通过在一短的时间段内捕获两个连续的图像而改进图像的动态范围。针对图像中的一个使用低曝光，导致场景的亮区域清晰可见但暗区域缺少细节并且或多或少地是全黑的图像。针对其他图像使用高曝光，导致亮区域过度曝光或饱和呈现全白而暗区域示出细节的图像。通过选择性地利用一个或其他图像的区域，合并的图像被生成，其中场景的暗区域和亮区域两者均可详细显示。这种预处理过程称为HDR(高动态范围)合并或WDR(宽动态范围)合并。为了使这种合并给出较好的结果，两个不同曝光的图像必须在这样短的时间内被捕获：在该短时间内，两个图像之间显示相同的场景，否则在两次捕获之间的场景中移动的其他物体会呈现模糊。然而，如果摄像机是移动的，不可能进行在时间上足够靠近以使他们实际显示相同场景的两个图像的捕捉。整个图像因此可呈现模糊化。为解决该问题，HDR合并可在摄像机移动期间被禁用。因此，两个不同曝光的图像中只有一个可被编码，或者可禁用两个不同曝光的图像的捕获，以使只有一个图像被捕获并编码。

可在图像传感器的移动被确定时重置在视频序列期间随时间收集的图像或视频的统计数据，如亮度值、色度值、亮度和/或色度变化、运动信息、自动对焦值、移动对象计数、比特率、或滤波参数。以这种方式，移动不会破坏统计数据。

为了判断应做出预处理过程中的一个或多个的修改，摄像机2或更准确地说图像传感器6的移动信息被获取。此信息可由PT控制器7提供，其总是具有此信息以用于控制摄像机2的平移和倾斜。类似地，这种信息可由变焦控制器8提供。摄像机2还可具有运动传感器9，例如加速度计，其感测图像传感器的移动。运动传感器9在摄像机2被无意振动或抖动时可提供关于图像传感器6的移动的信息。还可提供关于除PT控制器7外或者替代PT控制器7的图像传感器6的有意移动的信息。

如已讨论的，移动可以是期望的移动或不期望的移动。期望的移动例如可利用如操控杆的输入设备控制。期望的移动还可被计划和预编程，称为监视巡回。不期望的移动例如可以是由风或交通，或由摄像机固定不足引起的振动。

如果摄像机的移动被计划，则其可能进行一个或多个预处理过程的修改以为移动做准备。例如，时域噪声滤波可被修改以使滤波愈加严格，并可保持增加的水平直到移动结束。增加的噪声滤波可导致预处理图像中细节的丢失，然而，在摄像机移动期间，在多数情况下，针对图像可用性来说，这不会受到关注。滤波可在时域和空域进行。可使用这两种类型中的一个或使用这两者，并可在移动期间修改两者之间的平衡，以使当图像传感器静止时，进行更多的滤波或仅进行时域滤波，并且当图像传感器移动时，进行更多的滤波或仅进行空域滤波。

在计划的移动的准备中，还可以修改编码。如果已知摄像机将移动，则这隐含地已知将有明显的图像移动，导致更大的帧间帧。因此当移动开始时，可强制帧内帧，由此为后继帧间帧提供更好的参考。

参考图5，将以更通常的术语来描述方法。接收第一数字图像(步骤S01)，并且接收表示捕获第一图像时图像传感器移动的信息(步骤S02)。对第一数字图像进行预处理(步骤S03)。基于表示移动的信息，决定是否修改预处理的一个或多个参数以及如何修改(步骤S04)。例如，移动可与预定阈值相比较，并且如果移动高于该阈值，则禁用、启用或以其他方式修改一个或多个预处理过程。

可基于针对先前图像接收的表示移动的信息修改预处理，以使图像传感器的移动仅会影响后续捕获的图像的预处理。对于某些预处理过程，参数可被立即修改，以使图像传感器的移动会影响接收表示图像传感器移动的信息所针对的图像的预处理，并且可能也影响后续捕获的图像的预处理。

在预处理(S03)之后，第一图像被编码(步骤S05)，以使其可被传输和/或存储。

在图6中示出了数字图像预处理系统20的实施例。系统20具有被设置为接收输入图像的图像接收模块21，以及被设置为接收表示捕获输入图像时图像传感器的移动的信息的移动信息接收模块22。进一步地，系统20具有被设置为预处理输入图像的预处理模块23。预处理的至少一个参数取决于表示图像传感器移动的信息。在预处理之后，图像可由编码器(未示出)编码。编码器可集成在预处理系统20中，或其可独立于预处理系统20。预处理系统20可集成在摄像机中，如图7中示意性示出的摄像机102。在图7中，摄像机102的与图3中所示的摄像机2相同的组件以相同的附图标记表示，并且本文不再进一步讨论，但附图标记增加了100。

可替换地，预处理系统20可以是独立的单元，可操作地连接至如图3的摄像机2的摄像机。

预处理系统可实施为硬件、固件、软件、或其组合。

应当领会的是，本领域技术人员可以多种方式修改以上描述的实施例并仍利用本发明的如上述实施例所示的优点。已作为示例提到了几种预处理过程，但本发明同样可应用到为数字图像编码做准备所应用的其他预处理过程，例如增加对比度、颜色校正、贝尔模板采样、去马赛克或控制增益。将理解的是，趋向于增加噪声的预处理过程可被降低或禁用，以降低输出比特率，而趋向于降低噪声的预处理过程可被启用或增加，以达到相同目的。

结合图3，PTZ控制器被描述为一个用于平移和倾斜的控制器和一个用于变焦的控制器。然而，其还可分别由用于平移、倾斜和变焦的每个的独立的控制器组成，或由用于平移、倾斜和变焦的一个通用控制器组成。

针对图像传感器的移动进行比较的预定阈值可被预先编程或由用户输入设定。

替代仅利用一个阈值，可使用多个阈值。例如，如果移动高于第一低阈值，一个或多个预处理过程可被降低，如果移动高于第二较高的阈值，这些预处理过程可被禁用。预处理的参数可取决于移动，例如作为线性函数。因此，随着移动的增加，参数可被逐渐减小。例如，如果摄像机被缓慢地平移或倾斜，则可稍微降低锐化，而如果摄像机较快地移动，则锐化可被更剧烈地降低或者甚至禁用，因此锐化是取决于移动水平的。

预处理系统可实施为软件、固件、硬件、或其组合。

预处理系统的预处理模块可设置为执行应用于图像的全部预处理过程。可替换地，预处理模块可被划分为独立或协同操作的一些子模块，每个子模块仅执行一个或几个预处理过程。

在以上示例中，本发明是结合摄像机描述的。摄像机可以是监控摄像机。进一步地，摄像机可以是任何类型的摄像机，例如应用可见光的摄像机、IR摄像机、或热学摄像机。摄像机可以是数字摄像机，但本发明还可结合模拟摄像机使用。在这种情况下，来自模拟摄像机的图像可利用数字化单元转换为数字格式。

捕获图像帧的图像传感器可设置为另一类型的图像捕获设备而替代摄像机。

图像还可由可见光传感器、热传感器、飞行时间传感器、或其他类型的生成图像的传感器生成。

因此，本发明不应限于所示出的实施例，而应仅由所附权利要求定义。

Claims (14)

1.一种对图像传感器(6；106)所捕获的数字图像进行预处理以用于编码的方法，包括：

接收第一数字图像(S01)，

接收表示捕获所述第一数字图像时所述图像传感器的移动的信息(S02)，以及

预处理(S03)所述第一数字图像，

其中所述预处理的至少一个参数取决于表示移动的所述信息(S04)。

2.根据权利要求1的方法，其中如果所述图像传感器的所述移动高于预定阈值，则所述预处理(S03)的所述至少一个参数被修改(S04)，使相比于所述移动等于或低于所述阈值的情况，所述第一数字图像由所述预处理进行较少的处理。

3.根据权利要求2的方法，其中所述预处理的所述至少一个参数被修改(S04)，使至少一个预处理过程被禁用。

4.根据权利要求2或3的方法，其中所述至少一个参数被修改(S04)，使至少一个预处理过程以较大或较小的程度处理所述第一数字图像。

5.根据权利要求1的方法，其中所述预处理的所述至少一个参数被修改(S04)以使原本被禁用的至少一个预处理过程被启用。

6.根据权利要求1的方法，其中所述预处理(S03)包括执行从由锐化、增加对比度、色调映射、颜色校正、噪声滤波、模糊化、贝尔模板采样、去马赛克、HDR合并、控制焦点、控制曝光、和控制增益所组成的组中选择的至少一个预处理过程。

7.根据权利要求1的方法，其中表示所述图像传感器(6；106)的移动的所述信息由控制所述图像传感器(6；106)的移动的平移、倾斜和/或变焦控制器(7，8；107，108)提供。

8.根据权利要求1的方法，其中表示所述图像传感器的移动的所述信息由运动传感器(9；109)提供。

9.根据权利要求1的方法，其中所述至少一个参数逐渐被修改(S04)以为所述图像传感器(6；106)的计划的移动做准备。

10.根据权利要求1的方法，进一步包括将所述第一数字图像编码为帧内帧(S05)以为所述图像传感器(6；106)的计划的移动做准备。

11.一种对图像传感器(6；106)捕获的输入图像进行预处理以用于编码的数字图像预处理系统，该系统(20)包括：

图像接收模块(21)，设置为接收输入图像，

移动信息接收模块(22)，设置为接收表示捕获所述输入图像时所述图像传感器的移动的信息，以及

预处理模块(23)，设置为在编码之前预处理所述输入图像，

其中所述预处理的至少一个参数取决于表示移动的所述信息。

12.根据权利要求11的数字图像预处理系统，其中所述预处理模块(23)设置为执行从由锐化、增加对比度、色调映射、颜色校正、噪声滤波、模糊化、贝尔模板采样、逆马赛克、HDR合并、控制焦点、控制曝光、和控制增益所组成的组中选择的至少一个预处理过程。

13.根据权利要求11或12的数字图像预处理系统，其中所述移动信息接收模块(22)通信地连接至控制所述图像传感器(6；106)的移动的平移、倾斜和/或变焦控制器(7，8；107，108)，和/或通信地连接至运动传感器(9；109)。

14.一种摄像机，包括根据权利要求11的预处理系统。