CN105577983B - 检测运动遮罩的设备和方法 - Google Patents

Abstract

本发明提供一种检测运动遮罩的设备和方法。所述用于检测运动遮罩的设备包括：图像处理器，被配置为生成多个图像帧；第一运动遮罩检测器，被配置为通过计算包括在至少一个当前图像帧的部分区域或全部区域中的每个像素的指示所述每个像素与至少一个相邻像素之间的像素值关系的局部特征，并将计算的局部特征与至少一个先前图像帧的相应像素的局部特征进行比较，来检测至少一个第一运动遮罩；第二运动遮罩检测器，被配置为基于当前图像帧的所述部分区域或全部区域与先前图像帧的相应区域之间的差异来检测至少一个第二运动遮罩；运动遮罩生成器，被配置为生成包括第一运动遮罩和第二运动遮罩中的至少一个的最终运动遮罩。

Description

检测运动遮罩的设备和方法

本申请要求于2014年10月30日提交到韩国知识产权局的第10-2014-0149325号韩国专利申请的优先权，该韩国专利申请的公开通过引用全部合并于此。

技术领域

与示例性实施例一致的设备和方法涉及检测动作遮罩。

背景技术

与用肉眼感知自然图像的人的亮度范围相比，普通图像处理设备具有有限的用于捕获/表示图像的亮度范围。因此，通过使用数字图像处理设备捕获或再现的图像可能具有仅在有限范围内的像素的亮度和色彩。具体地说，当图像在具有亮区和暗区两者的环境中被捕获时(例如，当使用背光来捕获图像时，或当暗室中存在强光源时)，图像中对象的信息、灰度和色彩再现被劣化。用于解决该问题的数字图像处理技术为宽动态范围成像。

通过对多个低动态范围(LDR)图像施加权重并合并施加权重的图像来获得高动态范围(HDR)图像。然而，在获得LDR图像的同时，当目标对象移动或背景改变时，发生图像重叠。因此，需要检测并补偿LDR图像中的对象移动或背景改变的该图像重叠。

在HDR成像期间避免图像重叠的相关领域的方法的示例包括基于分布的运动检测、基于熵的运动检测和基于直方图的运动检测。

发明内容

本发明构思的示例性实施例提供一种检测运动遮罩的设备和方法。

实施例的各个方面将在下面描述中部分进行阐述，部分从该描述将是清楚的，或者可以通过本实施例的实践获知。

根据一个或更多个示例性实施例，提供一种用于检测运动遮罩的设备，所述设备可包括：图像处理器，被配置为生成多个图像帧；第一运动遮罩检测器，被配置为通过计算包括在至少一个当前图像帧的部分区域或全部区域中的每个像素的指示所述每个像素与至少一个相邻像素之间的像素值关系的局部特征，并将计算的局部特征与至少一个先前图像帧的相应像素的局部特征进行比较，来检测至少一个第一运动遮罩；第二运动遮罩检测器，被配置为基于当前图像帧的所述部分区域或全部区域与先前图像帧的相应区域之间的差异来检测至少一个第二运动遮罩；运动遮罩生成器，被配置为生成包括第一运动遮罩和第二运动遮罩中的至少一个的最终运动遮罩。

第一运动遮罩检测器还可被配置为：通过确定在像素的相邻像素的像素值中最大像素值与最小像素值之间的差是否超过预设临界值来从第一运动遮罩排除所述像素。

当前图像帧中的像素的局部特征可指示在所述像素和所述像素的相邻像素中两个像素之间的像素值关系，其中，第一运动遮罩检测器还可被配置为：通过确定与先前图像帧中的相应像素的局部特征相同的当前图像帧中的像素的局部特征的数量是否等于或小于预设临界值来将所述像素检测为第一运动遮罩。

第二运动遮罩检测器还可被配置为：通过确定当前图像帧中的像素与先前图像帧中的相应像素之间的差异是否等于或大于预设临界值来将所述像素检测为第二运动遮罩。

运动遮罩生成器可被配置为：将当前图像帧中第一运动遮罩与第二运动遮罩之间的共有区域生成为最终运动遮罩，或将包括第一运动遮罩和第二运动遮罩两者的区域生成为最终运动遮罩。

所述至少一个当前图像帧可包括通过使用不同曝光捕获的多个当前图像帧，所述至少一个第一运动遮罩可包括多个第一运动遮罩，所述至少一个第二运动遮罩可包括多个第二运动遮罩。运动遮罩生成器还可被配置为：基于第一运动遮罩和第二运动遮罩生成所述多个当前图像帧的至少一个第三运动遮罩，并基于所述至少一个第三运动遮罩生成最终运动遮罩。

所述多个当前图像帧可包括：通过使用第一曝光捕获的第一当前图像帧和通过使用第二曝光捕获的第二当前图像帧，其中，运动遮罩生成器还可被配置为：生成包括第一当前图像帧的第三运动遮罩和第二当前图像帧的第三运动遮罩中的至少一个的最终运动遮罩。

根据一个或更多个示例性实施例，提供一种检测运动遮罩的方法，所述方法可包括：通过计算包括在至少一个当前图像帧的部分区域或全部区域中的每个像素的指示所述每个像素与至少一个相邻像素之间的像素值关系的局部特征，并将计算的局部特征与至少一个先前图像帧的相应像素的局部特征进行比较，来检测至少一个第一运动遮罩；基于当前图像帧的所述部分区域或全部区域与先前图像帧的相应区域之间的差异来检测至少一个第二运动遮罩；生成包括第一运动遮罩和第二运动遮罩中的至少一个的最终运动遮罩。

检测第一运动遮罩的步骤可包括：通过确定在像素的相邻像素的像素值中最大像素值与最小像素值之间的差是否超过预设临界值来从第一运动遮罩排除所述像素。

检测第一运动遮罩的步骤可包括：通过确定与先前图像帧中的相应像素的局部特征相同的当前图像帧中的像素的局部特征的数量是否等于或小于预设临界值来将所述像素检测为第一运动遮罩。

检测第二运动遮罩的步骤可包括：通过确定当前图像帧中的像素与先前图像帧中的相应像素之间的差异是否等于或大于预设临界值来将所述像素检测为第二运动遮罩。

生成最终运动遮罩的步骤可包括：将当前图像帧中第一运动遮罩与第二运动遮罩之间的共有区域生成为最终运动遮罩，或将包括第一运动遮罩和第二运动遮罩两者的区域生成为最终运动遮罩。

所述至少一个当前图像帧可包括通过使用不同曝光捕获的多个当前图像帧，所述至少一个第一运动遮罩可包括多个第一运动遮罩，所述至少一个第二运动遮罩可包括多个第二运动遮罩。生成最终运动遮罩的步骤可包括：基于第一运动遮罩和第二运动遮罩生成所述多个当前图像帧的至少一个第三运动遮罩，并基于所述至少一个第三运动遮罩生成最终运动遮罩。

所述多个当前图像帧可包括：以第一曝光量捕获的第一当前图像帧和以第二曝光量捕获的第二当前图像帧，其中，生成最终运动遮罩的步骤可包括：生成包括第一当前图像帧的第三运动遮罩和第二当前图像帧的第三运动遮罩中的至少一个的最终运动遮罩。

根据一个或更多个示例性实施例，提供了其它方法、其它系统和其上实现有用于执行所述方法的计算机程序的其它计算机可读介质。

附图说明

从以下结合附图对实施例进行的描述，这些和/或其它方面将变得清楚和更容易理解，在附图中：

图1是根据示例性实施例的监视系统的示图；

图2是根据示例性实施例的可设置在图1的服务器中的用于检测运动遮罩的设备的配置的框图；

图3是根据另一示例性实施例的可包括在图1的服务器中的用于检测运动遮罩的设备的配置的框图；

图4和图5是根据示例性实施例的检测运动遮罩的方法的流程图；

图6是示出具有重影的图像帧的示图；

图7是根据示例性实施例的用于解释检测运动遮罩的方法的第一运动遮罩检测器、第二运动遮罩检测器和运动遮罩生成器的框图；

图8A是根据示例性实施例的由图3的设备检测的运动遮罩的示图；

图8B和图8C是示出根据示例性实施例的由运动遮罩生成器生成的运动遮罩的示图。

具体实施方式

本发明构思可通过各种示例性实施例和其修改被实施，这些实施例将在附图中被示出并在此详细描述。从以下结合附图的实施例的描述中，这些实施例的效果和特征将是清楚的。然而，本发明构思不限于以下描述的实施例，而可以以各种方法被实施。

现在将详细描述示例性实施例，示例性实施例在附图中示出。在附图中，相同的元件由相同的参考标号来表示，将不再给出它们的重复解释。

将理解，虽然术语“第一”和“第二”等可在此被用于描述各种组件，但这些组件不应该由这些术语限制。这些组件被用于区分一个组件与另一组件。

如在此使用的，除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。

将进一步理解到，在此使用的术语“包含”和/或“包括”说明存在陈述的特征或组件，但是不排除存在或添加一个或更多个其它特征或组件。

当特定实施例可不同地被实施时，特定处理顺序可不同于描述的顺序被执行。例如，两个相继描述的的处理实际上可被同时执行或以与描述的顺序相反的顺序被执行。

如在此所用，术语“和/或”包括一个或更多个相关所列项的任何和所有组合。当诸如“…中的至少一个”的表述在一列元素之后时，该表述修饰整列元素，而不是修饰列的个别元素。

图1是根据示例性实施例的监视系统1的示图。

参照图1，根据一示例性实施例的监视系统1包括相机10、服务器20、存储装置30和终端40。为了更好地理解本示例性实施例，图1中仅示出监视系统1的一些元件。

参照图1，相机10捕获监视区域的图像并将图像发送到服务器20，服务器20将图像存储在存储装置30中或将图像发送到终端40。终端40可从存储装置30接收图像。相机10、服务器20、存储装置30和终端40可通过网络互相连接。

相机10可直接连接到存储装置30。例如，由相机10捕获的图像可通过有线网络或无线网络被直接发送到存储装置30，存储装置30可存储图像。可选地，相机10可从存储装置30获得存储在存储装置30中的数据。

相机10获得将以预定曝光量被拍摄的区域的图像信号。相机10可以是用于监视或安全目的的可对区域进行实时拍摄的监控相机。相机10可以是装备有用于平移和倾斜相机的平移-倾斜装置并还调整镜头的变焦倍率的平移倾斜变焦(PTZ)相机。虽然为了便于解释图1中仅示出一个相机10，但是监视系统1可包括多个相机，并且多个相机可以以预定曝光量拍摄相同的监视区域。

服务器20根据终端40的请求可从相机10接收图像，可输出图像，可生成图像的标题并可控制相机10或存储装置30。将在下面参照图2和图3详细解释服务器20。

可存储图像的存储装置30可以是硬盘或固态盘(SSD)。然而，本领域普通技术人员将理解：本示例性实施例不限于此，存储装置30可以是可存储数据的另一类型的存储介质。

终端40是可在有线/无线通信环境中将数据发送到服务器20和/或存储装置30并从服务器20和/或存储装置30接收数据的装置。终端40可以是用户的个人计算机(PC)或移动终端。虽然如图1所示，终端40是PC，但是本示例性实施例不限于此，可在没有限制的情况下使用任何安装有用于数据通信的接口的终端。终端40包括显示图像的显示器和从用户接收数据的输入模块。输入模块的示例可包括，但不限于，键盘、鼠标、跟踪球、麦克风、按钮和触摸板。

图2是根据示例性实施例的用于检测运动遮罩的设备100的配置的框图。根据一示例性实施例，设备100可设置在图1的服务器20中。

根据一示例性实施例，设备100可相应于至少一个处理器或可包括至少一个处理器。根据另一示例性实施例，设备100可通过被包括在诸如通用计算机系统的硬件装置中而被驱动，或可被安装于服务器20。

参照图2，设备100可包括图像处理器110、第一运动遮罩检测器120、第二运动遮罩检测器130、运动遮罩生成器140和图像生成器(未示出)。

图像处理器110通过对通过相机顺序输入的图像帧进行缩小来生成缩小图像帧，例如，下采样(downsampled)图像帧。图像处理器110可将缩小图像帧存储在帧存储器(未示出)中。

第一运动遮罩检测器120可实时计算指示当前图像帧中的所有像素或一些像素之间的像素值关系的局部特征，可将当前图像帧的局部特征与先前图像帧的局部特征进行比较，并可将具有不同局部特征的区域检测为运动遮罩。第一运动遮罩检测器120可计算当前缩小图像帧的部分区域或全部区域中的每个像素的指示当前缩小图像帧的部分区域或全部区域中的每个像素与相邻像素之间的像素值关系或者每个像素的相邻像素之间的像素值关系的局部特征，可将计算的局部特征与先前缩小图像帧的相应像素的局部特征进行比较，并可检测第一运动遮罩。第一运动遮罩检测器120可通过对当前图像帧的像素值执行各种方法中的任意一个来计算像素值关系。在本示例性实施例中，当前缩小图像帧的部分区域可被预先确定或可由用于检测受图像捕获环境的影响的运动遮罩的设备100变化地确定。

术语“当前缩小图像帧”指通过对当前输入的图像帧进行缩小而获得的图像帧，术语“先前缩小图像帧”指通过对先前输入的图像帧中的一个图像帧进行缩小而获得的图像帧，术语“局部特征”指指示全部或部分地包括在图像帧的区域中的像素的像素值之间的关系的值，并且局部特征可以是在包括在所述区域中的像素中的一个典型像素的像素值与典型像素的相邻像素的像素值之间是否存在增大/减小、增大量/减小量或相邻像素的像素值与典型像素的像素值的比率。此外，术语“相应像素”指位于图像帧中的相同位置的像素。

此外，第一运动遮罩检测器120可通过计算在当前缩小图像帧中的典型像素的相邻像素的像素值中最大像素值与最小像素值之间的差是否超过预设临界值来检测具有无效像素值的像素，并且当确定差超过预设临界值时，第一运动遮罩检测器120可从第一运动遮罩排除典型像素。典型像素可以是当前缩小图像帧中的任意像素。

现在将更详细地解释计算局部特征的处理。第一运动遮罩检测器120可选择位于包括在当前缩小图像帧中的典型像素的水平方向和垂直方向的四个像素作为相邻像素，可从四个相邻像素中随机选择两个像素，并可计算两个像素的像素值之间的差。由于从四个相邻像素选择两个相邻像素的情况的总数为6(6＝4×3/2)，因此可通过针对每个像素的处理计算出六个局部特征。通过对先前缩小帧图像执行相同处理来针对先前缩小图像帧计算先前六个局部特征。可将通过处理计算的当前缩小图像帧的典型像素的局部特征与先前缩小图像帧的相应像素的局部特征进行比较，当确定局部特征互不相同时，典型像素可被包括在运动遮罩中。在另一示例性实施例中，当像素的局部特征指示与所述像素相邻的两个像素之间或所述像素与一个相邻像素之间的像素值关系时，如果与先前缩小图像帧中的相应像素的局部特征相同的当前缩小图像帧中的像素的局部特征的数量等于或大于预设临界值，则第一运动遮罩检测器120可将所述像素包括在运动遮罩中。第一运动遮罩检测器120可通过对包括在当前缩小图像帧中的所有像素执行处理来检测当前缩小图像帧中的运动遮罩。

在另一示例性实施例中，第一运动遮罩检测器120可计算包括在当前图像帧的部分区域或全部区域中的像素的像素值之间的差作为局部特征，或计算包括在当前图像帧的部分区域或全部区域中的像素的像素值的大小顺序作为局部特征。

第二运动遮罩检测器130可基于当前缩小图像帧的部分区域或全部区域与先前缩小图像帧的相应区域之间的差异来检测第二运动遮罩。第二运动遮罩检测器130可将当前缩小图像帧的部分区域或全部区域与先前缩小图像帧的相应区域之间的差异不为0或者差异等于或大于预设临界值的像素检测为包括在第二运动遮罩中的像素。

当对象移动时，由于先前图像帧中对象的位置与当前图像帧中对象的位置互不相同，因此为了检测移动对象的区域，第一运动遮罩检测器120和第二运动遮罩检测器130可将当前输入的图像帧与先前输入的图像帧进行比较，并可将具有不同像素值的区域检测为运动遮罩。运动遮罩生成器140可将包括第一运动遮罩和第二运动遮罩中的至少一个的运动遮罩生成为最终运动遮罩，其中，通过使用指示包括在时间上相邻的缩小图像帧中的像素的像素值关系的局部特征检测第一运动遮罩，通过使用相邻缩小图像帧之间的差异检测第二运动遮罩。运动遮罩生成器140可将包括第一运动遮罩和第二运动遮罩两者的区域生成为最终运动遮罩，或可将第一运动遮罩与第二运动遮罩之间的共有区域生成为最终运动遮罩。运动遮罩生成器140将通过对第一运动遮罩和第二运动遮罩施加权重并对施加权重的第一运动遮罩和施加权重的第二运动遮罩进行求和而获得的运动遮罩生成为最终运动遮罩。由于运动遮罩生成器140将包括第一运动遮罩和第二运动遮罩两者的区域生成为最终运动遮罩，因此运动遮罩可不遗漏地被检测。

图像生成器(未示出)可通过将最终运动遮罩与背景图像进行合并来生成最终图像帧。背景图像可以是从用于生成最终运动遮罩的多个图像帧中选择的一个图像帧。图像生成器可将最终运动遮罩转换为具有与背景图像的分辨率相同的分辨率和/或具有背景图像中的相应大小的区域，随后可对最终运动遮罩与背景图像进行合并。图像生成器可通过将最终运动遮罩中的像素值替换为通过对多个图像帧的相同区域中的像素值进行合并而获得的像素值来生成最终图像帧。为了增加检测的运动遮罩的可视性，如上所述，图像生成器对多个图像帧的相同区域中的像素值进行合并来生成最终图像帧。图像生成器还可通过使用部分像素值对检测的运动区域进行填充以增加检测的运动区域的可视性来生成最终图像帧。图像生成器可通过对包括在多个图像帧中的每个图像帧中的每个像素的亮度、饱和度和对比度施加权重，通过对施加权重的亮度、施加权重的饱和度和施加权重的对比度进行叠加，并通过将运动遮罩的像素的像素值替换为叠加值，来增加运动区域的可视性。可使用本领域普通技术人员公知的生成具有高可视性的图像帧的各种方法，将不再给出它们的详细解释。

当用于检测运动遮罩的设备仅通过使用在不同时间捕获的图像帧之间的差异来检测运动遮罩时，所述设备可错误地将不同图像帧中具有不同像素值的像素检测为运动遮罩。为了解决该问题，设备100还执行计算指示包括在图像帧中的像素的像素值关系的像素的局部特征、将计算的局部特征与先前图像帧的相应像素的局部特征进行比较并将具有不同局部特征的像素检测为运动遮罩中的像素的处理，并将考虑到具有不同像素值的区域和通过比较局部特征而获得的运动遮罩两者的运动遮罩检测为最终运动遮罩。

此外，设备100通过使用通过对图像帧进行缩小而获得的缩小图像帧来检测运动遮罩。因此，设备100可去除包括在图像帧中的噪声，减少局部特征被计算和被相互比较的次数，并减少计算和比较局部特征所需的时间和资源。然而，根据另一示例性实施例，如果不需要降低噪声或者设备100包括高规格处理器，则设备100可不被配置为针对以上运动检测操作对图像帧进行缩小。

图3是示出根据另一示例性实施例的可设置在图1的服务器20中的用于检测运动遮罩的设备200的配置的框图。设备200可通过针对相同监控区域获得具有不同曝光量的多个图像帧并检测多个图像帧中的每个图像帧的运动遮罩来检测最终运动遮罩。

参照图3，设备200可包括：第一图像处理器210、第二图像处理器211、第一运动遮罩检测器220、第二运动遮罩检测器230、运动遮罩生成器240和图像生成器(未示出)。

第一图像处理器210通过对通过使用第一曝光捕获并顺序输入的图像帧进行缩小来生成缩小图像帧。第二图像处理器211通过对通过使用第二曝光捕获并顺序输入的图像帧进行缩小来生成缩小图像帧。根据一示例性实施例，单个相机针对相同监控区域通过使用第一曝光和第二曝光捕获图像帧以实现高动态范围(HDR)成像。

为了方便解释，通过使用第一曝光捕获的图像帧被称为第一图像帧，由第一图像处理器210生成的缩小图像帧被称为第一缩小图像帧，通过使用第二曝光捕获的图像帧被称为第二图像帧，由第二图像处理器211生成的缩小图像帧被称为第二缩小图像帧。使用术语“第一和第二”来区分通过使用不同曝光捕获的图像。

第一运动遮罩检测器220检测由第一图像处理器210和第二图像处理器211生成的多个缩小图像帧中的每个缩小图像帧的第一运动遮罩。第一运动遮罩检测器220通过计算指示通过对当前输入的第一图像帧(以下，称为“第一当前图像帧”)进行缩小而获得的缩小图像帧(以下，称为“第一当前缩小图像帧”)的部分区域或全部区域中的每个像素与相邻像素之间的像素值关系的局部特征，并将计算的局部特征与指示通过对先前输入的第一图像帧(以下，称为“第一先前图像帧”)进行缩小而获得的缩小图像帧(以下，称为“第一先前缩小图像帧”)的相应区域中的每个像素与相邻像素之间的像素值关系的局部特征进行比较，来检测针对第一曝光的第一运动遮罩。第一运动遮罩检测器220通过计算指示通过对当前输入的第二图像帧(以下，称为“第二当前图像帧”)进行缩小而获得的缩小图像帧(以下，称为“第二当前缩小图像帧”)的相应区域中的每个像素与相邻像素之间的像素值关系的局部特征，并将计算的局部特征与指示通过对先前输入的第二图像帧(以下，称为“第二先前图像帧”)进行缩小而获得的缩小图像帧(以下，称为“第二先前缩小图像帧”)的相应区域中的每个像素与相邻像素之间的像素值关系的局部特征进行比较，来检测针对第二曝光的第一运动遮罩。

图7是根据示例性实施例的第一运动遮罩检测器220、第二运动遮罩检测器230和运动遮罩生成器240的框图。

现在将参照图3和图7来解释被配置为检测第一运动遮罩的第一运动遮罩检测器220的操作。第一运动遮罩检测器220可包括第一检测器701和第二检测器702，其中，第一检测器701检测通过使用第一曝光捕获的图像帧的第一运动遮罩，第二检测器702检测通过使用第二曝光捕获的图像帧的第一运动遮罩。虽然第一检测器701和第二检测器702被单独地示出，但是第一检测器701和第二检测器702可被实施为单个单元或模块。第一检测器701通过接收第一当前缩小图像帧A2，计算指示第一当前缩小图像帧A2的部分区域或全部区域的每个像素与每个像素的相邻像素之间的像素值关系的局部特征，接收第一先前缩小图像者A1，并将计算的局部特征与第一先前缩小图像帧A1的相应像素的局部特征进行比较，来将区域AM1检测为第一曝光的第一运动遮罩。第二检测器702通过接收第二当前缩小图像帧B2，计算指示第二当前缩小图像帧B2的相应区域的每个像素与每个像素的相邻像素之间的像素值关系的局部特征，接收第二先前缩小图像帧B1，并将计算的局部特征与第二先前缩小图像帧B1的相应像素的局部特征进行比较，来将区域BM1检测为第二曝光的第一运动遮罩。

已经解释了计算指示像素值关系的局部特征的方法，因此，将不再给出它的详细解释。

第二运动遮罩检测器230检测多个缩小图像帧中的每个缩小图像帧的第二运动遮罩。第二运动遮罩检测器230计算第一当前缩小图像帧A2与第一先前缩小图像帧A1之间的差异，并将差异不为0或者差异等于或大于第一预设临界值的区域检测为第一曝光图像的第二运动遮罩。第二运动遮罩检测器230可检测第二当前缩小图像帧B2与第二先前缩小图像帧B1之间的差异，并可将差异不为0或者差异等于或大于第二预设临界值的区域检测为第二曝光图像的第二运动遮罩。这里，第一预设临界值可与第二预设临界值相同或不同。

现在将参照图3和图7解释第二运动遮罩检测器230的操作。第二运动遮罩检测器230计算第一当前缩小图像帧A2与第一先前缩小图像帧A1之间的差异，并将计算的差异不为0或者计算的差异等于或大于第一预设临界值的区域AM2检测为第一曝光的第二运动遮罩。此外，第二运动遮罩检测器230计算第二当前缩小图像帧B2与第二先前缩小图像帧B1之间的差异，并将计算的差异不为0或者计算的差异等于或大于第二预设临界值的区域BM2检测为第二曝光的第二运动遮罩。

已经解释了考虑缩小图像帧之间的差异的检测运动遮罩的方法，因此将不再给出它的详细解释。

运动遮罩生成器240生成包括第一运动遮罩和第二运动遮罩中的至少一个的最终运动遮罩。运动遮罩生成器240生成包括从通过使用第一曝光捕获的图像帧检测的第一运动遮罩和第二运动遮罩中的至少一个的第三运动遮罩。运动遮罩生成器240生成包括经由通过使用第二曝光捕获的图像帧检测的第一运动遮罩和第二运动遮罩中的至少一个的第三运动遮罩。运动遮罩生成器240可生成包括通过使用第一曝光捕获的图像帧的第三运动遮罩和通过使用第二曝光捕获的图像帧的第三运动遮罩中的至少一个的最终运动遮罩。

现在将参照图3和图7解释运动遮罩生成器240的操作。运动遮罩生成器240可包括第一生成器703和第二生成器704，其中，第一生成器703从通过使用第一曝光捕获的图像帧生成第三运动遮罩，第二生成器704从通过使用第二曝光捕获的图像帧生成第三运动遮罩。虽然第一生成器703和第二生成器704被单独地示出，但是第一生成器703和第二生成器704可包括在一个装置中。第一生成器703可生成包括通过使用第一先前缩小图像帧A1和第一当前缩小图像帧A2检测的第一运动遮罩AM1和第二运动遮罩AM2中的至少一个的第三运动遮罩AM3，第二生成器704可生成包括通过使用第二先前缩小图像帧B1和第二当前缩小图像帧B2检测的第一运动遮罩BM1和第二运动遮罩BM2中的至少一个的第三运动遮罩BM3。运动遮罩生成器240最终将包括针对第一曝光的第三运动遮罩AM3和针对第二曝光的第三运动遮罩BM3中的至少一个的运动遮罩生成为最终运动遮罩。设备200还可包括图像生成器(未示出)。为了增加监控区域的图像帧的可视性，图像生成器可通过将第三运动遮罩中的像素值替换为将多个图像帧的相同区域中的像素值进行和并的像素值来生成最终图像帧。已经解释了通过使用图像生成器从多个图像帧中选择一个图像帧的方法，因此将不再给出它的详细解释。

如上所述，本示例性实施例可被应用于包括对以多种曝光量捕获的图像进行合并的HDR成像。在相同的监视区域以多种曝光量被拍摄之后获得的多个图像帧被合并以提供一个图像帧。在此处理期间，包括在多个图像帧中的相同对象可被识别为不同的对象，因此可能发生如图6中示出的图像被错误地认为是伪造的或者变形的图像的重影。

设备200可通过将来自通过使用不同曝光捕获的图像帧的相邻图像帧的像素之间的像素值关系进行比较，并通过使用相邻图像帧之间的差异来准确地检测运动对象，并可防止具有运动的区域被遗漏。

虽然第一图像处理器210和第二图像处理器211在图3中被单独地解释，但是集成了第一图像处理器210和第二图像处理器211的一个图像处理器可同时或顺序地对多个曝光图像帧进行缩小。

此外，虽然在图3中从具有不同曝光的图像帧检测运动遮罩，但是本示例性实施例不限于此，可通过从多个不同曝光图像帧(例如，四个不同曝光图像帧)中的每个曝光图像帧检测第一运动遮罩和第二运动遮罩来生成第三运动遮罩，并可基于四个第三运动遮罩检测最终运动遮罩。

图4是根据示例性实施例的检测运动遮罩的方法的流程图。

参照图4，所述方法可包括：处理图像的操作S110，检测第一运动遮罩的操作S120，检测第二运动遮罩的操作S130和生成最终运动遮罩的操作S140。

在操作S110，用于检测运动遮罩的设备通过对通过使用预定曝光捕获的输入图像帧进行缩小来生成缩小图像帧。

在操作S120，通过计算指示在操作S110中生成的当前缩小图像帧的部分区域或全部区域中的每个像素与相邻像素之间的像素值关系的局部特征，并将计算的局部特征与在操作S110中生成的先前缩小图像帧的相应像素的局部特征进行比较，来检测第一运动遮罩。已经解释了计算指示像素值关系的局部特征的方法，因此将不再给出它的详细解释。

在操作S130，所述设备计算在操作S110中生成的当前缩小图像帧与先前缩小图像帧之间的差异，将计算的差异不为0或者计算的差异等于或大于预设临界值的区域检测为第二运动遮罩。

在操作S140，所述设备将包括从当前缩小图像帧检测的第一运动遮罩和第二运动遮罩中的至少一个的运动遮罩检测为最终运动遮罩。

图5是根据另一示例性实施例的检测运动遮罩的方法的流程图。

参照图5，所述方法可包括：处理第一图像的操作S310，处理第二图像的操作S311，检测1-1运动遮罩的操作S320检测1-2运动遮罩的操作S321、检测2-1运动遮罩的操作S330，检测2-2运动遮罩的操作S331，检测3-1运动遮罩的操作S340，检测3-2运动遮罩的操作S341和生成最终运动遮罩的操作S350。

在操作S310，用于检测运动遮罩的设备通过对通过使用第一曝光捕获的当前输入图像帧进行缩小来生成第一当前缩小图像帧。在操作S311，所述设备通过对通过使用第二曝光捕获的当前输入图像帧进行缩小来生成第二当前缩小图像帧。

在操作S320，所述设备通过计算指示第一当前缩小图像帧的部分区域或全部区域中的每个像素与相邻像素之间的像素值关系的局部特征，并将计算的局部特征与第一先前缩小图像帧的相应像素的局部特征进行比较，来检测1-1运动遮罩。已经解释了计算指示像素值关系的局部特征的方法，因此将不再给出它的详细解释。

在操作S321，所述设备通过计算指示第二当前缩小图像帧的相应区域中的每个像素与相邻像素之间的像素值关系的局部特征，并将计算的局部特征与第二先前缩小图像帧的相应像素的局部特征进行比较，来检测1-2运动遮罩。

在操作S330，所述设备计算第一当前缩小图像帧与第一先前缩小图像帧之间的差异，并将计算的差异不为0或者计算的差异等于或大于预设临界值的区域检测为2-1运动遮罩。

在操作S331，所述设备计算第二当前缩小图像帧与第二先前缩小图像帧之间的差异，并将计算的差异不为0或者计算的差异等于或大于预设临界值的区域检测为2-2运动遮罩。

在操作S340，所述设备将包括从第一当前缩小图像帧检测的1-1运动遮罩和2-1运动遮罩中的至少一个的运动遮罩检测为3-1运动遮罩。

在操作S341，所述设备将包括从第二当前缩小图像帧检测的1-2运动遮罩和2-2运动遮罩中的至少一个的运动遮罩检测为3-2运动遮罩。

在操作S350，所述设备将包括通过使用第一当前缩小图像帧检测的3-1运动遮罩和通过使用第二当前缩小图像帧检测的3-2运动遮罩中的至少一个的运动遮罩检测为最终运动遮罩。

根据本示例性实施例的方法还可包括生成图像的操作(未示出)，从而为了增加可视性，可通过对通过以多种曝光量对最终运动遮罩中的图像数据进行捕获而获得的多个图像帧进行部分合并来生成最终图像帧。

根据一个或更多个示例性实施例的检测运动遮罩的设备和方法通过从相机获得以不同亮度捕获的图像并获得以每种亮度连续捕获的两个图像帧之间的差异来检测运动遮罩。可选地，所述设备和方法可通过使用像素之间的局部特征通过确定局部特征之间的差是否存在来检测运动遮罩。当使用通过使用相邻图像帧之间的差异来检测运动遮罩的处理和通过使用局部特征来检测运动遮罩的处理两者时，即使当图像包括具有相对低的对比度值的区域时，也可通过对局部特征和图像差异进行分析来检测稳健的运动遮罩。

图8A至图8C是根据示例性实施例的由设备200检测并生成的运动遮罩的示图。

设备200可通过计算指示来自通过使用第一曝光捕获的多个图像帧的每个像素的像素值关系的局部特征，并将计算的局部特征与先前图像帧的局部特征进行比较，来检测第一运动遮罩801，并可通过使用通过使用第一曝光捕获的多个图像帧之间的差异来检测第二运动遮罩803。设备200将包括第一运动遮罩801和第二运动遮罩803的区域生成为第三运动遮罩805。设备200可通过计算指示来自通过使用第二曝光捕获的多个图像帧的每个像素的像素值关系的局部特征，并将计算的局部特征与先前图像帧的局部特征进行比较，来检测第一运动遮罩802，并且可通过使用通过使用第二曝光捕获的多个图像帧之间的差异来检测第二运动遮罩804。设备200生成包括第一运动遮罩802和第二运动遮罩804两者的第三运动遮罩806。最后，设备200将包括第三运动遮罩805和第三运动遮罩806中的至少一个的区域生成为最终运动遮罩。

根据上述一个或更多个示例性实施例的设备和方法，即使当背景区域明亮时，也可相对容易地区分区域和对象之间的移动，可获得具有不同亮度的图像帧，可计算图像帧之间的差异并可计算局部特征。

本示例性实施例可被应用于包括对以多种曝光量捕获的图像进行合并的HDR成像。根据本示例性实施例的设备和方法可通过将多个运动检测算法应用到通过使用不同曝光捕获的相应图像帧来相对准确地检测运动对象，并可防止具有运动的区域被遗漏。

如上所述，根据一个或更多个以上示例性实施例，检测运动遮罩的设备和方法可容易地检测存在于具有相对低的对比度的区域中的运动遮罩，并可生成没有重影的图像。

发明构思的方法可被实施为可由各种计算机装置执行并可记录在计算机可读记录介质上的计算机指令。计算机可读记录介质可包含程序命令、数据文件、数据结构等或它们的组合。记录在计算机可读记录介质上的程序命令可针对发明构思被专门设计并构建或者可被计算机软件领域普通技术人员公知和使用。计算机可读介质的示例包括诸如磁介质(例如，硬盘、软盘或磁带)、光介质(例如，致密盘-只读存储器(CD-ROM)或数字多功能盘(DVD))、磁光介质(例如，软盘)、专门配置以存储并执行程序命令的硬件装置(例如，ROM、RAM或闪存)等的存储介质。程序命令的示例包括可由计算机使用解释器执行的高级语言代码和由编译器生成的机器语言代码。

根据示例性实施例，如图2、图3和图7所示的由框表示的组件、元件或单元中的至少一个可被实施为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件或单元中的至少一个可使用可通过一个或更多个微处理器或其它控制设备的控制来执行各个功能的直接电路结构，诸如，存储器、处理单元、逻辑单元、查找表等。此外，这些组件、元件和单元中的至少一个可通过包括一个或更多个用于执行特定逻辑功能的可执行指令并由一个或更多个微处理器或其它控制设备执行的模块、程序或部分代码来专门实施。此外，这些组件、元件或单元中的至少一个还可包括执行各个功能的处理器(诸如，中央处理器(CPU))、微处理器等。这些组件、元件或单元中的两个或更多个可被组合为一个组件、元件或单元，一个组件、元件或单元执行组合的两个或更多个组件、元件或单元的所有操作或功能。此外，这些组件、元件或单元中的至少一个的至少部分功能可由这些组件、元件或单元中的另一个来执行。此外，虽然在上述框图中未示出总线，但所述组件、元件或单元之间的通信可通过总线执行。上述示例性实施例的功能性方面可被实施为在一个或更多个处理器上运行的算法。此外，通过框表示的组件、元件或单元或处理步骤可采用任何数量的用于电子配置、信号处理和/或控制、数据处理等的相关领域的技术。

在此示出和描述的特定实施方式是本发明构思的示例性示例，而不意在以任何方式限制本发明构思的范围。为了简明，传统的电子设备、控制系统、软件开发和系统的其它功能方面可不被详细描述。此外，在呈现的各个附图中示出的连接线或连接器意在表现各个元件之间的示例性功能关系和/或物理或逻辑结合。应该注意：可在实际装置中存在许多选择性的或另外的功能关系、物理连接或逻辑连接。此外，没有项或组件对于本发明构思的实施来说是必不可少的，除非该元件被特别地描述为“必须的”或“关键的”。

在描述本发明构思的上下文中(尤其是在权利要求的上下文中)单数形式和类似的指示物的使用被解释为覆盖单数形式和复数形式。此外，除非在这里另有指示，否则这里的值的范围的列举仅是为了用作分别引用落入该范围内的每个单独的值的速记方法，并且每个单独的值如这里单独列举的一样被并入说明书中。此外，除非在这里另有指示或者与上下文明显矛盾，否则可以以任何合适的顺序执行这里描述的所有方法的步骤。本发明构思不限于描述的步骤的顺序。除非另有声明，否则这里提供的任何示例及所有示例的使用或示例性语言(例如，“诸如”)仅意在更好地示出本发明构思，而非限制本发明构思的范围。在不脱离本发明构思的精神和范围的情况下，大量的修改和改写对本领域的普通技术人员而言将是相当清楚的。

Claims (20)

1.一种用于检测运动遮罩的设备，所述设备包括：

图像处理器，被配置为生成多个图像帧；

第一运动遮罩检测器，被配置为通过计算包括在至少一个当前图像帧的部分区域或全部区域中的每个像素的指示所述每个像素与至少一个相邻像素之间的像素值关系的局部特征，并将计算的局部特征与至少一个先前图像帧的相应像素的局部特征进行比较，来检测至少一个第一运动遮罩；

第二运动遮罩检测器，被配置为基于当前图像帧的所述部分区域或全部区域与先前图像帧的相应区域之间的差异来检测至少一个第二运动遮罩；

运动遮罩生成器，被配置为生成包括第一运动遮罩和第二运动遮罩中的至少一个的最终运动遮罩，

其中，当前图像帧中的像素的局部特征指示在像素和所述像素的相邻像素中两个像素之间的像素值关系，

其中，所述像素值关系包括每个像素的像素值与至少一个相邻像素的像素值之间是否存在增大/减小、增大量/减小量、或者至少一个相邻像素的像素值与每个像素的像素值之间的比率。

2.如权利要求1所述的设备，其中，第一运动遮罩检测器还被配置为：通过确定在像素的相邻像素的像素值中最大像素值与最小像素值之间的差是否超过预设临界值来从第一运动遮罩排除所述像素。

3.如权利要求1所述的设备，其中，第一运动遮罩检测器还被配置为：通过确定与先前图像帧中的相应像素的局部特征相同的当前图像帧中的像素的局部特征的数量是否等于或小于预设临界值来将所述像素检测为第一运动遮罩。

4.如权利要求1所述的设备，其中，第二运动遮罩检测器还被配置为：通过确定当前图像帧中的像素与先前图像帧中的相应像素之间的差异是否等于或大于预设临界值来将所述像素检测为第二运动遮罩。

5.如权利要求1所述的设备，其中，运动遮罩生成器被配置为：将当前图像帧中第一运动遮罩与第二运动遮罩之间的共有区域生成为最终运动遮罩，或将包括第一运动遮罩和第二运动遮罩两者的区域生成为最终运动遮罩。

6.如权利要求1所述的设备，其中，所述至少一个当前图像帧包括通过使用不同曝光捕获的多个当前图像帧，所述至少一个第一运动遮罩包括多个第一运动遮罩，所述至少一个第二运动遮罩包括多个第二运动遮罩，

其中，运动遮罩生成器被配置为：基于第一运动遮罩和第二运动遮罩生成所述多个当前图像帧的至少一个第三运动遮罩，并基于所述至少一个第三运动遮罩生成最终运动遮罩。

7.如权利要求6所述的设备，其中，所述多个当前图像帧包括：通过使用第一曝光捕获的第一当前图像帧和通过使用第二曝光捕获的第二当前图像帧，

其中，运动遮罩生成器还被配置为：生成包括第一当前图像帧的第三运动遮罩和第二当前图像帧的第三运动遮罩中的至少一个的最终运动遮罩。

8.如权利要求7所述的设备，其中，运动遮罩生成器被配置为：基于第一当前图像帧的第一运动遮罩和第二运动遮罩中的至少一个来生成第一当前图像帧的第三运动遮罩，并基于第二当前图像帧的第一运动遮罩和第二运动遮罩来生成第二当前图像帧的第三运动遮罩。

9.如权利要求1所述的设备，其中，所述至少一个当前图像帧包括：分别使用第一曝光和第二曝光捕获的第一当前图像帧和第二当前图像帧，

其中，所述至少一个第一运动遮罩包括：第一当前图像帧的第一运动遮罩和第二当前图像帧的第一运动遮罩。

10.如权利要求9所述的设备，其中，所述至少一个第二运动遮罩包括：第一当前图像帧的第二运动遮罩和第二当前图像帧的第二运动遮罩。

11.如权利要求1所述的设备，其中，所述多个图像帧为下采样图像帧。

12.一种检测运动遮罩的方法，所述方法包括：

通过计算包括在至少一个当前图像帧的部分区域或全部区域中的每个像素的指示所述每个像素与至少一个相邻像素之间的像素值关系的局部特征，并将计算的局部特征与至少一个先前图像帧的相应像素的局部特征进行比较，来检测至少一个第一运动遮罩；

基于当前图像帧的所述部分区域或全部区域与先前图像帧的相应区域之间的差异来检测至少一个第二运动遮罩；

生成包括第一运动遮罩和第二运动遮罩中的至少一个的最终运动遮罩，

其中，当前图像帧中的像素的局部特征指示在像素和所述像素的相邻像素中两个像素之间的像素值关系，

其中，所述像素值关系包括每个像素的像素值与至少一个相邻像素的像素值之间是否存在增大/减小、增大量/减小量、或者至少一个相邻像素的像素值与每个像素的像素值之间的比率。

13.如权利要求12所述的方法，其中，检测第一运动遮罩的步骤包括：通过确定在像素的相邻像素的像素值中最大像素值与最小像素值之间的差是否超过预设临界值来从第一运动遮罩排除所述像素。

14.如权利要求12所述的方法，其中，检测第一运动遮罩的步骤包括：通过确定与先前图像帧中的相应像素的局部特征相同的当前图像帧中的像素的局部特征的数量是否等于或小于预设临界值来将所述像素检测为第一运动遮罩。

15.如权利要求12所述的方法，其中，检测第二运动遮罩的步骤包括：通过确定当前图像帧中的像素与先前图像帧中的相应像素之间的差异是否等于或大于预设临界值来将所述像素检测为第二运动遮罩。

16.如权利要求12所述的方法，其中，生成最终运动遮罩的步骤包括：将当前图像帧中第一运动遮罩与第二运动遮罩之间的共有区域生成为最终运动遮罩，或将包括第一运动遮罩和第二运动遮罩两者的区域生成为最终运动遮罩。

17.如权利要求12所述的方法，其中，所述至少一个当前图像帧包括通过使用不同曝光捕获的多个当前图像帧，所述至少一个第一运动遮罩包括多个第一运动遮罩，所述至少一个第二运动遮罩包括多个第二运动遮罩，

生成最终运动遮罩的步骤包括：基于第一运动遮罩和第二运动遮罩生成所述多个当前图像帧的至少一个第三运动遮罩，并基于所述至少一个第三运动遮罩生成最终运动遮罩。

18.如权利要求17所述的方法，其中，所述多个当前图像帧包括：以第一曝光量捕获的第一当前图像帧和以第二曝光量捕获的第二当前图像帧，

其中，生成最终运动遮罩的步骤包括：生成包括第一当前图像帧的第三运动遮罩和第二当前图像帧的第三运动遮罩中的至少一个的最终运动遮罩。

19.如权利要18所述的方法，其中，生成所述至少一个第三运动遮罩的步骤包括：

基于第一当前图像帧的第一运动遮罩和第二运动遮罩中的至少一个来生成第一当前图像帧的第三运动遮罩；

基于第二当前图像帧的第一运动遮罩和第二运动遮罩来生成第二当前图像帧的第三运动遮罩。

20.如权利要求12所述的方法，其中，所述至少一个当前图像帧包括：分别使用第一曝光和第二曝光捕获的第一当前图像帧和第二当前图像帧，

其中，所述至少一个第一运动遮罩包括：第一当前图像帧的第一运动遮罩和第二当前图像帧的第一运动遮罩，

所述至少一个第二运动遮罩包括：第一当前图像帧的第二运动遮罩和第二当前图像帧的第二运动遮罩。

Images