CN107093193A - 用于借助摄像机构建深度图的方法 - Google Patents

Abstract

本发明涉及一种用于构建摄像机(100)的检测区域(200)的至少一个所选区域(210)的深度图的方法，其中，借助摄像机(100)指向至少一个所选区域(210)的多个彼此不同的部分区域(220，221，222)，对于每个部分区域(220，221，222)借助改变摄像机(100)焦点的设定，由相应的部分区域(220，221，222)求取深度信息，其中，在考虑该部分区域(220，221，222)的深度信息的情况下，构建深度图(400)，还涉及这样的摄像机(100)。

Description

用于借助摄像机构建深度图的方法

技术领域

本发明涉及一种用于构建摄像机的检测区域的至少一个所选区域的深度图的方法，以及用于执行该方法的摄像机、计算单元和计算机程序。

背景技术

监控摄像机用于识别可疑物件或人员，清点人数或自动地监控在摄像机检测区域内的确定的区域。在此，尤其监控索然无味的区域，例如栅栏、建筑物外表面等。然而，这样的监控摄像机的应用范围也日益扩大到公共可进入的区域，例如超市、火车站、机场等。

为了保证在这样的场景下稳健地跟踪对象(也称为Tracking)，可以校准监控摄像机。在此，典型地考虑用以下校准：其计算2D像点与3D世界点的关系，所述3D世界点的位置处于所属的基本平面上。用这些信息可以估计真实的速度和对象尺寸，以便例如可以计算摄像机图像中较稳定的对象跟踪。

一般不能够毫无困难地用所谓的单摄像机系统——也就是说固定安装的单目摄像机，如典型地用于视频监控领域那样——提取例如处于场景中的物件(例如障碍物、斜坡、阶梯、柜、放置的物件等)的广泛的深度信息。但是，这些信息附加地是有用的，以便以视频内容分析(也称VCA，代表Video Content Analysis的缩写)可以开发进一步的改善方案并且因此开发更稳健的系统。

除了静态摄像机以外，视频监控中还可以使用所谓的PTZ摄像机，其中，PTZ是Pan(摆动)，Tilt(倾斜)和Zoom(变焦)的缩写，也就是说，摆动、倾斜和变焦。这样的摄像机尽管静止地安装在一个位置上，但其摄像机系统(具有图像传感器的光学系统)是可运动的。这能够实现监控场景的不同区域的监控并且因此能够实现待监控场景的更灵活的视频监控可能性。

例如，从DE 10 2013 223 995 Al已知一种监控摄像机，借助该监控摄像机可以求取摄像机的检测区域的深度图，也就是说具有深度信息(也就是说像点与参考点、尤其与摄像机的间距)的地图。在此，使摄像机在空间中运动，以便可以从不同的视角检测该检测区域，然后由此求取深度图。

发明内容

根据本发明提出一种用于构建用于摄像机的深度图的方法，以及用于执行该方法的摄像机、计算单元和计算机程序。有利的构型是以下描述的主题。

根据本发明的方法用于构建摄像机的检测区域的至少一个所选区域的深度图。在此，检测区域可以涉及由摄像机、必要时也通过摄像机的摆动等最大可检测的或可见的区域或待监控场景。至少一个所选区域虽然也可以涉及整个检测区域，但适宜的经常是，从整个检测区域中仅选择希望进行监控的一定区域。适宜的例如可以是：仅选择人员实际上可以运动的区域。在所提出的方法中，现在借助摄像机指向(ansteuern)至少一个所选区域的多个彼此不同的部分区域。在此，“指向部分区域”应理解为将摄像机的当前的、处于摄像机视野中的区域限制到确定的、待检测的部分区域上。指向确定的部分区域例如可以在使用摄像机的孔径角和当前视角的情况下进行，该孔径角和当前视角对于所使用的摄像机一般在该摄像机的控制的范畴内是已知的。部分区域在图像处理的范畴内常常也称为所谓的瓷砖(Kacheln)。对于这些部分区域中的每个，现在借助改变摄像机的焦点设定由相应的部分区域求取深度信息，其中，然后在考虑部分区域的深度信息的情况下构建深度图。

借助所提出的方法现在可能的是：构建非常准确的深度图，也就是说具有摄像机检测区域的或其中的至少一个所选区域的深度信息的地图。在此，所提出的方法利用以下情况：与对于整个检测区域相比，对于检测区域的小片段，借助改变摄像机焦点设定来求取深度信息明显更好地起作用，因为在小片段中，与整个检测区域相比，在各种情况下都看不见具有不同距离的对象。在这样的摄像机的镜头的情况下，如用于监控目的那样，一般使检测区域的或场景的非常多的区域清晰，因为在视频监控中应该识别场景的尽可能大的区域。在此，通过改变焦点设定不能由检测区域获得深度信息，而这借助所提出的方法是可能的。

此外，借助所提出的方法可能的是，在自动视频监控的新应用中增加地使用待监控场景的3D信息，例如以便可以开发更稳健的VCA系统。通过其他方法提取或提供所述深度信息是开销非常高的且成本非常高的，尤其当例如必须借助一个摄像机完全扫描所述场景以便以此方式提取3D信息(所谓的“运动恢复结构”)时，或者应用3D传感器(例如Kinect、飞行时间摄像机(Time-Of-Flight-Kameras)、立体摄像机)时。

所提出的方法例如可以在摄像机正常运行期间的背景下运行，或者也当摄像机例如恰好不用于其他方面时运行。

所提出的方法还可以仅逐点地用于场景，以便确证对于对象跟踪的可能干扰参量的可靠性。跟踪(Tracks)、也就是说对象跟踪可能经常在场景的确定的位置上一再中断或消失。借助所提出的方法可以有针对性地测量所述区域，以便例如确认遮挡棱边，也就是说对象的如下棱边：在所述棱边后面，人员可能被遮挡。

借助提取这样的深度信息，可以在安全技术领域中提供附加功能，例如可以回答如下问题：物件是否处在紧急出口前或者处在到紧急出口的路上。此外，还可以回答如下问题：摄像机到场景上的自由视野是否被附近的障碍物遮挡。

此外，所提出的方法可以用在已经安装的摄像机上。例如可以作为附加的服务来提供并且因此为现有的摄像机装置提供更高的价值。

优选地，在考虑图像梯度的情况下，在相应于至少一个所选区域的图像中选择待指向的部分区域。这样的图像梯度例如可以理解为相邻象素的亮度值的梯度。因为这样的梯度恰好对于又还示出深度跳跃的对象棱边特别大，所以可以通过考虑图像梯度特别好地按照对象进行区分，使得可以有针对性地选择部分区域，以便检测深度跳跃。

有利地，在考虑对象跟踪的情况下，在至少一个所选区域内选择待指向的部分区域。为此，例如可以动用检测区域的或至少一个所选区域的视频内容分析，在该视频内容分析中，跟踪对象、例如人员。以此方式，可以将待指向的部分区域限制到如下区域上：在所述区域中，人员实际上可能出现，并且因此需要特别好的深度信息用于更好的对象跟踪。因此，可以非常简单地排除对于监控而言不重要的其他区域，由此可以更快地构建深度图。

有利的是，如此选择待指向的部分区域，使得相邻的部分区域至少部分地重叠，或者精确地或尽可能精确地彼此邻接。以此方式能够简单地实现之后接合由相应的部分区域获得的各个深度图。

优选地，在构建深度图时，将相应于部分区域的各个深度图整合，其中，至少部分地在考虑部分区域的深度信息的情况下估计至少一个所选区域中的如下区域的深度信息：对于所述区域，借助摄像机未求取到深度信息。一方面，以此方式不必须对处于重要的监控区域内的所有部分区域求取深度信息，另一方面，这经常也仅能够困难地实现。尤其对于在均匀的面、例如物件的表面，几乎不能通过改变焦点设定获得深度信息。例如可以通过深度之间的内插非常简单地估计这些缺少的区域，其中，所述深度相应于对象棱边。

有利地，借助改变摄像机的焦点设定由相应的部分区域求取深度信息，其方式是：对于不同的焦点等级拍摄图像，并且由各个图像的图像梯度求取相应于最大图像梯度的焦点设定。这样的图像梯度例如可以理解为相邻象素的亮度值的梯度。为此，可以例如对于不同的、预先确定的焦点设定分别拍摄相应的部分区域的图像，由此获得一系列图像——所谓的图像序列。因为在具有最佳焦点设定的图像的情况下、也就是说在最清晰地成像的图像的情况下，图像梯度最大，所以可以通过求取最大图像梯度找出相应于对象距离的焦点设定，该焦点设定清晰地成像对象。然后，由这样求取的焦点设定，例如可以根据比较值或给焦点设定分配距离的函数来求取对象距离、也就是说深度信息。这种本身已知的做法也称为“对焦深度”。例如可以通过测试拍摄求取这样的比较值或与这样的比较值适配的函数。

例如可以提高借助改变摄像机的焦点设定而求取的深度信息的准确度，其方式是：使用适当的焦点模型，例如从“Asada，N.，Fujiwara，H.，&Matsuyama，T.(1998)所著的《Edge and depth from focus》.International Journal of Computer Vision，26(2)，153-163页.”已知的。

有利的是：借助该摄像机通过摄像机的摆动和/或倾斜和/或变焦来指向多个彼此不同的部分区域。符合目的地，为此使用位置固定的摄像机、尤其PTZ摄像机作为摄像机。摆动、倾斜和变焦是在位置固定的摄像机的情况下从检测区域选择不同区域的可行方案。通过摆动可以在水平方向上选择不同的区域，而通过倾斜可以在垂直方向上选择不同的区域。在此，应注意，在改变倾斜角时，可检测的区域在水平延展上改变。就此而言必需的是：在不同的倾斜角的情况下指向不同数量的部分区域，以便达到相同的分辨率。另外，通过变焦也可以选择另一图像片段。在此，适宜的是：尤其在检测区域的遥远区域的情况下，使用高的变焦等级。

优选地，深度图用于改善和/或检验用于至少一个所选区域的视频内容分析。在此，可以给用于视频内容分析的系统(VCA系统)提供深度图或所获得的深度信息。因此，现在例如能够实现经改善的或更稳健的对象跟踪、确认对象检测器的缺陷检测的可靠性，或例如为了可视化目的而生成监控场景的3D周围环境。同样可以设想，例如在考虑基本平面和摄像机在所述基本平面上方的高度的情况下由所计算的深度来校准场景。借助深度图可以估计摄像机的外部参数，即例如摄像机所处的高度以及到基本平面上的视角。

根据本发明的摄像机、例如PTZ摄像机尤其在编程技术上设置用于执行根据本发明的方法。

根据本发明的计算单元、例如用于摄像机的控制或分析处理单元尤其在编程技术上设置用于执行根据本发明的方法。

以计算机程序的形式实现所述方法也是有利的，因为这尤其当将进行实施的控制装置还用于其他任务并且因此总归存在时，引起特别低的成本。用于提供计算机程序的适当的数据载体尤其是磁的、光的或电的存储器，例如硬盘、闪存、EEPROM、DVD等。还可以通过计算机网络(互联网、内网等)下载程序。

本发明的其他优点和构型由说明书和附图得出。

附图说明

本发明根据实施例在附图中示意性地示出并且以下参照附图描述本发明。

图1示意性地示出具有所检测区域的摄像机，如根据本发明的方法在优选的实施形式中可以使用的那样；

图2a示意性地示出图1中的检测区域的部分区域；

图2b示意性地示出对于摄像机的不同的焦点设定的、对于图2a中的部分区域的梯度堆叠图像；

图3示出摄像机焦点设定和对象与摄像机的距离之间的相互关系；

图4示意性地示出图1中的检测区域的深度图。

具体实施方式

图1中示意性地示出摄像机100，其可以在一种优选的实施方式中用于根据本发明的方法。摄像机100当前涉及所谓的PTZ摄像机，也就是说摄像机虽然位置固定地安装，但可以摆动和倾斜并且具有变焦功能。

在图中，相应的运动借助用于水平方向上的摆动(也就是说围绕垂直轴线的转动)的附图标记110、用于垂直方向上的倾斜(也就是说围绕水平轴线的转动)的附图标记120以及用于变焦功能的附图标记130来表示。在摆动时和在倾斜时转动摄像机110，而在进行变焦功能时并不使摄像机本身运动，而是仅改变其镜头的设定(Einstellung)。然而，以所描述的所有三种可能性改变当前由摄像机检测的区域。

此外，示出在此示例性地在办公室空间内的检测区域200。在此，检测区域200表示最大由摄像机——也就是说通过最大摆动、倾斜和变焦可以检测的周围环境区域。因此，在检测区域200中可以进行监控。

在检测区域200中选择区域210，所选区域包括处于检测区域200中的不同物件。因此，所选区域210尤其包括以下区域，在所述区域内，人员例如可以逗留或运动。人员不能逗留的区域、例如天花板区域，当前不处于所选区域210中。

当前在所选区域210中示例性地示出三个部分区域220、221和222，可以借助摄像机100通过适当的摆动和/或倾斜和/或变焦指向所述三个部分区域。示例性地，在部分区域220中存在高桌(Stehtisch)，在部分区域221中存在书桌，而在部分区域222中存在展示牌。

优选地可以沿着图像梯度提取所述部分区域，因为所述图像梯度示出可能的深度跳跃并且遮挡棱边是视频内容分析中的重要参量。这样的图像梯度在所示的示例中例如处于具有桌板的棱边的部分区域221中。也可以通过后处理来填充图像中均匀的面，例如桌板的面，由此加速构建深度图的整个过程。

同样可以根据跟踪结果确定：对象、即例如人员在场景中在哪里运动。在所示的示例中，以此方式例如也可以选择所示的区域210，因为人员例如将在提及的对象前面运动。

可以使用这些信息来在所述位置处估计基本平面——也就是说对象或人员在其上存在或运动的平面——的深度。接下来，可以借助所获得的值估计如下基本平面：该基本平面可以又给所述跟踪充当输入。

摄像机的摆动使所检测图像的像点在圆形轨迹上运动，其中，半径取决于摄像机的倾斜角。圆形轨迹的在图像中可见的份额越大，则应从该倾斜角进行更多拍摄，以便填充整个片段，因为仅可以围绕两个轴线转动该摄像机。

简化的情况对于小的倾斜角例如是可能的。在这种情况下，该圆形轨迹趋近直线并且可见片段的角度大约相应于摄像机的水平孔径角。那么图像可以根据变焦因数和孔径角固定地划分成水平和垂直区域。

在图2a中示意性地更详细地示出图1中的检测区域200的部分区域220。示例性地可以在其中看见具有棋盘图样的牌子。

在图2b中现在示意性地示出梯度堆叠图像250，该梯度堆叠图像是对于摄像机100的(在y轴线上)不同的焦点设定沿着图2a中的部分区域220中的线230。由多个图像产生该梯度堆叠图像，所述多个图像从部分区域220借助摄像机100在摄像机100的分别不同的焦点设定的情况下已经被拍摄。

现在可以对于这些图像中的每一幅计算梯度，必要时在此可以综合相邻的梯度或者可以在多个图像上累加相邻的梯度，以便抑制噪声。这尤其在暗的图像区域中是适宜的。

给每个焦点设定分配一个y值。对于每个焦点设定，沿着线230对于每个像点确定亮度梯度作为图像梯度，并且将其例如绘制为颜色值或灰度值。应指出，在图2b中不能描绘灰度级，因此纯代表性地对于一个阈值以上的灰度值示出黑色而对于该阈值以下的灰度值示出白色。

如在图像序列250上可以看到的那样，在左侧和右侧借助箭头标示的线处的梯度是最大的，也就是说，在所述图像中该梯度最大。因此，相应于该图像的焦点设定尽可能清晰地示出部分区域210，并且可以考虑用于求取对象——也就是说在此具有棋盘图样的牌——与摄像机的距离。

在图3中以曲线图示出摄像机的焦点设定F和对象与摄像机的距离E之间的相互关系。距离E以“米”说明，焦点设定F以任意单位说明。

现在，在测试拍摄的范畴内例如可以求取该曲线图(在此示出为圆)中的各个测量点。为此，例如能够定位与摄像机或其镜头具有不同间距的对象，并且借助摄像机可以分别选择如下焦点设定：以该焦点设定尽可能清晰地将对象成像。

接下来，例如以函数f过滤所述各个测量点。以此方式可以非常简单地根据按照图2a和2b阐述的方法给对象分配距离。如前所述，这样的方法还可以称为“对焦深度”(Depthfrom Focus)。

以此方式即可以给在部分区域220中示出的片段分配深度。以相同的方式也可以给所示出的其余部分区域221和222分配深度。

在图4中现在示意性地示出图1中的检测区域200的深度图400。在此，深度图像420相应于部分区域220，深度图像421相应于部分区域221，并且深度图像422相应于部分区域222。

在这里示出的情况下，距离较小的对象以较粗的线示出，而距离较大的对象以较细的线示出。在灰度图中，距离较小的对象例如可以较亮地示出，而距离较大的对象例如可以较暗地示出。

如在图4中可见，例如足够的是：借助改变焦点设定仅求取对象棱边的深度。例如可以通过限界所述面的棱边深度的内插来求取均匀的面、即例如部分区域221中或深度图421中的高桌的面板。

垂直于摄像机法线的面沿着圆形轨迹具有相同的深度，因此沿着圆形轨迹传播深度值是适宜的。以此方式还可以求取确定的面或区域的深度。

在此，应该保证整合各个部分区域或深度图像，以便可以提取整个场景的或场景的所选区域的深度图。显然，为此不仅可以使用所示的三个部分区域，而且可以使用覆盖场景的整个所选区域那么多的部分区域。如前所述，在此适宜的可以是：彼此相邻的部分区域重叠。

深度图的具体片段的计算可以通过以下方式进行：将所有可见的拍摄在空间中透视投影到该片段的新图像平面上，类似于在渲染计算机图形时所做的那样。

在此，还可以设想重新测量深度图中潜在地有缺陷的区域。还可以设想，偶尔确证场景的可靠性，以便检验3D结构是否已经改变。

现在可以用所提出的方法改善VCA系统的现有功能，例如可以检验所谓的功能“闲置对象检测”的合理性。在此，PTZ摄像机可以指向重要对象的位置并且尝试在所述区域内识别深度差，并且因此对如下情况检验合理性：是否涉及对象，或者是否可能看见例如已经触发错误警报的阴影。

例如可以通过以下方式实现稠密的深度图：通过后处理填充未知深度的区域，所述区域例如是该区域中的低信噪比的结果并且对于该区域“对焦深度”方法是失败的。

Claims (12)

1.一种用于构建摄像机(100)的检测区域(200)的至少一个所选区域(210)的深度图(400)的方法，

其中，借助所述摄像机(100)指向所述至少一个所选区域(210)的多个彼此不同的部分区域(220，221，222)，

其中，对于所述部分区域(220，221，222)中的每个，借助改变所述摄像机(100)的焦点设定(F)由相应的部分区域(220，221，222)求取深度信息，

其中，在考虑所述部分区域(220，221，222)的所述深度信息的情况下构建所述深度图(400)。

2.根据权利要求1所述的方法，其中，在考虑图像梯度的情况下，在相应于所述至少一个所选区域(210)的图像中选择待指向的部分区域(220，221，222)。

3.根据权利要求1或2所述的方法，其中，在考虑对象跟踪的情况下，在所述至少一个所选区域(210)中选择所述待指向的部分区域(220，221，222)。

4.根据上述权利要求中任一项所述的方法，其中，如此选择所述待指向的部分区域(220，221，222)，使得相邻的部分区域至少部分地重叠。

5.根据上述权利要求中任一项所述的方法，其中，在构建所述深度图(400)时，将相应于所述部分区域(220，221，222)的各个深度图像(420，421，422)整合，其中，至少部分地在考虑所述部分区域(220，221，222)的所述深度信息的情况下估计对于所述至少一个所选区域(210)中的如下区域的深度信息：对于所述区域，借助所述摄像机(100)未求取到深度信息。

6.根据上述权利要求中任一项所述的方法，其中，借助改变所述摄像机(100)的焦点设定(F)，由所述相应的部分区域(220，221，222)求取所述深度信息，其方式是：对于不同的焦点等级(F)拍摄图像，并且由各个图像的图像梯度求取相应于最大图像梯度的焦点设定。

7.根据上述权利要求中任一项所述的方法，其中，借助所述摄像机(100)通过所述摄像机(100)的摆动(110)和/或倾斜(120)和/或变焦(130)来指向多个彼此不同的部分区域(220，221，222)。

8.根据上述权利要求中任一项所述的方法，其中，使用位置固定的摄像机、尤其PTZ摄像机作为摄像机(100)。

9.根据上述权利要求中任一项所述的方法，其中，将所述深度图(400)用于改善和/或检验用于所述至少一个所选区域(210)的视频内容分析。

10.一种摄像机(100)或一种计算单元，该摄像机或计算单元设置用于执行根据上述权利要求中任一项所述的方法。

11.一种计算机程序，当在摄像机(100)或计算单元上运行该计算机程序时，该计算机程序促使所述摄像机(100)或计算单元执行根据权利要求1至9中任一项所述的方法。

12.一种机器可读的存储介质，该存储介质具有存储于其上的根据权利要求11所述的计算机程序。