CN109215073A - 用于调节摄像机的方法、监视装置和计算机可读介质 - Google Patents

Abstract

本发明涉及一种用于调节摄像机、尤其监视装置的方法，所述方法包括：拍摄待监视的区域的图像；分析处理所拍摄的图像，以用于将所述图像的至少一个图像区域配属给对象；基于所检测的图像区域辨识所述对象；通过访问所辨识的对象的所存储的尺寸信息来求取所述对象的尺寸；对配属于所拍摄的图像中的所述对象的图像区域进行标定，以用于标定所检测图像的其余部分和/或用于确定所述摄像机相对于所检测的对象的距离。本发明还涉及一种监视装置、一种计算机程序以及一种计算机可读的介质。

Description

用于调节摄像机的方法、监视装置和计算机可读介质

技术领域

本发明涉及一种用于调节摄像机、尤其监视装置的方法。本发明还涉及一种监视装置、一种计算机程序以及一种计算机可读的介质。

背景技术

由EP 2 044 573 B1已经已知一种监视摄像机以及一种用于校准该监视摄像机的方法。定位在静止监视位置处的监视摄像机具有校准辅助设备，该校准辅助设备支持监视摄像机的校准。在此，该校准辅助设备构造成传感器单元和计算单元，所述传感器单元和计算单元用于求取监视摄像机的静止监视位置，其中，静止监视位置包括监视摄像机的绝对位置和定向。借助校准模块将数字周围环境地图或数字建筑图形式的周围环境信息与监视摄像机的由校准辅助设备求取的静止监视位置整合在一起，以用于校准摄像机，其中，求取监视摄像机的实际视角。在此，监视摄像机的校准用于如下目的：可以将对象的以像素为单位测量的参量在监视摄像机的图像数据流中换算成公制单位。以这种方式，可以说明所探测的对象的实际物理参量。然后也能够实现，以公制参量说明对象的速度或加速度。在此，借助构造成传感器单元和计算单元的校准辅助设备，在没有用户交互(Benutzerinteraktion)的情况下求取用于校准所需的数据并且将这些数据提供用于图像分析。

发明内容

在此，根据本发明的用于调节、尤其校准摄像机的方法具有如下优点：可以仅由对所拍摄的图像的分析来实现所检测的摄像机图像的相应校准。为此，首先将摄像机布置在期望位置处，然后调节摄像机。在调节时拍摄图像，接下来自动分析所拍摄的图像。在此，给所拍摄的图像的至少一个图像区域配属一个对象。随后尝试辨识该对象。为此，例如将对象与所存储的对象的多个图像进行比较。如果发现该对象涉及外部尺寸已知的已知对象，则可以将该已知的外部尺寸与所拍摄的图像的如下像点建立联系：对象在所拍摄的图像中占据这些像点。

如果在所拍摄的图像中辨识出的对象具有已知高度，则可以使所拍摄的图像中的相应延伸尺度(例如相应于图像中的对象高度的像素数量)等同于已知高度。因此，可以考虑使用该对象来在充分利用已知尺寸的情况下标定(skalieren)摄像机图像。理想地，可以确定对象的宽度、高度和深度，使得能够实现图像的空间标定。优选地，辨识一个图像区域中的多个对象，使得能够在不同图像区域中进行标定。

如果对象尺寸已知，则在考虑摄像机的光学器件的已知焦距的情况下也可以确定摄像机相对于对象的距离。因此，能够实现摄像机相对于对象的距离确定和/或所拍摄的图像在一个或多个空间方向上的标定，而不必为此求助于附加的传感器。因此，使所拍摄的图像的标定以及摄像机的校准或初始调节变得容易。此外，减少了硬件开销，因为除了用于分析所拍摄的图像的计算单元、(必要时)用于请求用于辨识图像中的对象的信息的存储器单元或接口之外，不需要给摄像机提供其他信息。用户尤其不需要自己进行相应测量并输入到摄像机中。

由本发明的技术方案得出其他优点。因此有利的是，求取所述图像区域的边界的坐标，由所述坐标确定图像区域的形状，将识别的对象的外部形状与在正视图情况下的预计形状进行比较，以便由该比较确定对象的面法线相对于摄像机的定向。由此可以改善图像的标定，因为对象相对于摄像机的定向是已知的，并且因此例如可以确定，物体的表面法线不指向摄像机而是指向有偏差的方向，所以对于标定来说，不应使用恒定的比例尺，而是应使用对于拍摄的图像来说变化的比例尺。

此外有利的是，检测配属于对象的图像区域内的至少一个符号并且将其作为用于辨识对象的补充信息进行分析处理。在此，例如可以涉及对象的类型描述或品牌名称。但是此外也能够实现，在对象上施加信息符号、例如QR码或条形码，以便简化对象的辨识。尤其有利的是，为了简化摄像机的校准而将专门的、标准化的对象引入摄像机视野内的位置处。因为通过这样的、易于被摄像机检测和解释的符号，可以简化正确的对象识别和对象配属的可能性。

此外有利的是，附加地考虑用户的输入检测。由此，用户尤其可以在对所执行的自动辨识产生怀疑的情况下确认对象的正确识别。然而此外也能够是，用户以简单的方式输入对于他来说已知的针对对象的附加信息，使得随后例如可以调用用户未知的尺寸信息。因此，用户例如可以输入已经被识别为对象的设备的类型信息。即使该用户不知道尺寸信息，也可以在考虑附加输入的信息的情况下，从存在该尺寸信息的存储器装置中或通过数据网络调用该尺寸信息。因此可以改善对象的识别准确度并且因此改善标定，而用户不需要输入细节信息或尺寸信息。而是用户可以输入其已知的信息，这些信息随后被分析处理。因此，可以将辨识信息或关于所辨识的对象的其他信息输出给用户，使得用户能够确定：是否以正确的方式进行了识别。

此外有利的是，将配属于对象的数据量、尤其配属于对象的图像区域的数据传递给用于辨识对象的搜索算法，使得可以以简单的方式借助算法实现对象的辨识。尤其有利的是，在充分利用经训练的神经网络(在其中已经存储有可能的可辨识的对象)的情况下辨识对象。在家中使用摄像机的情况下，例如可以存储家中常见的设备、例如家用器具或消费电子设备。除了家用电器也可以分析家具、例如柜子或桌子。然而此外也能够考虑其他家用物品、例如杯子、餐具、杂志或书籍。在工业应用中，该对象例如可以是在制造中经常出现的设备，例如生产机器或标准化的包装材料、例如托盘或丝网箱(Drahtgitterboxen)。

为了后续监视由摄像机拍摄的图像区域，尤其当照相机位置固定地布置时，不仅对于刚拍摄的图像，而且也对于接下来由摄像机后续拍摄的图像执行或使用标定。标定在此，初始记录的图像中的用于标定所使用的对象也可以再从所检测的图像中移除。

此外设有具有相应优点的、具有适用于执行所述方法步骤的器件的监视装置、相应的计算机程序以及存储有该计算机程序的计算机可读的介质。

附图说明

本发明的实施例在附图中示出并且在以下描述中进一步阐述。附图示出：

图1示出用于执行该方法的监视装置；

图2示出摄像机的示例性视野，对象存在于该视野中；

图3和4示出待辨识的对象的不同视图；

图5示出方法流程的一种实施例。

具体实施方式

根据本发明的用于调节摄像机的方法可以用于任意摄像机装置。尤其对于如下摄像机是有利的：所述摄像机固定布置或安装地用于监视待观察的确定场景、即建筑物内部或外部的待监视的确定空间区域。在此，摄像机的任务不仅在于拍摄相应图像，而且也在于识别和分析处理待监视的空间区域中的对象、尤其运动的对象和变化。然而，为了在此可以可靠地识别对象并且例如可以识别人的运动，需要在摄像机校准的意义上调节摄像机，以便能够给在三维空间中的待观察空间内拍摄的图像内的对象明确分配延伸尺度。借助根据本发明的方法，在安装摄像机之后待采取的校准步骤被简化并且被可靠地执行，使得可以可靠地实现所检测的图像的后续分析处理。在此，对于该场景中的任意对象，可以在进行校准之后通过摄像机来实现尺寸的检测，而不必由用户手动输入标注尺寸(Bemaβung)或尺寸说明。

图1中示出一种摄像机10，该摄像机通过光学器件11观察空间区域。计算装置12分析处理由摄像机10通过光学器件11检测的图像，该图像例如通过图像检测单元13、例如CCD模块被检测。在初次打开摄像机之后或根据用户要求，摄像机10执行调节方法。这示例性地借助图2的示例场景来阐述。

图2示出由摄像机10拍摄的图像20。在图像20中，例如借助相应图像区域的不同配色和/或结构来辨识多个对象：第一对象21、第二对象22和第三对象23以及第一面24、第二面25和第三面26。接下来，将分配给对象的图像区域提供给用于辨识对象的单独分析。该辨识可以在计算单元12中进行。然而，摄像机10也可以通过数据连接14、例如通过数据网络或通过近场通信连接与计算装置15连接。在计算装置15中尝试，在访问存储器装置的情况下，将相应的图像区域配属给存储器装置16中的配属的对象。在第一实施方式中，在此可以将所拍摄的图像区域与所存储的图像信息进行比较，该图像信息存储在存储器装置16中。存储器装置16尤其与计算装置15共同实施成神经网络，借助该神经网络实现图像区域的图像分析处理。在此，存储器装置16中存储的对象尽可能保存有尺寸说明，使得在完成对象辨识之后，可以通过数据连接14将该尺寸信息反馈给摄像机10。

因此，在图2中示例性地将第一对象21识别成电视机。理想地，根据对象21的外观还求取电视机的尺寸。如果该信息还不够充分，则可以在第一实施方式中通过输入/输出接口17，例如智能手机、平板电脑，或通过其他合适的计算装置向用户输出：第一对象21已经被识别成电视机。现在可以要求用户输入电视机的类型名称。在考虑类型名称的情况下，然后又可以访问存储器装置16，以便也在考虑类型信息的情况下确定电视机的尺寸信息。然而在另一实施方式中，计算装置15也可以设计为用于独立地在数据网络、例如互联网中执行搜索，以便求取电视机的尺寸。在另一实施方式中，可以由摄像机10检测布置在第一对象21上的符号27并且将其传递到计算装置15上，以用于分析处理。在此，可以涉及第一对象的品牌名称或类型名称。优选地，在辨识对象时一起考虑该信息。

在一种实施方式中，在完成辨识之后可以通过输入/输出接口17可选地向用户显示第一对象的名称，例如“XY品牌和Z类型的电视机”。现在可以要求用户确认或否认该辨识。

如果现在求取到第一对象的尺寸、例如确定的电视机类型的尺寸，则可以考虑使用第一方向28上的延伸尺度和第二方向29上的延伸尺度来标定图像信息。

因为在辨识出第一对象21之后，第一对象的(即在此示出的实施例中的电视机的)的尺寸是已知的，所以此外可以在考虑摄像机焦距的情况下确定：第一对象与摄像机10距离多远。因此，也能够实现第一对象21与检测第一对象21的摄像机10之间的距离的确定。也可以将该信息一起考虑用于调节摄像机10。

此外，例如将第二对象22辨识成确定类型的烤面包机。在在此示出的实施例中，关于该对象的尺寸也是已知的，使得对于第二对象22也可以实现尺寸确定以及接下来的标定。

针对第三对象23(柜子)，在存储器装置16中例如不存在尺寸度量。通过输入/输出接口17可以向观察者显示“第三对象已经被辨识成柜子，然而其尺寸数据是未知的”。现在，用户要么可以输入柜子的尺寸，要么例如可以输入柜子的类型名称，该类型名称能够被考虑用于辨识出尺寸信息。

此外，摄像机识别到第一面24、第二面25和第三面26。由于第三对象23立于第三面26上，所以将第三面26检测成地面。相应地，将第一面24和第二面25检测成墙面。借助已经存在的、通过第一对象21和第二对象22的标定，例如可以确定第一对象21相对于第一墙面与第二墙面之间的过渡线31的距离30以及第二对象与过渡线31之间的距离33。因此，在由摄像机10根据图2可见的场景中，展开一个三维标定空间。然后例如可以考虑将该标定用于，通过计算装置12在尺寸方面对在以后的时刻引入场景中的对象34(该对象在图2中以虚线示出)进行估计，并且例如因此确定：该对象是否是危险的或该对象例如是否涉及人员。

为了准确检测对象在空间中的定向，此外有利地确定指向摄像机的表面法矢量。借助图3和图4示出一种关于此的方法。图3和图4示出电视机的前侧，该电视机以相对于观察该电视机的摄像机的不同角度示出。在图3中，电视机40的右侧41比左侧42更接近摄像机。图4中，左侧42′被布置得比右侧41′更近。这导致：在图3的情况下，右侧41显得比左侧42更长，在图4中，左侧42′显得比右侧41′更长。因为这两个侧棱边实际上是等长的，所以根据这种长度比较可以容易地计算出，电视机相对于观察它的摄像机呈何种角度。如果已知对象具有规则的矩形形状，则可以通过分析处理左侧与右侧的长度比来确定，指向摄像机的矩形面的表面法矢量相对于该摄像机的视向(Blickrichtung)呈何种关系。如果对象、例如根据图2的第一对象21布置在墙壁上，则相应地可以考虑将该信息用于标定墙壁。

在图5中示出一种根据本发明的方法流程的实施例。在初始化步骤50中，要么自动地要么手动地开始摄像机的校准。在接下来的图像拍摄步骤51中，由摄像机拍摄场景的图像。在接下来的分析步骤52中，搜索可能要分配给对象的图像区域。在此，尤其涉及具有相似颜色和/或类似结构的面。在接下来的检查步骤53中检查，是否可以辨识出对象。如果不是这种情况，则分支回到图像拍摄步骤51。如果已经识别出对象，则在辨识步骤54中辨识对象。继续执行分析步骤52，直至不存在其他对象。接下来，在求取步骤55中，确定各个对象的尺寸信息。在接下来的标定步骤56中，执行所检测的图像的标定。在可选的输出步骤57中，向用户显示关于所检测的对象的所检测的标定尺寸和/或信息。在询问步骤58中，用户现在可以确认所检测的已执行标定，然后在结束步骤59中结束该校准方法，并且将所求取的标定用于后续的图像分析处理。否则，从询问步骤58返回图像拍摄步骤51。

在另一实施方式中也能够实现，将标准化的对象、例如具有25cm棱边长度的立方体引入到图像中的不同位置处。该立方体例如可以通过条形码专门标记，使得摄像机能够容易地检测到该立方体。

除了借助唯一的图像拍摄进行标定，也可以拍摄图像序列，并且在该图像序列中相继执行对图像的各个区域的标定。

Claims (11)

1.一种用于调节摄像机、尤其监视装置的方法，所述方法包括：拍摄待监视的区域的图像；分析处理所拍摄的图像，以用于将所述图像的至少一个图像区域配属给对象；基于所检测的图像区域辨识所述对象；通过访问所辨识的对象的所存储的尺寸信息来求取所述对象的尺寸；对配属于所拍摄的图像中的所述对象的图像区域进行标定，以用于标定所检测图像的其余部分和/或用于确定所述摄像机相对于所检测的对象的距离。

2.根据权利要求1所述的方法，所述方法还包括：求取所述图像区域的边界的坐标；由所述坐标确定所述图像区域的形状；将求取出的形状与所述对象的视图在正视图情况下的预计形状进行比较；并且由求取出的形状与预计形状的比较来确定所检测的对象的表面关于所述摄像机的视向的表面法线。

3.根据以上权利要求中任一项所述的方法，所述方法还包括：检测配属于所述对象的图像区域中的至少一个符号；将至少一个所检测的符号中的至少一个补充信息配属给所述对象；并且使用所配属的信息来辨识所述对象。

4.根据以上权利要求中任一项所述的方法，所述方法还包括：检测用户的输入，所述输入用于输入针对所述图像区域中的所述对象的至少一个附加信息；并且使用所检测的信息来辨识所述对象和/或标定所述图像区域。

5.根据以上权利要求中任一项所述的方法，所述方法还包括：输出辨识信息和/或针对所辨识的对象的其他信息。

6.根据以上权利要求中任一项所述的方法，所述方法还包括：将配属于所述对象的数据量进行整合；并且将所述数据量传递给用于辨识所述对象的搜索算法。

7.根据权利要求6所述的方法，其特征在于，所述辨识通过神经网络进行。

8.根据以上权利要求中任一项所述的方法，所述方法还包括：在考虑所求取的标定和/或所述摄像机相对于所监视的区域的所求取的距离的情况下，标定至少一个后续拍摄的图像。

9.一种监视装置，其具有摄像机和如下器件，所述器件适用于实施根据以上权利要求中任一项所述的方法的步骤。

10.一种计算机程序，其包括如下指令，所述指令导致根据权利要求9所述的设备实施权利要求1至8所述的方法步骤。

11.一种计算机可读的介质，在所述计算机可读的介质上存储有根据权利要求10所述的计算机程序。