CN115937311A - 摄像头偏移检测方法及其相关装置 - Google Patents

Abstract

本申请涉及一种摄像头偏移检测方法及其相关装置。其中，该方法包括：获取由目标摄像头采集的实时监控图像，并从实时监控图像中获取第一感兴趣区域图像；检测第一感兴趣区域图像的关键特征点，其中，第一感兴趣区域图像的关键特征点表征第一感兴趣区域图像中一个或者多个几何形状的特征点的中心点；根据第一感兴趣区域图像的关键特征点与预先存储的基准特征点之间的位置偏移量，检测目标摄像头的位姿偏移程度。通过本申请，不依赖于预先设置的图像模板，解决了对已经部署的摄像头进行偏移检测的问题。

Description

摄像头偏移检测方法及其相关装置

技术领域

本申请涉及视频监控领域，特别是涉及摄像头偏移检测方法及其相关装置。

背景技术

摄像头偏移是指摄像头在某一时刻的姿态相对于初始时刻姿态，在上下左右方向位移的像素数或偏转的角度数。

相关技术中提供了一种通过在初始时刻和未来某一时刻分别对具有黑白条纹的模板图像进行拍摄以获取初始时刻拍摄图像和未来某一时刻拍摄图像，并通过对拍摄图像的条纹之间的比较来判断摄像头是否存在抖动的相机抖动检测方法。该方法依赖于预先设置的黑白条纹模板而难以对已经部署的摄像头进行偏移检测，并且，上述相关技术基于两个时刻的黑白条纹的间距来判断相机抖动的程度，然而实际情况中在两个时刻拍摄的黑白条纹的图像很难保持相互平行而无法提取出相对的间距，并且，计算机程序还容易将不同行数的黑白条纹混淆而导致间距的测量错误。

针对相关技术中的摄像头偏移检测方法难以对已经部署的摄像头进行偏移检测的问题，目前尚未提出有效的解决方案。

发明内容

本实施例提供的摄像头偏移检测方法及其相关装置，至少解决对已经部署的摄像头进行偏移检测的问题。

一种摄像头偏移检测方法，包括：

获取由目标摄像头采集的实时监控图像，并从所述实时监控图像中获取第一感兴趣区域图像；

检测所述第一感兴趣区域图像的关键特征点，其中，所述第一感兴趣区域图像的关键特征点表征所述第一感兴趣区域图像中一个或者多个几何形状的特征点的中心点；

根据所述第一感兴趣区域图像的关键特征点与预先存储的基准特征点之间的位置偏移量，检测所述目标摄像头的位姿偏移程度。

在其中的一些实施例中，所述方法还包括：

获取由所述目标摄像头在采集所述实时监控图像之前采集到的监控图像，作为基准监控图像，并从所述基准监控图像中获取第二感兴趣区域图像，其中，所述第二感兴趣区域图像与所述第一感兴趣区域图像对应；

检测所述第二感兴趣区域图像的关键特征点，并将所述第二感兴趣区域图像的关键特征点作为所述基准特征点，其中，所述第二感兴趣区域图像的关键特征点表征所述第二感兴趣区域图像中一个或者多个几何形状的特征点的中心点。

在其中的一些实施例中，所述几何形状包括以下至少之一：直线段、圆形、矩形、不规则多边形；其中，直线段的特征点为线段中点，圆形的特征点为圆心，矩形的特征点为矩形中心点，不规则多边形的特征点为多边形的顶点。

在其中的一些实施例中，在检测所述第一感兴趣区域图像的关键特征点之前，所述方法还包括：

对所述第一感兴趣区域图像进行线性滤波。

在其中的一些实施例中，检测所述第一感兴趣区域图像的关键特征点包括：

对所述第一感兴趣区域图像进行边缘检测，获得边缘图像；

检测所述边缘图像中包含的各几何形状，并确定所述边缘图像中包含的各几何形状的特征点；

获取所述边缘图像中包含的各几何形状的特征点的中心点，并将该中心点作为所述第一感兴趣区域图像的关键特征点。

在其中的一些实施例中，对所述第一感兴趣区域图像进行边缘检测，获得边缘图像包括：

基于像素与所述像素的邻域像素之间的对比度，对所述第一感兴趣区域图像中的每个像素进行二值化，得到由二值化后的各像素组成的二值图像，并将所述二值图像作为所述边缘图像。

在其中的一些实施例中，基于像素与所述像素的邻域像素之间的对比度，对所述第一感兴趣区域图像中的每个像素进行二值化包括：

获取所述像素与所述像素的四邻域像素之间的对比度值；

将所述像素与所述像素的四邻域像素之间的对比度值中的最大对比度值作为所述像素的对比度值；

在所述像素的对比度值大于预设的对比度阈值时，将所述像素的值置为第一值，以及在所述像素的对比度值不大于所述对比度阈值时，将所述像素的值置为第二值。

在其中的一些实施例中，检测所述边缘图像中包含的各几何形状包括：

在进行直线段检测时，基于预设的第一精度阈值检测所述边缘图像中包含的直线段，在未检测到所述边缘图像中的直线段的情况下，基于预设的第二精度阈值检测所述边缘图像中包含的直线段，其中，所述第一精度阈值大于所述第二精度阈值。

在其中的一些实施例中，检测所述边缘图像中包含的各几何形状还包括：

去除在所述边缘图像中检测到的冗余直线段，其中，所述冗余直线段包括水平直线段和竖直直线段。

在其中的一些实施例中，所述第一感兴趣区域图像为所述实时监控图像，或者所述第一感兴趣区域图像为所述实时监控图像中的一个或者多个局部图像。

在其中的一些实施例中，所述第一感兴趣区域图像为所述实时监控图像中的多个局部图像；根据所述第一感兴趣区域图像的关键特征点与预先存储的基准特征点之间的位置偏移量，检测所述目标摄像头的位姿偏移程度包括：

根据所述多个局部图像的关键特征点与预先存储的基准特征点之间的位置偏移量的最小位置偏移量值，检测所述目标摄像头的位姿偏移程度。

一种电子设备，包括：处理器；以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述的摄像头偏移检测方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的摄像头偏移检测方法。

本实施例提供的摄像头偏移检测方法及其相关装置，通过获取由目标摄像头采集的实时监控图像，并从实时监控图像中获取第一感兴趣区域图像；检测第一感兴趣区域图像的关键特征点，其中，第一感兴趣区域图像的关键特征点表征第一感兴趣区域图像中一个或者多个几何形状的特征点的中心点；根据第一感兴趣区域图像的关键特征点与预先存储的基准特征点之间的位置偏移量，检测目标摄像头的位姿偏移程度的方式，不依赖于预先设置的图像模板，解决了对已经部署的摄像头进行偏移检测的问题。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本实施例的摄像头偏移检测方法的流程图。

图2是本实施例的提取基准特征点的流程图。

图3是本实施例的线性滤波的流程图。

图4是本实施例的第一感兴趣区域图像的线性滤波前后图像的示意图。

图5是本实施例的图像边缘检测的流程图。

图6是本实施例的图像边缘检测得到的边缘图像的示意图。

图7是本实施例的霍夫直线检测算法的流程图。

图8是本实施例的直线检测结果的示意图。

图9是本实施例的图像偏移结果的示意图。

图10是本实施例的摄像头偏移检测方法的优选流程图。

图11是本实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本实施例的实施例。虽然附图中显示了本实施例的某些实施例，然而应当理解的是，本实施例可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本实施例。应当理解的是，本实施例的附图及实施例仅用于示例性作用，并非用于限制本实施例的保护范围。

应当理解，本实施例的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本实施例的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本实施例中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本实施例中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本实施例提供一种摄像头偏移检测方法。该方法可以应用在摄像头的本地端或者摄像头的服务端，用于检测摄像头当前的姿态相对于初始时刻的姿态是否存在偏移，以及偏移的程度，例如，在上下左右各个方向偏移的像素数或者在上下左右各个方向偏移的角度数。其中，偏移的像素数可以通过对像素的前后位置距离的像素个数计数得到，而偏移的角度数则可以基于摄像头的固有参数(例如摄像头的内参和外参)，由偏移的像素数转换得到。

图1是本实施例的摄像头偏移检测方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，获取由目标摄像头采集的实时监控图像，并从实时监控图像中获取第一感兴趣区域图像。

步骤S102，检测第一感兴趣区域图像的关键特征点，其中，第一感兴趣区域图像的关键特征点表征第一感兴趣区域图像中一个或者多个几何形状的特征点的中心点。

步骤S103，根据第一感兴趣区域图像的关键特征点与预先存储的基准特征点之间的位置偏移量，检测目标摄像头的位姿偏移程度。

虽然本申请的目的旨在解决已经部署的摄像头的偏移检测问题，上述的目标摄像头可以为已经部署到计划位置的实装摄像头；但是，上述的目标摄像头也可以为在实验室以测试摄像头性能为目的而设置的测试摄像头。即，在本申请中并不限制该摄像头的部署位置或者部署目的。并且，摄像头的偏移可以是因摄像头的旋转关节发生变化导致的偏移，也可以是因摄像头所固定的物体(例如楼宇、桥体、杆桩)发生位置变化导致的偏移，在本申请中为便于描述，均统称为摄像头偏移。

通过上述步骤，在目标摄像头采集到的实时监控图像中检测用于表征图像中一个或者多个几何形状的特征点的中心点，从而根据实时监控图像与预先存储的基准特征点之间位置偏移量，检测目标摄像头的位姿偏移程度。上述方式相较于相关技术中采用特定的图像模板拍摄图像的相机抖动检测方法而言，不再依赖于特定的图像模板，而可以利用初始时刻和当前时刻的实际监控图像实现摄像头的位姿偏移程度的检测，解决了已经部署的摄像头的位姿偏移检测的问题，拓展了摄像头偏移检测方法的应用范围。

其中，上述的初始时刻是指在当前时刻之前的时刻，该初始时刻在上述实施例中作为当前时刻的比对基准，而并不意味着该初始时刻为最初的某个时刻。例如，上一次进行摄像头的偏移检测的时刻也可以作为下一次进行摄像头的偏移检测的初始时刻。

本实施例中，上述步骤S101中的第一感兴趣区域图像可以为实时监控图像的整张图像。然而，随着高清摄像头的应用，摄像头采集的图像尺寸越来越大。如果使用整张监控图像进行图像偏移计算，需要较大的计算资源支撑，亦可能需要花费长时间才能获得检测结果。

为此，在本实施例中为了提高检测效率，降低计算资源要求，上述的第一感兴趣区域也可以为整张实时监控图像中的一个或者多个局部区域。在整张实时监控图像中选择一个或者多个局部区域作为第一感兴趣区域，不仅使得本实施例的摄像头偏移检测方法所要处理的图像数据变得更少，也使得每一次处理的图像数据(一张局部区域图像)更少，从而能够部署在计算资源不高的摄像头或者服务器上，或者减少对摄像头或者服务器计算资源的占用。

其中，上述的多个局部区域可以基于固定预设区域、自适应选择区域或人工划定的方式获得。

在其中的一些实施例中，在基于固定预设区域选择多个局部区域的情况下，这些固定预设区域可以是整张监控图像的中心区域以及围绕中心区域分布的多个外围区域，或者可以是其他的固定预设区域，这些固定预设区域的位置由区域在整张监控图像中的坐标信息表示，初始时刻和当前时刻获取的监控图像都基于预先存储的坐标信息确定上述的多个局部区域。

在其中的一些实施例中，在自适应选择区域的情况下，可以通过对初始时刻获取的监控图像中几何形状的检测，自适应获得各个几何形状所在区域作为上述的多个局部区域，并将这些局部区域在初始时刻获取的监控图像中的坐标信息进行存储。当采用上述方式进行摄像头偏移检测时，根据自适应方式获取的这些坐标信息，在当前时刻的实时监控图像中确定上述的多个局部区域。

在另一些实施例中，在人工划定多个局部区域的情况下，可以通过获取用户在当前时刻或者初始时刻获取的监控图像中框定的多个区域作为上述的多个局部区域。在进行局部区域的框选时，与上述实施例中自适应选择多个局部区域类似的，用户可以选择包含有几何形状的多个局部区域，例如，包含有人行横道、道路边线、交通标志牌等的区域。

上述预先存储的基准特征点采用与关键特征点相同的方式提取而来，所不同的是上述的预先存储的基准特征点提取自当前时刻之前的初始时刻。因此，上述的摄像头偏移检测方法还可以包括提取基准特征点的流程。图2是本实施例的提取基准特征点的流程图，如图2所示，该流程包括如下步骤：

步骤S201，获取由目标摄像头在采集实时监控图像之前采集到的监控图像，作为基准监控图像，并从基准监控图像中获取第二感兴趣区域图像，其中，第二感兴趣区域图像与第一感兴趣区域图像对应。

步骤S202，检测第二感兴趣区域图像的关键特征点，并将第二感兴趣区域图像的关键特征点作为基准特征点，其中，第二感兴趣区域图像的关键特征点表征第二感兴趣区域图像中一个或者多个几何形状的特征点的中心点。

基于图2所示的流程即可获得基准特征点。其中，第一感兴趣区域图像与第二感兴趣区域图像对应是指二者在各自的监控图像中具有相同的图像位置。在第一及第二感兴趣区域图像均为多个时，每个对应的第一及第二感兴趣区域图像在各自所在的监控图像中的图像位置均对应相同。并且，每对图像位置相同的感兴趣区域均会提取得到与该感兴趣区域对应的关键特征点或基准特征点。

在其中的一些实施例中，上述的几何形状包括以下至少之一：直线段、圆形、矩形、不规则多边形。其中，直线段的特征点为线段中点，圆形的特征点为圆心，矩形的特征点为矩形中心点，不规则多边形的特征点为多边形的顶点。上述的几何形状可以用相应的图像检测算法获得。

例如，对于直线段，可以使用图像直线检测算法进行检测，这些图像直线检测算法包括但不限于以下之一：Hough_line直线检测算法、HoughP_line直线检测算法、LSD快速直线检测算法、FLD直线检测算法、EDlines线段检测算法、LSWMS直线检测算法、CannyLines直线检测算法、MCMLSD直线检测算法、LSM直线检测和合并算法、PPGNet直线检测算法等。其中，Hough_line直线检测算法简单易于实现，可以通过参数设置改变检测精度，能够适用于本申请的应用场景。其改进版HoughP_line直线检测算法相较于Hough_line直线检测算法具有速度更快和更好的效果，并且无需进行任何参数或者阈值设置。

例如，对于圆形则可以采用图像拟合或者变换的算法在图像中检测圆形，例如基于Hough_Circles霍夫圈变换算法或者其他类似功能的算法，检测图像中的圆形。

例如，矩形和不规则多边形则可以结合直线检测算法和连通域算法检测得到。

并且，与其他几何图形(例如圆形)不同地，直线段在不同视角下展示的区别在于长度、倾斜角度的差异。但以圆形为例，在不同视角下观察平面内的圆形，将导致圆形形变为椭圆形，从而导致基于现有的圆形检测算法无法检测到圆形，或者难以确定圆形的圆心位置。其他的矩形或者不规则多边形也存在不同视角形变的问题。因此，在本申请实施例中优选基于直线段的特征点来进行摄像头的偏移检测，该检测方式相对于其他几何图形的检测均更为简便和可靠。并且，在道路交通场景下，存在大量的直线段图形，例如，人行横道、道路护栏等等，而较少存在矩形或者圆形，因此，在道路交通场景下更适宜基于直线段的特征点来进行摄像头的偏移检测，并通过结合不同属性(人行横道、道路护栏等)的直线段的检测结果来获得更准确的检测结果。

计算机系统在处理不同的光照条件下的图像时，其处理的结果往往存在差异。例如，不同光照条件下，计算机系统检测到的属于同一个物体的直线段的长度可能不同，例如，在实时监控图像中检测到属于同一个物体的同一条直线段的长度相较于初始时刻的基准监控图像中该同一条直线的长度要更长或者更短。为了解决上述问题，在本实施例中通过两个方面减少计算机系统在不同的光照条件下对图像中几何形状的检测差异性。

一个方面，在采用直线段作为检测目标时，以直线段的线段中点作为特征点，其优势在于，对于大多数场景下，在不同光照条件下属于同一物体的直线段被计算机系统检测到的两端位置，将会同时随着光照强度的的变化大致相同幅度地缩短或者延长，因此，在这些场景下，光照条件的变化虽然改变了计算机设备检测到的直线段的两端位置，但基本能够保持该直线段的线段中点的位置不发生偏移或者呈现较小程度的因光照强度变化而偏移。

另一个方面，在采用直线段作为检测目标时，通过对检测算法的选择以及监控图像的预处理，来减少计算机系统对监控图像中几何形状检测的差异。

在图像的预处理方面，为了减少光照和噪声对摄像头偏移检测的影响，在上述步骤S102之前，还可以对第一感兴趣区域图像进行线性滤波。滤波是将信号中特定波段频率滤除的操作，是从含有干扰的接收信号中提取有用信号的一种技术。均值滤波是图像处理中最常用的手段，是典型的线性滤波算法，其采用的主要方法为邻域平均法。从频率域观点来看均值滤波是一种低通滤波器，高频信号将会去掉，因此可以帮助消除图像尖锐噪声，实现图像平滑，模糊等功能。

图3是本实施例的线性滤波的流程图，如图3所示，本实施例通过线性滤波，用均值代替原图像中的各个像素值，即对待处理的当前像素点(x，y)，选择一个模板，该模板由其近邻的若干像素组成(如3×3模板：以目标象素为中心的周围8个象素，构成一个滤波模板，即去掉目标象素本身)，求模板中所有像素的均值，再把该均值赋予当前像素点(x，y)，作为处理后图像在该点上的灰度g(x，y)，即g(x，y)＝∑f(x，y)/m，m为该模板中包含当前像素在内的像素总个数。

图4是本实施例的第一感兴趣区域图像的线性滤波前后图像的示意图，其中图4中的(a)图表示线性滤波前的第一感兴趣区域，该图像内存在较多的细节和噪点；图4中的(b)图表示线性滤波后的第一感兴趣区域，该图像内的细节和噪点被过滤，整个图像呈现出模糊的形态，但是其中的边缘特征等主要特征得到了保留。均值滤波本身存在着固有的缺陷，即它不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊。然而，在本实施例中正好利用均值滤波的这种特性排除图像中细小特征的影响，从而仅对图像的主要特征进行分析。

在其中的一些实施例中，检测第一感兴趣区域图像的关键特征点包括：对第一感兴趣区域图像进行边缘检测，获得边缘图像；检测边缘图像中包含的各几何形状，并确定边缘图像中包含的各几何形状的特征点；获取边缘图像中包含的各几何形状的特征点的中心点，并将该中心点作为第一感兴趣区域图像的关键特征点。其中，边缘检测的目的在于在图像中找到明显的边缘轮廓区域。

在检测算法的选取方面，本实施例的边缘检测所采用的算法包括但不限于基于图像梯度的边缘检测算法或者基于对比度的边缘检测算法。较优地，在其中的一些实施例中，采用基于对比度的边缘检测算法进行第一感兴趣区域图像的边缘检测。基于对比度计算的图像边缘检测算法不同于基于图像梯度检测边缘的算法。基于图像梯度的边缘检测算法将图像中任何有梯度变化的细节特征检测出来，大量的边缘信息可能影响和干扰摄像头偏移检测。因此，在本实施例中基于对比度的方法，可以通过调整对比度的阈值保留图像中有明显特征的边缘过滤点图像的冗余信息更加方便摄像头偏移检测的后续处理，降低计算机系统对不同光照条件下的监控图像处理的差异性，从而提高偏移检测的可靠性。

图像对比度的定义有很多种，韦伯定律指出，当环境亮度为L时，能够感觉到的最小环境亮度变化为±ΔL，则ΔL/L＝常数，基于此心理物理学上对比度定义为C＝ΔL/L。在图像方面人们提出对数图像处理模型，该模型定义了一个在有界实数区间[0,M)上封闭的运算法则，其中定义的图像加、减、乘、除等操作与人眼感知特性相似，且其对比度定义满足韦伯定律，即C(f,g)＝M*|f-g|/(M-min(f,g)),其中f和g为相邻像素亮度值，M为图像上界，在8bit的灰度图像中，M＝255，考虑到LIP模型中像素亮度的定义与本文相反，即全黑时为M，全白时为0。

本实施例中，基于对比度的边缘检测可以包括下列步骤：基于像素与像素的邻域像素之间的对比度，对第一感兴趣区域图像中的每个像素进行二值化，得到由二值化后的各像素组成的二值图像，并将二值图像作为边缘图像。

例如，上述的二值化可以包括如下步骤：获取像素与像素的四邻域像素之间的对比度值；将像素与像素的四邻域像素之间的对比度值中的最大对比度值作为像素的对比度值；在像素的对比度值大于预设的对比度阈值时，将像素的值置为第一值，以及在像素的对比度值不大于对比度阈值时，将像素的值置为第二值。

其中的四邻域像素是指像素的上下左右四个相邻的像素。为了便于计算机处理，第一值和第二值通常可以分别选取灰度值为0和灰度值为255的两个值，分别代表的是黑色和白色。例如，第一值为灰度值0，第二值为灰度值255；或者第一值为灰度值255，第二值为灰度值0。

本实施例将像素对比度定义进行归一化处理，并反转亮度，给出图像中相邻像素对比度归一化定义为C(f,g)＝|f-g|/max(f,g)，对于图像中每个像素f，取其4邻域上、下、左和右，构建4个像素对(f,g)，分别计算对比度后取其4个方向最大值作为该点f的对比度值。

图5是本实施例的图像边缘检测的流程图，如图5所示，该边缘检测方法先计算图像中每个像素点与其上下左右邻域间的对比度值并取对比度值的最大值作为当前像素点的对比度值，将当前像素点的对比度值与对比度阈值相比较，如果大于对比度阈值在当前像素位置输出255，如果小于对比度阈值在当前像素位置输出0，从而得到图像的边缘图，对比度阈值的选择可以参考实验情况，例如，结合上述的对比度的归一化定义，可以在白天或光照较强时选0.05为对比度阈值，夜晚或图像噪声较多时选0.1为对比度阈值。图6是本实施例的图像边缘检测得到的边缘图像的示意图，图6示出了对图4中(b)图进行基于对比度的边缘检测得到的边缘图像，该边缘图像为二值图像，白色表示了图像中的边缘。

在其中的一些实施例中，为了能够兼顾精度和摄像头偏移检测的成功率，检测边缘图像中包含的各几何形状时，优选采用直线检测精度可调的直线检测算法，例如Hough_line直线检测算法。在Hough_line直线检测算法中，设置有一个精度阈值，该精度阈值越高，则在同一张图像中检测出的直线越少，但直线越标准，即直线上各点共线。该精度阈值越低，则在同一张图像中检测出的直线越多。本实施例中，首先采用相对较高的精度阈值对边缘图像进行直线段检测，若检测不到边缘图像中的直线段，则降低精度阈值再次进行直线段检测，直至检测到直线段或者检测到的直线段数量符合预设数量。例如，在进行直线段检测时，基于预设的第一精度阈值检测边缘图像中包含的直线段，在未检测到边缘图像中的直线段的情况下，基于预设的第二精度阈值检测边缘图像中包含的直线段，其中，第一精度阈值大于第二精度阈值。

Hough_line又称为霍夫直线检测算法，该方法将图像空间中的检测问题转换到参数空间，通过在参数空间里进行简单的累加统计完成检测任务，并用大多数边界点满足的某种参数形式来描述图像的区域边界曲线。霍夫变换将数据空间中的点变换为(ρ，θ)参数空间中的曲线进行直线检测。

图7是本实施例的霍夫直线检测算法的流程图，如图7所示，该直线检测算法先将(ρ，θ)参数空间量化成m×n(m为θ的等份数，n为ρ的等份数)个单元，并设置累加器矩阵Q[m×n]，给参数空间中的每个单元分配一个累加器Q(θi，ρj)(0<i<m-1，0<j<n–1)，并把累加器的初始值置为零。再将直角坐标系中的各点(xk，yk)(k＝1，2，…，s，s为直角坐标系中的点数)代入式ρ＝xcosθ+ysinθ，然后将θ0～θm-1也都代入其中，分别计算出相应的值ρj，在参数空间中，找到每一个(θi，ρj)所对应的单元，并将该单元的累加器加1，即Q(θi，ρj)＝Q(θi，ρj)+1。之后再待x-y坐标系中的所有点进行运算之后，检查参数空间的累加器，必有一个出现最大值，这个累加器对应单元的参数值ρ和θ作为所求直线的参数输出。该直线检测算法可以指定一个精度阈值，就是投票数达到多少就可以认定为一条直线。

与常用直线检测不同，本实施例为了提高直线检测稳定性和只检测图像中主要特征(例如道路边缘的直线)，本实施例采用多精度阈值的检测方式，原算法要求共线点为一个定值，本实施例的直线检测算法使用多个精度阈值；使用当前精度阈值没有检测到直线段，则选择下一个更小的精度阈值。

为了减少直线检出的冗余度，在另一些实施例中，还对于直线检测的结果还会做异常直线清理，例如，去除不符合要求的水平直线和竖直直线。

图8是本实施例的直线检测结果的示意图，如图8所示，通过直线检测算法检测到的直线段将展示在原始的实时监控图像或者第一感兴趣区域图像(例如图4中的(a)图)中。

在本实施例中，关键特征点的获取可以利用从边缘图像中检测到的直线集合来求关键特征点。例如，求直线集合中每条直线L在图像中的中点point(x,y)，求所有点point(x,y)的均值，该均值则为该图像的关键特征点key(x,y)。

需要说明的是，基准特征点的获取方式与实时监控图像中关键特征点的获取方式完全相同。如果该图像为基准监控图像则关键特征点作为用于求图像偏移的基准特征点init(x,y)。

在本实施例中，采用包括监控图像中检测到的直线段的几何形状作为关键特征点获取的依据，由于监控图像中的直线段为显著特征的直线，这类直线段不易随环境光的变化而变化，因此比较可靠。本实施例中选择直线段的中点作为直线段的特征点，直线段的中点与直线的斜率和截距相关联，具有复合属性。

图9是本实施例的图像偏移结果的示意图，如图9所示，图像偏移结果是使用不同图像的关键特征点来获得。图9中左上角的图像为右侧黑框图像的放大图，左上角图像下的Horizontal pixel代表的是摄像头水平偏移的像素值，Pitch pixel代表的是摄像头竖直偏移的像素值。对于当前图像摄像头在水平方向的偏移量offset_x，取当前图像关键特征点的x坐标point(x)和基础图像初始点的init(x)坐标求差值，offset_x＝init(x)-point(x)，offset_x为正值时表示摄像头相对于基础位置向右偏移了多少个图像像素，offset_x为负值时表示摄像头相对于基础位置向左偏移了多少个图像像素。

对于当前图像摄像头在竖直方向的偏移量offset_y，取当前图像关键特征点的y坐标point(y)和基础图像初始点的init(y)坐标求差值，offset_y＝init(y)-point(y)，offset_y为正值时表示摄像头相对于基础位置向下偏移了多少个图像像素，offset_y为负值时表示摄像头相对于基础位置向上偏移了多少个图像像素。知道摄像头在水平和竖直方向的偏移量及关键特征点位置，利用勾股定理解析图像中的几何关系便可以得到摄像头在水平和竖直方向的偏移角度。

获得摄像头的偏移信息后，可根据阈值与偏移信息进行对比对摄像头是否发生偏移进行报警，也可传输给其他算法用于其他算法在摄像头位置发生变化后的补偿。

为了进一步减少环境光照变化或者移动物体对区域遮挡对计算结果的影响，在本实施例中，在一张监控图像中选择多个局部图像分别进行摄像头偏移量的计算，最后取多个偏移量中的最小值作为摄像头偏移结果，从而避免了某一个局部区域图像中几何形状的检测或者特征点的提取错误，而导致对摄像头偏移检测错误，提高了检测系统的可靠性。其中，上述的多个局部图像为上述的多个局部区域的图像，该多个局部区域根据上文介绍的基于固定预设区域、自适应选择区域或人工划定的方式获得。

图10是本实施例的摄像头偏移检测方法的优选流程图，如图10所示，该摄像头偏移检测方法，将整张图像或者图像中的某一部分输入算法，先对图像进行滤波处理减少光照和噪声对后续的影响。对滤波之后的图像进行基于对比

度计算的图像边缘检测，得到图像中具有显著特征的边缘图像。再对边缘图像5进行直线检测，得到图像中具有直线特征的直线集合。对直线集合进行清理去

除集合中冗余和杂乱的直线，得到最终有利于图像偏移检测的直线集合。根据直线集合中各直线在图像中的直线段的中点，得到该图像的关键点。如果输入的图像为用于其他图像对比的基础图像，则该图像的关键点作为用于判断摄像

头偏移情况的初始关键点。如果输入的图像为用于跟基础图像对比的对比图像，0则将该对比图像的关键点与初始关键点进行对比计算，得到的结果即为根据图像判断的摄像头偏移情况。

本实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行

的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电5子设备执行根据本公开实施例的方法。

本实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

参考图11，现将描述可以作为本公开的服务器或客户端的电子设备11000的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂

窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它5们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述

的和/或者要求的本公开的实现。

如图11所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存

储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM0 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、

ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

电子设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106、输出单元1107、存储单元1108以及通信单元1109。输入单元1106可以是能向电子设备1100输入信息的任何类型的设备，输入单元1106可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元1107可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1108可以包括但不限于磁盘、光盘。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机，例如蓝牙设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理。例如，在一些实施例中，上述方法(例如图1和图2所示的方法)可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到电子设备1100上。在一些实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述的摄像头偏移检测方法。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器))；以及键盘和指向装置(例如，鼠标)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种摄像头偏移检测方法，其特征在于包括：

获取由目标摄像头采集的实时监控图像，并从所述实时监控图像中获取第一感兴趣区域图像；

检测所述第一感兴趣区域图像的关键特征点，其中，所述第一感兴趣区域图像的关键特征点表征所述第一感兴趣区域图像中一个或者多个几何形状的特征点的中心点；

根据所述第一感兴趣区域图像的关键特征点与预先存储的基准特征点之间的位置偏移量，检测所述目标摄像头的位姿偏移程度。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取由所述目标摄像头在采集所述实时监控图像之前采集到的监控图像，作为基准监控图像，并从所述基准监控图像中获取第二感兴趣区域图像，其中，所述第二感兴趣区域图像与所述第一感兴趣区域图像对应；

检测所述第二感兴趣区域图像的关键特征点，并将所述第二感兴趣区域图像的关键特征点作为所述基准特征点，其中，所述第二感兴趣区域图像的关键特征点表征所述第二感兴趣区域图像中一个或者多个几何形状的特征点的中心点。

3.根据权利要求1所述的方法，其特征在于，所述几何形状包括以下至少之一：直线段、圆形、矩形、不规则多边形；其中，直线段的特征点为线段中点，圆形的特征点为圆心，矩形的特征点为矩形中心点，不规则多边形的特征点为多边形的顶点。

4.根据权利要求1所述的方法，其特征在于，在检测所述第一感兴趣区域图像的关键特征点之前，所述方法还包括：

对所述第一感兴趣区域图像进行线性滤波。

5.根据权利要求1所述的方法，其特征在于，检测所述第一感兴趣区域图像的关键特征点包括：

对所述第一感兴趣区域图像进行边缘检测，获得边缘图像；

检测所述边缘图像中包含的各几何形状，并确定所述边缘图像中包含的各几何形状的特征点；

获取所述边缘图像中包含的各几何形状的特征点的中心点，并将该中心点作为所述第一感兴趣区域图像的关键特征点。

6.根据权利要求5所述的方法，其特征在于，对所述第一感兴趣区域图像进行边缘检测，获得边缘图像包括：

基于像素与所述像素的邻域像素之间的对比度，对所述第一感兴趣区域图像中的每个像素进行二值化，得到由二值化后的各像素组成的二值图像，并将所述二值图像作为所述边缘图像。

7.根据权利要求6所述的方法，其特征在于，基于像素与所述像素的邻域像素之间的对比度，对所述第一感兴趣区域图像中的每个像素进行二值化包括：

获取所述像素与所述像素的四邻域像素之间的对比度值；

将所述像素与所述像素的四邻域像素之间的对比度值中的最大对比度值作为所述像素的对比度值；

在所述像素的对比度值大于预设的对比度阈值时，将所述像素的值置为第一值，以及在所述像素的对比度值不大于所述对比度阈值时，将所述像素的值置为第二值。

8.根据权利要求5所述的方法，其特征在于，检测所述边缘图像中包含的各几何形状包括：

在进行直线段检测时，基于预设的第一精度阈值检测所述边缘图像中包含的直线段，在未检测到所述边缘图像中的直线段的情况下，基于预设的第二精度阈值检测所述边缘图像中包含的直线段，其中，所述第一精度阈值大于所述第二精度阈值。

9.根据权利要求8所述的方法，其特征在于，检测所述边缘图像中包含的各几何形状还包括：

去除在所述边缘图像中检测到的冗余直线段，其中，所述冗余直线段包括水平直线段和竖直直线段。

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述第一感兴趣区域图像为所述实时监控图像，或者所述第一感兴趣区域图像为所述实时监控图像中的一个或者多个局部图像。

11.根据权利要求1至9中任一项所述的方法，其特征在于，所述第一感兴趣区域图像为所述实时监控图像中的多个局部图像；根据所述第一感兴趣区域图像的关键特征点与预先存储的基准特征点之间的位置偏移量，检测所述目标摄像头的位姿偏移程度包括：

根据所述多个局部图像的关键特征点与预先存储的基准特征点之间的位置偏移量的最小位置偏移量值，检测所述目标摄像头的位姿偏移程度。

12.一种电子设备，包括：处理器；以及存储程序的存储器，其特征在于，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1至11中任一项所述的方法。

13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至11中任一项所述的方法。

Images