CN111385560B - 一种相机倾斜角度的调整方法和装置、存储介质、相机 - Google Patents

Abstract

本申请公开一种相机倾斜角度的调整方法和装置、存储介质、相机，用以解决现有技术中无法有效地调整相机与靶标之间存在倾斜的问题。该方法包括：调整装置获取相机对靶标获取的当前帧靶标图像；其中，靶标包括中心线对称的图形；在当前帧靶标图像中获取中心线对称的第一窗口图像和第二窗口图像；确定第一窗口图像和第二窗口图像的相似度值；确定当前帧的相似度值不是有效极大相似度值、且在当前帧的相似度值与当前的有效极大相似度值的差值的绝对值小于一个预设的极小值时，确定相机当前无倾斜；否则，根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度。

Description

一种相机倾斜角度的调整方法和装置、存储介质、相机

技术领域

本发明涉及图像处理领域，特别涉及一种相机倾斜角度的调整方法和装置、存储介质、相机。

背景技术

目前，成像设备(例如相机)被越来越多地应用于日常中的各行各业，例如消费类拍照摄影、工业中机器视觉、质量检测、自动驾驶等等。智能设备通过一些算法，自动对相机获取到的图像进行特征识别、特征提取，并用于后端的人脸识别、缺陷检测、安防监控、无人驾驶等智能控制。

在一些场景中，例如相机出厂前的测试、相机的安装调试、实验环境中的测试等，要求相机拍摄得到的图像能与靶标完全一致，但实际上受安装调试人员和环境的影响，相机具有一定的倾斜，使得在同一坐标平面中，相机的成像面与靶标可能无法保证完全一致，尤其是会具有一些人眼无法识别的微小角度偏差，最终导致图像与靶标的特征不能完全一致，会给后端检测和匹配系统带来困扰。

发明内容

有鉴于此，本申请提供了一种相机倾斜角度的调整方法和装置、存储介质、相机，用以解决现有技术中无法有效地调整相机与靶标之间存在倾斜的问题。

根据本申请的一个方面，提供了一种相机倾斜角度的调整方法，相机连接云台，云台连接驱动机构，该方法包括：

调整装置获取相机对靶标获取的当前帧靶标图像；其中，靶标包括中心线对称的图形；

在当前帧靶标图像中获取中心线对称的第一窗口图像和第二窗口图像；

确定第一窗口图像和第二窗口图像的相似度值；

确定当前帧的相似度值不是有效极大相似度值、且在当前帧的相似度值与当前的有效极大相似度值的差值的绝对值小于一个预设的极小值时，确定相机当前无倾斜；否则，根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度；其中，有效极大相似度值与预设的最大相似度值的差值的绝对值小于预定的有效阈值。根据本申请的另一个方面，提供了一种相机倾斜角度的调整装置，相机连接云台，云台连接驱动机构，该装置包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行：

获取相机对靶标获取的当前帧靶标图像；其中，靶标包括中心线对称的图形；

在当前帧靶标图像中获取中心线对称的第一窗口图像和第二窗口图像；

确定第一窗口图像和第二窗口图像的相似度值；

确定当前帧的相似度值不是有效极大相似度值、且在当前帧的相似度值与当前的有效极大相似度值的差值的绝对值小于一个预设的极小值时，确定相机当前无倾斜；否则，根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度；其中，有效极大相似度值与预设的最大相似度值的差值的绝对值小于预定的有效阈值。

根据本申请的另一个方面，提供了一种非暂态易失性机器可读存储介质，该存储介质中存储至少一条机器可执行指令，机器执行至少一条机器可执行指令以执行如上所述的相机倾斜角度的调整方法。

根据本申请的另一个方面，提供了一种相机，该相机中包括如上所述的相机倾斜角度的调整装置。

在本申请实施例提供的技术方案中，通过靶标图像中对称的两个窗口区域的图像的相似度，来指示同一坐标平面中靶标图像相对于靶标的倾斜程度，并在调整过程中寻找相似度峰值，在相似度值到达峰值时认为相机无倾斜或者倾斜角度可接受，在相似度值与已确定的相似度峰值(即有效极大相似度)接近时，停止调整，否则调整相机的倾斜角度，从而能够解决现有技术无法有效地调整相机与靶标之间存在倾斜的问题。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本申请实施例提供的相机倾斜角度的调整方法的处理流程图；

图2为靶标图形的一个示例；

图3为一些实施例中图1中步骤102的处理流程图；

图4为一些实施例中图3中步骤301的处理流程图；

图5a为在三个示例中获取到的靶标图像；

图5b为在图5a所示的三个靶标图像中获取的第一窗口图像和第二窗口图像；

图6为一些实施例中图1步骤104中确定有效极大相似度值的处理流程图；

图7a为一个示例中确定得到的极大相似度值；

图7b为在图7a示例基础上确定得到的有效极大相似度值；

图8为一些实施例中图1步骤104中确定相机是否存在倾斜并进行调整的处理流程图；

图9为一些实施例中图8步骤1042对相机进行调整的处理流程；

图10为一些实施例中图9中步骤904和905中按照预定步长调整相机的倾斜角度的处理流程；

图11为在一个示例中实施图10所示处理的流程；

图12为本申请实施例提供的相机倾斜角度的调整方法的另一个处理流程图；

图13为一些应用场景中实施图1所示方法的处理流程；

图14为本申请实施例提供的相机倾斜角度的调整装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

目前，在图像处理领域中，在一些场景中，要求相机拍摄得到的图像能与靶标完全一致，也即要求在同一坐标平面中相机的成像面与靶标是一致的。但是在实际中相机会与靶标存在细微的角度，而人眼无法识别这样细微的角度。这样的偏差引入到相机获取到的图像数据中后，将会为后期的图像识别等处理带来阻碍。也即目前无法有效地调整相机与靶标之间存在倾斜的问题。

本申请的一些实施例针对上述问题，提出了一种相机倾斜角度的调整方法，用以解决该问题。在本申请实施例提供的技术方案中，在当前的调整过程中，调整装置获取相机对靶标获取的当前帧靶标图像，在靶标图像中获取中心线对称的第一窗口图像和第二窗口图像，确定第一窗口图像和第二窗口图像的相似度值。确定当前帧的相似度值是否是有效极大相似度值，有效极大相似度值与预设的最大相似度值的差值的绝对值小于等于预定的有效阈值，也即最大相似度值对应于相机完全无倾斜的理想状态，有效极大相似度值接近于最大相似度值，可以认为是在调整相机的过程中已经达到的最大值；在调整相机的过程中，会不断地寻找和迭代极大相似度值以及有效极大相似度值。

但是由于调整装置在自动调整相机的过程中无法了解到当前的相似度值是否是能够达到的峰值，只能在相似度值低于保存的有效极大相似度值之后才能确定曾经达到过相似度值的峰值。从而在调整装置确定当前帧的相似度值不是有效极大相似度值、且在当前帧的相似度值与已确定的当前的有效极大相似度值的差值的绝对值小于一个预设的极小值时，可以确定当前的相似度值接近于调整过程中的相似度值的峰值，这种情况下，可以确定相机当前无倾斜；否则，在其他情况下都可以认为当前的相似度值没有接近或者没有达到峰值，需要根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度。

本申请实施例提供的技术方案能够通过靶标图像中对称的两个窗口区域的图像的相似度，来指示同一坐标平面中靶标图像相对于靶标的倾斜程度，并在调整过程中寻找相似度峰值，在相似度值到达峰值时认为相机无倾斜或者倾斜角度可接受，在相似度值与已确定的相似度峰值(即有效极大相似度)接近时，停止调整，否则调整相机的倾斜角度，从而能够解决现有技术无法有效地调整相机与靶标之间存在倾斜的问题。

在本申请实施例中，相机连接云台，云台连接驱动机构。云台能够在六个自由度上进行调整。本申请实施例中所述的相机倾斜角度是指相机在三维XYZ方向上的旋转角度。调整装置通过控制驱动机构来调整云台以及相机的倾斜角度，也即调整装置通过控制驱动机构来调整云台在三维空间中任意一个二维平面上的旋转角度，从而调整相机在任意一个二维平面上的旋转角度。

在本申请实施例中，靶标可以设置在一个二维平面上，从而在该二维平面上调整相机的旋转角度。例如，当靶标设置在XY平面上时，在XY平面上调整相机的旋转角度。

在本申请实施例中，靶标具有中心线对称的图形，靶标的中心线设置在与相机成像面的中心线相同的方向上。例如，当靶标和相机的成像面设置在XY平面上，相机成像面的中心线在Y方向上，则，靶标上图形的中心线设置在Y方向上，也即靶标上的图形为Y轴对称的图形。又例如，当靶标和相机的成像面设置在XZ平面上，相机成像面的中心线在X方向上，靶标上图形的中心线可以设置在X方向上，靶标的图形为X轴对称的图形。进一步地，靶标的图形中与中心线垂直的同一行像素具有相同的分辨率，不同行像素之间可以具有不同的分辨率。

本申请实施例将以在一个二维平面上调整相机的倾斜角度为例来进行说明。

图1中示出了本申请实施例提供的相机倾斜角度的调整方法的处理流程，包括：

步骤101、调整装置获取相机对靶标获取的当前帧靶标图像；其中，靶标包括中心线对称的图形；

步骤102、在当前帧靶标图像中获取中心线对称的第一窗口图像和第二窗口图像；

步骤103、确定第一窗口图像和第二窗口图像的相似度值；

步骤104、确定当前帧的相似度值不是有效极大相似度值、且在当前帧的相似度值与当前的有效极大相似度值的差值的绝对值小于一个预设的极小值时，确定相机当前无倾斜；否则，根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度；其中，有效极大相似度值与预设的最大相似度值的差值的绝对值小于预定的有效阈值。

对相机进行角度调整时，可能需要多次调整，在每一次调整过程中，执行上述步骤101至步骤104。

在上述步骤101中，在一些实施例中，调整装置可以是一个独立的、与相机分离设置的装置，该调整装置可以读取相机当前获取到的一帧靶标图像，或者接收来自相机的当前帧靶标图像；在另一些实施例中，调整装置也可以与相机结合设置，可以设置在相机之内或者之外，并读取相机获取到的当前帧靶标图像、或者获取相机同步的当前帧靶标图像。进一步地，调整装置还连接至驱动装置，调整装置根据执行图1所示方法的结果，对驱动装置进行控制、以调整云台的倾斜角度并且调整与云台连接的相机的倾斜角度。

在一些实施例中，如上所述，靶标包括中心线对称的图形。在一些实施例中，例如靶标的图形设置在XY平面上、且为Y轴对称图形，靶标的图形在X轴方向上的同一行的像素具有相同的分辨率，不同行之间可以具有不同的分辨率。通常靶标的图形是矩形图形，也可以是其它形状且轴对称的图形。图2中示出了一个靶标图形的示例。本申请实施例中以靶标的图形为垂直中心线对称的矩形为例进行说明。当靶标的图形为其它形状的轴对称的图形时，也适用于以下的处理方法。

在上述步骤102中，在一些实施例中，在靶标图像中获取中心线对称的第一窗口图像和第二窗口图像的处理，如图3所示，包括：

步骤301、在当前帧靶标图像中获取指定窗口区域的第一窗口图像。

在一些实施例中，步骤301包括如图4所示的处理流程。

图4所示的处理流程包括：

步骤3011、获取靶标图像上的至少两个坐标点。

下面通过在一些实施例中选取两个坐标点为例，说明步骤3011，该处理可以包括如下的两种方式：

获取方式一、可以通过一个人机交互界面获取用户输入的坐标点。例如当用户使用鼠标或者在触屏上选取了显示出来的靶标图像中的两个坐标点时，通过人机交互界面获取用户选取的两个坐标点；或者，当用户使用鼠标或者在触屏上在显示出来的靶标图像上拖拽出一条斜线时，通过人机交互界面获取该斜线的起点和终点的坐标点。

获取方式二、获取预先设定的两个图像坐标点。在该方式中，可以获取预先设定的两个固定的图像坐标点；也可以从预先设定的多对图像坐标点中选择一组图像坐标点，一组图像坐标点中包括两个图像坐标点，选择方式可以是随机选择、顺序选择或者根据预定的优先级来选择。

在本申请的另一些实施例中，还可以通过上述两种方式获取到其它更多数量的图像坐标点。进一步地，在其他的一些实施例中，还可以通过其它的方式来获取至少两个图像坐标点，本申请不做一一列举。

步骤3012、根据获取的至少两个坐标点的坐标值确定指定的窗口区域。

接上例，当存在两个坐标点时，就可以以这两个坐标点为对角的顶点，确定得到的一个矩形区域。例如根据坐标点a(x1，y1)和坐标点b(x2，y2)确定得到一个矩形区域，该矩形区域的四个顶点的坐标为(x1，y1)，(x2，y1)，(x1，y2)，(x2，y2)。

在另一些实施例中，指定的窗口区域还可以包括其它的形状，比如圆形等的轴对称图形。在另一些实施例中，还可以根据更多数量的图像坐标点来确定或生成指定的窗口区域。

步骤3013、在靶标图像中获取确定的指定窗口区域的第一窗口图像。也即，在靶标图像中对应获取指定窗口区域的图像。

步骤302、根据相机的成像面中心线获取与第一窗口图像呈中心线对称的第二窗口图像。

根据指定窗口区域的坐标和相机成像面的中心线，能够获得靶标图像中与第一窗口图像对称的第二窗口图像。

在一些实施例中，上述步骤103中确定第一窗口图像和第二窗口图像的相似度值的处理，可以是将第一窗口图像和第二窗口图像的像素值作为相似度函数的输入，得到相似度函数输出的相似度值。其中，相似度函数可以是任何一种表征相似度的函数。

例如，公式一是一种相似度函数，本申请实施例应用公式一时，A为第一窗口图像，B为第二窗口图像，

是A中像素值的均值，

是B中像素值的均值。A像素矩阵和B像素矩阵的尺寸均为m×n。

本申请还可以使用其它的相似度函数来确定得到第一窗口图像和第二窗口图像的相似度值。本申请这里不做具体限定。

通过第一窗口图像和第二窗口图像之间的相似度值，可以衡量在同一坐标平面上相机成像面与靶标是否存在倾斜。当相机获取到的靶标图像与靶标图形是一致的情况下，相机成像面和靶标在同一个坐标平面中不存在倾斜夹角，如图5a的(1)示例所示，否则二者之间存在倾斜夹角α，如图5a的(2)示例或(3)示例所示，其中，相机成像面与坐标平面一致，获取的靶标图像代表了相机相对于靶标的倾斜情况。由于靶标的图形是中心线对称的图形，在相机成像面与靶标一致、不存在倾斜的情况下，在相机获取的靶标图像中的第一窗口图像和第二窗口图像将是一致、或对称的图像，二者之间的相似度值也越大，如图5b中的(1)示例所示；在相机成像面与靶标不一致、存在倾斜的情况下，第一窗口图像和第二窗口图像将不是一致的、或者不对称的图像，二者之间的相似度值也越小，如图5b中的(2)示例或(3)示例所示，其中的窗口1代表第一窗口图像，窗口2代表第二窗口图像。从而通过相似度值可以衡量相机相对于靶标是否存在倾斜。

在得到第一窗口图像和第二窗口图像之间的相似度值之后，可以根据相似度值对相机执行倾斜角度调整。

如上所述，在对相机进行调整的过程中，调整装置会一直通过迭代极大相似度值来寻找相似度值的峰值，也即有效极大相似度值。

在上述步骤104中，在一些实施例中，确定当前帧的相似度值是否是有效极大相似度值的操作可以包括如图6所示的处理过程：

步骤601、在判断一帧的相似度值大于等于保存的极大相似度值时，将该帧的相似度值保存为极大相似度值；

步骤602、在判断该极大相似度值与预设的最大相似度值之间的差值的绝对值小于等于预定的有效阈值时，将该帧的相似度值保存为有效极大相似度值。

在上述步骤601中，在将相机由倾斜调整到端正的过程中，依次获取到的靶标图像的相似度值可能会在一直增大，也即在每一个调整过程中，对于每一帧靶标图像的相似度值都会比前一帧靶标图像的相似度值大；这样，调整装置是在不断地寻找和替换极大相似度值的。如图7a所示的一个示例中，Ti-1帧靶标图像的相似度值是C0，Ti帧靶标图像的相似度值是C1，Ti+1帧靶标图像的相似度值时C2，C0<C1<C2。记Ti-1时刻之前的极大相似度值为c’0，那么在Ti-1时刻，若该时刻相似度值C0>c’0，则极大相似度值为C0；那么在Ti时刻，C1>C0，C1被保存为极大相似度值，极大相似度值为C1；在Ti+1时刻，C2>C1，C2被保存为极大相似度值，极大相似度值为C2。也即，极大相似度值是在相机调整过程中，不断获得到的相似度的最大值。

在上述步骤602中，在一些实施例中，预设的最大相似度值可以设置为1，但在实际的应用中，相似度值很难达到1，可以将最大相似度值设置为0.99。当极大相似度值与该预设的最大相似度值的差值的绝对值小于预定的有效阈值时，可以认为极大相似度值已经接近于预设的最大相似度值，相机的倾斜状态较为接近端正状态或者无倾斜状态，这种情况下可以将该极大相似度值保存为有效极大相似度值。

在图7a所示示例的基础上，图7b中示出了一个有效极大相似度值的示例。在图7b中，Ti+n帧靶标图像的相似度值为Cn，预设的最大相似度值为1，预设的有效阈值为θ，|Cn-1|＜θ，Cn可以被存储为有效极大相似度值。

在图6所示处理过程中，调整装置能够不断地寻找、迭代得到当前极大相似度值，以及得到有效极大相似度值。但是调整装置在整个调整过程中，并不能确定当前得到的有效极大相似度值是否是能够调整得到的相似度值的峰值。只有一旦调整装置对一帧靶标图像确定得到的相似度值小于保存的有效相似度值时，才能够确定曾经达到过相似度值的峰值。这种情况下，调整装置需要重新调整相机，以再次获得峰值的相似度值，或者获得接近于峰值的相似度值，也即调整相机获取一帧靶标图像，该帧的相似度值与已确定的当前的有效极大相似度值的差值的绝对值小于一个预设的极小值。在这种情况下，调整装置可以认为相机调整到端正状态(也即无倾斜或者倾斜角度可忽略)。否则，在其它的各种情况下，均可以认为相机存在倾斜，均需要对相机进行调整。

在一些实施例中，可以通过如图8所示的处理来实施步骤104中确定相机是否存在倾斜进行调整的处理流程，包括：

步骤1041、判断是否当前帧的相似度值不是有效极大相似度值、且当前帧的相似度值与已确定的当前的有效极大相似度值的差值的绝对值小于一个预设的极小值，在判断为是的情况下，确定相机当前无倾斜，否则，确定相机当前存在倾斜，处理进行到步骤1042；

步骤1042、根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度。

如上所述，在确定当前帧的相似度值不是有效极大相似度值、且在当前帧的相似度值与已确定的当前的有效极大相似度值的差值的绝对值小于一个预设的极小值的情况下，可以认为相机当前无倾斜，可以停止对相机进行调整。在其他的各种情况下，均需要对相机进行调整。

在一些实施例中，可以通过如图9所示的处理来实施图8中步骤1042对相机进行调整的处理流程，包括：

步骤901、判断当前帧是否是起始帧，在判断为是的情况下，处理进行到步骤902，否则处理进行到步骤903；

步骤902、在当前帧是起始帧时，控制驱动机构按照预定方向和预定步长调整相机的倾斜角度；

其中，在当前帧是起始帧时，调整装置控制驱动机构按照预定方向进行调整，该预定方向可以是预先随机设置的，也可以是预先根据一定的习惯或惯例进行设置的；

步骤903、在当前帧不是起始帧，判断当前帧的相似度值是否大于等于相邻前一帧的相似度值，在判断为是的情况下，处理进行到步骤904，否则处理进行到步骤905；

步骤904、判断当前帧的相似度大于等于相邻前一帧的相似度时，控制驱动机构按照相邻前一帧的调整方向和预定步长调整相机的倾斜角度；

步骤905、判断当前帧的相似度小于上一帧的相似度时，控制驱动机构按照与相邻前一帧相反的调整方向和预定步长调整相机的倾斜角度。

在上述步骤904和步骤905中，在当前帧的相似度大于等于相邻前一帧的相似度时，表明相机的倾斜角度在减小，也即当前调整相机的方向是正确的，能够使相机趋于端正，可以继续在该方向上调整相机；在当前帧的相似度小于相邻前一帧的相似度时，表明相机的倾斜角度在增大，也即当前未能正确地调整相机的方向，需要向相反方向调整相机。

在一些实施例中，在上述步骤904和905中，按照预定步长调整相机的倾斜角度的处理流程可以如图10所示，包括：

步骤1001、根据预设的相似度值的多个区间，判断当前帧的相似度值所在的区间；

步骤1002、根据预设的相似度值的各个区间分别对应的调整步长，确定当前帧的相似度值所在的区间对应的调整步长；

步骤1003、控制驱动机构按照确定的调整步长调整相机的倾斜角度。

上述处理过程也即，将相似度值的范围划分为预定的多个区间，每个区间对应于一个预定的调整步长，对相似度值按照所在的区域进行对应步长的调整。

在一些实施例中，一个区间的相似度值大于另一个区间的相似度值时，该区间对应的调整步长小于该另一个区间对应的调整步长。也即一个区间的相似度值越大、则调整步长越小，一个区间的相似度值越小、则调整步长越大。从而能够在相似度值较小时(也即相机倾斜程度较大时)，对相机执行较大步幅的调整，在相似度值较大时(也即相机倾斜程度较小时)，对相机执行较为精细的调整。

图11示出了在一个示例中实施图10所示处理的过程，在该示例中，包括三个相似度值的范围区间，这三个范围区间通过两个阈值来分隔出来，也即第一阈值和第二阈值，第二阈值小于第一阈值；每个范围区间分别对应一个调整步长，第三步长大于第二步长，第二步长大于第一步长。图11所示的处理包括：

步骤1101、判断是否当前帧的相似度值小于预定的第二阈值，在判断为是的情况下，处理进行到步骤1102，否则，处理进行到步骤1103；

步骤1102、在当前帧的相似度值小于预定的第二阈值时，控制驱动机构按照预定的第三步长调整云台以及相机的倾斜角度；

步骤1103、判断是否当前帧的相似度值大于等于第二阈值、且小于预定的第一阈值，在判断为是的情况下，处理进行到步骤1104，否则，处理进行到步骤1105；

步骤1104、在当前帧的相似度值大于等于第二阈值、且小于预定的第一阈值时，控制驱动机构按照预定的第二步长调整云台以及相机的倾斜角度；

步骤1105、在当前帧的相似度值大于等于预定的第一阈值时，控制驱动机构按照预定的第一步长调整云台以及相机的倾斜角度。

在上述处理过程中，对相似度值划分了三个范围区间，每个区间对应于一个驱动机构的调整步长。在相似度值较小时，以较大的步长调整驱动机构，也即在相似度值小于第二阈值时，控制驱动机构按照第三步长进行调整。在相似度值处于中等区间时，以中等的步长调整驱动机构，也即在当前帧的相似度值大于等于第二阈值、且小于预定的第一阈值时，控制驱动机构按照预定的第二步长调整相机的倾斜角度。在相似度值较大时，以较小的步长按照第一步长调整驱动机构，也即在当前帧的相似度值大于等于预定的第一阈值时，控制驱动机构按照预定的第一步长调整相机的倾斜角度。

图11所示的示例能够根据相似度值的大小，对相机进行对应步幅的调整。

在其他的应用场景或者其它的示例中，还可以根据具体应用的需要对相似度值设置其它数量阈值和区间、以及对应的调整步长，本申请这里不一一列举。设置多个区间可以根据相似度值的大小，可以对相机进行不同步幅的调整，提高调整的效率以及调整的精度。

通过上述的处理过程，本申请实施例能够在相机获取到的靶标图像中获取中心线对称的两个窗口，并确定这两个窗口图像的相似度值，根据该相似度值以及调整过程中的相似度值来调整相机的倾斜角度。

进一步地，在上述步骤104中对相机倾斜角度调整的过程中，可能会出现一种现象，即连续多个帧的相似度值均处于相似度值最大的区间，但却无法进入相机无倾斜对应的范围，该现象是由驱动机构的调整步幅太大引起的。在这种情况下，需要减小驱动机构的调整步长，以使后续帧的相似度值更加接近有效极大相似度值。从而，在图1所示处理的基础上，如

图12所示，本申请实施例提供的相机倾斜角度的调整方法还可以在步骤104之后进一步包括：

步骤105、当连续多个相邻帧的相似度值与保存的有效极大相似度值的差值大于等于预设的极小值、且该连续多个相邻帧的相似度值处于相似度值最大的区间时，按照预定的规则减小该最大的区间对应的步长的值。

其中，连续多个相邻帧的数量可以根据具体应用场景的需要来具体设置。预定的规则可以根据具体的需要进行具体设定。本申请实施例这里列举如下两种规则作为示例，在具体的场景中还可以包括其它的规则。

预定规则一：将当前第一步长值作为预设公式的输入，得到输出的减小后的第一步长的值；其中，预设公式可以根据具体应用场景的需要进行设置，本申请实施例不做具体限定。

预定规则二：提示需要减小当前第一步长的值的信息，获取通过人机交互界面输入的减小后的第一步长的值。

通过上述处理能够更加精细地控制驱动机构，以达到对相机进行更高精度的调整，获得更佳的调整效果。

下面对本申请实施例的一个应用示例进行说明。

图13示出了在一些应用场景中实施图1所示方法的处理流程，包括：

步骤a1、调整装置获取相机获取的当前帧靶标图像；

步骤a2、调整装置在当前帧靶标图像上获取中心线对称的第一窗口图像和第二窗口图像；该处理可以参考上述步骤102的处理；

步骤a3、确定获取的第一窗口图像和第二窗口图像的相似度值Cj；该处理可以参考上述步骤103的处理；

步骤a4、判断当前帧的相似度值是否大于等于保存的极大相似度值Cmax，即判断是否Cj≥Cmax，在判断大于等于的情况下，处理进行到步骤a5，在判断小于的情况下，处理进行到步骤a6；

步骤a5、将当前帧的相似度值保存为极大相似度值Cmax，处理进行到步骤a10；

步骤a6、判断当前保存的极大相似度值与预设的最大相似度值的差值的绝对值是否小于等于一个预设的有效阈值，即判断|Cmax-1|≤θ是否成立，在判断小于等于的情况下，处理进行到步骤a7，在判断大于的情况下，处理进行到步骤a10；

步骤a7、将当前的极大相似度值保存为有效极大相似度值；

判断a8、判断当前保存的有效极大相似度值与当前帧相似度值的差值的绝对值是否小于等于一个预设的极小值，也即判断∣Cmax-Cj∣≤σ是否成立，在判断小于等于的情况下处理进行到a9，在判断大于的情况下，处理进行到a10；

步骤a9，确定相机当前无倾斜，处理结束。

步骤a10、确定对比当前帧的相似度值Cj和相邻前一帧的相似度值Cj-1，确定调整方向和调整步长；该处理可以参考上述图9和图10所示的处理；

步骤a11、根据确定的调整方向和调整步长，控制驱动机构进行相应的调整；处理返回步骤a1。

通过如图13所示的处理，能够自动有效地对相机的倾斜角度进行调整。

基于相同的发明构思，本申请实施例提供了一种相机倾斜角度的调整装置。在本申请实施例中，相机连接云台，云台连接驱动机构。

在一些实施例中，本申请实施例提供的调整装置设置为独立装置时，该调整装置连接至相机和驱动机构。在另一些实施例中，当调整装置和相机结合设置时，该调整装置设置在相机之内或者相机之外，并且调整装置可通过多种连接方式与驱动装置连接、对驱动装置进行控制。

图14示出了本申请实施例提供的相机倾斜角度的调整装置的结构框图，包括：一个处理器1401和至少一个存储器1402，至少一个存储器1402中存储有至少一条机器可执行指令，处理器1401执行至少一条机器可执行指令以执行：

获取相机对靶标获取的当前帧靶标图像；其中，靶标包括中心线对称的图形；

在当前帧靶标图像中获取中心线对称的第一窗口图像和第二窗口图像；

确定第一窗口图像和第二窗口图像的相似度值；

确定当前帧的相似度值不是有效极大相似度值、且在当前帧的相似度值与当前的有效极大相似度值的差值的绝对值小于一个预设的极小值时，确定相机当前无倾斜；否则，根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度；其中，有效极大相似度值与预设的最大相似度值的差值的绝对值小于预定的有效阈值。

在一些实施例中，处理器1401执行至少一条机器可执行指令以执行在靶标图像中获取中心线对称的第一窗口图像和第二窗口图像，包括：在靶标图像中获取指定窗口区域的第一窗口图像；根据相机的成像面中心线获取与第一窗口图像呈中心线对称的第二窗口图像。

在一些实施例中，处理器1401执行至少一条机器可执行指令以执行在靶标图像中获取指定窗口区域的第一窗口图像，包括：获取通过人机交互界面输入的至少两个坐标点，或者获取预先设定的至少两个图像坐标点；根据获取的两个坐标点的坐标值确定指定的窗口区域；在靶标图像中获取确定的指定窗口区域的第一窗口图像。

在一些实施例中，处理器1401执行至少一条机器可执行指令以执行获取预先设定的两个图像坐标点，包括：读取预先设定的至少两个固定的图像坐标点；或者，从预先设定的多对图像坐标点中选择一组图像坐标点，一组图像坐标点中包括至少两个图像坐标点。

在一些实施例中，处理器1401执行至少一条机器可执行指令以执行确定第一窗口图像和第二窗口图像的相似度值，包括：将第一窗口图像和第二窗口图像的像素值作为相似度函数的输入，得到相似度函数输出的相似度值。

在一些实施例中，处理器1401执行至少一条机器可执行指令以执行确定当前帧的相似度值是否是有效极大相似度值，包括：在判断一帧的相似度值大于等于保存的最大相似度值时，将该帧的相似度值保存为极大相似度值；在判断该极大相似度值与预设的最大相似度值之间的差值的绝对值小于预定的有效阈值时，将该帧的相似度值保存为有效极大相似度值。

在一些实施例中，处理器1401执行至少一条机器可执行指令以执行根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度，包括：在当前帧是起始帧时，控制驱动机构按照预定方向和预定步长调整相机的倾斜角度；在当前帧不是起始帧，判断当前帧的相似度大于等于相邻前一帧的相似度时，控制驱动机构按照相邻前一帧的调整方向和预定步长调整相机的倾斜角度，判断当前帧的相似度小于上一帧的相似度时，控制驱动机构按照与相邻前一帧相反的调整方向和预定步长调整相机的倾斜角度。

在一些实施例中，处理器1401执行至少一条机器可执行指令以执行按照预定步长调整相机的倾斜角度，包括：根据预设的相似度值的多个区间，判断当前帧的相似度值所在的区间；根据预设的相似度值的各个区间分别对应的调整步长，确定当前帧的相似度值所在的区间对应的预定的调整步长；控制驱动机构按照确定的调整步长调整云台的倾斜角度以调整相机的倾斜角度。其中，一个区间的相似度值大于另一个区间的相似度值时，该区间对应的调整步长小于该另一个区间对应的调整步长。

在一些实施例中，处理器1401执行至少一条机器可执行指令还执行：当连续多个相邻帧的相似度值与保存的有效极大相似度值的差值大于等于预设的极小值、且该连续多个相邻帧的相似度值处于相似度值最大的区间时，按照预定的规则减小该最大的区间对应的步长的值。其中，预定规则可以包括以下之一：将当前第一步长值作为预设公式的输入，得到输出的减小后的第一步长的值；提示需要减小当前第一步长的值的信息，获取通过人机交互界面输入的减小后的第一步长的值。

本申请实施例提供的技术方案能够通过靶标图像中对称的两个窗口区域的图像的相似度，来指示同一坐标平面中靶标图像相对于靶标的倾斜程度，并在调整过程中寻找相似度峰值，在相似度值到达峰值时认为相机无倾斜或者倾斜角度可接受，在相似度值与已确定的相似度峰值(即有效极大相似度)接近时，停止调整，否则调整相机的倾斜角度，从而能够解决现有技术无法有效地调整相机与靶标之间存在倾斜的问题。

基于相同的发明构思，本申请实施例还提供了一种非暂态易失性机器可读存储介质。

本申请实施例提供的存储介质中存储至少一条机器可执行指令，机器执行至少一条机器可执行指令以执行获取相机对靶标获取的当前帧靶标图像；其中，靶标包括中心线对称的图形；

在当前帧靶标图像中获取中心线对称的第一窗口图像和第二窗口图像；

确定第一窗口图像和第二窗口图像的相似度值；

确定当前帧的相似度值不是有效极大相似度值、且在当前帧的相似度值与当前的有效极大相似度值的差值的绝对值小于一个预设的极小值时，确定相机当前无倾斜；否则，根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度；其中，有效极大相似度值与预设的最大相似度值的差值的绝对值小于预定的有效阈值。

在一些实施例中，机器执行至少一条机器可执行指令以执行在靶标图像中获取中心线对称的第一窗口图像和第二窗口图像，包括：在靶标图像中获取指定窗口区域的第一窗口图像；根据相机的成像面中心线获取与第一窗口图像呈中心线对称的第二窗口图像。

在一些实施例中，机器执行至少一条机器可执行指令以执行在靶标图像中获取指定窗口区域的第一窗口图像，包括：获取通过人机交互界面输入的至少两个坐标点，或者获取预先设定的至少两个图像坐标点；根据获取的两个坐标点的坐标值确定指定的窗口区域；在靶标图像中获取确定的指定窗口区域的第一窗口图像。

在一些实施例中，机器执行至少一条机器可执行指令以执行获取预先设定的两个图像坐标点，包括：读取预先设定的至少两个固定的图像坐标点；或者，从预先设定的多对图像坐标点中选择一组图像坐标点，一组图像坐标点中包括至少两个图像坐标点。

在一些实施例中，机器执行至少一条机器可执行指令以执行确定第一窗口图像和第二窗口图像的相似度值，包括：将第一窗口图像和第二窗口图像的像素值作为相似度函数的输入，得到相似度函数输出的相似度值。

在一些实施例中，机器执行至少一条机器可执行指令以执行确定当前帧的相似度值是否是有效极大相似度值，包括：在判断一帧的相似度值大于等于保存的最大相似度值时，将该帧的相似度值保存为极大相似度值；在判断该极大相似度值与预设的最大相似度值之间的差值的绝对值小于预定的有效阈值时，将该帧的相似度值保存为有效极大相似度值。

在一些实施例中，机器执行至少一条机器可执行指令以执行根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度，包括：在当前帧是起始帧时，控制驱动机构按照预定方向和预定步长调整相机的倾斜角度；在当前帧不是起始帧，判断当前帧的相似度大于等于相邻前一帧的相似度时，控制驱动机构按照相邻前一帧的调整方向和预定步长调整相机的倾斜角度，判断当前帧的相似度小于上一帧的相似度时，控制驱动机构按照与相邻前一帧相反的调整方向和预定步长调整相机的倾斜角度。

在一些实施例中，机器执行至少一条机器可执行指令以执行按照预定步长调整相机的倾斜角度，包括：根据预设的相似度值的多个区间，判断当前帧的相似度值所在的区间；根据预设的相似度值的各个区间分别对应的调整步长，确定当前帧的相似度值所在的区间对应的预定的调整步长；控制驱动机构按照确定的调整步长调整云台的倾斜角度以调整相机的倾斜角度。其中，一个区间的相似度值大于另一个区间的相似度值时，该区间对应的调整步长小于该另一个区间对应的调整步长。

在一些实施例中，机器执行至少一条机器可执行指令还执行：当连续多个相邻帧的相似度值与保存的有效极大相似度值的差值大于等于预设的极小值、且该连续多个相邻帧的相似度值处于相似度值最大的区间时，按照预定的规则减小该最大的区间对应的步长的值。其中，预定规则可以包括以下之一：将当前第一步长值作为预设公式的输入，得到输出的减小后的第一步长的值；提示需要减小当前第一步长的值的信息，获取通过人机交互界面输入的减小后的第一步长的值。

本申请实施例提供的技术方案能够通过靶标图像中对称的两个窗口区域的图像的相似度，来指示同一坐标平面中靶标图像相对于靶标的倾斜程度，并在调整过程中寻找相似度峰值，在相似度值到达峰值时认为相机无倾斜或者倾斜角度可接受，在相似度值与已确定的相似度峰值(即有效极大相似度)接近时，停止调整，否则调整相机的倾斜角度，从而能够解决现有技术无法有效地调整相机与靶标之间存在倾斜的问题。

基于相同的发明构思，本申请实施例提供了一种相机，该相机中包括如图14所示的相机倾斜角度的调整装置，倾斜角度的调整装置。在本申请实施例中，相机连接云台，云台连接驱动机构。该调整装置设置在相机之内或者相机之外，并且调整装置可通过多种连接方式与驱动装置连接、对驱动装置进行控制。

本申请实施例提供的相机能够自动地根据获取到的靶标图像，来确定相机相对于靶标是否存在倾斜。并在确定存在倾斜的情况下，自动地调整相机相对于靶标的倾斜角度，从而能够解决现有技术无法有效地调整相机与靶标之间存在倾斜的问题。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (20)

1.一种相机倾斜角度的调整方法，其特征在于，相机连接云台，云台连接驱动机构，该方法包括：

调整装置获取相机对靶标获取的当前帧靶标图像；其中，靶标包括中心线对称的图形；

在当前帧靶标图像中获取中心线对称的第一窗口图像和第二窗口图像；

确定第一窗口图像和第二窗口图像的相似度值；

判断当前帧的相似度值是否大于等于保存的极大相似度值；

在当前帧的相似度值大于等于保存的极大相似度值时，用当前帧的相似度值替换保存的极大相似度值；

在当前帧的相似度值小于保存的极大相似度值、且保存的极大相似度值与预设的最大相似度值的差值的绝对值小于等于预设的有效阈值时，将保存的极大相似度值保存为有效极大相似度值；

在当前帧的相似度值小于保存的极大相似度值、且当前帧的相似度值与保存的有效极大相似度值的差值的绝对值小于等于预设的极小值时，确定相机当前无倾斜；否则，根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度。

2.根据权利要求1所述的方法，其特征在于，在靶标图像中获取中心线对称的第一窗口图像和第二窗口图像，包括：

在靶标图像中获取指定窗口区域的第一窗口图像；

根据相机的成像面中心线获取与第一窗口图像呈中心线对称的第二窗口图像。

3.根据权利要求2所述的方法，其特征在于，在靶标图像中获取指定窗口区域的第一窗口图像，包括：

获取通过人机交互界面输入的至少两个图像坐标点，或者获取预先设定的至少两个图像坐标点；

根据获取的至少两个图像坐标点的坐标值确定指定的窗口区域；

在靶标图像中获取确定的指定窗口区域的第一窗口图像。

4.根据权利要求3所述的方法，其特征在于，获取预先设定的至少两个图像坐标点，包括：

读取预先设定的至少两个固定的图像坐标点；或者，

从预先设定的多对图像坐标点中选择一组图像坐标点，一组图像坐标点中包括至少两个图像坐标点。

5.根据权利要求1所述的方法，其特征在于，确定第一窗口图像和第二窗口图像的相似度值，包括：

将第一窗口图像和第二窗口图像的像素值作为相似度函数的输入，得到相似度函数输出的相似度值。

6.根据权利要求1所述的方法，其特征在于，根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度，包括：

在当前帧是起始帧时，控制驱动机构按照预定方向和预定步长调整相机的倾斜角度；

在当前帧不是起始帧，判断当前帧的相似度大于等于相邻前一帧的相似度时，控制驱动机构按照相邻前一帧的调整方向和预定步长调整相机的倾斜角度，判断当前帧的相似度小于相邻前一帧的相似度时，控制驱动机构按照与相邻前一帧相反的调整方向和预定步长调整相机的倾斜角度。

7.根据权利要求6所述的方法，其特征在于，按照预定步长调整相机的倾斜角度，包括：

根据预设的相似度值的多个区间，判断当前帧的相似度值所在的区间；

根据预设的相似度值的各个区间分别对应的调整步长，确定当前帧的相似度值所在的区间对应的预定的调整步长；

控制驱动机构按照确定的调整步长调整云台的倾斜角度以调整相机的倾斜角度。

8.根据权利要求7所述的方法，其特征在于，还包括：

一个区间的相似度值大于另一个区间的相似度值时，该区间对应的调整步长小于该另一个区间对应的调整步长。

9.根据权利要求7所述的方法，其特征在于，还包括：

当连续多个相邻帧的相似度值与保存的有效极大相似度值的差值大于等于预设的极小值、且该连续多个相邻帧的相似度值处于相似度值最大的区间时，按照预定的规则减小该最大的区间对应的步长的值。

10.根据权利要求9所述的方法，其特征在于，预定的规则包括以下之一：

将当前第一步长值作为预设公式的输入，得到输出的减小后的第一步长的值；

提示需要减小当前第一步长的值的信息，获取通过人机交互界面输入的减小后的第一步长的值。

11.一种相机倾斜角度的调整装置，其特征在于，相机连接云台，云台连接驱动机构，该装置包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行：

获取相机对靶标获取的当前帧靶标图像；其中，靶标包括中心线对称的图形；

在当前帧靶标图像中获取中心线对称的第一窗口图像和第二窗口图像；

确定第一窗口图像和第二窗口图像的相似度值；

判断当前帧的相似度值是否大于等于保存的极大相似度值；

在当前帧的相似度值大于等于保存的极大相似度值时，用当前帧的相似度值替换保存的极大相似度值；

在当前帧的相似度值小于保存的极大相似度值、且保存的极大相似度值与预设的最大相似度值的差值的绝对值小于等于预设的有效阈值时，将保存的极大相似度值保存为有效极大相似度值；

在当前帧的相似度值小于保存的极大相似度值、且当前帧的相似度值与保存的有效极大相似度值的差值的绝对值小于等于预设的极小值时，确定相机当前无倾斜；否则，根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度。

12.根据权利要求11所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行在靶标图像中获取中心线对称的第一窗口图像和第二窗口图像，包括：

在靶标图像中获取指定窗口区域的第一窗口图像；

根据相机的成像面中心线获取与第一窗口图像呈中心线对称的第二窗口图像。

13.根据权利要求12所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行在靶标图像中获取指定窗口区域的第一窗口图像，包括：

获取通过人机交互界面输入的至少两个图像坐标点，或者获取预先设定的至少两个图像坐标点；

根据获取的至少两个图像坐标点的坐标值确定指定的窗口区域；

在靶标图像中获取确定的指定窗口区域的第一窗口图像。

14.根据权利要求13所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行获取预先设定的至少两个图像坐标点，包括：

读取预先设定的至少两个固定的图像坐标点；或者，

从预先设定的多对图像坐标点中选择一组图像坐标点，一组图像坐标点中包括至少两个图像坐标点。

15.根据权利要求11所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行确定第一窗口图像和第二窗口图像的相似度值，包括：

将第一窗口图像和第二窗口图像的像素值作为相似度函数的输入，得到相似度函数输出的相似度值。

16.根据权利要求11所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行根据当前帧的相似度值和相邻前一帧的相似度值的对比结果，控制驱动机构调整云台的倾斜角度以调整相机的倾斜角度，包括：

在当前帧是起始帧时，控制驱动机构按照预定方向和预定步长调整相机的倾斜角度；

在当前帧不是起始帧，判断当前帧的相似度大于等于相邻前一帧的相似度时，控制驱动机构按照相邻前一帧的调整方向和预定步长调整相机的倾斜角度，判断当前帧的相似度小于相邻前一帧的相似度时，控制驱动机构按照与相邻前一帧相反的调整方向和预定步长调整相机的倾斜角度。

17.根据权利要求16所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行按照预定步长调整相机的倾斜角度，包括：

根据预设的相似度值的多个区间，判断当前帧的相似度值所在的区间；

根据预设的相似度值的各个区间分别对应的调整步长，确定当前帧的相似度值所在的区间对应的预定的调整步长；

控制驱动机构按照确定的调整步长调整云台的倾斜角度以调整相机的倾斜角度。

18.根据权利要求16所述的装置，其特征在于，处理器执行至少一条机器可执行指令还执行：

当连续多个相邻帧的相似度值与保存的有效极大相似度值的差值大于等于预设的极小值、且该连续多个相邻帧的相似度值处于相似度值最大的区间时，按照预定的规则减小该最大的区间对应的步长的值。

19.一种非暂态易失性机器可读存储介质，其特征在于，该存储介质中存储至少一条机器可执行指令，机器执行至少一条机器可执行指令以执行权利要求1-10中任一项所述的相机倾斜角度的调整方法。

20.一种相机，其特征在于，包括如权利要求11-18中任一项所述的相机倾斜角度的调整装置。

Images