CN102937816A - 摄像机预置位偏差校准方法及装置 - Google Patents

Abstract

本发明涉及视频监控领域，特别涉及一种摄像机预置位偏差校准方法及装置。该方法需预先采集并存储预置位的基准图像或其特征数据；之后包括如下步骤：摄像机转到所选预置位；采集图像；将采集到的图像与基准图像或其特征数据进行匹配，计算整体偏移量；将整体偏移量与预先设置的阈值进行比较：若整体偏移量大于预先设置的阈值，则根据整体偏移量控制云台转动；之后返回执行所述采集图像的步骤；若整体偏移量不大于预先设置的阈值，则重置预置位并结束对该预置位的校准。该装置包括云台、摄像机机芯、存贮器、处理器和控制接口。本发明所提供的摄像机预置位偏差校准方法及装置能够实现对摄像机云台预置位的精确校准。

Description

摄像机预置位偏差校准方法及装置

技术领域

本发明涉及视频监控领域，特别涉及一种摄像机预置位偏差校准方法及装置。

背景技术

随着视频监控系统的快速发展，带有预置位功能的云台镜头控制一体化摄像机（通常是球形摄像机）的使用越来越广泛。所谓预置位功能是指一体化摄像机能将当前状态下云台的水平角度、倾斜角度和摄像机镜头焦距等相关参数储存到不挥发存贮器中，需要时可以迅速调用这些参数并将云台和摄像头调整至该位置。云台的预置位功能不但可以让用户快速定位目标，还可以实现诸如预置位巡视一类的特殊功能。

但因为驱动电机的机械齿轮间距、机器结构件精度或皮带传动等原因，当云台长期运行时，由于偏差的累积，会造成云台预置位与设定位置产生明显的位置偏移，尤其在镜头放大倍数较大时，情况更为严重，这给视频监控带来了很大的麻烦。预置位的偏移，最终可能会导致原先的观察目标超出预置位观察范围，由此可能带来严重的后果。

由于云台预置位通常是为了监视某个区域而设定的，所以利用该区域的图像信息来对云台进行校准，可以避免云台偏差造成的不良后果。目前也有解决类似问题的相关专利，但都不能完全解决云台预置位的偏移问题。

针对云台预置位偏差校准这一问题，在一些对预置位位置要求比较严格的领域，需要采取每隔一段时间，人为手工重新设置预置位来解决。这给视频监控系统的维护带来了很大的不便。因此急需一套能够对云台预置位自动进行校准，有效提高云台控制精度的方法和装置。

发明内容

本发明提供了一种摄像机预置位偏差校准方法；

本发明还提供了一种摄像机预置位偏差校准装置。

本发明所提供的摄像机预置位偏差校准方法及装置能够对摄像机的预置位进行精确校准。

为了达到上述目的，本发明的技术方案是这样实现的，

摄像机预置位偏差校准方法，预先采集并存储预置位的基准图像或其特征数据；其中，所述基准图像为整幅图像中的一个或多个基准子图；所述基准图像的特征数据为整幅图像中的一个或多个基准子图的特征数据；所述偏差校准方法包括如下步骤：

摄像机转到所选预置位；

采集图像；

将采集到的图像与预先采集并记录的该预置位的基准子图或基准子图的特征数据进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量；

将整体偏移量与预先设置的阈值进行比较：

若整体偏移量大于预先设置的阈值，

则根据整体偏移量控制云台转动；之后返回执行所述采集图像的步骤；

若整体偏移量不大于预先设置的阈值，

则重置预置位并结束对该预置位的校准。

进一步地，前述的摄像机预置位偏差校准方法中，在进行所述摄像机和镜头转到所选预置位的步骤之前还包括下列步骤：

将图像传感器输出窗口调整到传感器中心；

在结束对该预置位的校准之后还包括下列步骤：

记录所述整体偏移量，并将其作为摄像机和镜头转到所选预置位后，所述图像传感器输出窗口与所述传感器中心之间的偏移量。

进一步地，前述的摄像机预置位偏差校准方法中，

采用模板匹配方法计算所采集到的当前图像针对每个所述基准子图的子图偏移量。

进一步地，前述的摄像机预置位偏差校准方法中，

所述基准子图的特征数据包括梯度特征数据、Gabor特征数据、小波特征数据和Harris角点特征数据、SIFT特征数据中的一种或多种。

进一步地，前述的摄像机预置位偏差校准方法中，

所述将当前采集到的图像与预先采集并记录的该预置位的基准子图进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量的步骤具体包括：

令：

K表示基准图像的基准子图数量。

S_k(k=1,2，...,K)表示基准图像中的第k个基准子图;

(S_k)_zk={c|c=a+z_k,a∈S_k}为子图S_k平移z_k=(x_k,y_k)后的子图；

为所有有分别平移后子图的像素集合；

T表示当前图像中全部像素的集合；

采用下列方式之一得出所述子图偏移量以及整体偏移量：

方式一：

采用下列公式计算子图偏移量：

$J_z=\frac{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}(s-\stackrel{\_}{s})(t-\stackrel{\_}{t})}{\sqrt{\underset{s\∈{\left(S\right)}_z}{\mathrm{\Σ}}{(s-\stackrel{\_}{s})}^2}\sqrt{\underset{t\∈T}{\mathrm{\Σ}}{(t-\stackrel{\_}{t})}^2}};$

或

$J_z=\frac{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}(s-{\stackrel{\_}{s}}_k)(t-\stackrel{\_}{t})}{\sqrt{\underset{s\∈{\left(S\right)}_z}{\mathrm{\Σ}}{(s-{\stackrel{\_}{s}}_k)}^2}\sqrt{\underset{t\∈T}{\mathrm{\Σ}}{(t-\stackrel{\_}{t})}^2}}$

其中，

和

分别是同时满足s∈(S)_z,t∈T的S_z、T和S_k中的像素的平均。

搜索使J_z最大的子图偏移量z=∪z_k,k=1,2,...,K,则当前图像的整体偏移量通过下列方式获得：

$D=(\frac{1}{K}\underset{k}{\mathrm{\Σ}}{x}_k,\frac{1}{K}\underset{k}{\mathrm{\Σ}}{y}_k);$

方式二：

$J_z=\frac{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}{|s-t|}^n}{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}1};$

其中n为正整数.

搜索使J_z最小的子图偏移量z=∪z_k,k=1,2,...,K,则当前图像的整体偏移量通过下列方式获得：

$D=(\frac{1}{K}\underset{k}{\mathrm{\Σ}}{x}_k,\frac{1}{K}\underset{k}{\mathrm{\Σ}}{y}_k).$

进一步地，前述的摄像机预置位偏差校准方法中，

所述将当前采集到的图像与预先采集并记录的该预置位的基准子图特征进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量的步骤具体包括：

令：

K表示基准图像的基准子图数量；

S_k(k=1,2,...,K)表示基准图像中的第k个基准子图;

为所有子图的像素集合；

(S_k)_zk={c|c=a+z_k,a∈S_k}为子图S_k平移z_k=(x_k,y_k)后的子图；

为所有分别平移后子图的像素集合；

T表示当前图像中全部像素的集合；

(T)_sz表示T与(S)_z对应（即重合）的像素集合；

Ps=(Ps₁,Ps₂,...,Ps_N)表示从S计算得到的N维特征矢量;

(Pt)_z=(Pt₁,Pt₂,...,Pt_N)表示从(T)_sz计算得到的N维特征矢量;

采用下列方式得出所述子图偏移量以及整体偏移量：

$L_z=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{A}_i{({\mathrm{Pt}}_i-{\mathrm{Ps}}_i)}^2;$

其中A_i为加权系数；

搜索使L_z最小的子图偏移量z=∪z_k,k=1,2,...,K,则当前图像的整体偏移量通过下列方式获得：

$D=(\frac{1}{K}\underset{k}{\mathrm{\Σ}}{x}_k,\frac{1}{K}\underset{k}{\mathrm{\Σ}}{y}_k).$

摄像机预置位偏差校准装置，包括摄像机机芯、云台、存贮器、处理器和控制接口；其中摄像机机芯内置图像传感器和镜头；

所述摄像机机芯用于：在云台带动下，通过内部的图像传感器采集预置位的图像和基准图像；

所述云台用于：将摄像机机芯转动至预置位或根据所述整体偏移量控制摄像机机芯转动；

所述存贮器用于：存储所述预置位的基准图像或其特征数据，其中，所述基准图像为整幅图像中的一个或多个基准子图；所述基准图像的特征数据为整幅图像中的一个或多个基准子图的特征数据；

所述处理器用于：

将采集到的图像与预先采集并记录的该预置位的基准子图或基准子图的特征数据进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量；

将整体偏移量与预先设置的阈值进行比较：

若整体偏移量大于预先设置的阈值，根据所述整体偏移量通过控制接口控制云台转动；

若整体偏移量不大于预先设置的阈值，则结束对该预置位的校准；

所述控制接口用于：向云台发送转动命令从而控制云台转动。

进一步地，前述的摄像机预置位偏差校准装置中，

所述摄像机机芯还用于：根据所述整体偏移量调整图像传感器输出窗口的位置；

所述存贮器还用于：存储传感器输出窗口的大小以及不大于所述阈值的所述整体偏移量；

控制接口还用于：将不大于所述阈值的所述整体偏移量发送至摄像机机芯。

进一步地，前述的摄像机预置位偏差校准装置中，所述存贮器为不挥发存贮器。

进一步地，前述的摄像机预置位偏差校准装置中，

所述处理器为摄像机内部嵌入式处理器或计算机；

和/或

所述不挥发存贮器为NAND、NOR Flash,SD卡或硬盘；

和/或

所述控制接口为RS485接口，RS232接口，I²C接口或以太网接口。

与现有技术相比，本发明所述的摄像机预置位偏差校准方法及装置能够采集并存储预置位的基准图像或其特征数据，之后通过再次采集图像与预先采集并存储的该预置位的基准图像或其特征数据进行匹配，计算整体偏移量；之后对整体偏移量与预先设置的阈值进行比较，再反复转动云台，直至偏差小于阈值，这样便可完成对该预置位的校准。当需要摄像机转动至该预置位时，直接按照校准后的云台姿态参数控制云台转动即可。能够实现对摄像机云台预置位的准确校准。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的摄像机预置位偏差校准装置的结构图；

图2为本发明实施例所提供的采用嵌入式设计的摄像机预置位偏差校准装置的结构图；

图3为本发明实施例基于计算机客户端技术设计的摄像机预置位偏差校准装置的结构图；

图4为本发明实施例基于一体化球形摄像机和计算机的摄像机预置位偏差校准装置的结构图；

图5为本发明实施例基于一体化球形摄像机、嵌入式视频处理器和计算机的摄像机预置位偏差校准装置的结构图；

图6为本发明实施例所提供的摄像机预置位偏差校准装置的偏差校准方法流程图；

图7和8为本发明实施例所提供的摄像机预置位偏差校准方法的匹配过程演示图；

图9为本发明实施例所提供的摄像机预置位偏差校准方法的传感器输出窗口示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述，基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

图1展示了本发明一个实施例所提供的摄像机预置位偏差校准装置。所述摄像机包括摄像机机芯101和云台102。所述摄像机机芯为一体化摄像机机芯，内置图像传感器和镜头，并可以在云台带动下转动，通过控制镜头可实现变焦和聚焦；所述云台可控制水平和俯仰转动，实现摄像机机芯的转动。为了完成对所述摄像机的预置位偏差校准，本装置还包括以下三部分：存贮器103，处理器104以及控制接口105。所述处理器104带有图像输入接口，可以采集来自摄像机机芯内部的图像传感器的图像。

所述摄像机机芯101用于：在云台带动下，通过内部的图像传感器采集图像，包括采集转到所选预置位后的图像和基准图像；

所述云台102用于：安置摄像机机芯，并在处理器通过控制接口控制下带动摄像机机芯转动，将摄像机机芯转动至预置位，或根据所述整体偏移量控制摄像机机芯转动；

所述存贮器103用于：存储所述预置位的基准图像数据或其特征数据，其中，所述基准图像为整幅图像中的一个或多个基准子图；所述基准图像的特征数据为整幅图像中的一个或多个基准子图的特征数据；

所述处理器104用于：

将采集到的图像与预先采集并记录的该预置位的基准子图或基准子图的特征数据进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量；；

将整体偏移量与预先设置的阈值进行比较：

若整体偏移量大于预先设置的阈值，根据所述整体偏移量通过控制接口105控制云台102转动；

若整体偏移量不大于预先设置的阈值，则结束对该预置位的校准。

所述控制接口105用于：向云台105发送转动命令从而控制云台转动。

若通过上述根据整体偏移量通过控制接口105控制云台102转动后，重新获得的整体偏移量比控制前的更大，则也结束对该预置位的校准。

下面具体对各部分进行说明。

存贮器103用于存贮各预置位所采集的基准图像或其特征数据，还可贮存包括子图的数量位置和大小以及传感器输出窗口的位置和大小。存贮器103可选用不挥发存贮器，例如NAND、NOR Flash,SD卡或硬盘等。

处理器104具有图像输入接口，用于采集图像和预置位校准；可以是独立运行设备或与摄像机成为一体，也可以是一台通过通信网络相连的计算机。对于网络摄像机可以是内置的处理器，该内置的处理器一般还实现视频编码、网络通信及图像增强等其它功能。

控制接口105可采用RS485接口，RS232接口，I2C接口或以太网接口等。

为了使所描述的摄像机预置位校准装置更加清楚，下面列出几种可行的选择：

一种摄像机预置偏差校准装置，其为采用嵌入式设计，如图2所示该装置嵌入于一台包含CCD（或CMOS）传感器，镜头，处理器和SD卡的网络摄像机，该摄像机可通过RS232(或RS485)接口控制云台转动和镜头变焦。本装置利用摄像机内部的处理器执行云台预置位校准算法，对应图1中的处理器104；所采集的校准所需的基准图像或其特征数据存放于SD卡中，对应图1中的存贮器103；RS232(或RS485)接口对应图1中的控制接口105。这里的处理器可以是DSP处理器或ARM等通用处理器或FPGA处理器。

所述装置，通过CCD（或CMOS）传感器采集预置位的图像和基准图像，利用网络摄像机的处理器根据采集到的图像数据进行校准运算，根据校准结果，通过RS232(或RS485)接口控制云台转动，通过重设预置位达到校准云台预置位的目的。

另一种摄像机预置位偏差校准装置，是基于计算机客户端技术设计而成，如图3所示，该装置也可以是如下所描述的一台计算机和一体化球形网络摄像机组成，计算机通过以太网与网络摄像机相连，可通过以太网获取摄像机图像，并能通过以太网控制云台转动以及图像传感器输出。该装置中，处理器104为计算机自身的处理器，其图像输入接口为以太网，不挥发存贮器103为计算机硬盘，控制接口105为以太网。所述计算机是指具有网络通信能力的普通计算机、手持设备或其它嵌入式设备。

所述装置，云台位于与计算机通过以太网连接的摄像机（即网络摄像机）处，网络摄像机安置在云台上，所采集到图像通过以太网传输给计算机，计算机将数据存储于硬盘，利用处理器进行校准运算，根据结果通过以太网向摄像机发送相关命令，控制云台转动和摄像机重设预置位完成校准。其中位于计算机客户端的处理器、硬盘、以及以太网这三部分组成的云台预置位校准装置，完成对预置位的校准工作。

第三种摄像机预置位偏差校准装置，是由普通一体化球形摄像机和计算机组成，如图4所示。普通一体化球形摄像机输出模拟视频信号到计算机，计算机采集该视频信号（通过视频采集卡或视频解码芯片（decoder））得到数字图像数据或其特征数据，计算机将数据存储于硬盘或SD卡（或CF卡、MMC卡、U盘、SSD等），利用处理器进行校准运算，得到整体偏移量，根据该整体偏移量通过RS485向摄像机发送相关命令，控制云台转动和摄像机重设预置位完成校准。

计算机通过视频电缆和RS485与一体化球形摄像机相连，通过模数变换（即视频解码器,decoder）电路获取摄像机图像，并通过RS485控制云台转动以及图像传感器输出。该装置中，处理器104为计算机的处理器，其图像输入接口为模拟视频接口，存贮器103为计算机硬盘或SD卡，控制接口105为RS485。所述计算机是指具有RS485通信接口的通用计算机或其它嵌入式设备（如硬盘录像机DVR、视频服务器DVS、智能视频处理单元IPU等）。

所述装置，云台和摄像机机芯位于一体化摄像机内部，摄像机机芯安置在云台上，计算机将采集到的图像数据或其特征数据存储于硬盘或SD卡，利用计算机处理器进行校准运算，根据结果通过RS485向摄像机发送相关命令，控制云台转动和摄像机重设预置位完成校准。

第四种种摄像机预置位偏差校准装置，是由普通一体化球形摄像机、嵌入式视频处理器（如硬盘录像机DVR、视频服务器DVS、智能视频处理单元IPU）和计算机组成，如图5所示。普通一体化球形摄像机输出模拟视频信号到嵌入式视频处理器，嵌入式视频处理器采集该视频信号（通过视频解码芯片（decoder））得到数字图像数据，将视频或图像数据（一般先进行压缩编码）通过网络接口发送给计算机，计算机将得到的图像数据或其特征数据存储于硬盘或SD卡（或CF卡、MMC卡、U盘、SSD等），并利用处理器进行校准运算，计算整体偏移量，根据该结果通过以太网107向嵌入式视频处理器106发送控制命令，嵌入式视频处理器将控制命令通过RS485转发给摄像机控制云台转动和摄像机重设预置位，从而完成校准。这种形式利用了现有的大多数视频监控系统的结构和设备。

该装置中，处理器104为计算机的处理器，其图像输入接口为模拟视频接口和以太网接口，来自一体化球形摄像机的模拟视频信号先经嵌入式视频处理器数字化和编码后通过以太网转发给计算机，存贮器103为计算机硬盘或SD卡，控制接口105为以太网和RS485，计算机通过以太发送控制命令，再经视频处理器RS485转发给一体化球形摄像机。所述计算机是指具有以太网通信接口的普通计算机或其它嵌入式设备（如手持设备）。

所述装置，云台和摄像机机芯位于一体化球形摄像机内部，摄像机机芯安置在云台上，计算机将采集到的图像数据或其特征数据存储于硬盘或SD卡，利用计算机处理器进行校准运算，根据结果通过以太网向摄像机发送相关命令，控制云台转动和摄像机重设预置位完成校准。这里的视频处理器是计算机与一体化球形摄像机之间的转发设备，它将来自摄像机的模拟视频信号转换为数字视频数据（包括压缩编码），并转发给计算机，它还将来自计算机的通过以太网发送的控制信号通过RS485转发给一体化球形摄像机。

如图6所示为上述装置云台预置位校准过程的一个实施例，整个过程分为建立基准和预置位校准两步。

建立基准过程包括：首先利用处理器104采集并记录预置位基准图像或其特征数据，存储在存贮器103内，其中，所述基准图像为整幅图像中的一个或多个基准子图；所述基准图像的特征数据为整幅图像中的一个或多个基准子图的特征数据。

预置位校准过程：利用存储在存贮器103内的预置位的每个子图或每个子图的特征数据与采集到的图像在处理器103中进行匹配运算，计算整体偏移量；根据结果通过控制接口105对摄像机进行控制，对预置位进行校准。

该装置的预置位偏差校准方法包含以下步骤：

601）摄像机转到所选预置位；

602）采集图像；

603）将采集到的图像与预先采集并记录的该预置位的每个基准子图或每个基准子图的特征数据进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量；

604）将整体偏移量与预先设置的阈值进行比较：

若整体偏移量大于预先设置的阈值，

605）则根据整体偏移量控制云台转动；之后返回执行所述采集图像的步骤；

若偏移量小于设定的阈值，

606）则重置预置位并结束对该预置位的校准；

若是校准后的重新计算得到的整体偏移量，且不小于校准前的整体偏移量，则结束对该预置位的校准。（这避免了由于机械偏差较大不能准确校准的问题）。

校准数据可以采用原始图像数据校准，也可以采用图像的特征数据。使用图像原始数据有较高的搜索精度，但会带来较大的存储开销；而使用特征数据则可以大幅度减少存储开销。

若利用基准图像计算偏移量，可采用模板匹配方法计算所采集到的每幅子图的子图偏移量。

若利用基准图像的特征数据进行云台预置位校准，则首先采集并记录预置位基准图像的特征数据；常用的提取纹理和角点特征数据的方法均可被采用，如梯度特征数据、Gabor特征数据、小波特征数据和Harris角点特征数据、SIFT特征数据等。

基准图像为整幅图像中一个或多个子图，子图的选择可以人为指定也可以自动选择，例如选取纹理特征最明显的区域，或与其它区域区分度较大且便于定位的区域。子图即整幅图像的一部分，可使用一个矩形框选定，也可使用其他形状选择子图。需要存储子图的数量，位置大小信息。例如使用一个矩形框选择子图，则需要存储矩形框的位置，如左上角顶点坐标，以及宽度和高度。

一种可行方案如下所述：

假设图像尺寸为W₀=1280，H₀=800，基准图像内有两个区分度较大的目标，分别位于图像上坐标(550,330)和(820,760)附近。此时可手动设置两个矩形子图并记录其位置大小信息，如图7所示，设置矩形子图S₁左上顶点坐标（简称图像坐标）为(x₁,y₁)=(500,300),宽度w₁=100,高度h₁＝50；子图S₂图像坐标为(x₂,y₂)=(800,700)，宽度w₂=50,高度h₂=100。上述子图设置既能保证关注的目标在预置位校准后的准确度，又能降低匹配操作的计算量。

本例中，采用子图图像进行匹配，因此在完成子图设置后，将每个子图的图像数据存储在存贮器中，用于后续匹配计算。可以存储图像的原始数据，也可以存储压缩编码后的数据以节省存储空间，如采用JPEG压缩编码。

当摄像机再次转动至此预置位时，按图6所示的步骤执行校准过程。

首先进行步骤401与402，摄像机转到所选预置位并采集当前图像；

接着按照步骤403进行子图匹配并计算当前图像的整体偏移量；

所述将当前采集到的图像与预先采集并记录的该预置位的基准子图进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量的步骤具体包括：

令：

K表示基准图像的基准子图数量。

S_k(k=1,2，...,K)表示基准图像中的第k个基准子图;

(S_k)_zk={c|c=a+z_k,a∈S_k}为子图S_k平移z_k=(x_k,y_k)后的子图；

为所有分别平移后子图的像素集合；所述像素包括位置及其像素值，所述像素值可以是灰度或RGB、YUV、YIQ、HSI等彩色坐标系的值。各公式中位置运算时是指其位置数据，匹配、相关等值运算时是指其像素值，在不引起歧义时将不作特别说明。

T表示当前图像中全部像素的集合；

采用下列方式之一得出所述子图偏移量以及整体偏移量：

方式一：

采用下列公式计算子图偏移量：

$J_z=\frac{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}(s-\stackrel{\_}{s})(t-\stackrel{\_}{t})}{\sqrt{\underset{s\∈{\left(S\right)}_z}{\mathrm{\Σ}}{(s-\stackrel{\_}{s})}^2}\sqrt{\underset{t\∈T}{\mathrm{\Σ}}{(t-\stackrel{\_}{t})}^2}}$

或

$J_z=\frac{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}(s-{\stackrel{\_}{s}}_k)(t-\stackrel{\_}{t})}{\sqrt{\underset{s\∈{\left(S\right)}_z}{\mathrm{\Σ}}{(s-{\stackrel{\_}{s}}_k)}^2}\sqrt{\underset{t\∈T}{\mathrm{\Σ}}{(t-\stackrel{\_}{t})}^2}}$

其中，和分别是同时满足s∈(S)_z,t∈T的S_z、T和S_k中的像素的值的平均，其中s、t也指其像素值；

搜索使J_z最大的子图偏移量z=∪z_k,k=1,2,...,K,则当前图像的整体偏移量通过下列方式获得：

$D=(\frac{1}{K}\underset{k}{\mathrm{\Σ}}{x}_k,\frac{1}{K}\underset{k}{\mathrm{\Σ}}{y}_k);$

方式二：

$J_z=\frac{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}{|s-t|}^n}{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}1};$

其中n为正整数，一般取1或者2。

搜索使J_z最小的子图偏移量z=∪z_k,k=1,2,...,K,则当前图像的整体偏移量通过下列方式获得：

$D=(\frac{1}{K}\underset{k}{\mathrm{\Σ}}{x}_k,\frac{1}{K}\underset{k}{\mathrm{\Σ}}{y}_k).$

采用上述方式进行子图匹配并计算整体偏移量。具体实施方式如下：

首先给定一组偏移z=∪z_k,k=1,2,...,K，将基准图像的子图图像的集合

按照该偏移进行位置移动，此过程中子图图像的像素值保持不变，每个子图S_k按照对应偏移z_k移动，移动后得到

当前采集到的图像集合为T，将坐标位于T与(S)_z交集内的当前图像像素点t，和基准图像像素点s进行上述方式一或者方式二计算指标Jz。

改变偏移量集合z，重新按上述过程计算Jz。遍历一定条件下的所有可选偏移集合z，找到其中使Jz最小的偏移量集合z，认为是最佳的匹配偏移量。

偏移量集合z可以参考如下方式确定：首先令z₁=z₂=...=z_k=z₀，在较大范围内进行搜索，找到Jz最小对应的z₀，然后在将每个子图z_k的偏移量在z₀的基础上，进行小范围的搜索，进一步寻找Jz的最小值。

例如，本例中，子图数量K=2；首先令z₁=z₂=z₀=(x₀,y₀)，对较大范围内，例如对满足x₀∈[-30,30]，y₀∈[-20,20]范围内所有偏移z₀计算Jz。

例如,对偏移z₀=(30,12)计算Jz，首先将子图S₁，S₂均按照z₀=(30,12)进行平移，平移过程中仅改变子图的位置坐标，而子图的像素值不变。平移后的子图为(S_k)_zk={c|c=a+z_k,a∈S_k}，本例中，子图S₁图像坐标为(500,300)，按照z₀平移后的(S₁)_z0的图像坐标为（530,312），子图的宽高w₁=100,h₁=50不变。故(S₁)_z0的坐标集合为(S₁)_z0={(x,y)|x∈[530,630],y∈[312,362]}；同样，子图S₂图像坐标为(800,700)，按z₀平移后(S₂)_z0的图像坐标为（830,712），w₂=50,h₂=100。(S₂)_z0的坐标集合为(S₂)_z0={(x,y)|x∈[830,880],y∈[712,812]}。

子图集合(S)_z=(S₁)_z0∪(S₂)_z0的坐标集合为：

(S)_z={(x,y)|x∈[530,630]∪[830,880],y∈[312,362]∪[712,812]}。

当前图像的全部像素集合为T，图像尺寸为W₀=1280，H₀=800，故T的坐标集合为T={(x,y)|x∈[0,1280],y∈[0,800]}。当前图像T与平移后的子图集合(S)_z的交集为{(x,y)|x∈[530,630]∪[830,880],y∈[312,362]∪[712,800]}，如图8阴影部分所示。对坐标在此集合内的基准子图像素集合s和当前图像像素集合t按照上述方式二计算Jz：

$J_z=\frac{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}{|s-t|}^n}{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}1};$

n为正整数，一般取1或2，当n取1时Jz对应误差绝对值和，当n取2时，Jz对应误差平方和。

对满足x₀∈[-30,30]，y₀∈[-20,20]的所有可选z₀按照上述步骤计算Jz，找到Jz的最小值以及对应的偏移z₀，称为基础偏移量。假设找到使Jz最小的偏移z₀=(15,-10)。

在z₀的基础上，每个子图S_k进行小范围的搜索，进一步寻找使Jz达到最小值的子图偏移z_k=(x_k,y_k)。

本例中，子图S₁、S₂分别相对于偏移z₀=(15,-10)在一个较小范围，如横纵坐标5个像素内，即x_k∈[-10,20]，y_k∈[-15,-5]的范围内，进一步对所有可取得子图偏移z₁、z₂进行上述同样操作按方式二计算Jz，找到对应最小Jz的子图偏移z₁、z₂。

假设最终找到使Jz最小的z₁=(x₁,y₁)=(12,-8),z₂=(x₂,y₂)=(14,-10)。

根据各子图偏移计算整体偏移，当前图像的整体偏移量由各子图子图偏移量通过下列方式获得：

$D=(\frac{1}{K}\underset{k}{\mathrm{\Σ}}{x}_k,\frac{1}{K}\underset{k}{\mathrm{\Σ}}{y}_k).$

本例中，最终得到整体偏移量为 $D=(\frac{1}{2}(x_1+x_2),\frac{1}{2}(y_1+y_2))=(13,-9).$

在上述搜索过程中，若有多个子图，为更快地得到基础偏移量z₀，可选几个子图先行匹配，如选中间一个或上下左右各一个子图，或区分度较大的一个或几个子图，从而减少计算量。

得到整体偏移量后，按照步骤604，将此偏移量与预先设置的阈值进行比较：

若整体偏移量的偏移距离||D||小于设定的阈值T1，或水平偏移和垂直偏移幅度均小于设定的阈值T2，则重置预置位并结束对该预置位的校准，或如果已至少进行过一次校准，上述偏移量不小于最后一次校准前的偏移量，则结束对该预置位的校准；否则根据水平偏移dx和垂直偏移dy，或整体偏移矢量D，控制云台转动，之后返回执行所述采集图像的步骤；

阈值T1或T2可以监视目标情况手动设定；也可根据参数自适应的选取，如根据传感器参数，图像尺寸等设定，如图像宽度的1/128，阈值T1或T2为云台预置位校准允许的最大偏移误差，当实际偏移小于该阈值时，认为云台预置位偏差在可接受范围内；否则认为偏差超过可接受范围，需要进行进一步校准。阈值T1或T2的具体设置可以根据实际情况而定。

例如，本例中，取阈值T2为图像宽度的1/128。本例中图像宽度为W₀＝1280，故T2=10。整体偏移量D=(dx,dy)=(13,-9)，|dx|=13>T2不满足阈值要求。因此按照步骤605根据整体偏移量控制云台转动，然后返回步骤602，重复所述采集图像步骤。

此处也可计算偏移距离

与预先设定的T1进行比较；

对重新采集的图像重复上述整体偏移量计算，假设再次计算得到的整体偏移量为D=(dx,dy)=(-2,0)，满足阈值T2要求。

按照步骤606根据校准结果计算新的云台姿态参数并存储，即重置预置位，完成校准。

校准完成后，当云台再次转动到此预置位时，由于云台姿态参数已经修改，转到的位置为经过校准的位置，则一般该位置采集到的图像与初始预置位基准图像，水平、垂直偏移均小于T2或者偏移距离小于T1。

在上述图6所示实施例校准过程中，还可以采用子图的特征数据进行匹配。

在基于特征匹配的校准过程中，子图的选择过程需要尽量使子图远离采集图像的边界，使子图中的景物在云台偏移后仍能被采集到图像中，即使得后续的匹配搜索过程中尽量不超出采集图像范围。

本例中，采用基准子图特征数据进行匹配，在完成子图设置后，计算子图的特征并存储在存贮器中，用于后续匹配计算。例如选择子图的均值和方差构成二维特征矢量

将此二维特征矢量存储在存贮器中。

当摄像机再次转动至此预置位时，同样按图6所示的步骤执行校准过程。所不同的是采用子图的特征进行匹配。

将当前采集到的图像与预先采集并记录的该预置位的基准子图特征进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量的步骤具体包括：

令：

K表示基准图像的基准子图数量。

S_k(k=1,2,...,K)表示基准图像中的第k个基准子图;

为所有子图的像素集合；

(S_k)_zk={c|c=a+z_k,a∈S_k}为子图S_k平移z_k=(x_k,y_k)后的子图；

为所有分别平移后子图的像素集合；

T表示当前图像中全部像素的集合；

(T)_sz表示T与(S)_z对应的像素集合；

Ps=(Ps₁,Ps₂,...,Ps_N)表示从S计算得到的N维特征矢量;

(Pt)_z=(Pt₁,Pt₂,...,Pt_N)表示从(T)_sz计算得到的N维特征矢量;

采用下列方式得出所述子图偏移量以及整体偏移量：

$L_z=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{A}_i{({\mathrm{Pt}}_i-{\mathrm{Ps}}_i)}^2;$

其中A_i为加权系数。

搜索使L_z最小的子图偏移量z=∪z_k,k=1,2,...,K,则当前图像的整体偏移量通过下列方式获得：

$D=(\frac{1}{K}\underset{k}{\mathrm{\Σ}}{x}_k,\frac{1}{K}\underset{k}{\mathrm{\Σ}}{y}_k).$

采用上述方式进行子图匹配并计算整体偏移量。具体实施方式如下：

首先给定一组偏移z=∪z_k,k=1,2,...,K，将基准图像的子图图像的集合

按照该偏移进行位置移动，移动后得到

对坐标位于T与(S)_z交集内的当前图像像素点t的集合(T)_sz用同样的方式提取特征，构成对应的N维特征矢量(Pt)_z=(Pt₁,Pt₂,...,Pt_N)；

本例中，对应的特征矢量为(T)_sz的均值与方差构成的二维特征矢量 ${\left(\mathrm{Pt}\right)}_z=({\mathrm{Pt}}_1,{\mathrm{Pt}}_2)=(\stackrel{\_}{t},{\mathrm{\σ}}_t^2).$

根据计算公式 $L_z=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{A}_i{({\mathrm{Pt}}_i-{\mathrm{Ps}}_i)}^2$ 计算Lz。

本例中，根据所选特征，上述公式可化简为：

$L_z=\frac{1}{2}(A_1{(\stackrel{\_}{t}-\stackrel{\_}{s})}^2+A_2{({\mathrm{\σ}}_t^2-{\mathrm{\σ}}_s^2)}^2);$

其中A₁、A₂为加权系数，可根据实际效果情况设定。

Lz改变偏移量集合z，重新按上述过程计算Lz。遍历一定条件下的所有可选偏移集合z，找到其中使Lz最小的偏移量集合z，认为是最佳的匹配偏移量。

偏移量z的具体搜索方式与前一实施例相同，但对偏移量z的搜索范围应适当缩小，以保证平移后的子图不超出当前图像的坐标范围。

相比使用子图图像匹配，使用子图特征匹配的方法数据量更小，可以减少存贮器的使用，并提高匹配过程的效率。

有些摄像机可设置图像传感器输出窗口，即摄像机输出的画面并不是传感器的全部有效像素区域，而是其中的一个窗口。可以通过控制此窗口的位置，输出传感器有效像素区内对应的不同部分。使用此技术的优点是可以在云台机械位置不变的情况下实现对云台位置的精细调整，调整精度高。

若使用传感器输出窗口辅助校准，则需要当前摄像机控制图像传感器输出为传感器有效像素区W*H的一个窗口W₀*H₀，初始时清除窗口偏移，即输出窗口位于图像传感器的中心处，该处在传感器上的坐标（简称为传感器坐标）为(x₀,y₀)=((W-W₀)/2,(H-H₀)/2)。

为了使摄像机输的准确度更高，可在步骤606完成后根据所述整体偏移量调整图像传感器输出窗口的位置，即使用传感器输出窗口进行辅助校准。

使用传感器输出窗口辅助校准的一种可行方案如下所述：

如图9所示，摄像机图像传感器有效像素区尺寸为W=2280，H=1280，而传感器输出图像窗口大小为W₀=1280，H₀=800,传感器输出窗口左上角位于传感器坐标(x₀,y₀)=(500,240)处，子图位于传感器输出窗口内。

则经过如图6实施例的校正过程后可能还有小的整体偏移量，即各子图与基准子图间还存在偏移，称为校准后的残余偏移量，则根据该偏移量控制传感器输出窗口位置，在保证输出图像大小的前提下，使获得尽可能消除该偏移量，即在偏移方向上调整输出窗口，记录该传感器输出窗口调整量或输出窗口位置参数(即其传感器坐标)，使在调用该预置位时，利用该窗口位置调整量或输出窗口位置参数控制传感器输出窗口位置。

设校准后的残余偏移量为（dx,dy），输出窗口的原传感器坐标为(x₀,y₀)=((W-W₀)/2,(H-H₀)/2)，控制传感器输出窗口的传感器坐标至(x₀+dx,y₀+dy)处，最终输出窗口的传感器坐标(x′₀,y′₀)为：

$(x_0^{\′},y_0^{\′})=(\frac{W-W_0}{2}+\mathrm{dx},\frac{H-H_0}{2}+\mathrm{dy});$

本例中，传感器输出窗口坐标(x₀,y₀)=(500,240)。若(dx,dy)=(-20,30)，计算得到校准后的输出窗口的传感器坐标为(x′₀,y′₀)=(480,270)，按此坐标控制.输出窗口移动，这样摄像机输出即为准确度更高的云台预置位。

进一步地，上述方法还可存储输出窗口的尺寸信息，通过修改此信息可控制传感器输出窗口大小，并采用相应的图像大小进行压缩编码和传输，不同的预置位采用不同的输出窗口的尺寸。

例如本例中摄像机传感器输出图像尺寸为W=2280，H=1280，传感器输出窗口大小原为W₀＝1280，H₀＝800。可根据需要，对不同的预置位更改传感器输出窗口的大小，并对不同大小的图像进行处理，例如有时需要扩大某个预置位观测范围，此时可将简单将该预置位的输出窗口增大即可，例如将输出窗口尺寸调整为W₀’=1440，H₀’=1080，然后对此图像进行压缩编码和传输。

另一种控制方法是，先控制传感器输出窗口为整个图像传感器有效像素区（W₀,H₀），即传感器最大输出窗口，然后基准子图在输出图像上搜索匹配区域，从而扩大了搜索范围。

上述云台控制方法配合校准结果使用，可以在保持云台机械位置不变的情况下，通过传感器窗口位置微调使校准后的预置位图像输出更加精确；还可以通过改变输出窗口大小，增加图像采集处理的灵活性。

最后应说明的是：以上实施方式及实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式及实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施方式或实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施方式或实施例技术方案的精神和范围。

Claims (10)

1.摄像机预置位偏差校准方法，其特征在于，预先采集并存储预置位的基准图像或其特征数据；其中，所述基准图像为整幅图像中的一个或多个基准子图；所述基准图像的特征数据为整幅图像中的一个或多个基准子图的特征数据；所述偏差校准方法包括如下步骤：

摄像机转到所选预置位；

采集图像；

将采集到的图像与预先采集并记录的该预置位的基准子图或基准子图的特征数据进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量；

将整体偏移量与预先设置的阈值进行比较：

若整体偏移量大于预先设置的阈值，

则根据整体偏移量控制云台转动；之后返回执行所述采集图像的步骤；

若整体偏移量不大于预先设置的阈值，

则重置预置位并结束对该预置位的校准。

2.如权利要求1所述的摄像机预置位偏差校准方法，其特征在于，在进行所述摄像机和镜头转到所选预置位的步骤之前还包括下列步骤：

将图像传感器输出窗口调整到传感器中心；

在结束对该预置位的校准之后还包括下列步骤：

记录所述整体偏移量，并将其作为摄像机和镜头转到所选预置位后，所述图像传感器输出窗口与所述传感器中心之间的偏移量。

3.如权利要求1所述的摄像机预置位偏差校准方法，其特征在于，

采用模板匹配方法计算所采集到的当前图像针对每个所述基准子图的子图偏移量。

4.如权利要求1所述的摄像机预置位偏差校准方法，其特征在于，

所述基准子图的特征数据包括梯度特征数据、Gabor特征数据、小波特征数据和Harris角点特征数据、SIFT特征数据中的一种或多种。

5.如权利要求1所述的摄像机预置位偏差校准方法，其特征在于，

所述将当前采集到的图像与预先采集并记录的该预置位的基准子图进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量的步骤具体包括：

令：

K表示基准图像的基准子图数量；

S_k(k=1,2，...,K)表示基准图像中的第k个基准子图;

(S_k)_zk={c|c=a+z_k,a∈S_k}为子图S_k平移z_k=(x_k,y_k)后的子图；

为所有分别平移后子图的像素集合；

T表示当前图像中全部像素的集合；

采用下列方式之一得出所述子图偏移量以及整体偏移量：

方式一：

采用下列公式计算子图偏移量：

$J_z=\frac{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}(s-\stackrel{\_}{s})(t-\stackrel{\_}{t})}{\sqrt{\underset{s\∈{\left(S\right)}_z}{\mathrm{\Σ}}{(s-\stackrel{\_}{s})}^2}\sqrt{\underset{t\∈T}{\mathrm{\Σ}}{(t-\stackrel{\_}{t})}^2}};$

或

$J_z=\frac{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}(s-{\stackrel{\_}{s}}_k)(t-\stackrel{\_}{t})}{\sqrt{\underset{s\∈{\left(S\right)}_z}{\mathrm{\Σ}}{(s-{\stackrel{\_}{s}}_k)}^2}\sqrt{\underset{t\∈T}{\mathrm{\Σ}}{(t-\stackrel{\_}{t})}^2}};$

其中，

和

分别是同时满足s∈(S)_z,t∈T的S_z、T和S_k中的像素值的平均；

搜索使J_z最大的子图偏移量z=∪z_k,k=1,2,...,K,则当前图像的整体偏移量通过下列方式获得：

$D=(\frac{1}{K}\underset{k}{\mathrm{\Σ}}{x}_k,\frac{1}{K}\underset{k}{\mathrm{\Σ}}{y}_k);$

方式二：

$J_z=\frac{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}{|s-t|}^n}{\underset{s\∈{\left(S\right)}_z,t\∈T}{\mathrm{\Σ}}1};$

其中n为正整数；

搜索使J_z最小的子图偏移量z=∪z_k,k=1,2,...,K,则当前图像的整体偏移量通过下列方式获得：

$D=(\frac{1}{K}\underset{k}{\mathrm{\Σ}}{x}_k,\frac{1}{K}\underset{k}{\mathrm{\Σ}}{y}_k).$

6.如权利要求1所述的摄像机预置位偏差校准方法，其特征在于，

所述将当前采集到的图像与预先采集并记录的该预置位的基准子图特征进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量的步骤具体包括：

令：

K表示基准图像的基准子图数量；

S_k(k=1,2,...,K)表示基准图像中的第k个基准子图;

为所有子图的像素集合；

(S_k)_zk={c|c=a+z_k,a∈S_k}为子图S_k平移z_k=(x_k,y_k)后的子图；

为所有分别平移后仍在图像边界内的子图的像素集合；

T表示当前图像中全部像素的集合；

(T)_sz表示T与(S)_z对应的像素集合；

Ps=(Ps₁,Ps₂,...,Ps_N)表示从S计算得到的N维特征矢量;

(Pt)_z=(Pt₁,Pt₂，...,Pt_N)表示从(T)_sz计算得到的N维特征矢量;

采用下列方式得出所述子图偏移量以及整体偏移量：

$L_z=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{A}_i{({\mathrm{Pt}}_i-{\mathrm{Ps}}_i)}^2;$

其中A_i为加权系数；

搜索使L_z最小的子图偏移量z=∪z_k,k=1,2，...,K,则当前图像的整体偏移量通过下列方式获得：

$D=(\frac{1}{K}\underset{k}{\mathrm{\Σ}}{x}_k,\frac{1}{K}\underset{k}{\mathrm{\Σ}}{y}_k).$

7.摄像机预置位偏差校准装置，其特征在于：包括摄像机机芯、云台、存贮器、处理器和控制接口；其中摄像机机芯内置图像传感器和镜头；

所述摄像机机芯用于：在云台带动下，通过内部的图像传感器采集预置位的图像和基准图像；

所述云台用于：将摄像机机芯转动至预置位或根据所述整体偏移量控制摄像机机芯转动；

所述存贮器用于：存储所述预置位的基准图像或其特征数据，其中，所述基准图像为整幅图像中的一个或多个基准子图；所述基准图像的特征数据为整幅图像中的一个或多个基准子图的特征数据；

所述处理器用于：

将采集到的图像与预先采集并记录的该预置位的基准子图或基准子图的特征数据进行匹配，分别计算当前图像针对每个所述基准子图的子图偏移量以及整体偏移量；

将整体偏移量与预先设置的阈值进行比较：

若整体偏移量大于预先设置的阈值，根据所述整体偏移量通过控制接口控制云台转动；

若整体偏移量不大于预先设置的阈值，则结束对该预置位的校准；

所述控制接口用于：向云台发送转动命令从而控制云台转动。

8.如权利要求7所述的摄像机预置位偏差校准装置，其特征在于：

所述摄像机机芯还用于：根据所述整体偏移量调整图像传感器输出窗口的位置；

所述存贮器还用于：存储传感器输出窗口的大小以及不大于所述阈值的所述整体偏移量；

控制接口还用于：将不大于所述阈值的所述整体偏移量发送至摄像机机芯。

9.如权利要求7所述的摄像机预置位偏差校准装置，其特征在于：所述存贮器为不挥发存贮器。

10.如权利要求9所述的摄像机预置位偏差校准装置，其特征在于，

所述处理器为摄像机内部嵌入式处理器或计算机；

和/或

所述不挥发存贮器为NAND、NOR Flash,SD卡或硬盘；

和/或

所述控制接口为RS485接口，RS232接口，I²C接口或以太网接口。

Images