CN111787232B - 基于云台摄像机的图像处理方法、设备及存储介质 - Google Patents

Abstract

本发明提供的基于云台摄像机的图像处理方法、设备及存储介质，根据云台摄像机的云台参数与摄像机参数，预先确定云台摄像机的多个拍摄姿态；然后控制云台摄像机在多个拍摄姿态下对应拍摄多张监控图像，并记录多张监控图像与多个拍摄姿态之间的关联关系，最后基于多张监控图像各自关联的拍摄姿态，对多张监控图像进行矫正与拼接，而无需基于拍摄图像进行复杂繁冗的姿态估计运算，从而降低了图像矫正与拼接过程的复杂度与运算量，而且拍摄姿态是用于指示云台摄像机配设监控图像的预设参数，而并非姿态估计运算的结果，其准确性更有保障，从而提高了图像拼接的质量，能够有效避免图像拼接出错或失败的情况发生。

Description

基于云台摄像机的图像处理方法、设备及存储介质

技术领域

本发明涉及图像处理技术领域，更具体地说，涉及基于云台摄像机的图像处理方法、设备及存储介质。

背景技术

随着监控行业的发展，在公共场所或者小区的监控中心可能需要人工临时处理一些监控任务，有些摄像机配备了云台，相比固定摄像机，通过云台控制其运动扩展了可观察区域。操作员会在操作界面设定一些控制监控摄像机运动的参数，使得监控摄像机可以按照指定模式扫描整个区域，使用拼图算法根据采集的图像获得区域的全景图。

现有的图像拼接更多是基于特征点匹配的技术，对被拼接图像要求比较少，对摄像机的姿态也不做太多要求，只要求被拼接的图像间有足够的特征点可以匹配。现有图像拼接的约束比较少，适用范围更广，但是在带云台的摄像机监控中，拼接图像的生成缺少必要控制，而且摄像机姿态等先验信息的缺乏也会增加图像拼接的困难，比如使用广泛适用的图像拼接算法有运算量大，拼接可能会出错或失败的情况。

因此，目前迫切需要一种基于云台摄像机的图像处理方案，以降低图像拼接的复杂度，提高图像拼接质量。

发明内容

有鉴于此，本发明提供了一种基于云台摄像机的图像处理方法、设备及存储介质，以解决目前云台摄像机的图像拼接难度较大，容易导致拼接出错或失败的技术问题。

为实现上述目的，本发明提供如下技术方案：

一种基于云台摄像机的图像处理方法，包括：

获取云台摄像机的云台参数与摄像机参数；

根据所述云台参数与所述摄像机参数，确定所述云台摄像机的多个拍摄姿态，所述多个拍摄姿态用于指示所述云台摄像机拍摄监控图像，以使所述云台摄像机拍摄最少数目的监控图像来覆盖全景区域；

控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图像，并记录所述多张监控图像与所述多个拍摄姿态之间的关联关系；

根据所述多张监控图像各自关联的拍摄姿态，对所述多张监控图像进行矫正与拼接，得到全景图像。

优选的，所述根据所述云台参数与所述摄像机参数，确定所述云台摄像机的多个拍摄姿态包括：

根据所述云台参数与所述摄像机参数，确定全景区域的面积以及能够覆盖所述全景区域的监控图像的最少数目；

根据所述全景区域的面积与所述最少数目，确定所述最少数目的监控图像各自对应的全景区域中的局部区域；

根据所述最少数目的监控图像各自对应的全景区域中的局部区域，确定所述云台摄像机拍摄所述最少数目的监控图像所需要采用的姿态，得到多个拍摄姿态。

优选的，所述云台摄像机的云台参数与摄像机参数包括所述云台摄像机的PTZ参数；所述根据所述云台参数与所述摄像机参数，确定全景区域的面积以及能够覆盖所述全景区域的监控图像的最少数目包括：

根据所述云台摄像机的PTZ参数的取值范围，计算全景区域的面积以及能够覆盖所述全景区域的监控图像的最少数目。

优选的，在所述控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图像之前，所述图像处理方法还包括：

记录所述云台摄像机的当前姿态，作为初始姿态；

相应的，在所述控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图像之后，所述图像处理方法还包括：

控制所述云台摄像机恢复至所述初始姿态。

优选的，所述根据所述多张监控图像各自关联的拍摄姿态，对所述多张监控图像进行矫正与拼接，得到全景图像包括：

从所述多张监控图像中确定一张监控图像，作为基准监控图像；

根据所述基准监控图像关联的拍摄姿态与其他监控图像各自关联的拍摄姿态，确定所述其他监控图像各自对应的矫正参数；

根据所述其他监控图像各自对应的矫正参数，对所述其他监控图像进行矫正，得到矫正后监控图像；

将所述基准监控图像与所述矫正后监控图像进行拼接，得到全景图像。

优选的，所述控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图像，并记录所述多张监控图像与所述多个拍摄姿态之间的关联关系包括：

控制所述云台摄像机在目标拍摄姿态下对应拍摄至少两张监控图像，并记录所述至少两张监控图像与所述目标拍摄姿态之间的关联关系；所述目标拍摄姿态为所述多个拍摄姿态中的任一拍摄姿态；

相应的，所述根据所述多张监控图像各自关联的拍摄姿态，对所述多张监控图像进行矫正与拼接，得到全景图像包括：

根据预设选取规则，从所述多个拍摄姿态各自关联的监控图像中，选取出一张监控图像；

根据选取出来的多张监控图像各自关联的拍摄姿态，对所述选取出来的多张监控图像进行矫正与拼接，得到全景图像。

优选的，在所述根据所述多张监控图像各自关联的拍摄姿态，对所述多张监控图像进行矫正与拼接，得到全景图像之后，所述图像处理方法还包括：

确定用户在所述全景图像中选取的目标位置；

根据所述目标位置，确定目标位置所属监控图像关联的拍摄姿态，以及，所述目标位置所属监控图像的中心位置与所述目标位置之间的位置关系；

根据所述目标位置所属监控图像关联的拍摄姿态与所述位置关系，确定所述目标位置对应的所述云台摄像机的姿态，作为目标姿态，所述目标姿态用于将所述云台摄像机的监控区域的中心位置调整至所述目标位置。

优选的，当所述目标位置所属监控图像包括第一监控图像与第二监控图像时，所述根据所述目标位置，确定目标位置所属监控图像关联的拍摄姿态，以及，所述目标位置所属监控图像的中心位置与所述目标位置之间的位置关系包括：

根据所述多张监控图像与所述多个拍摄姿态之间的关联关系，确定所述第一监控图像关联的第一拍摄姿态以及所述第二监控图像关联的第二拍摄姿态；

获取所述第一监控图像的中心位置与所述目标位置之间的第一位置关系，以及所述第二监控图像的中心位置与所述目标位置之间的第二位置关系；

相应的，所述根据所述目标位置所属监控图像关联的拍摄姿态与所述位置关系，确定所述目标位置对应的所述云台摄像机的姿态，作为目标姿态包括：

根据所述第一位置关系、第二位置关系、第一拍摄姿态与第二拍摄姿态，获取所述目标位置对应的所述云台摄像机的姿态，作为目标姿态。

一种基于云台摄像机的图像处理设备，包括：存储器与处理器；

所述存储器用于存储程序代码；

所述处理器用于调用所述存储器中存储的所述程序代码，以执行前述的基于云台摄像机的图像处理方法。

一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码被调用时，执行前述的基于云台摄像机的图像处理方法。

从本发明上述技术方案可以看出，本发明提供的基于云台摄像机的图像处理方案，根据云台摄像机的云台参数与摄像机参数，预先确定出云台摄像机的多个拍摄姿态；然后控制云台摄像机在多个拍摄姿态下对应拍摄多张监控图像，并记录多张监控图像与多个拍摄姿态之间的关联关系，最后基于多张监控图像各自关联的拍摄姿态，对多张监控图像进行矫正与拼接，而无需基于拍摄图像进行复杂繁冗的姿态估计运算，从而降低了图像矫正与拼接过程的复杂度与运算量，而且拍摄姿态是用于指示云台摄像机配设监控图像的预设参数，而并非姿态估计运算的结果，其准确性更有保障，从而提高了图像拼接的质量，能够有效避免图像拼接出错或失败的情况发生。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的基于云台摄像机的图像处理方法的流程图；

图2为本发明实施例提供的云台摄像机的多个拍摄姿态的确定过程的流程图；

图3为本发明实施例提供的基于监控图像拼接全景图像的示意图；

图4为本发明实施例提供的监控图像的矫正与拼接过程的流程图；

图5为本发明实施例提供的监控图像的矫正与拼接方式的示意图；

图6为本发明实施例提供的基于全景图像的摄像机位置回溯过程的一种流程图；

图7为本发明实施例提供的基于全景图像的摄像机位置回溯过程的另一种流程图；

图8为本发明实施例提供的目标位置处于两张监控图像的一种示意图；

图9为本发明实施例提供的目标位置处于两张监控图像的另一种示意图；

图10为本发明实施例提供的基于云台摄像机的图像处理设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的基于云台摄像机的图像处理方案，可用于任何具有云台控制的监控场景。

请参阅图1，图1为本发明实施例提供的基于云台摄像机的图像处理方法的流程图。

如图1所示，基于云台摄像机的图像处理方法可包括：

S101：获取云台摄像机的云台参数与摄像机参数。

云台摄像机的云台参数与摄像机参数，主要是指云台摄像机的PTZ(Pan/Tilt/Zoom，左右/上下/变焦)参数。其中，“左右/上下”参数PT属于云台参数，也即云台摄像机的外参；“变焦”参数Z则属于摄像机参数，也即云台摄像机的内参。

S102：根据所述云台参数与所述摄像机参数，确定所述云台摄像机的多个拍摄姿态。

所述多个拍摄姿态用于指示所述云台摄像机拍摄监控图像，以使所述云台摄像机拍摄最少数目的监控图像来覆盖全景区域。

在一示例中，可以根据云台参数与摄像机参数，先生成所述云台摄像机的运动路径，并使得所述运动路径中包括所述云台摄像机的多个拍摄姿态。

例如，根据云台摄像机的相关参数，为云台摄像机规划运动路径，使云台摄像机能够最快地扫描整个全景区域，并拍摄最少数目的监控图像，通过以上控制过程来进行约束，能够以更少的运算量拼接出全景图像。

其中，可采用所述云台摄像机的PTZ参数值来表征所述云台摄像机的姿态。

基于云台摄像机的相关参数，使与其相应的多个拍摄姿态成为已知参数，还可以设定云台摄像机在全景区域扫描期间摄像机内参不变(即Z不变)，在对图像拼接操作施加这些约束后，能够使得运算量大幅降低。

S103：控制云台摄像机在多个拍摄姿态下对应拍摄多张监控图像，并记录多张监控图像与多个拍摄姿态之间的关联关系。

在全景区域扫描过程中，在每个拍摄姿态下均拍摄监控图像，并记录拍下各监控图像与各拍摄姿态之间的关联关系，当然还可以对云台摄像机的运动信息进行记录，例如，云台摄像机变换姿态时的运动速度等。其中，在每个拍摄姿态下，可以均拍摄一张监控图像，也可以均拍摄至少两张监控图像。

云台摄像机中的PTZ参数中的变焦参数Z，在设定好以后可以是固定不变的，这样，在采用PTZ参数值来表征所述云台摄像机的姿态时，主要是利用PTZ中的PT参数来表征，而将Z视为常量参数。

在所述步骤S103之前，还可包括：记录所述云台摄像机的当前姿态，作为初始姿态。

相应的，在所述步骤S103之后，还可包括：控制所述云台摄像机恢复至所述初始姿态。

S104：根据所述多张监控图像各自关联的拍摄姿态，对所述多张监控图像进行矫正与拼接，得到全景图像。

在一示例中，步骤S103可包括：控制所述云台摄像机在目标拍摄姿态下对应拍摄至少两张监控图像，并记录所述至少两张监控图像与所述目标拍摄姿态之间的关联关系；所述目标拍摄姿态为所述多个拍摄姿态中的任一拍摄姿态。

其中，所述目标拍摄姿态为所述多个拍摄姿态中的任一拍摄姿态，这意味着所述云台摄像机在每一个拍摄姿态下都可以拍摄至少两张监控图像。例如，在具体应用中，可以控制云台摄像机在某一个拍摄姿态下拍摄至少两张监控图像，也可以控制云台摄像机在多个拍摄姿态下分别拍摄至少两张监控图像，还可以控制云台摄像机在所有拍摄姿态中的每一个拍摄姿态下都分别拍摄至少两张监控图像，这里可以灵活设定。

相应的，步骤S104可包括：根据预设选取规则，从所述多个拍摄姿态各自关联的监控图像中，选取出一张监控图像；根据选取出来的多张监控图像各自关联的拍摄姿态，对所述选取出来的多张监控图像进行矫正与拼接，得到全景图像。

其中，预设选取规则包括：选取清晰度大于预设清晰度阈值的监控图像、选取画面无抖动的监控图像、选取对比度符合预设对比度要求的监控图像、选取饱和度符合预设饱和度要求的监控图像中的至少一项。

在实际应用中，云台摄像机在某一拍摄姿态拍摄监控图像时，有可能会因外界其他物体(如小鸟、小猫、掉落的树枝等)对其碰撞而发生抖动，导致监控图像的画面产生抖动效果，也可能会因当时有乌云遮挡阳光导致光线不足、画面暗淡，还有可能会遇到很多不可控的负面影响，因此，本示例中，可以控制云台摄像机在一个拍摄姿态拍摄监控图像时，可以多拍几张监控图像，以便从一个拍摄姿态对应的多张监控图像中选取出画面效果更好的监控图像来进行图像拼接，提升最终的全景图像的显示效果。

一般的图像拼接方式，通常并不会预先考虑云台摄像机的姿态信息，而是直接将摄像机随机拍摄或以红外感应触发方式拍摄到的杂乱无章的多张监控图像进行拼接，但这样会导致难以拼接出正常的全景图像；还有一种方式是根据摄像机随机拍摄或以红外感应触发方式拍摄的多张监控图像的内容，来估计云台摄像机在拍摄这多张监控图像时所采用的历史姿态，然后根据估计得到的历史姿态来拼接图像，但是姿态估计的运算量较大，且姿态估计的精度较差，基于姿态估计及其估计结果来拼接全景图像，不仅会增大图像拼接的运算量，而且还难以保证图像拼接的质量，容易导致拼接出错。

本发明在拍摄监控图像时，通过直接从云台摄像机中读取的根据所述云台参数与所述摄像机参数确定出来的拍摄姿态(例如PTZ参数)来进行拍摄，并记录各监控图像与各拍摄姿态之间的关联关系，据此来对多张监控图像进行矫正与拼接，从而省去了基于拍摄到的监控图像的内容进行姿态估计所需的运算量，降低图像拼接的复杂度与运算量，而且保证了所使用拍摄姿态的精度，提高了图像拼接质量，得到高质量的全景图像。其中，本发明中提及的全景图像是指覆盖云台摄像机所有监控可达区域的图像。

本实施例提供的基于云台摄像机的图像处理方法，根据云台摄像机的云台参数与摄像机参数，确定云台摄像机的多个拍摄姿态；然后控制云台摄像机在多个拍摄姿态下对应拍摄多张监控图像，并记录多张监控图像与多个拍摄姿态之间的关联关系，最后基于多张监控图像各自关联的拍摄姿态，对多张监控图像进行矫正与拼接，而无需基于拍摄图像进行复杂繁冗的姿态估计运算，从而降低了图像矫正与拼接过程的复杂度与运算量，而且拍摄姿态是用于指示云台摄像机配设监控图像的预设参数，而并非姿态估计运算的结果，其准确性更有保障，从而提高了图像拼接的质量，能够有效避免图像拼接出错或失败的情况发生。

请参阅图2，图2为本发明实施例提供的云台摄像机的多个拍摄姿态的确定过程的流程图。

本实施例的云台摄像机的多个拍摄姿态的确定过程，可用于实现前述实施例中所述根据所述云台参数与所述摄像机参数，确定所述云台摄像机的多个拍摄姿态的步骤。

如图2所示，云台摄像机的多个拍摄姿态的确定过程可包括：

S201：根据所述云台参数与所述摄像机参数，确定全景区域的面积以及能够覆盖所述全景区域的监控图像的最少数目。

在一示例中，所述云台摄像机的云台参数与摄像机参数包括所述云台摄像机的PTZ参数；相应的，该步骤S201具体可包括：根据所述云台摄像机的PTZ参数的取值范围，计算全景区域的面积以及能够覆盖所述全景区域的监控图像的最少数目。

在云台摄像机的内参保持不变的情况下，可以根据云台摄像机的云台运动范围设定相应的监控图像的拍摄数目，从而可利用最少数目的监控图像来完成最大范围全景图的绘制。

拼接算法通常需要在相邻图像之间具有一定的重复区域来对齐，那么云台摄像机从拍摄当前监控图像到拍摄下一个监控图像之间的转角就必须不能大于一定角度，否则，两张监控图像中没有任何重叠的部分，也就无法进行图像拼接了。

通过控制云台摄像机的PTZ中的Pan平转和Tilt俯仰，并通过拼接算法要求的最小重叠量，可以分析出最少需要拍摄多少张监控图像才能覆盖整个全景区域。

S202：根据所述全景区域的面积与所述最少数目，确定所述最少数目的监控图像各自对应的全景区域中的局部区域。

根据所述全景区域的面积与所述最少数目，对全景区域进行分割，就可以得到所述最少数目的监控图像各自对应的全景区域中的局部区域。其中，在区域分割时，也需要综合考虑上述的最小重叠量，以保证图像之间的准确拼接。

S203：根据所述最少数目的监控图像各自对应的全景区域中的局部区域，确定所述云台摄像机拍摄所述最少数目的监控图像所需要采用的姿态，得到多个拍摄姿态。

所有这些需要拍摄的监控图像中，每一张都对应着云台摄像机的一个姿态，作为拍摄姿态，通过控制云台摄像机的PTZ参数使云台摄像机运动到这些姿态，然后拍摄相应的监控图像。

在其他示例中，也可以采用其他方式来确定云台摄像机的多个拍摄姿态，例如：根据所述云台参数与所述摄像机参数，确定全景区域的角度范围以及能够覆盖所述全景区域的监控图像的最少数目；根据所述全景区域的角度范围与所述最少数目，确定所述最少数目的监控图像各自对应的全景区域中的局部区域；根据所述最少数目的监控图像各自对应的全景区域中的局部区域，确定所述云台摄像机拍摄所述最少数目的监控图像所需要采用的姿态，得到多个拍摄姿态。其中，全景区域的角度范围是指云台摄像机拍摄全景区域时所采用的拍摄角度的范围，监控图像所需要采用的姿态也可以参考拍摄监控图像时所采用的角度来确定。

关于拼接全景图像所需的监控图像的获取，可如图3所示，首先由操作员选择某个云台摄像机，比如选择云台摄像机A，然后本发明根据云台摄像机A的PTZ参数，确定能够覆盖其全景区域的监控图像的最少数目为9，即仅需拍摄9张监控图像便可覆盖云台摄像机A可达的全景区域，同时记录拍摄监控图像1～9分别所需的云台摄像机A的姿态，进而得到相应的9个拍摄姿态。

图3中B、C、D表示其他可选的云台摄像机；监控图像四周的实线表示单张监控图像在拼接后的最终边界；虚线表示两张监控图像之间的重叠部分，拼接算法会使用该部分重叠。

本实施例提供的云台摄像机的多个拍摄姿态的确定过程，根据所述云台参数与所述摄像机参数，确定全景区域的面积以及能够覆盖全景区域的监控图像的最少数目；根据所述全景区域的面积与所述最少数目，确定所述最少数目的监控图像各自对应的全景区域中的局部区域；根据所述最少数目的监控图像各自对应的全景区域中的局部区域，确定所述云台摄像机拍摄所述最少数目的监控图像所需要采用的姿态，得到多个拍摄姿态，从而能够以最快速度最少图像拍摄到能够覆盖全景区域的监控图像，不仅提高了全景图像的拼接效率，而且降低了全景图像的拼接运算量。

请参阅图4，图4为本发明实施例提供的监控图像的矫正与拼接过程的流程图。

本实施例提供的监控图像的矫正与拼接过程，可用于实现前述实施例中的所述根据所述多张监控图像各自关联的拍摄姿态，对所述多张监控图像进行矫正与拼接，得到全景图像的步骤。

如图4所示，监控图像的矫正与拼接过程可包括：

S301：从所述多张监控图像中确定一张监控图像，作为基准监控图像。

S302：根据所述基准监控图像关联的拍摄姿态与其他监控图像各自关联的拍摄姿态，确定所述其他监控图像各自对应的矫正参数。

其中，矫正参数可以包括监控图像的旋转角度、倾斜角度，也可以包括其他图像变换参数。

S303：根据所述其他监控图像各自对应的矫正参数，对所述其他监控图像进行矫正，得到矫正后监控图像。

S304：将所述基准监控图像与所述矫正后监控图像进行拼接，得到全景图像。

例如，监控图像有9幅，编号为1’～9’，选取其中编号为5’的监控图像为基准图像，编号为4’、5’、6’的三幅监控图像最终要拼接到与编号为5’的监控图像平行的平面内。如图5所示，监控图像4由监控图像4’逆时针旋转一定角度得到，监控图像6由监控图像6’顺时针旋转一定角度得到，监控图像5直接采用监控图像5’即可，而不需要做任何旋转处理。其中，[数字’]表示拼接前拍摄到的监控图像，[数字]表示拼接后的监控图像。

在其他示例中，也可以采用其他方式来实现监控图像的矫正与拼接，例如：预先选定一个基准拍摄姿态，然后根据所述基准拍摄姿态以及所述多张监控图像各自关联的拍摄姿态，确定所述多张监控图像各自对应的矫正参数；根据所述多张监控图像各自对应的矫正参数，对所述多张监控图像进行矫正，得到矫正后监控图像；将所述矫正后监控图像进行拼接，得到全景图像。

本实施例提供的监控图像的矫正与拼接过程，基于各个监控图像对应的拍摄姿态，对各个监控图像进行矫正与拼接，而无需针对各个监控图像执行大量的姿态估计运算，节省了运算量，而且拍摄姿态是预先设定的，相较于姿态估计结果，具有更高的准确性，从而降低了全景图像的拼接运算量，也提高了全景图像拼接的精度，提高了全景图像的拼接质量。

本发明在为云台摄像机提供了可达范围的全景图像之后，还可以根据全景图像上的选点，将云台摄像机恢复到该选点对应的姿态，能够提高对用户兴趣点区域进行监控的便利性。例如，根据操作员的点击操作，通过插值操作逆向计算出该点对应的摄像机姿态参数，控制云台摄像机运动到使得该点成为最合适观察点的位置，并放大该点，以便操作员观察细节。

现有技术对于云台摄像机历史图像的姿态估计，一般是隐含在拼接算法运算过程中的，而不是去查询云台摄像机当时的姿态，而且云台摄像机也并未保存可供查询的姿态信息，但是这样估计出来的云台摄像机当前的姿态就会存在严重的精度偏低的问题。

因此，本发明还提供了一种基于全景图像的摄像机位置回溯的方法，该方法也属于基于云台摄像机的图像处理方法的一部分。例如，在监控图像采集期间，每张监控图像关联存储一些云台摄像机的外部参数，比如PT参数(即PTZ中的PT)，则在后期从全景图像中选点的时候就可以通过在参数间进行插值计算，以快速地获得相应的参数，从而能够避免计算机视觉中运算量巨大、精度较低的姿态估计处理。

请参阅图6，图6为本发明实施例提供的基于全景图像的摄像机位置回溯过程的一种流程图。

本实施例提供的基于全景图像的摄像机位置回溯过程，可在前述实施例得到全景图像之后执行。

如图6所示，基于全景图像的摄像机位置回溯过程包括：

S401：确定用户在所述全景图像中选取的目标位置。

S402：根据所述目标位置，确定所述目标位置所属监控图像关联的拍摄姿态，以及，所述目标位置所属监控图像的中心位置与所述目标位置之间的位置关系；

其中，步骤S402可包括：从所述多张监控图像中，确定所述目标位置所属监控图像；根据所述多张监控图像与所述多个拍摄姿态之间的关联关系，获取所述目标位置所属监控图像关联的拍摄姿态；获取所述目标位置所属监控图像的中心位置与所述目标位置之间的位置关系。

S403：根据所述目标位置所属监控图像关联的拍摄姿态与所述位置关系，确定所述目标位置对应的所述云台摄像机的姿态，作为目标姿态。

所述目标姿态用于将所述云台摄像机的监控区域的中心位置调整至所述目标位置。

全景图像上的任意一点(即目标位置)都可以推算到一个姿态(即目标姿态)。当然这个点不一定是当时构成全景图像的单张监控图像的中心点(即中心位置)，但是，可以通过插值计算得出这个点对应的目标姿态。

在步骤S403之后，还可包括：将所述云台摄像机调整至所述目标姿态，以使所述目标位置成为所述云台摄像机的当前监控区域的中心位置。

假设用户选择的点落在了所属图像的中心点偏右，则可以根据偏右的距离和当时的焦距计算出从当时的摄像机姿态向右转多少可以把该点放到监控区域的中心位置。

本实施例提供的基于全景图像的摄像机位置回溯过程，将全景图像作为类似导航的图像，可以通过用户在全景图像上的点击操作快速控制云台摄像机姿态回溯，来使云台摄像机对准用户感兴趣区域，以便于用户进一步观察该区域。

其中，目标位置可属于一张监控图像，也可以属于两张以上的监控图像，例如，目标位置落在多张监控图像的重叠区域。对此，本发明还提供了基于全景图像的摄像机位置回溯过程的另一种方案。

请参阅图7，图7为本发明实施例提供的基于全景图像的摄像机位置回溯过程的另一种流程图。

本实施例的基于全景图像的摄像机位置回溯过程，可在前述实施例中得到全景图像之后执行，并针对于当所述目标位置所属监控图像包括第一监控图像与第二监控图像时的情况。

如图7所示，基于全景图像的摄像机位置回溯过程包括：

S501：确定用户在所述全景图像中选取的目标位置。

S502：从所述多张监控图像中，确定所述目标位置所属监控图像。

当所述目标位置所属监控图像包括第一监控图像与第二监控图像时。

S503：根据多张监控图像与多个拍摄姿态之间的关联关系，确定第一监控图像关联的第一拍摄姿态以及第二监控图像关联的第二拍摄姿态。

S504：获取第一监控图像的中心位置与目标位置之间的第一位置关系，以及第二监控图像的中心位置与目标位置之间的第二位置关系。

S505：根据所述第一位置关系、第二位置关系、第一拍摄姿态与第二拍摄姿态，获取所述目标位置对应的所述云台摄像机的姿态，作为目标姿态。

S506：将所述云台摄像机调整至所述目标姿态，以使所述目标位置成为所述云台摄像机的当前监控区域的中心位置。

当用户选择感兴趣的点后，如图8中的N点，O为云台摄像机的位置，该N点落在监控图像5与监控图像6的重叠区域，即N点既属于监控图像5也属于监控图像6，则分别计算N点在监控图像5’与监控图像6’上对应的位置，其中需要将监控图像6矫正回监控图像6’的姿态，并计算出N点在监控图像6’中的投影M点，然后根据几何关系计算姿态偏移，然后计算出云台摄像机相对N点的目标姿态。若得到多个目标姿态，则按照预设规则滤波出最佳姿态。图8中各监控图像的编号，均标注在各监控图像的中间位置，如编号“6”的标注位置为监控图像6的中心位置，编号“6’”的标注位置为监控图像6’的中心位置。

图9为图8所示内容的俯视图，O为云台摄像机的位置，5’和6’是拼接前的监控图像，6是6’投影到最终全景平面的监控图像，5’和6’的重叠部分如图9所示。考虑到云台和摄像机等误差，纯计算得到的图像重叠部分并非直接运算的部分，可以使用拼接算法矫正，但是需要把前面的理论计算出来的重叠区域作为先验知识，以加快拼接运算。

假设摄像机内外参数没有误差，相邻两张监控图像的重叠部分的像素点是完全可以一一对应的。但是，考虑到实际可能的误差，就需要放宽误差要求，比如一张监控图像上的点，在另一张监控图像的理论对应位置的附近，而这个附近是个很小范围。

就比如在水平方向上连续拍摄的两张监控图像，对于云台摄像机，当焦距固定时，可以计算出云台摄像机拍摄的一张监控图像能覆盖多大范围，也就是水平垂直能看到多大张角(或者叫做视场角FoV)，可以简单地计算出转多少度拍摄下一张监控图像可以与当前拍摄的监控图像达到多大的重叠度。即，云台摄像机连续拍摄的两张监控图像的重叠度与云台摄像机连续拍摄这两张监控图像时所转过的角度有关。

因为拍摄图像时是受控的，所以可以预留固定宽度的重叠，比如预设2％的宽度，然后在拼接的时候对齐两张监控图像公共部分的时候就直接在预期的很小的范围内搜索。

假设在短时间内云台摄像机的诸多参数都是不变的，则可以将5’和6’相交的垂线作为判决线，图9中，ON线落在判决线右侧，则可以很容易确定在5’上计算姿态会比较容易，也可以直接基于监控图像5’来计算N点对应的目标姿态。

本实施例提供的基于全景图像的摄像机位置回溯过程，将全景图像作为类似导航的图像，可以通过用户在全景图像上的点击操作快速控制云台摄像机姿态回溯，来使云台摄像机对准用户感兴趣区域，以便于用户进一步观察该区域，即使用户在全景图像上选取的点落在多张监控图像中，也可以快速且准确地确定出目标位置对应的目标姿态，以便于快速控制云台摄像机姿态回溯。

本发明实施例还提供了相应的基于云台摄像机的图像处理设备，所述图像处理设备用于实施本发明实施例提供的基于云台摄像机的图像处理方法，下文描述的图像处理设备的技术内容，可与上文描述的基于云台摄像机的图像处理方法的技术内容与相互对应参照。

请参阅图10，图10为本发明实施例提供的基于云台摄像机的图像处理设备的硬件结构示意图。

如图10所示，图像处理设备可以包括：处理器10，通信接口20，存储器30，通信总线40，和显示屏50；其中，处理器10、通信接口20、存储器30和显示屏50通过通信总线40完成相互间的通信。

通信接口20可以为通信模块的接口，如GSM模块的接口；

存储器30，用于存储程序代码；

处理器10，用于调用存储器30中存储的程序代码；

程序可以包括程序代码，所述程序代码包括处理器的操作指令。

处理器10可能是一个中央处理器CPU，或者是特定集成电路ASIC，或者是被配置成实施本申请实施例的一个或多个集成电路。

存储器30可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

其中，所述程序代码被处理器10调用时可执行前述的基于云台摄像机的图像处理方法的步骤。

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，该程序代码被调用时执行前述的基于云台摄像机的图像处理方法的步骤。

本文中的设备可以是服务器、PC、PAD、手机、对讲机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有前述的基于云台摄像机的图像处理方法的步骤的程序。

最后，还需要说明的是，在本文中，诸如第一和第一等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式来实现。基于这样的理解，本申请的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种基于云台摄像机的图像处理方法，其特征在于，包括：

获取云台摄像机的云台参数与摄像机参数；

根据所述云台参数与所述摄像机参数，确定所述云台摄像机的多个拍摄姿态，所述多个拍摄姿态用于指示所述云台摄像机拍摄监控图像，以使所述云台摄像机拍摄最少数目的监控图像来覆盖全景区域；

控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图像，并记录所述多张监控图像与所述多个拍摄姿态之间的关联关系；

根据所述多张监控图像各自关联的拍摄姿态，对所述多张监控图像进行矫正与拼接，得到全景图像；

所述云台摄像机的云台参数与摄像机参数包括所述云台摄像机的PTZ参数，所述根据所述云台参数与所述摄像机参数，确定所述云台摄像机的多个拍摄姿态包括：

根据所述云台摄像机的PTZ参数的取值范围，以及拼接算法要求的最小重叠量，计算全景区域的面积以及能够覆盖所述全景区域的监控图像的最少数目；

根据所述全景区域的面积与所述最少数目，确定所述最少数目的监控图像各自对应的全景区域中的局部区域；

根据所述最少数目的监控图像各自对应的全景区域中的局部区域，确定所述云台摄像机拍摄所述最少数目的监控图像所需要采用的姿态，得到多个拍摄姿态。

2.如权利要求1所述的图像处理方法，其特征在于，在所述控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图像之前，所述图像处理方法还包括：

记录所述云台摄像机的当前姿态，作为初始姿态；

相应的，在所述控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图像之后，所述图像处理方法还包括：

控制所述云台摄像机恢复至所述初始姿态。

3.如权利要求1所述的图像处理方法，其特征在于，所述根据所述多张监控图像各自关联的拍摄姿态，对所述多张监控图像进行矫正与拼接，得到全景图像包括：

从所述多张监控图像中确定一张监控图像，作为基准监控图像；

根据所述基准监控图像关联的拍摄姿态与其他监控图像各自关联的拍摄姿态，确定所述其他监控图像各自对应的矫正参数；

根据所述其他监控图像各自对应的矫正参数，对所述其他监控图像进行矫正，得到矫正后监控图像；

将所述基准监控图像与所述矫正后监控图像进行拼接，得到全景图像。

4.如权利要求1所述的图像处理方法，其特征在于，所述控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图像，并记录所述多张监控图像与所述多个拍摄姿态之间的关联关系包括：

控制所述云台摄像机在目标拍摄姿态下对应拍摄至少两张监控图像，并记录所述至少两张监控图像与所述目标拍摄姿态之间的关联关系；所述目标拍摄姿态为所述多个拍摄姿态中的任一拍摄姿态；

相应的，所述根据所述多张监控图像各自关联的拍摄姿态，对所述多张监控图像进行矫正与拼接，得到全景图像包括：

根据预设选取规则，从所述多个拍摄姿态各自关联的监控图像中，选取出一张监控图像；

根据选取出来的多张监控图像各自关联的拍摄姿态，对所述选取出来的多张监控图像进行矫正与拼接，得到全景图像。

5.如权利要求1所述的图像处理方法，其特征在于，在所述根据所述多张监控图像各自关联的拍摄姿态，对所述多张监控图像进行矫正与拼接，得到全景图像之后，所述图像处理方法还包括：

确定用户在所述全景图像中选取的目标位置；

根据所述目标位置，确定目标位置所属监控图像关联的拍摄姿态，以及，所述目标位置所属监控图像的中心位置与所述目标位置之间的位置关系；

根据所述目标位置所属监控图像关联的拍摄姿态与所述位置关系，确定所述目标位置对应的所述云台摄像机的姿态，作为目标姿态，所述目标姿态用于将所述云台摄像机的监控区域的中心位置调整至所述目标位置。

6.如权利要求5所述的图像处理方法，其特征在于，当所述目标位置所属监控图像包括第一监控图像与第二监控图像时，所述根据所述目标位置，确定目标位置所属监控图像关联的拍摄姿态，以及，所述目标位置所属监控图像的中心位置与所述目标位置之间的位置关系包括：

根据所述多张监控图像与所述多个拍摄姿态之间的关联关系，确定所述第一监控图像关联的第一拍摄姿态以及所述第二监控图像关联的第二拍摄姿态；

获取所述第一监控图像的中心位置与所述目标位置之间的第一位置关系，以及所述第二监控图像的中心位置与所述目标位置之间的第二位置关系；

相应的，所述根据所述目标位置所属监控图像关联的拍摄姿态与所述位置关系，确定所述目标位置对应的所述云台摄像机的姿态，作为目标姿态包括：

根据所述第一位置关系、第二位置关系、第一拍摄姿态与第二拍摄姿态，获取所述目标位置对应的所述云台摄像机的姿态，作为目标姿态。

7.一种基于云台摄像机的图像处理设备，其特征在于，包括：存储器与处理器；

所述存储器用于存储程序代码；

所述处理器用于调用所述存储器中存储的所述程序代码，以执行如权利要求1～6中任一项所述的基于云台摄像机的图像处理方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码被调用时，执行如权利要求1～6中任一项所述的基于云台摄像机的图像处理方法。

Images