CN117218162A - 一种基于ai的全景追踪控视系统 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，揭露一种基于ai的全景追踪控视系统，全景追踪控视系统包括：图像采集单元、图像处理单元、追踪目标识别单元、追踪路径预测单元、追踪控视制定单元，采集全景区域对应的区域图像；用于对区域图像进行图像畸变消除处理，得到目标区域图像，对目标区域图像进行图像配准处理，得到配准区域图像，构建全景区域对应的全景区域图像，查询全景区域的追踪要求，确定全景区域图像中的区域追踪目标；用于实时定位追踪目标的当前位置，分析追踪目标对应的行动路径；用于根据当前位置和行动路径，制定摄像设备对应的追踪控视方案，执行追踪目标的追踪控视，得到控视结果。本发明在于提高全景追踪控视的准确性。

Description

一种基于ai的全景追踪控视系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于ai的全景追踪控视系统。

背景技术

全景追踪控视是指通过计算机视觉和传感技术，实时通过控制摄像头或其他设备的视角，以实现对全景区域中的目标进行追踪控视，从而实时的了解目标的相关动态信息。

但是现有的全景追踪控视系统是视频监控系统，即根据追踪目标所在的区域，调度该区域的监控设备执行所述跟踪目标追踪控视，但是该方法在追踪控视的过程中，出现和跟踪目标相似度过高的目标时，容易出现目标丢失的情况，并且无法提前预知跟踪目标的行动轨迹，追踪控视的过程中，监控设备处于被动状态，进而导致全景追踪控视的准确性降低，因此需要一种能够提高全景追踪控视的准确性的方法。

发明内容

本发明提供一种基于ai的全景追踪控视系统，其主要目的在于提高全景追踪控视的准确性。

为实现上述目的，本发明提供的基于ai的全景追踪控视系统，其特征在于，所述全景追踪控视系统包括：图像采集单元、图像处理单元、追踪目标识别单元、追踪路径预测单元、追踪控视制定单元。

所述图像采集单元，用于调度全景区域的摄像设备，利用所述摄像设备采集所述全景区域对应的区域图像；

所述图像处理单元，用于对所述区域图像进行图像畸变消除处理，得到目标区域图像，计算所述目标区域图像对应的像素极小值，根据所述像素极小值，对所述目标区域图像进行图像配准处理，得到配准区域图像，根据所述配准区域图像，构建所述全景区域对应的全景区域图像；

所述追踪目标识别单元，用于对所述全景区域图像进行特征点提取，得到图像特征点，查询所述全景区域的追踪要求，根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的区域追踪目标；

所述追踪路径预测单元，用于实时定位所述追踪目标的当前位置，根据所述当前位置，分析所述追踪目标对应的行动路径；

所述追踪控视制定单元，用于根据所述当前位置和所述行动路径，制定所述摄像设备对应的追踪控视方案，根据所述追踪控视方案执行所述追踪目标的追踪控视，得到控视结果。

可选地，所述对所述区域图像进行图像畸变消除处理，得到目标区域图像，包括：

对所述区域图像进行降噪处理，得到降噪区域图像；

采集所述摄像设备对应的设备参数，根据所述设备参数，构建所述摄像设备对应的非线性模型；

利用所述非线性模型计算所述摄像设备的非线性畸变参数；

根据所述非线性畸变参数，计算所述区域图像的畸变校正参数；

根据所述畸变校正参数，对所述区域图像进行图像畸变消除处理，得到目标区域图像。

可选地，所述根据所述非线性畸变参数，计算所述区域图像的畸变校正参数，包括：其中，A和B表示区域图像的畸变校正参数，/>和/>分别表示摄像设备对应的理想坐标值，/>表示横坐标对应的非线性畸变参数，/>表示纵坐标对应的非线性畸变参数。

可选地，所述根据所述配准区域图像，构建所述全景区域对应的全景区域图像，包括：

识别所述配准区域图像的边缘图像，计算所述边缘图像之间的相似度；

根据所述相似度，确定所述边缘图像的待融合区域，识别所述待融合区域中的区域像素；

计算所述区域像素的像素权重，根据所述像素权重，对所述配准区域图像进行图像融合处理，得到所述全景区域的全景融合图像；

对所述全景融合图像进行伪影去除处理，得到全景区域图像。

可选地，所述对所述全景区域图像进行特征点提取，得到图像特征点，包括：

对所述全景区域图像进行背景去除处理，得到区域前景图像；

识别所述区域前景图像中的区域主体图像，对所述区域主体图像进行灰度转换，得到灰度主体图像；

构建所述灰度主体图像对应的主体灰度矩阵，计算所述主体灰度矩阵对应的矩阵均值；

根据所述矩阵均值，确定所述灰度主体图像的主体特征，计算所述主体特征对应的特征熵值；

根据所述特征熵值，提取所述主体特征中的关键特征，将所述关键特征作为所述全景区域图像的图像特征点。

可选地，所述根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的追踪目标，包括：

识别所述追踪要求对应的追踪信息，对所述追踪信息进行信息筛选，得到目标追踪信息；

提取所述目标追踪信息对应的信息描述因子，并提取所述图像特征点对应的特征描述子；

计算所述信息描述因子和所述特征描述子之间的关联系数；

根据所述关联系数，确定所述图像特征点中的目标特征点，根据所述目标特征点，确定所述全景区域图像中的追踪目标。

可选地，所述根据所述当前位置，分析所述追踪目标对应的行动路径，包括：

获取所述当前位置对应的位置坐标，根据所述位置坐标，绘制所述追踪目标对应的目标行动路径；

提取所述全景区域中关于所述目标行动路径的相邻区域路径，标记所述目标行动路径中的路径节点；

计算所述路径节点中相邻节点之间的节点角度差值；

根据所述节点角度差值和所述相邻区域路径，分析所述追踪目标对应的行动路径。

为了解决上述问题，本发明还提供一种基于ai的全景追踪控视方法，所述方法包括：

调度全景区域的摄像设备，利用所述摄像设备采集所述全景区域对应的区域图像；

对所述区域图像进行图像畸变消除处理，得到目标区域图像，计算所述目标区域图像对应的像素极小值，根据所述像素极小值，对所述目标区域图像进行图像配准处理，得到配准区域图像，根据所述配准区域图像，构建所述全景区域对应的全景区域图像；

对所述全景区域图像进行特征点提取，得到图像特征点，查询所述全景区域的追踪要求，根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的区域追踪目标；

实时定位所述追踪目标的当前位置，根据所述当前位置，分析所述追踪目标对应的行动路径；

根据所述当前位置和所述行动路径，制定所述摄像设备对应的追踪控视方案，根据所述追踪控视方案执行所述追踪目标的追踪控视，得到控视结果。

为了解决上述问题，本发明还提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述电子设备至少一个处理器能够执行上述所述的基于ai的全景追踪控视方法。

为了解决上述问题，本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行上述所述的基于ai的全景追踪控视方法。

本发明实施例中，通过调度全景区域的摄像设备，利用所述摄像设备采集所述全景区域对应的区域图像，可以得到所述全景区域对应的图像，以便于后续构建所述全景区域对应的全景区域图像，本发明实施例中，通过对所述区域图像进行图像畸变消除处理，可以提高所述区域图像的图像质量，提高了所述目标区域图像对应的像素极小值的计算准确性；此外，本发明实施例中，通过对所述全景区域图像进行特征点提取，可以得到所述全景区域图像中的特征部分，进而提高后续确定追踪目标的准确性，本发明实施例通过实时定位所述追踪目标的当前位置，可以实时了解所述追踪目标的具体位置坐标，根据所述当前位置，分析所述追踪目标对应的行动路径，进而便于追踪控视方案的制定，已达到更好的对所述追踪目标进行追踪控视，本发明通过根据所述当前位置和所述行动路径，制定所述摄像设备对应的追踪控视方案，进而可以通过所述摄像设备及时的对所述追踪目标进行追踪控视，提高追踪控视的处理效率。因此，本发明实施例提供的一种基于ai的全景追踪控视系统，能够提高全景追踪控视的准确性。

附图说明

图1为本发明一实施例提供的基于ai的全景追踪控视系统的功能模块图；

图2为本发明一实施例提供的基于ai的全景追踪控视系统的流程示意图；

图3为本发明一实施例提供的实现所述基于ai的全景追踪控视系统的电子设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

实际上，基于ai的全景追踪控视系统所部署的服务端设备可能是由一台或多台设备构成的。上述基于ai的全景追踪控视系统可以实现为：业务实例、虚拟机、硬件设备。比如，该基于ai的全景追踪控视系统可以实现为部署在云节点中的一个或多个设备上的一种业务实例。简单来说，该直播服务系统可以理解为是部署在云节点上的一种软件，用于为各用户端提供基于ai的全景追踪控视的服务。或者，该基于ai的全景追踪控视系统也可以实现为部署在云节点中的一个或多个设备上的一种虚拟机。该虚拟机中安装有用于管理各用户端的应用软件。或者，该基于ai的全景追踪控视系统还可以实现为由众多相同或不同类型的硬件设备构成的服务端，设置一个或多个硬件设备用于为各用户端提供基于ai的全景追踪控视服务。

在实现形式上，基于ai的全景追踪控视系统和用户端相互适应。即，基于ai的全景追踪控视系统作为安装于云服务平台的应用，则用户端作为与该应用建立通信连接的客户端；或实现基于ai的全景追踪控视系统作为网站实现，则用户端作为网页实现；再或实现基于ai的全景追踪控视系统作为云服务平台实现，则用户端作为即时通信应用中的小程序实现。

参照图1所示，是本发明一实施例提供的基于ai的全景追踪控视系统的功能模块图。

本发明所述基于ai的全景追踪控视系统100可以设置于云端服务器中，在实现形式上，可以作为一个或多个服务设备，也可以作为一应用安装于云端(例如直播服务运营方的服务器、服务器集群等)上，或者也可以开发为网站。根据实现的功能，所述基于ai的全景追踪控视系统100包括图像采集单元101、图像处理单元102、追踪目标识别单元103、追踪路径预测单元104及追踪控视制定单元105。本发明所述单元也可以称之为模块，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

本发明实施例中，基于全景追踪控视的追踪中，上述各个模块均可独立实现，且与其他模块调用。这里的调用可以理解为，某一模块可以连接另一类型的多个模块，并为其连接的多个模块提供相应服务，本发明实施例提供的基于ai的全景追踪控视系统中，无需修改程序代码，即可通过增加模块、并直接调用的形式来调整基于ai的全景追踪控视架构的适用范围，实现集群式水平拓展，以便达到快捷灵活拓展基于ai的全景追踪控视系统的目的。实际应用中，上述模块可以设置在同一设备或不同设备中，也可以是设置在虚拟设备中，例如云端服务器中的服务实例。

下面结合具体实施例，分别针对基于ai的全景追踪控视系统的各个组成部分以及具体工作流程进行说明：

所述图像采集单元101，用于调度全景区域的摄像设备，利用所述摄像设备采集所述全景区域对应的区域图像。

本发明实施例中，通过调度全景区域的摄像设备，利用所述摄像设备采集所述全景区域对应的区域图像，可以得到所述全景区域对应的图像，以便于后续构建所述全景区域对应的全景区域图像，其中，所述摄像设备是所述全景区域内的摄像机，所述区域图像是通过所述摄像设备拍摄所述全景区域得到的图像，可选的，调度摄像设备可以通过所述全景区域的中心系统实现。

所述图像处理单元102，用于对所述区域图像进行图像畸变消除处理，得到目标区域图像，计算所述目标区域图像对应的像素极小值，并获取所述摄像设备对应的设备参数，根据所述像素极小值和所述设备参数，对所述目标区域图像进行图像配准处理，得到配准区域图像，根据所述配准区域图像，构建所述全景区域对应的全景区域图像。

本发明实施例中，通过对所述区域图像进行图像畸变消除处理，可以提高所述区域图像的图像质量，提高了所述目标区域图像对应的像素极小值的计算准确性，其中，所述目标区域图像是所述区域图像的质量经过提升后得到的图像。

本发明实施例中，所述对所述区域图像进行图像畸变消除处理，得到目标区域图像，包括：对所述区域图像进行降噪处理，得到降噪区域图像，采集所述摄像设备对应的设备参数，根据所述设备参数，构建所述摄像设备对应的非线性模型，利用所述非线性模型计算所述摄像设备的非线性畸变参数，根据所述非线性畸变参数，计算所述区域图像的畸变校正参数，根据所述畸变校正参数，对所述区域图像进行图像畸变消除处理，得到目标区域图像。

其中，所述降噪区域图像是所述区域图像中的噪声经过去除后得到的图像，所述设备参数是所述摄像设备的相机参数，如相机焦距、相机位置以及相机方向等，所述非线性模型是当两个参数之间的关系不能被简单的直线或线性方程式描述时，就需要使用非线性模型来捕捉复杂的关系，所述非线性畸变参数是描述相机拍摄图像中的畸变效应，所述畸变校正参数是所述区域图像进行畸变校正的参数。

进一步的，本发明实施例中，对所述区域图像进行降噪处理可以通过均值滤波算法实现，所述设备参数可以通过查询所述摄像设备对应的制造商得到，构建所述摄像设备对应的非线性模型可以通过可以通过核方法实现，具体步骤为：通过将所述设备参数映射到高维特征空间，并使用核函数来计算所述设备参数的特征之间的相似度，从而实现非线性关系建模，对所述区域图像进行图像畸变消除处理可以通过几何校正法实现，如Tsai's法。

进一步的，作为本发明的一个可选实施例，所述根据所述非线性畸变参数，计算所述区域图像的畸变校正参数，包括：其中，A和B表示区域图像的畸变校正参数，/>和/>分别表示摄像设备对应的理想坐标值，/>表示横坐标对应的非线性畸变参数，/>表示纵坐标坐标对应的非线性畸变参数。

本发明实施例中，通过计算所述目标区域图像对应的像素极小值，可以了解所述目标区域图像的像素值情况，提高了后续图像配准的精确度，其中，所述像素极小值表示所述目标区域图像中的一个像素点的灰度值在其周围像素中最小的值。

本发明实施例中，所述计算所述目标区域图像对应的像素极小值，包括：

通过下述公式计算所述目标区域图像对应的像素极小值：其中，/>表示目标区域图像对应的像素极小值，/>表示目标区域图像的序列号，/>表示目标区域图像上的图像像素点序列号，/>表示目标区域图像的图像数量，/>表示图像像素点的数量，/>表示目标区域图像中第d个图像上第e个像素点的像素值，/>表示目标区域图像中第d个图像的旋转矩阵，/>表示目标区域图像中第d个图像的平移矢量。

本发明实施例中，通过根据所述像素极小值，对所述目标区域图像进行图像配准处理，从而将所述目标区域图像在空间中进行校正和对齐，为后续全景区域图像的构建提供了保障，其中，所述配准区域图像是所述目标区域图像在同一个空间上进行校正和对齐后得到的图像，可选的，可以通过根据所述像素极小值之间的匹配度对所述目标区域图像进行图像配准处理。

本发明通过根据所述配准区域图像，构建所述全景区域对应的全景区域图像，进而可以得到所述全景区域对应的整体图像，以便于后续的追踪目标的追踪控视，其中，所述全景区域图像是所述全景区域对应的整体图像。

本发明实施例中，所述根据所述配准区域图像，构建所述全景区域对应的全景区域图像，包括：识别所述配准区域图像的边缘图像，计算所述边缘图像之间的相似度，根据所述相似度，确定所述边缘图像的待融合区域，识别所述待融合区域中的区域像素，计算所述区域像素的像素权重，根据所述像素权重，对所述配准区域图像进行图像融合处理，得到所述全景区域的全景融合图像，对所述全景融合图像进行伪影去除处理，得到全景区域图像。

其中，所述边缘图像是所述配准区域图像中的边缘部分的图像，所述相似度表示所述边缘图像之间的相似程度，所述待融合区域是所述边缘图像进行融合的图像区域，所述像素权重表示所述区域像素的像素重要程度，所述全景融合图像是所述配准区域图像经过融合处理的图像。

可选的，识别所述配准区域图像的边缘图像可以通过边缘检测算法实现，如Soble算法，计算所述边缘图像之间的相似度可以通过均方误差法实现，可以将所述边缘图像视为二值图像或灰度图像，并计算像素差的平方的均值作为所述边缘图像之间的相似度，所述边缘图像的待融合区域可以通过根据所述相似度的数值大小确定，可以通过计算所述区域像素的像素梯度值确定像素权重，对所述配准区域图像进行图像融合处理可以通过图像融合算法实现，如拉普拉斯金字塔融合算法，对所述全景融合图像进行伪影去除处理可以通过梯度域滤波算法实现。

所述追踪目标识别单元103，用于对所述全景区域图像进行特征点提取，得到图像特征点，查询所述全景区域的追踪要求，根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的追踪目标。

本发明实施例中，通过对所述全景区域图像进行特征点提取，可以得到所述全景区域图像中的特征部分，进而提高后续确定追踪目标的准确性，其中，所述图像特征点是所述全景区域图像中的表征部分。

本发明实施例中，所述对所述全景区域图像进行特征点提取，得到图像特征点，包括：对所述全景区域图像进行背景去除处理，得到区域前景图像，识别所述区域前景图像中的区域主体图像，对所述区域主体图像进行灰度转换，得到灰度主体图像，构建所述灰度主体图像对应的主体灰度矩阵，计算所述主体灰度矩阵对应的矩阵均值，根据所述矩阵均值，确定所述灰度主体图像的主体特征，计算所述主体特征对应的特征熵值，根据所述特征熵值，提取所述主体特征中的关键特征，将所述关键特征作为所述全景区域图像的图像特征点。

其中，所述区域前景图像是所述全景区域图像的背景经过去除后得到图像，所述区域主体图像是所述区域前景图像中的显著或者主要的图像，所述灰度主体图像是所述区域主体图像通过灰度表示的图像，所述主体灰度矩阵是所述灰度主体图像的灰度级的二维数组，所述主体特征是所述灰度主体图像的表征部分，所述特征熵值表示所述主体特征对应的重要度，所述关键特征是所述主体特征中最具代表性的特征。

可选的，对所述全景区域图像进行背景去除处理可以通过背景去除算法实现，如阈值分割法，识别所述区域前景图像中的区域主体图像可以通过区域增长算法实现，对所述区域主体图像进行灰度转换可以通过平均法实现，具体步骤为：将所述区域主体图像中的每个像素的红、绿、蓝三个通道的值取平均，然后将得到的平均值作为所述区域主体图像的像素值，以此得到灰度主体图像，构建所述灰度主体图像对应的主体灰度矩阵可以通过矩阵函数实现，如zero矩阵函数，所述灰度主体图像的主体特征可以通过根据所述矩阵均值的数值大小确定，所述特征熵值可以通过计算所述主体特征对应的概率得到，所述主体特征中的关键特征可以通过根据所述特征熵值的数值大小进行提取。

本发明实施例中，本发明通过根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的追踪目标，进而得到所述全景区域的追踪对象，从而为后续全景追踪控视提供了保障，其中，所述追踪目标是所述全景区域图像中需要进行追踪控视的对象。

本发明实施例中，所述根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的追踪目标，包括：识别所述追踪要求对应的追踪信息，对所述追踪信息进行信息筛选，得到目标追踪信息，提取所述目标追踪信息对应的信息描述因子，并提取所述图像特征点对应的特征描述子，计算所述信息描述因子和所述特征描述子之间的关联系数，根据所述关联系数，确定所述图像特征点中的目标特征点，根据所述目标特征点，确定所述全景区域图像中的追踪目标。

其中，所述追踪信息是所述追踪要求对应的描述信息，所述目标追踪信息是所述追踪信息中的无关信息经过去除后得到的信息，所述信息描述因子是描述所述目标追踪信息的特征，所述特征描述子是所述图像特征点对应的特征描述信息，所述关联系数表示所述信息描述因子和所述特征描述子之间的关联程度，所述目标特征点是所述图像特征点中和追踪要求有关的特征。

可选的，识别所述追踪要求对应的追踪信息可以通过OCR识别技术实现，可以通过计算所述追踪信息的信息熵，根据信息熵对所述追踪信息进行信息筛选，提取所述目标追踪信息对应的信息描述因子可以通过主成成分法实现，计算所述信息描述因子和所述特征描述子之间的关联系数可以通过相关系数法，计算所述信息描述因子和所述特征描述子之间的Pearson相关系数确定关联系数，可以通过根据所述目标特征点确定所述全景区域图像中图像主体，以此得到所述全景区域图像的追踪目标。

所述追踪路径预测单元104，用于实时定位所述追踪目标的当前位置，根据所述当前位置，分析所述追踪目标对应的行动路径。

本发明实施例通过实时定位所述追踪目标的当前位置，可以实时了解所述追踪目标的具体位置坐标，根据所述当前位置，分析所述追踪目标对应的行动路径，进而便于追踪控视方案的制定，已达到更好的对所述追踪目标进行追踪控视，其中，所述当前位置是所述追踪目标的当前具体坐标信息，所述行动路径是根据所述当前位置预测所述追踪目标对应的行动轨迹，可选的，实时定位所述追踪目标的当前位置可以通过定位工具实现，如GPS定位系统。

作为本发明的一个实施例，所述根据所述当前位置，分析所述追踪目标对应的行动路径，包括：获取所述当前位置对应的位置坐标，根据所述位置坐标，绘制所述追踪目标对应的目标行动路径，提取所述全景区域中关于所述目标行动路径的相邻区域路径，标记所述目标行动路径中的路径节点，计算所述路径节点中相邻节点之间的节点角度差值，根据所述节点角度差值和所述相邻区域路径，分析所述追踪目标对应的行动路径。

其中，所述位置坐标是所述当前位置的具体坐标，所述目标行动路径是所述追踪目标对应的行动轨迹路线，所述相邻区域路径是所述全景区域距离所述目标行动路径的最近的路径，所述路径节点是所述目标行动路径中的转折点，所述节点角度差值是所述路径节点中相邻节点之间的角度变化数值，

可选的，获取所述当前位置对应的位置坐标可以通过构建所述全景区域的区域坐标确定，所述追踪目标对应的目标行动路径可以通过将所述位置坐标拟合处理得到，可以通过计算路径之间的路径距离，根据路径距离提取所述全景区域中关于所述目标行动路径的相邻区域路径，标记所述目标行动路径中的路径节点可以通过标记工具实现，如颜色标记工具，分析所述追踪目标对应的行动路径可以通过根据所述节点角度差值和所述相邻区域路径利用路径规划算法实现。

所述追踪控视制定单元105，用于根据所述当前位置和所述行动路径，制定所述摄像设备对应的追踪控视方案，根据所述追踪控视方案执行所述追踪目标的追踪控视，得到控视结果。

本发明通过根据所述当前位置和所述行动路径，制定所述摄像设备对应的追踪控视方案，进而可以通过所述摄像设备及时的对所述追踪目标进行追踪控视，提高追踪控视的处理效率，其中，所述追踪控视方案是所述摄像设备对所述追踪目标的追踪控视的具体方法，所述控视结果是根据所述追踪控视方案执行所述追踪目标的追踪控视后得到的记录数据，可选的，制定所述摄像设备对应的追踪控视方案可以通过方案制定工具实现，所述方案制定工具是由脚本语言编译。

本发明实施例中，通过调度全景区域的摄像设备，利用所述摄像设备采集所述全景区域对应的区域图像，可以得到所述全景区域对应的图像，以便于后续构建所述全景区域对应的全景区域图像，本发明实施例中，通过对所述区域图像进行图像畸变消除处理，可以提高所述区域图像的图像质量，提高了所述目标区域图像对应的像素极小值的计算准确性；此外，本发明实施例中，通过对所述全景区域图像进行特征点提取，可以得到所述全景区域图像中的特征部分，进而提高后续确定追踪目标的准确性，本发明实施例通过实时定位所述追踪目标的当前位置，可以实时了解所述追踪目标的具体位置坐标，根据所述当前位置，分析所述追踪目标对应的行动路径，进而便于追踪控视方案的制定，已达到更好的对所述追踪目标进行追踪控视，本发明通过根据所述当前位置和所述行动路径，制定所述摄像设备对应的追踪控视方案，进而可以通过所述摄像设备及时的对所述追踪目标进行追踪控视，提高追踪控视的处理效率。因此，本发明实施例提供的一种基于ai的全景追踪控视系统，能够提高全景追踪控视的准确性。

参照图2所示，为本发明一实施例提供的基于ai的全景追踪控视方法的流程示意图。在本实施例中，所述基于ai的全景追踪控视系统包括：

调度全景区域的摄像设备，利用所述摄像设备采集所述全景区域对应的区域图像；

对所述区域图像进行图像畸变消除处理，得到目标区域图像，计算所述目标区域图像对应的像素极小值，根据所述像素极小值，对所述目标区域图像进行图像配准处理，得到配准区域图像，根据所述配准区域图像，构建所述全景区域对应的全景区域图像；

对所述全景区域图像进行特征点提取，得到图像特征点，查询所述全景区域的追踪要求，根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的区域追踪目标；

实时定位所述追踪目标的当前位置，根据所述当前位置，分析所述追踪目标对应的行动路径；

根据所述当前位置和所述行动路径，制定所述摄像设备对应的追踪控视方案，根据所述追踪控视方案执行所述追踪目标的追踪控视，得到控视结果。

如图3所示，是本发明一实施例提供的实现基于ai的全景追踪控视系统的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于ai的全景追踪控视程序。

其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing Unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（ControlUnit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如执行基于ai的全景追踪控视程序等），以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。

所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于ai的全景追踪控视程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述通信总线12可以是外设部件互连标准（Peripheral ComponentInterconnect，简称PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。

图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的基于ai的全景追踪控视程序是多个指令的组合，在所述处理器10中运行时，可以实现：

调度全景区域的摄像设备，利用所述摄像设备采集所述全景区域对应的区域图像；

对所述区域图像进行图像畸变消除处理，得到目标区域图像，计算所述目标区域图像对应的像素极小值，根据所述像素极小值，对所述目标区域图像进行图像配准处理，得到配准区域图像，根据所述配准区域图像，构建所述全景区域对应的全景区域图像；

对所述全景区域图像进行特征点提取，得到图像特征点，查询所述全景区域的追踪要求，根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的区域追踪目标；

实时定位所述追踪目标的当前位置，根据所述当前位置，分析所述追踪目标对应的行动路径；

根据所述当前位置和所述行动路径，制定所述摄像设备对应的追踪控视方案，根据所述追踪控视方案执行所述追踪目标的追踪控视，得到控视结果。

具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。

本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：

调度全景区域的摄像设备，利用所述摄像设备采集所述全景区域对应的区域图像；

对所述区域图像进行图像畸变消除处理，得到目标区域图像，计算所述目标区域图像对应的像素极小值，根据所述像素极小值，对所述目标区域图像进行图像配准处理，得到配准区域图像，根据所述配准区域图像，构建所述全景区域对应的全景区域图像；

对所述全景区域图像进行特征点提取，得到图像特征点，查询所述全景区域的追踪要求，根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的区域追踪目标；

实时定位所述追踪目标的当前位置，根据所述当前位置，分析所述追踪目标对应的行动路径；

根据所述当前位置和所述行动路径，制定所述摄像设备对应的追踪控视方案，根据所述追踪控视方案执行所述追踪目标的追踪控视，得到控视结果。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于ai的全景追踪控视系统，其特征在于，所述全景追踪控视系统包括：图像采集单元、图像处理单元、追踪目标识别单元、追踪路径预测单元、追踪控视制定单元；

所述图像采集单元，用于调度全景区域的摄像设备，利用所述摄像设备采集所述全景区域对应的区域图像；

所述图像处理单元，用于对所述区域图像进行图像畸变消除处理，得到目标区域图像，计算所述目标区域图像对应的像素极小值，根据所述像素极小值，对所述目标区域图像进行图像配准处理，得到配准区域图像，根据所述配准区域图像，构建所述全景区域对应的全景区域图像；

所述追踪目标识别单元，用于对所述全景区域图像进行特征点提取，得到图像特征点，查询所述全景区域的追踪要求，根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的区域追踪目标；

所述追踪路径预测单元，用于实时定位所述追踪目标的当前位置，根据所述当前位置，分析所述追踪目标对应的行动路径；

所述追踪控视制定单元，用于根据所述当前位置和所述行动路径，制定所述摄像设备对应的追踪控视方案，根据所述追踪控视方案执行所述追踪目标的追踪控视，得到控视结果。

2.如权利要求1所述的基于ai的全景追踪控视系统，其特征在于，所述对所述区域图像进行图像畸变消除处理，得到目标区域图像，包括：

对所述区域图像进行降噪处理，得到降噪区域图像；

采集所述摄像设备对应的设备参数，根据所述设备参数，构建所述摄像设备对应的非线性模型；

利用所述非线性模型计算所述摄像设备的非线性畸变参数；

根据所述非线性畸变参数，计算所述区域图像的畸变校正参数；

根据所述畸变校正参数，对所述区域图像进行图像畸变消除处理，得到目标区域图像。

3.如权利要求2所述的基于ai的全景追踪控视系统，其特征在于，所述根据所述非线性畸变参数，计算所述区域图像的畸变校正参数，包括：其中，A和B表示区域图像的畸变校正参数，/>和/>分别表示摄像设备对应的理想坐标值，/>表示横坐标对应的非线性畸变参数，/>表示纵坐标对应的非线性畸变参数。

4.如权利要求1所述的基于ai的全景追踪控视系统，其特征在于，所述根据所述配准区域图像，构建所述全景区域对应的全景区域图像，包括：

识别所述配准区域图像的边缘图像，计算所述边缘图像之间的相似度；

根据所述相似度，确定所述边缘图像的待融合区域，识别所述待融合区域中的区域像素；

计算所述区域像素的像素权重，根据所述像素权重，对所述配准区域图像进行图像融合处理，得到所述全景区域的全景融合图像；

对所述全景融合图像进行伪影去除处理，得到全景区域图像。

5.如权利要求1所述的基于ai的全景追踪控视系统，其特征在于，所述对所述全景区域图像进行特征点提取，得到图像特征点，包括：

对所述全景区域图像进行背景去除处理，得到区域前景图像；

识别所述区域前景图像中的区域主体图像，对所述区域主体图像进行灰度转换，得到灰度主体图像；

构建所述灰度主体图像对应的主体灰度矩阵，计算所述主体灰度矩阵对应的矩阵均值；

根据所述矩阵均值，确定所述灰度主体图像的主体特征，计算所述主体特征对应的特征熵值；

根据所述特征熵值，提取所述主体特征中的关键特征，将所述关键特征作为所述全景区域图像的图像特征点。

6.如权利要求1所述的基于ai的全景追踪控视系统，其特征在于，所述根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的追踪目标，包括：

识别所述追踪要求对应的追踪信息，对所述追踪信息进行信息筛选，得到目标追踪信息；

提取所述目标追踪信息对应的信息描述因子，并提取所述图像特征点对应的特征描述子；

计算所述信息描述因子和所述特征描述子之间的关联系数；

根据所述关联系数，确定所述图像特征点中的目标特征点，根据所述目标特征点，确定所述全景区域图像中的追踪目标。

7.如权利要求1所述的基于ai的全景追踪控视系统，其特征在于，所述根据所述当前位置，分析所述追踪目标对应的行动路径，包括：

获取所述当前位置对应的位置坐标，根据所述位置坐标，绘制所述追踪目标对应的目标行动路径；

提取所述全景区域中关于所述目标行动路径的相邻区域路径，标记所述目标行动路径中的路径节点；

计算所述路径节点中相邻节点之间的节点角度差值；

根据所述节点角度差值和所述相邻区域路径，分析所述追踪目标对应的行动路径。

8.一种基于ai的全景追踪控视方法，其特征在于，所述方法包括：

调度全景区域的摄像设备，利用所述摄像设备采集所述全景区域对应的区域图像；

对所述区域图像进行图像畸变消除处理，得到目标区域图像，计算所述目标区域图像对应的像素极小值，根据所述像素极小值，对所述目标区域图像进行图像配准处理，得到配准区域图像，根据所述配准区域图像，构建所述全景区域对应的全景区域图像；

对所述全景区域图像进行特征点提取，得到图像特征点，查询所述全景区域的追踪要求，根据所述追踪要求和所述图像特征点，确定所述全景区域图像中的区域追踪目标；

实时定位所述追踪目标的当前位置，根据所述当前位置，分析所述追踪目标对应的行动路径；

根据所述当前位置和所述行动路径，制定所述摄像设备对应的追踪控视方案，根据所述追踪控视方案执行所述追踪目标的追踪控视，得到控视结果。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求8中所述的基于ai的全景追踪控视方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求8中所述的基于ai的全景追踪控视方法。