CN110136166B - 一种多路画面的自动跟踪方法 - Google Patents

Abstract

一种多路画面的自动跟踪方法，所述自动跟踪方法包括：获取连续多帧的全景画面；对于每一帧全景画面中的每一个图像像素进行处理并且提取，以获取多个优化图像像素；根据多个优化图像像素创建图像像素组；将图像像素组按照预设比例进行缩放后得到全景图像帧；将图像像素组按照预设区域进行裁剪后得到待处理图像帧；其中，全景图像帧和待处理图像帧的分辨率及面积均相同；根据相邻两帧全景画面之间的像素差异获取全景画面中的运动区域；对运动区域内的图像像素进行宏块预测以获取运动区域中的多个相邻宏块；将多个相邻宏块反馈至待处理图像帧以获取待裁剪区域，并按照待裁剪区域对待处理图像帧进行裁剪得到特写图像帧；输出全景图像帧和特写图像帧。

Description

一种多路画面的自动跟踪方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种多路画面的自动跟踪方法。

背景技术

摄像机已经成为了人们日常生活中最常见的电子设备，通过摄像机能够实时获取外界环境中的图像信息，以满足人们的视觉需求；然而随着人们对于摄像机的照相质量的要求不断上升，照相机需要根据技术人员的不同技术需求输出相应的视频信息；并且在不同的工业领域中，摄像机需要捕捉不同的图像信息，根据外界环境的特征输出高清的图像；那么技术人员对于摄像机的摄像性能要求更高，以使摄像机根据用户的实际需求实时地将外界的环境信息进行成像，摄像机需要具有更高的兼容性和适用范围。

然而传统技术中的图像跟踪方法只能针对图像中的某一个局部进行跟踪并输出，无法同时追踪图像中的两个目标，难以满足用户的实际视觉需求，传统的图像跟踪方法无法在图像中选取或者更换摄像目标；以教育行业中的课程录像为例，教学场景会随着老师上课状态的变化为输出两路图像信息；比如，一方面，针对学生在课堂上的举手或者老师的板书等特定动作，课程录像需要对于这些细节画面进行特写；另一方面，课程录像还需要对于教学场景中的全景画面进行持续、无间断跟踪拍摄，以使用户能够同步、实时获取老师的上课知识；传统技术中的图像跟踪方法无法输出全景和特写两路视频信息，难以普遍适用。

发明内容

有鉴于此，本发明实施例提供了一种多路画面的自动跟踪方法，旨在解决传统的技术方案中的图像跟踪方法对于视频图像的处理性能较低，无法同步输出图像中的全景和特写两路画面信息，导致其兼容性较低和适用范围较窄的问题。

本发明实施例的第一方面提供了一种多路画面的自动跟踪方法，包括：

获取连续多帧的全景画面；

对每一帧所述全景画面中的每一个图像像素进行处理并且提取后，以获取多个优化图像像素；

根据所述多个优化图像像素创建图像像素组；

将所述图像像素组按照预设比例进行缩放后得到全景图像帧；

将所述图像像素组按照预设区域进行裁剪后得到待处理图像帧；其中，所述全景图像帧和所述待处理图像帧的分辨率及面积均相同；

根据相邻两帧所述全景画面之间的像素差异获取所述全景画面中的运动区域；

对所述运动区域内的图像像素进行宏块预测以获取所述运动区域中的多个相邻宏块；

将多个所述相邻宏块反馈至所述待处理图像帧以获取待裁剪区域，并按照所述待裁剪区域对所述待处理图像帧进行裁剪得到特写图像帧；

输出所述全景图像帧和所述特写图像帧。

在其中的一个实施例中，所述对每一帧所述全景画面中的每一个图像像素进行处理并且提取，具体为：

对每一帧所述全景画面中的每一个图像像素进行曝光、白平衡以及对焦处理。

在其中的一个实施例中，所述根据所述多个优化图像像素创建所述图像像素组，具体为：

获取所述优化图像像素的YUV数据；

在所述全景画面中的每一个优化图像像素的YUV数据进行排序，将YUV数据排名前预设百分比的优化图像像素构成所述图像像素组。

在其中的一个实施例中，所述全景图像帧的长度为：1920PX，所述全景图像帧的宽度为：1080PX；

所述待处理图像帧的长度为：1920PX，所述待处理图像帧的宽度为：1080PX。

在其中的一个实施例中，所述根据相邻两帧所述全景画面之间的像素差异获取所述全景画面中的运动区域，具体为：

获取每一帧所述全景画面中每一个图像像素的灰度值；

将相邻两帧所述全景画面中每一个图像像素的灰度值进行差分运算；

若相邻两帧所述全景画面中图像像素的灰度值差值的绝对值大于第一预设阈值，则判定该图像像素属于运动像素；

将所述全景画面中的所有运动像素组成所述全景画面中的运动区域。

在其中的一个实施例中，在根据所述相邻的两帧全景画面之间的像素差异获取所述全景画面中的运动区域之后，并且在对所述运动区域内的图像像素进行宏块预测以获取所述运动区域中的多个所述相邻宏块之前，所述自动跟踪方法还包括：

以所述运动区域的中心位置点向上方、下方、左方以及右方分别进行像素扩展，以扩展得到更新后的运动区域；其中更新后的所述运动区域和所述全景图像帧的分辨率相同。

在其中的一个实施例中，所述对所述运动区域内的图像像素进行宏块预测以获取所述运动区域中的多个相邻宏块，具体为：

将更新后的运动区域内的多个图像像素进行记录并保存，并且该多个图像像素组成一个相邻宏块，以得到更新后的运动区域中的多个相邻宏块。

在其中的一个实施例中，所述将所述相邻宏块反馈至所述待处理图像帧以获取待裁剪区域，并按照所述待裁剪区域对所述待处理图像帧进行裁剪得到所述特写图像帧，具体为：

在所述运动区域内建立第一直角坐标系；

在所述待处理图像帧内建立第二直角坐标系；其中所述第一直角坐标系和所述第二直角坐标系相匹配；

获取所述第一直角坐标系下所有相邻宏块的坐标值范围；

若所述第二直角坐标系下待处理图像帧中图像像素的坐标值属于所述坐标值范围，则所述待处理图像帧中图像像素属于所述特写图像帧中的像素点。

本发明实施例的第二方面提供了一种多路画面的自动跟踪装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述多路画面的自动跟踪方法的步骤。

本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述多路画面的自动跟踪方法的步骤。

上述多路画面的自动跟踪方法通过获取连续多帧全景画面，通过对于每一帧全景画面中的图像像素分别进行压缩和裁剪后，分别得到全景图像帧和待处理图像帧；利用相邻两帧全景画面之间的图像像素差异提取待跟踪的运动目标；对于该运动目标中的图像像素进行宏块处理，根据运动目标中的图像像素在待处理图像帧中精确地截取相应的特写图像帧；因此本发明实施例中的自动跟踪方法可根据用户的实际需求跟踪全景画面中的局部画面信息，并最终输出全景图像帧和特写图像帧，兼容性较强，可广泛地适用于各个技术领域中的图像处理过程之中。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的多路画面的自动跟踪方法的具体流程图；

图2为图1所示的多路画面的自动跟踪方法的步骤S103的具体流程图；

图3为图1所示的多路画面的自动跟踪方法的步骤S106的具体流程图；

图4为本发明一实施例提供的多路画面的自动跟踪方法的另一种具体流程图；

图5为图1所示的多路画面的自动跟踪方法的步骤S108的具体流程图；

图6为本发明一实施例提供的多路画面的自动跟踪装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明实施例提供的多路画面的自动跟踪方法的结构示意图，本实施例中的自动跟踪方法可同时对于画面中的全景和局部进行持续跟踪、拍摄，以输出两路视频信息，进而满足不同用户的视觉需求；为了便于说明，仅示出了与本实施例相关的部分，详述如下：

自动跟踪方法包括：

步骤S101：获取连续多帧的全景画面。

在连续一段时间内，通过采集连续多帧的全景画面进而可获取完整的图像信息，该完整的图像信息包含多个连续的图像像素；进而通过采集外界环境中的完整画面信息可实时获取大容量的图像数据，自动跟踪方法能够对于外界环境中连续的画面信息进行快速跟踪并且处理，避免了对于全景画面中局部画面信息的遗漏获取缺失。

步骤S102：对每一帧全景画面中的每一个图像像素进行处理并且提取后，以获取多个优化图像像素。

其中通过步骤S101获取全景画面仅仅为原始图像信息，该原始图像信息不但包含大量的图像噪声数据，并且全景画面包括一些非必要的图像数据，这些非必要的图像数据并非用户需要观赏的目标图像信息，降低全景画面的观赏效果；因此通过对于全景画面中的图像像素进行处理并且提取后，一方面根据优化图像像素可直接获取质量更佳的图像信息，以使优化图像像素可匹配于不同功能的图像处理流程；另一方面通过对于全景画面中图像像素进行实时处理，可消除全景画面中的噪声数据，进而对于全景画面中的图像像素处理具有更高的目的性和处理效率；在步骤S102中，经过处理后的全景画面中的优化图像像素具有更高的图像传输效率和图像传输质量，用户也能够获取更加完整和清晰的图像信息，给用户带来了良好的视觉体验。

步骤S103：根据多个优化图像像素创建图像像素组。

其中图像像素组包括多个视觉效果较好的图像像素，通过该图像像素组集合了大量的图像信息，因此根据该图像像素组能够代表全景画面中所有的待控制图像像素；因此将多个处理后的图像像素绑定成一个像素组，根据该图像像素组有利于对于全景画面中的目标图像像素进行快速、灵活处理，通过图像像素组中的多个图像像素可集合形成完整的画面，以根据用户的实际需求对于全景画面中的多个图像像素进行自适应处理；在步骤S103中，通过图像像素组既加快了对于全景画面中多个图像像素的处理效率，保障了对于多个图像像素的处理精度，又根据图像像素组保留全景画面中所有的待控制的目标像素，用户能够及时获取完整的图像信息；根据图像像素组极大地保障了画面中图像像素的处理精度和图像的跟踪准确率，该图像像素组可呈现出更佳的画面显示质量，避免了对于全景画面中离散的图像像素的处理过程出现遗漏和丢失。

步骤S104：将图像像素组按照预设比例进行缩放后得到全景图像帧。

其中，全景图像帧包含全景像素信息，其中全景图像帧具有特定的图像大小，用户可在全景图像帧中获取完整的像素信息，给用户带来极佳的视觉体验感；因此在步骤S104中通过缩放操作可实时改变图像像素组的大小，以使全景图像帧的宽度和长度能够完全满足用户的实际需求，因此本实施例可输出特定大小的全景图像帧，以使用户能够实时获取完整的图像信息，保障了对于全景画面中图像像素的处理效率和处理精度。

可选的，对于图像像素组按照预设比例进行缩放是指：对于图像像素组中的模糊边缘图像进行裁剪以及图像像素差值，在对于图像像素组的大小进行调整以及变化过程中，以保障全景图像帧的平滑度和清晰度，并且缩放后的全景图像帧具有特定的大小；比如预设比例为2：1，则缩放后的全景图像帧与图像像素组包含相同的图像信息，并且全景图像帧中的图像信息也能够实时满足用户的实际视觉需求；全景图像帧具有更加清晰的边缘，并且全景图像帧和图像像素组具有更高的图像灰度变化延续性，提升了全景图像帧的视频质量。

步骤S105：将图像像素组按照预设区域进行裁剪后得到待处理图像帧；其中，全景图像帧和待处理图像帧的分辨率及面积均相同。

其中待处理图像帧作为待处理的中间图像帧，通过待处理图像帧进行处理后能够更加精确的局部图像信息；在图像像素组中选定预设区域，该预设区域包含全景像素信息，因此对于图像像素组中的所有图像像素按照预设区域进行自适应筛选，以使待处理图像帧包含完整的图像像素信息；可在待处理图像帧中精确地挑选出相应的目标图像像素，通过待处理图像帧能够更加有利于对于全景画面中局部画面信息的处理效率和处理精度。

其中全景图像帧和待处理图像帧这两者的分辨率相同，并且全景图像帧和待处理图像帧这两者的面积均相同，更加有利于全景和特写两路图像信息的视觉显示效果，可在待处理图像帧中准确地识别出局部画面；进而自动跟踪方法能够同时输出两路视频质量均衡的画面信息，提高了对于图像像素的处理效率和处理质量；在全景图像帧和待处理图像帧中获取更加精确、均衡的图像像素信息，用户的视觉体验更佳。

可选的，对于图像像素组进行裁剪包括：规则分幅裁剪和不规则分幅裁剪；示例性的，规则分幅裁剪包括：图像像素组在参考坐标系建立对应的坐标，获取图像像素组的左上角坐标和右上角坐标，通过左上角坐标和右下角坐标确定裁剪位置，并形成一个完整的闭合多边形区域；然后按照预设的裁剪大小对于图像像素组进行裁剪，以改变图像像素组的大小；进而通过裁剪能够精确地设定待处理图像帧的大小，保障了对于图像像素组的裁剪精度和裁剪效率，用户可获取特定大小的局部图像信息。

步骤S106：根据相邻两帧全景画面之间的像素差异获取全景画面中的运动区域。

其中相邻两帧全景画面之间的图像像素存在差异，全景画面包括：背景区域和运动区域，并且运动区域代表全景画面中用户待控制的图像像素，通过对于全景画面中运动区域进行实时处理，进而可输出全景画面中的局部画面信息，以实现对于全景画面中特定图像目标精确的辨别和处理；因此本实施例利用相邻两帧全景画面之间的像素差异快速、精确地识别出全景画面中的目标图像像素，根据用户的实际视觉需求截取待控制的图像目标，以实现对于全景画面中局部图像信息的跟踪并且处理功能；通过步骤S106可实现对于全景画面中部分图像像素进行提取并且处理，运动区域具有较高的识别和获取精度。

步骤S107：对运动区域内的图像像素进行宏块预测以获取运动区域中的多个相邻宏块。

其中相邻宏块包含多个图像像素，并且将多个图像像素进行压缩后可划分为不同的相邻宏块，那么运动区域内的所有图像像素可划分为多个不同的相邻宏块，通过该相邻宏块来同时获取运动区域内的多个图像像素信息，保障了运动区域内的图像像素信息完整性，简化了对于图像像素的处理步骤和复杂性，而且根据相邻宏块可精确地得出运动区域内图像像素空间位置；因此本实施例通过对于宏块预测能够将运动区域内的所有图像像素进行平均划分，以将运动区域拓展为多个相邻宏块，多个相邻宏块代表运动区域内的所有图像像素，则通过对于多个相邻宏块进行处理后能够得到全景画面中的目标对象；因此本实施例通过多个相邻宏块可更加合理地将运动区域内多个相邻的图像像素进行合并、集成化处理，提高了对于运动区域内多个图像像素的处理效率和处理精度，以保障在全景画面中能够精确地获取相应的局部画面信息，保障对于画面中图像像素的跟踪精度。

步骤S108：将多个相邻宏块反馈至待处理图像帧以获取待裁剪区域，并按照待裁剪区域对待处理图像帧进行裁剪得到特写图像帧。

其中相邻宏块在全景画面中具有特定的位置，根据全景画面与待处理图像帧中这两者图像像素之间的映射关系，可在待处理图像帧中准确地找出与运动区域相匹配的待裁剪区域，待裁剪区域代表用户待控制的目标像素；因此本实施例根据相邻宏块的位置可在全景画面中快速地得到待控制目标的位置；按照待裁剪区域确定的图像像素，对于待处理图像帧中的图像像素进行动态裁剪，以得出相应的特写图像帧，其中该特写图像帧具有特定的大小；通过该特写图像帧可精确地得出用户实际需要进行调控的图像信息，并且特写图像帧中的图像像素仅仅为待处理图像帧中的局部像素信息，进而通过该特写图像帧可精确地获取全景画面中的局部图像像素，以实现对于待处理图像帧中目标对象的实时、精确跟踪。

步骤S109：输出全景图像帧和特写图像帧。

其中全景图像帧作为全景图像信息，特写图像帧作为用户待控制的局部图像信息，进而通过特写图像帧能够准确地输出相应的局部像素信息，以满足用户的实际视觉需求；因此本实施例同时输出全景和特写两路视频信息，进而可实时跟踪全景画面中的运动对象，用户可在全景图像帧和特写图像帧中准确地获取两路图像信息，通过全景和特写这两路图像信息可提供更加全面的图像数据，用户的视觉体验更佳。

在图1示出自动跟踪方法的具体流程，对于全景画面中的原始图像像素进行处理后得到视觉质量较佳的图像像素组，该图像像素组集成了大量的图像数据；分别对于图像像素组分别进行缩放和裁剪后以得到两路图像帧(全景图像帧和待处理图像帧)，将全景图像帧作为全景图像；将待处理图像帧作为待处理的图像像素集合，利用相邻两帧全景画面之间的像素差异得出目标对象，对该目标对象进行宏块处理，并在待处理图像帧中找出与该目标对象匹配的特写图像帧，那么特写图像帧作为待处理图像帧中的局部像素信息，进而自动跟踪方法可在全景画面中找出并且跟踪待控制的局部图像像素；因此本实施例中的自动跟踪方法可同时输出全景和特写两路图像像素，用户可在全景画面中实时获取局部的图像像素信息，这两路图像像素可向用户提供更加完整的图像信息，并且对于全景画面中的特定目标对象进行持续跟踪拍摄，兼容性较强，适用范围更广，对于连续多帧画面的处理性能更高；有效地解决了传统技术对于图像进行跟踪处理的过程中，图像处理的性能较低，无法输出全景和特写两路画面信息，难以满足用户的实际视觉需求的问题。

作为一种可选的实施方式，在步骤S102中，对于每一帧全景画面中的每一个图像像素进行处理并且提取，具体为：

对每一帧全景画面中的每一个图像像素进行曝光、白平衡以及对焦处理。

其中通过曝光能够准确地获取全景画面中所有的图像像素，并捕捉全景画面中所有的图像信息，进而通过曝光能够感知外界环境中的所有图像信息，曝光后的图像像素可保留全景画面中的所有亮度信息，全景画面中的所有图像像素具有更高的完整性和清晰度；通过白平衡能够调整图像像素中的颜色信息，以使全景画面中能够组合不同的色彩，以呈现出更加完整、色彩更加均匀的全景画面；示例性的，通过白平衡可调整红色、绿色以及蓝色这三基色混合生成后的白色精确度，以使全景画面中呈现更加均匀和协调的颜色分布，用户通过白平衡后的全景画面可获取更加完整、清晰的图像信息；通过对焦能够将全景画面中的图像像素进行集中并处理，以使对焦后的全景画面中的图像像素具有更高的集中性，那么对焦后的全景画面具有更高的图像像素集中性能，避免了全景画面中的图像像素在处理过程中出现失真和丢失的问题；因此本实施例通过对于全景画面中的多个图像像素进行处理后，提升了对于全景画面中多个图像像素的处理质量和处理效率，进而通过对于全景画面中的多个图像像素进行处理后可得出视觉更佳的图像像素，以使自动跟踪方法输出的两路图像信息能够完全满足用户的实际视觉需求，本实施例对于全景画面的自适应图像跟踪性能更强。

作为一种可选的实施方式，图2示出了本实施例提供的步骤S103的具体操作操作，请参阅图2，步骤S103具体包括：

步骤S1031：获取优化图像像素的YUV数据。

其中，YUV为全景画面中图像像素的颜色编码方法，通过对于处理后的图像像素进行颜色编码后，根据图像像素的YUV数据可将图像像素的颜色信息以可量化的数据标准进行体现，根据YUV数据能够更加精确地获取全景画面中的颜色信息，因此技术人员根据该YUV数据更加精确地得知图像像素的具体特征，以便于能够对于全景画面中的优化图像像素进行更加实时、精确的处理。

步骤S1032：在全景画面中的每一个优化图像像素的YUV数据进行排序，将YUV数据排名前预设百分比的优化图像像素构成图像像素组；其中，所述预设百分比位于0～100％之间。

其中全景画面中的YUV数据表示全景画面中各个优化图像像素的视频显示质量，因此通过检测每一个优化图像像素的YUV数据的幅值可精确地得出优化图像像素的视频显示质量，进而给优化图像像素的提供参照的质量选取标准；因此对于多个YUV数据进行实时排序可判断出全景画面中每一个优化图像像素的显示质量的优劣程度，在经过处理后的全景画面中挑选出视觉效果更佳的图像像素可快速形成图像像素组，该图像像素组可提供质量更佳的图像信息；示例性的，在图像的YUV格式下，根据YUV转换公式可精确地计算得出优化图像像素的YUV数据，其中图像像素的YUV数据更加有利于图像像素的性能进行科学化处理和计算；比如根据图像像素的YUV数据可精确地得出图像像素的色彩度，那么按照全景画面中色彩度的丰富程度，将全景画面中的每一个优化图像像素的YUV数据由高至低依次排序，将YUV数据中排名前85％的优化图像像素构成图像像素组，那么根据该YUV数据的排序能够有效地滤除全景画面中视觉效果较差的优化图像像素，保留质量较佳的优化图像像素，并且图像像素组可保留全景画面中的完整图像像素；因此本实施例能够对于全景画面中的质量较佳的图像像素进行准确跟踪并且灵活处理，对于全景画面的图像像素进行跟踪后可输出更加清晰的画面，利用图像像素组加快了对于全景画面的处理效果和处理精度；避免了全景画面中的质量较差的图像像素对于画面中多个图像像素的跟踪精度造成影响，延缓了全景画面中图像像素的跟踪、处理效率，用户的视觉体验感不强的问题。

作为一种可选的实施方式，全景图像帧的长度为：1920PX，全景图像帧的宽度为：1080PX。

待处理图像帧的长度为：1920PX，待处理图像帧的宽度为：1080PX。

在本实施例中全景图像帧和待处理图像帧这两者的大小相同，那么可对这两者图像帧的图像像素进行均衡处理，以便于形成全局和局部像素信息；其中全景图像帧可作为原始的全景图像像素进行输出，待处理图像帧可作为中间图像像素，对于该待处理图像帧进行识别、处理后可得出精确的局部图像信息，以实现对于全景和特写两路图像信息的同步跟踪并输出；PX(pixel，像素)为图像的尺寸的单位，因此本实施例中的全景图像帧大小和待处理图像帧的大小符合人体的基本视觉需求以及显示设备的图像显示尺寸，自动跟踪方法具有更高的适用范围；当自动跟踪方法输出全局和局部图像像素时，用户可全面地获取相应的画面信息，该自动跟踪方法具有更高的兼容性和适用范围。

作为一种可选的实施方式，图3示出了本实施例提供的步骤S106的具体操作流程，请参阅图3，步骤S106具体包括：

步骤S1061：获取每一帧全景画面中每一个图像像素的灰度值。

其中每一个图像像素具有相应的颜色，将全景画面中每一个图像像素的灰度值能够区别不同颜色之间的差异幅度以及多个图像像素的色彩分布规律，进而获取全景画面中图像像素的真实颜色属性；并且灰度值作为图像像素的某一方面的特征信息，用户可通过该灰度值可精确地辨别每一个图像像素之间的差异情况；当全景画面中的某一个图像像素的灰度值发生变化时，则说明该图像像素出现了空间位置移动；因此本实施例根据图像的灰度值能够精确地监控全景画面的图像像素的变化情况，以使全景画面中的图像特征具有更高可测量性和监控精度。

步骤S1062：将相邻两帧全景画面中每一个图像像素的灰度值进行差分运算。

其中相邻两帧全景画面代表了全景画面中的图像像素的连续变化情况；通过差分运算能够得出相邻两帧全景画面的灰度值差异幅度，进而判断出全景画面中的每一个图像像素的颜色变化情况；示例性的，图像像素的灰度值差分运算公式如下：

D_n＝|f_n-f_n-1| (1)

在上式(1)中，D_n代表差分运算后的灰度值，f_n为第n帧全景画面中图像像素的灰度值，f_n-1为第n-1帧全景画面中图像像素的灰度值，n为大于1的正整数；因此根据上式(1)能够准确地得出相邻两帧全景画面之间的图像信息差异，更加有利于识别出全景画面中移动的图像目标，并且对于全景画面中的图像像素的运算精度极高。

步骤S1063：若相邻两帧全景画面中图像像素的灰度值差值的绝对值大于第一预设阈值，则判定该图像像素属于运动像素；。

可选的，若相邻两帧全景画面中图像像素的灰度值差值的绝对值小于或者等于第一预设阈值，则判定该图像像素属于静止像素。

其中，第一预设阀值为运动对象和静止对象之间的临界点，进而在全景画面中精确地判断出运动像素和静止像素；其中运动像素代表用户待控制的目标像素，而静止像素属于全景画面中的背景区域；当全景画面中的图像像素的灰度值发生较大的变动时，则说明该图像像素在连续的时间范围内是可移动的；那么该运动像素属于用户需要进行特写的局部图像信息；因此本实施例通过对于相邻两帧全景画面中的图像像素进行差分运算后得到灰度值差值，该灰度值差值在全景画面中准确地识别出相应的运动像素；即提高了对于图像像素中运动像素的识别精度，又简化了对于运动目标的检测步骤，本实施例能够更加灵活、快速地对于全景画面中的局部像素信息进行跟踪并且处理。

步骤S1064：将全景画面中的所有运动像素组成全景画面中的运动区域。

若根据图像像素的灰度值差值在全景画面中找出了全部的运动像素，那么该运动像素可形成一个完整的图像区域，该完整的图像区域为用户待控制的目标对象；因此通过全景画面中识别并提取出相应的运动区域，通过对于该全景画面中运动区域的单独处理，以区别全局画面和局部画面；自动跟踪方法能够精确地检测出局部像素信息，对于运动区域的识别精度极高，提升了对于全景画面和局部画面的跟踪、处理效率；减少了对于局部图像像素的识别和跟踪误差。

作为一种可选的实施方式，图4示出了本实施例提供的多路画面的自动跟踪方法的另一种实现流程，本实施例与上一实施例的区别在于，在步骤S409和步骤S411之间，自动跟踪方法还包括步骤S410；步骤S401～步骤S405与上一实施例的步骤S101～步骤S105相同，步骤S406～步骤S409与上一实施例的步骤S1061～步骤S1064相同，步骤S411～步骤S413与上一实施例的步骤S107～步骤S109相同，具体请参阅上一实施例中的相关描述，此处不赘述步骤S401～步骤S409以及步骤S411～步骤S413。步骤S410具体如下：

步骤S410：以运动区域的中心位置点向上方、下方、左方以及右方分别进行像素扩展，以扩展得到更新后的运动区域；其中更新后的运动区域和全景图像帧的分辨率相同。

参照上述实施例，根据相邻两帧全景画面得到相应的运动区域，此时得到的运动区域的大小是由运动像素的数量以及分布距离决定；为了实现对于局部画面的处理精度和视频显示质量，通过对于运动区域进行图像扩展可得到更加完整的运动区域信息，防止出现运动像素出现遗漏；本实施例中更新后的运动区域具有更加完整的目标像素信息，对于全景图像信息中进行特写的目标画面具有更高的跟踪灵敏度和效率；示例性的，经过步骤S409输出的运动区域大小为：960PX*540PX(长*宽)，以该运动区域的中心点向四周延伸，延伸后的运动区域大小为：1920PX*1080PX(长*宽)；那么更新后的运动区域包括更加完整的局部像素信息；并且通过对于更新后的运动区域和全景图像帧具有相同的视频显示质量，对于更新后的运动区域进行处理后可实时获取局部图像信息，提高了对于全景画面中部分运动像素的处理精度和处理效率；通过像素扩展可根据原始的运动区域集合所有的待处理目标像素，全景画面中的特写图像像素具有更高的精度和完整性，全景画面中图像跟踪的自适应调节性能更强。

作为一种可选的实施方式，步骤S411具体包括：

将更新后的运动区域内的多个图像像素进行记录并保存，并且该多个图像像素组成一个相邻宏块，以得到更新后的运动区域中的多个相邻宏块。

其中更新后的运动区域为包含了所有的用户待控制的图像像素，通过对于更新后运动区域内的多个图像像素进行提取并且处理，可实现对于全景画面中部分图像像素的放大特写处理，根据用户的实际需求对于多个运动像素进行跟踪并且记录；因此本实施例将多个图像像素组合形成相邻宏块，该相邻宏块包含多个图像像素，那么一个相邻宏块中包括了多个图像像素的图像信息；当对于图像中的相邻宏块进行图像处理时，那么相邻宏块中的多个图像像素都会同步发生图像性能转换，对于运动区域内的相邻宏块进行图像处理可极大地提高对于图像像素的处理效率，并且对于全景画面中运动区域的处理精度也更高；那么相邻宏块将运动区域内的图像像素进行归类，更加有利于对于全景画面中的特定目标进行局部图像像素处理，简化了全景画面中局部像素信息的查找、跟踪步骤。

作为一种可选的实施方式，图5示出了本实施例提供的步骤S108的具体实现流程，请参阅图5，步骤S108具体包括：

步骤S1081：在运动区域内建立第一直角坐标系。

步骤S1082：在待处理图像帧内建立第二直角坐标系；其中第一直角坐标系和第二直角坐标系相匹配。

其中，第一直角坐标系和第二直角坐标系这两者具有相同的坐标刻度，进而第一坐标系中的坐标与第二坐标系中的坐标具有一一映射的关系；第一直角坐标系中的坐标可在第二直角坐标系中找出与之唯一相对应的坐标；进而运动区域内的图像像素可利用第一直觉坐标系下的坐标值进行精确的描述，该运动区域具有具体的空间位置；相应的，待处理图像帧中的图像像素在第二直角坐标系下可利用坐标值进行描述；因此本实施例通过第一直角坐标系和第二直角坐标系分别建立运动区域的坐标值和待处理图像帧的坐标值，以使运动区域和待处理图像帧这两者的图像像素具有可量化的数值，根据坐标值能够准确地得出图像像素在画面中的具体空间位置；并且基于第一直角坐标系和第二直角坐标系这两者的坐标匹配关系，可使运动区域的坐标值和待处理图像帧的坐标值之间进行相互转换，以实现根据运动区域对于待处理图像帧中局部图像信息的截取以及识别，可在待处理图像帧获取局部图像信息，以完成特写画面信息的输出功能。

步骤S1083：获取第一直角坐标系下所有相邻宏块的坐标值范围。

参照上述实施例，相邻宏块包括运动区域内的多个运动像素，那么对于该相邻宏块在第一直角坐标系下的坐标值范围进行计算，那么就可得出运动区域内所有图像像素的坐标值范围，所有相邻宏块的坐标值范围共同组成全景画面中的待控制目标，在第一直角坐标系下可精确地确定运动区域内所有像素的坐标值范围；通过该坐标值范围可实时提取出相应的目标对象，对于运动区域的提取精度极高。

步骤S1084：若第二直角坐标系下待处理图像帧中图像像素的坐标值属于坐标值范围，则待处理图像帧中图像像素属于特写图像帧中的像素点。

可选的，若第二直流坐标系下待处理图像帧中图像像素的坐标值不属于坐标值范围，则待处理图像中图像像素属于背景像素；该背景像素不属于用户待控制的目标对象。

由于第一直角坐标系上的坐标值与第二直角坐标系的坐标值可进行相互映射，那么当确定了相邻宏块在第一直角坐标系下坐标值范围时，在第二直角坐标系下可在待处理图像帧中找出与运动区域匹配的特写图像帧；那么运动区域和待处理图像帧在两个不同直角坐标系下具有相对应的坐标值；将待处理图像帧中的图像像素在第二直角坐标系下进行离散化处理以得到图像像素的坐标值，根据待处理图像帧中图像像素的坐标值与坐标值范围之间的匹配关系可判断出待处理图像帧中图像像素是否属于用户待控制的目标像素，进而在待处理图像帧中完整地获取了相应的特写图像范围；因此本实施例根据在第一直角坐标系下的相邻宏块的坐标值在第二直角坐标系下待处理图像帧中进行抠图，进而组合形成特写图像帧，该特写图像帧作为全景图像中的局部特写信息进行输出，保障了全景画面中局部图像像素的处理精度和转换精度；自动跟踪方法通过不同直角坐标系下的坐标转换操作快速地获取了相应的局部像素信息，操作简便，精度较高，用户可精确地获取相应的目标图像像素，避免了对于待处理图像帧中目标图像像素的采样误差和采样延时。

综上所述，自动跟踪方法对于原始的全景画面进行处理后，以获取更加清晰、完整的图像像素信息，对于处理后的全景画面进行缩放和裁剪处理后得到全景图像帧和待处理图像帧，全景图像帧和待处理图像帧具有协调、抑制的图像大小，将待处理图像帧作为待处理的图像像素集合，利用相邻两帧全景画面之间的图像像素灰度值的差异获取运动像素，以组成运动区域，该运动区域为全景画面中局部像素信息；在直角坐标系下获取运动区域和待处理图像帧这两者的坐标值，以使运动区域以可量化的坐标值进行衡量，根据不同坐标系之间的坐标值映射关系，可根据运动区域的坐标值范围查找出特写图像帧在待处理图像帧中的坐标值，从待处理图像帧截取相应的特写图像信息；进而本实施例可实现对于待控制的局部画面的精确识别并处理，最终输出两路视频信息，完成全景和局部画面的同步输出功能，操作简便，以满足用户的不同视觉需求，增强了用户的视觉体验；因此本实施例中的多路画面的自动跟踪方法对于画面中两路图像信息的处理和跟踪技术具有积极的促进作用，在图像处理领域具有重要的工业应用价值；解决了传统技术无法识别出全景画面中的局部画面信息，以输出两路不同的图像信息，传统的图像跟踪方法的图像处理精度较低，对于图像像素的转换灵活性较差，难以普遍适用，用户的视觉体验不佳的问题。

图6是本发明一实施例提供的多路画面的自动跟踪装置60的示意图。如图6所示，该实施例的自动跟踪装置60包括：处理器601、存储器602以及存储在存储器602中并可在处理器601上运行的计算机程序603。处理器601执行计算机程序603时实现上述各个多路画面的自动跟踪方法实施例中的步骤，例如图1所示的步骤S101至步骤S109。或者，处理器601执行计算机程序603时实现图4所示的步骤S401至步骤S413；通过本实施例中的自动跟踪装置60可实时获取全景图像信息，并根据用户的实际需求对于全景画面中的局部图像目标进行提取并跟踪，进而输出全局和特写两路图像信息，用户可获取更加完整的图像信息，自动跟踪装置60可广泛地适用于各个不同的工业技术领域，用户的视觉体验较佳。

自动跟踪装置60可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。自动跟踪装置60可包括，但不仅限于，处理器601、存储器602。本领域技术人员可以理解，图6仅仅是自动跟踪装置60的示例，并不构成对自动跟踪装置60的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如自动跟踪装置60还可以包括输入输出设备、网络接入设备、总线等。

所称处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器602可以是自动跟踪装置60的内部存储单元，例如自动跟踪装置60的硬盘或内存。存储器602也可以是自动跟踪装置60的外部存储设备，例如自动跟踪装置60上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器602还可以既包括自动跟踪装置60的内部存储单元也包括外部存储设备。存储器602用于存储计算机程序以及自动跟踪装置60所需的其他程序和数据。存储器602还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将自动跟踪装置60的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例多路画面的自动跟踪方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个多路画面的自动跟踪方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多路画面的自动跟踪方法，其特征在于，包括：

获取连续多帧的全景画面；

对每一帧所述全景画面中的每一个图像像素进行处理并且提取后，以获取多个优化图像像素；

根据所述多个优化图像像素创建图像像素组；

将所述图像像素组按照预设比例进行缩放后得到全景图像帧；

将所述图像像素组按照预设区域进行裁剪后得到待处理图像帧，对于图像像素组进行裁剪包括：图像像素组在参考坐标系建立对应的坐标，获取图像像素组的左上角坐标和右上角坐标，通过左上角坐标和右下角坐标确定裁剪位置，并形成一个完整的闭合多边形区域；然后按照预设的裁剪大小对于图像像素组进行裁剪，以改变图像像素组的大小；其中，所述全景图像帧和所述待处理图像帧的分辨率及面积均相同；

根据相邻两帧所述全景画面之间的像素差异获取所述全景画面中的运动区域；

对所述运动区域内的图像像素进行宏块预测以获取所述运动区域中的多个相邻宏块；

将多个所述相邻宏块反馈至所述待处理图像帧以获取待裁剪区域，并按照所述待裁剪区域对所述待处理图像帧进行裁剪得到特写图像帧；

输出所述全景图像帧和所述特写图像帧。

2.根据权利要求1所述的多路画面的自动跟踪方法，其特征在于，所述对每一帧所述全景画面中的每一个图像像素进行处理并且提取，具体为：

对每一帧所述全景画面中的每一个图像像素进行曝光、白平衡以及对焦处理。

3.根据权利要求2所述的多路画面的自动跟踪方法，其特征在于，所述根据所述多个优化图像像素创建所述图像像素组，具体为：

获取所述优化图像像素的YUV数据；

对所述全景画面中的每一个优化图像像素的YUV数据进行排序，将YUV数据排名前预设百分比的优化图像像素构成所述图像像素组。

4.根据权利要求1所述的多路画面的自动跟踪方法，其特征在于，所述全景图像帧的长度为：1920PX，所述全景图像帧的宽度为：1080PX；

所述待处理图像帧的长度为：1920PX，所述待处理图像帧的宽度为：1080PX。

5.根据权利要求1所述的多路画面的自动跟踪方法，其特征在于，所述根据相邻两帧所述全景画面之间的像素差异获取所述全景画面中的运动区域，具体为：

获取每一帧所述全景画面中每一个图像像素的灰度值；

将相邻两帧所述全景画面中每一个图像像素的灰度值进行差分运算；

若相邻两帧所述全景画面中图像像素的灰度值差值的绝对值大于第一预设阈值，则判定该图像像素属于运动像素；

将所述全景画面中的所有运动像素组成所述全景画面中的运动区域。

6.根据权利要求5所述的多路画面的自动跟踪方法，其特征在于，在根据所述相邻的两帧全景画面之间的像素差异获取所述全景画面中的运动区域之后，并且在对所述运动区域内的图像像素进行宏块预测以获取所述运动区域中的多个所述相邻宏块之前，所述自动跟踪方法还包括：

以所述运动区域的中心位置点向上方、下方、左方以及右方分别进行像素扩展，以扩展得到更新后的运动区域；其中更新后的所述运动区域和所述全景图像帧的分辨率相同。

7.根据权利要求1所述的多路画面的自动跟踪方法，其特征在于，所述将所述相邻宏块反馈至所述待处理图像帧以获取待裁剪区域，并按照所述待裁剪区域对所述待处理图像帧进行裁剪得到所述特写图像帧，具体为：

在所述运动区域内建立第一直角坐标系；

在所述待处理图像帧内建立第二直角坐标系；其中所述第一直角坐标系和所述第二直角坐标系相匹配；

获取所述第一直角坐标系下所有相邻宏块的坐标值范围；

若所述第二直角坐标系下待处理图像帧中图像像素的坐标值属于所述坐标值范围，则所述待处理图像帧中图像像素属于所述特写图像帧中的像素点。

8.一种多路画面的自动跟踪装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述多路画面的自动跟踪方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多路画面的自动跟踪方法的步骤。

Images