CN117809224B - 全景监控图像处理方法及处理系统 - Google Patents

Abstract

本发明公开一种全景监控图像处理方法及系统，其方法包括：获取初始的全景监控视频，并基于全景监控视频建立全景监控图像的初始数据集；压缩初始数据集并获取一个压缩后的次级数据集，建立次级数据集和初始数据集之间的映射关系；以全景监控图像的中心点为圆心将全景图像分割为多个扇形区域；识别扇形区域内的目标特征，并确定多个目标特征点和目标特征点的位置数据；获取不同位置数据的修正系数并基于修正系数，映射至初始数据集中对应的全景图像，并获取全景图像的多个矩形的图片集；将图片集进行拼接，获取一个矩形的全景图像，本发明可有效改善现有的全景图像在处理过程中，实际处理效果不佳，以及对于处理器的要求较高的问题。

Description

全景监控图像处理方法及处理系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种全景监控图像处理方法及处理系统。

背景技术

随着虚拟现实、增强现实技术的快速发展，全景视频、全景图像因能给用户带来360度全方位的、沉浸式的观看体验而被广泛接受。

对于全景监控而言，全景监控摄像头是一种可以覆盖360度视角的摄像头。全景监控摄像头有多种类型，包括鱼眼镜头、广角镜头等。这些不同类型的摄像头各有优缺点，适用于不同的应用场景。例如，鱼眼镜头可以覆盖更大的视角，但图像畸变较大；广角镜头则可以拍摄更广阔的视角，但需要更复杂的拼接技术。或者全景监控还可以是由多个摄像头组成，以全方位地拍摄周围的环境。

现有的全景监控图像的处理过程中，通常需要将一个完整的全景图像转换为一个矩形的图片视角，以便于监控人员对监控图像进行观测和处理。由于成像条件等因素的影响，目前全景图像在处理的过程对于处理器的要求较高，导致全景图像在处理过程中时间缓慢且对于处理器的要求较高。

发明内容

鉴于以上现有技术的缺点，本发明的目的在于公开一种全景监控图像处理方法及处理系统，以改善现有的全景图像在处理过程中，实际处理效果不佳，以及对于处理器的要求较高的问题。

为实现上述目的，本发明公开一种全景监控图像处理方法，其包括：

获取初始的全景监控视频，并基于所述全景监控视频建立所述全景监控图像的初始数据集；

压缩所述初始数据集并获取一个压缩后的次级数据集，建立所述次级数据集和所述初始数据集之间的映射关系；

基于所述次级数据集，获取所需处理的全景监控图像，并以所述全景监控图像的中心点为圆心将所述全景图像分割为多个扇形区域；

确定单个所述扇形区域的中心线，以及校正原点；

识别所述扇形区域内的目标特征，并确定多个目标特征点和所述目标特征点的位置数据；

基于所述校正原点和所述位置数据，依据数据修正模型获取不同位置数据的修正系数；

基于所述修正系数，映射至所述初始数据集中的对应的全景图像，并获取全景图像的多个矩形的图片集；

将所述图片集进行拼接，以获取一个矩形的全景图像。

在本发明一方案中，在所述获取初始的全景监控视频，并基于所述全景监控视频建立所述全景监控图像的初始数据集的步骤中，包括：

将录制的全景视频分割成一系列的静态图像帧，每个帧表征视频中的一帧；

对每个图像帧进行去噪和色彩校正的图像处理；

为处理后的图像汇集至初始数据集中，并为每一帧图打印标签信息。

在本发明一方案中，在所述压缩所述初始数据集并获取一个压缩后的次级数据集，建立所述次级数据集和所述初始数据集之间的映射关系的步骤中，包括：

选择压缩算法，对所述初始数据集内的每一个图像帧进行压缩，并获取低清晰度的全景图片数据，并获取包括所有低清晰度的全景图片数据的次级数据集；

创建一个映射表，用于存储次级数据集中每个图像帧与初始数据集中对应图像帧的映射关系；

为每个次级图像帧分配一个唯一的标识符，该标识符指向初始数据集中相应的图像帧。

在本发明一方案中，还包括步骤：

验证映射关系，其包括：

检查并验证所建立的映射关系的准确性，即每个次级数据集中的图像帧是否正确地映射到初始数据集中对应的图像帧；

若存在错误或遗漏，则进行调整并重新验证；以及

存储和管理，将压缩后的次级数据集和映射关系存储在数据库或专门的数据管理工具。

在本发明一方案中，在基于所述次级数据集，获取所需处理的全景监控图像，并以所述全景监控图像的中心点为圆心将所述全景图像分割为多个扇形区域的步骤中，包括：

从次级数据集中选择需要处理的特定全景监控图像，并确定所选全景监控图像的中心点；

以中心点为圆心，将全景图像分割成多个扇形区域。

在本发明一方案中，在所述以中心点为圆心，将全景图像分割成多个扇形区域的步骤中，所述扇形区域的分隔路径上像素内容是位于一个预设的阈值以下；以及

所述扇形区域角度大于30度。

在本发明一方案中，在所述识别所述扇形区域内的目标特征，并确定多个目标特征点和所述目标特征点的位置数据步骤中，还包括：

使用特征检测算法识别扇形区域内的目标特征，并确定多个目标特征点；

并基于所述中心点建立一轴坐标，以及确定多个目标特征点的位置数据，其中所述位置数据包括所述目标特征点的轴坐标值。

在本发明一方案中，在所述基于所述修正系数，映射至所述初始数据集中的对应的全景图像，并获取全景图像的多个矩形的图片集中，还包括：

基于所述映射关系，对所述初始数据集中的全景图像数据进行分割处理，以获取多个扇形区域的全景图像碎片；以及

基于所述修正系数，对相应的扇形区域的全景图像碎片进行修正处理，并获取所述全景图像的多个矩形图片。

在本发明一方案中，在所述将所述图片集进行拼接，以获取一个矩形的全景图像的步骤中，包括：

确定所述矩形图片的边沿，并对相邻边沿的矩形图片进行融合处理，以获取一个完整的矩形的全景图片；以及

对完整的矩形的全景图片进行去噪和色彩校正的图像处理。

本发明还提供一种全景监控图像处理系统，其包括：

图像获取模块，其用于获取初始的全景监控视频，并基于所述全景监控视频建立所述全景监控图像的初始数据集；

图像处理模块，其用于压缩所述初始数据集并获取压缩后的次级数据集，建立所述次级数据集和所述初始数据集之间的映射关系；

图像分割模块，其用于基于所述次级数据集，获取所需处理的全景监控图像，并以所述全景监控图像的中心点为圆心将所述全景图像分割为多个扇形区域；

图像定位模块，其用于确定单个所述扇形区域的中心线，以及校正原点；

图像识别模块，其用于识别所述扇形区域内的目标特征，并确定多个目标特征点和所述目标特征点的位置数据；

修正系数获取模块，其用于基于所述校正原点和所述位置数据，依据数据修正模型获取不同位置数据的修正系数；

修正调整模块，其用于基于所述修正系数，映射至所述初始数据集中的对应的全景图像，并获取全景图像的多个矩形的图片集；

图像拼接模块，其用于将所述图片集进行拼接，以获取一个矩形的全景图像。

综上所述，本发明公开一种全景监控图像处理方法及系统，通过该全景监控图像处理方法通过对低清晰度的全景图像进行处理，以获取对应的处理规则。同时通过映射关系，将该处理规则映射至高清晰度的原始的全景图像中，以降低处理器直接对高清晰度图像处理时的压力。因此，可有效提高对全景图像的处理速度和处理效果。因此，可有效改善现有的全景图像在处理过程中，实际处理效果不佳，以及对于处理器的要求较高的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种全景监控图像处理方法的流程示意图；

图2为本发明一种全景监控图像处理系统的模块示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

实施例一

下面将结合图1来详细阐述本发明全景监控图像处理方法。

一种全景监控图像处理方法，至少包括以下步骤。

步骤S10：获取初始的全景监控视频，并基于所述全景监控视频建立所述全景监控图像的初始数据集。其中，全景监控视频的获取可允许通过使用鱼眼镜头或全景相机直接拍摄。通过鱼眼镜头或者全景相机可允许覆盖超广的视角，拍摄出连贯的全景画面。同时，还可允许通过多摄像头拼接技术，从不同角度拍摄同一场景，并将多个视频片段拼接在一起，以获取一个全景监控的初始的全景监控视频数据。

在对该初始的全景监控视频数据进行处理时，可以及时获取对应时间段的全景监控视频，并对该全景监控视频进行标记处理。同时，对该全景监控视频进行分帧处理，并以时间轴为线索，建立一个包括该全景监控视频所有图像帧的初始数据集。可以理解，对于该初始数据集而言，其内包括的所有图像帧均对应有相应的时间戳。因此，可允许根据该时间戳，以索引到对应的图像帧。

具体来说，在实际的操作过程中，可允许将录制的全景视频分隔成一系列的静态图像帧，且每个帧表征视频中的一帧。同时，为了提高对该全景监控视频的处理结果，可允许对每个图像帧进行去噪和色彩校正处理。通过对每个图像帧进行去噪处理，可有效提高图像的清晰度。同时，通过色彩校正处理，可有效提高对全景图像的观视体验。具体来说，在对图像进行去噪处理过程中，可允许采用中值滤波、高斯滤波和双边滤波等。以及，在色彩校正处理的过程中确保图像的颜色准确和一致，使其更符合人类的视觉感知。常见的色彩校正方法包括色彩平衡、色阶调整和曲线调整等。

需要注意的是，在对全景图像进行去噪和色彩校正处理后，还包括将处理后的图像汇集至初始数据集中，并为每一帧图打印标签信息。在一实施方式中，该标签信息可允许以时间戳也索引标签。因此，可允许通过时间戳，并索引到对应全景图片。但不限于此，在对每帧图打印标签信息的具体方式，可允许根据实际需求进行确定。

步骤S20：压缩所述初始数据集并获取一个压缩后的次级数据集，建立所述次级数据集和所述初始数据集之间的映射关系。

在步骤S20中，在获取初始数据集以后，通过对初始数据集进行压缩处理，可有效降低初始数据集内的全景图像的图片格式。例如，对于初始数据集而言，其内部的全景图像通常为高分辨率和高清晰度图片。通过对全景图片进行压缩处理，可以有效降低全景图片的格式，以便于后续对图片进行处理。

具体来说，在实际的压缩过程，首先是选择一个压缩算法，对所述初始数据集内的每一个图像帧进行压缩，并获取低清晰度的全景图片数据，并获取包括所有低清晰度的全景图片数据的次级数据集。其次，可允许创建一个映射表，用于存储次级数据集中每个图像帧与初始数据集中对应图像帧的映射关系。为每个次级图像帧分配一个唯一的标识符，该标识符指向初始数据集中相应的图像帧。因此，通过该映射关系，使得初始数据集和次级数据集之间建立一种映射关系。同时，通过对次级数据集内的图片的处理方式，可允许通过该映射关系反映至初始数据集中，并对初始数据集内的图片产生同样的处理效果。

需要注意的是，在建立相应的映射关系以后，还可允许验证该映射关系。具体包括检查和验证该映射关系的准确性，及每个次级数据集中的图像帧是否可以正确地映射到初始数据集中的对应图像帧中。若存在错误或者遗漏，则进行调整并重新验证。

最后，将压缩后的次级数据集和映射关系存储在数据库或者专门的数据管理工具中。

步骤S30：基于所述次级数据集，获取所需处理的全景监控图像，并以所述全景监控图像的中心点为圆心将所述全景图像分割为多个扇形区域。

在步骤S30中，从次级数据集中选择需要处理的特定全景监控图像，并确定所选全景监控图像的中心点。通常情况下，全景图像是以一个中心点为中心呈环形分布。因此，可允许以该中心点为圆心，对全景图像进行展开处理，并获取一个完整矩形状态的全景图像。

具体来说，以中心点为圆心，将全景图像分割成多个扇形区域。其中，对于全景图像而言，是由多个像素点所构建。因此，在扇形区域的分隔的过程中，其扇形区域的分隔路径上的像素内容是位于一个预设的阈值以下。以及该扇形区域的角度是大于30度，但不限于此，可允许根据实际需求确定扇形区域角度大小。

其中，对于全景图像而言，通常会包括多个不同的目标特征。该目标特征表征全景图像中的主体要素，因此可允许选择像素内容较少的位置进行分隔。对于该预设的阈值而言，可允许根据实际需求进行确定。例如，该阈值可允许是该分隔线上所涵盖的要素数量。因此，可有效减少对于图像的处理量，进而减少处理器处理压力。

步骤S40：确定单个所述扇形区域的中心线，以及校正原点。具体来说，扇形区域的中心线是横穿在扇形区域扇心区，以及另一端是位于扇形区域的弧形线的终点。因此，可允许定义该中心线与弧形线的交点为矫正原点，并可允许将分割后的扇形区域以该矫正原点进行展开。

步骤S50：识别所述扇形区域内的目标特征，并确定多个目标特征点和所述目标特征点的位置数据。在步骤S50中，可允许通过特征检测算法识别扇形区域内的目标特征，并确定多个目标特征点。并基于所述中心点建立一轴坐标，以及确定多个目标特征点的位置数据，其中所述位置数据包括所述目标特征点的轴坐标值。通过对目标特征点进行定位和标记，可有效确定目标特征点的位置，以及在后续调整和修正时所需的修正系数。通过该修正系数，可允许将对应分隔后的全景图像的扇形区域通过修正模型进行修正，并获取一个矩形图形结构。

步骤S60：基于所述修正系数，映射至所述初始数据集中的对应的全景图像，并获取全景图像的多个矩形的图片集。在步骤S60中，基于所述映射关系，对所述初始数据集中的全景图像数据进行分割处理，以获取多个扇形区域的全景图像碎片。

步骤S70：基于所述修正系数，对相应的扇形区域的全景图像碎片进行修正处理，并获取所述全景图像的多个矩形图片集。

步骤S80：将所述图片集进行拼接，以获取一个矩形的全景图像。

具体来说，首先确定所述矩形图片的边沿，并对相邻边沿的矩形图片进行融合处理，以获取一个完整的矩形的全景图片；以及对完整的矩形的全景图片进行去噪和色彩校正的图像处理。可允许对每个图像帧进行去噪和色彩校正处理。通过对每个图像帧进行去噪处理，可有效提高图像的清晰度。同时，通过色彩校正处理，可有效提高对全景图像的观视体验。

对于所述图像色彩校正处理的具体方式可不加限定，可预设相应的校正规则。作为示例，在一实施例中，可提前预设校正模型，所述校正模型可以包括色彩模板库。通过识别全景图像的色彩范围，以匹配对应的色彩模板，进一步实现对全景图像进行色彩调控。

因此，全景监控图像处理方法通过对低清晰度的全景图像进行处理，以获取对应的处理规则。同时通过映射关系，将该处理规则映射至高清晰度的原始的全景图像中，以降低处理器直接对高清晰度图像处理时的压力。因此，可有效提高对全景图像的处理速度和处理效果。

需要说明的是，上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

实施例二

请参阅图2所示，在本实施例中，提供一种全景监控图像处理系统100，该基于全景监控图像处理系统100与上述实施例中全景监控图像处理方法一一对应。

请参阅图2所示，所述全景监控图像处理系统100包括图像获取模块200、图像处理模块300、图像分割模块400、图像定位模块500、图像识别模块600、修正系数获取模块700、修正调整模块800、图像拼接模块900。其中，本发明所称的模块是指一种能够被处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。

具体来说，图像获取模块200是用于获取初始的全景监控视频，并基于所述全景监控视频建立所述全景监控图像的初始数据集。图像处理模块300其用于压缩所述初始数据集并获取压缩后的次级数据集，建立所述次级数据集和所述初始数据集之间的映射关系。图像分割模块400其用于基于所述次级数据集，获取所需处理的全景监控图像，并以所述全景监控图像的中心点为圆心将所述全景图像分割为多个扇形区域。图像定位模块500其用于确定单个所述扇形区域的中心线，以及校正原点。图像识别模块600其用于识别所述扇形区域内的目标特征，并确定多个目标特征点和所述目标特征点的位置数据。修正系数获取模块700其用于基于所述校正原点和所述位置数据，依据数据修正模型获取不同位置数据的修正系数。修正调整模块800其用于基于所述修正系数，映射至所述初始数据集中的对应的全景图像，并获取全景图像的多个矩形的图片集。图像拼接模块900其用于将所述图片集进行拼接，以获取一个矩形的全景图像。

综上所述，本发明公开一种全景监控图像处理方法及系统，通过该全景监控图像处理方法通过对低清晰度的全景图像进行处理，以获取对应的处理规则。同时通过映射关系，将该处理规则映射至高清晰度的原始的全景图像中，以降低处理器直接对高清晰度图像处理时的压力。因此，可有效提高对全景图像的处理速度和处理效果。因此，可有效改善现有的全景图像在处理过程中，实际处理效果不佳，以及对于处理器的要求较高的问题。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种全景监控图像处理方法，其特征在于，包括：

获取初始的全景监控视频，并基于所述全景监控视频建立所述全景监控图像的初始数据集；

压缩所述初始数据集并获取一个压缩后的次级数据集，建立所述次级数据集和所述初始数据集之间的映射关系；

基于所述次级数据集，获取所需处理的全景监控图像，并以所述全景监控图像的中心点为圆心将所述全景图像分割为多个扇形区域；

确定单个所述扇形区域的中心线，以及校正原点；

识别所述扇形区域内的目标特征，并确定多个目标特征点和所述目标特征点的位置数据；

基于所述校正原点和所述位置数据，依据数据修正模型获取不同位置数据的修正系数；

基于所述修正系数，映射至所述初始数据集中的对应的全景图像，并获取全景图像的多个矩形的图片集；

将所述图片集进行拼接，以获取一个矩形的全景图像。

2.根据权利要求1所述的全景监控图像处理方法，其特征在于，在所述获取初始的全景监控视频，并基于所述全景监控视频建立所述全景监控图像的初始数据集的步骤中，包括：

将录制的全景视频分割成一系列的静态图像帧，每个帧表征视频中的一帧；

对每个图像帧进行去噪和色彩校正的图像处理；

为处理后的图像汇集至初始数据集中，并为每一帧图打印标签信息。

3.根据权利要求1所述的全景监控图像处理方法，其特征在于，在所述压缩所述初始数据集并获取一个压缩后的次级数据集，建立所述次级数据集和所述初始数据集之间的映射关系的步骤中，包括：

选择压缩算法，对所述初始数据集内的每一个图像帧进行压缩，获取低清晰度的全景图片数据，并获取包括所有低清晰度的全景图片数据的次级数据集；

创建一个映射表，用于存储次级数据集中每个图像帧与初始数据集中对应图像帧的映射关系；

为每个次级图像帧分配一个唯一的标识符来完成，该标识符指向初始数据集中相应的图像帧。

4.根据权利要求3所述的全景监控图像处理方法，其特征在于，还包括步骤：

验证映射关系，其包括：

检查并验证所建立的映射关系的准确性，即每个次级数据集中的图像帧是否正确地映射到初始数据集中对应的图像帧；

若存在错误或遗漏，则进行调整并重新验证；以及

存储和管理，将压缩后的次级数据集和映射关系存储在数据库或专门的数据管理工具。

5.根据权利要求1所述的全景监控图像处理方法，其特征在于，在基于所述次级数据集，获取所需处理的全景监控图像，并以所述全景监控图像的中心点为圆心将所述全景图像分割为多个扇形区域的步骤中，包括：

从次级数据集中选择需要处理的特定全景监控图像，并确定所选全景监控图像的中心点；

以中心点为圆心，将全景图像分割成多个扇形区域。

6.根据权利要求5所述的全景监控图像处理方法，其特征在于，在所述以中心点为圆心，将全景图像分割成多个扇形区域的步骤中，所述扇形区域的分隔路径上像素内容是位于一个预设的阈值以下；以及

所述扇形区域角度大于30度。

7.根据权利要求1所述的全景监控图像处理方法，其特征在于，在所述识别所述扇形区域内的目标特征，并确定多个目标特征点和所述目标特征点的位置数据步骤中，还包括：

使用特征检测算法识别扇形区域内的目标特征，并确定多个目标特征点；

并基于所述中心点建立一轴坐标，以及确定多个目标特征点的位置数据，其中所述位置数据包括所述目标特征点的轴坐标值。

8.根据权利要求1所述的全景监控图像处理方法，其特征在于，在所述基于所述修正系数，映射至所述初始数据集中的对应的全景图像，并获取全景图像的多个矩形的图片集中，还包括：

基于所述映射关系，对所述初始数据集中的全景图像数据进行分割处理，以获取多个扇形区域的全景图像碎片；以及

基于所述修正系数，对相应的扇形区域的全景图像碎片进行修正处理，并获取所述全景图像的多个矩形图片。

9.根据权利要求1所述的全景监控图像处理方法，其特征在于，在所述将所述图片集进行拼接，以获取一个矩形的全景图像的步骤中，包括：

确定所述矩形图片的边沿，并对相邻边沿的矩形图片进行融合处理，以获取一个完整的矩形的全景图片；以及

对完整的矩形的全景图片进行去噪和色彩校正的图像处理。

10.一种全景监控图像处理系统，其特征在于，包括：

图像获取模块，其用于获取初始的全景监控视频，并基于所述全景监控视频建立所述全景监控图像的初始数据集；

图像处理模块，其用于压缩所述初始数据集并获取压缩后的次级数据集，建立所述次级数据集和所述初始数据集之间的映射关系；

图像分割模块，其用于基于所述次级数据集，获取所需处理的全景监控图像，并以所述全景监控图像的中心点为圆心将所述全景图像分割为多个扇形区域；

图像定位模块，其用于确定单个所述扇形区域的中心线，以及校正原点；

图像识别模块，其用于识别所述扇形区域内的目标特征，并确定多个目标特征点和所述目标特征点的位置数据；

修正系数获取模块，其用于基于所述校正原点和所述位置数据，依据数据修正模型获取不同位置数据的修正系数；

修正调整模块，其用于基于所述修正系数，映射至所述初始数据集中的对应的全景图像，并获取全景图像的多个矩形的图片集；

图像拼接模块，其用于将所述图片集进行拼接，以获取一个矩形的全景图像。