CN117274112B - 一种智能化全景监视方法及系统 - Google Patents

一种智能化全景监视方法及系统 Download PDF

Info

Publication number
CN117274112B
CN117274112B CN202311542538.0A CN202311542538A CN117274112B CN 117274112 B CN117274112 B CN 117274112B CN 202311542538 A CN202311542538 A CN 202311542538A CN 117274112 B CN117274112 B CN 117274112B
Authority
CN
China
Prior art keywords
pixel point
region
pixel
image
smooth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311542538.0A
Other languages
English (en)
Other versions
CN117274112A (zh
Inventor
王春平
顾奕洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhangjiagang Leda Automobile Electrical Appliance Co ltd
Original Assignee
Zhangjiagang Leda Automobile Electrical Appliance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhangjiagang Leda Automobile Electrical Appliance Co ltd filed Critical Zhangjiagang Leda Automobile Electrical Appliance Co ltd
Priority to CN202311542538.0A priority Critical patent/CN117274112B/zh
Publication of CN117274112A publication Critical patent/CN117274112A/zh
Application granted granted Critical
Publication of CN117274112B publication Critical patent/CN117274112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种智能化全景监视方法及系统，包括：采集全景视频的所有关键帧图像获取若干个区域；根据每个区域的边缘获取每个区域的复杂程度；根据复杂程度获取关键帧图像的所有平滑区域；根据每个平滑区域在图像金字塔下的比例关系获得比例系数；根据每个像素点梯度信息获得每个像素点的匹配程度；根据每个像素点的匹配程度获得每个像素点的匹配集合；根据匹配集合和孤立森林算法获得关键帧图像中每个像素点的第二异常得分，提取噪声像素点后去噪获得去噪全景视频。本发明旨在解决孤立森林算法在计算视频中特征点的异常得分时存在误判的问题，以达到提高准确去噪保留特征点的目的。

Description

一种智能化全景监视方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种智能化全景监视方法及系统。
背景技术
公交车由于体型庞大使得司机在驾驶公交车时存在较大的视角盲区，视角盲区容易导致交通事故的产生，因此为了避免盲区造成的事故和人员伤亡，通常会在公交车周围添加摄像头，用于司机观察公交车所处的环境状态以达到辅助司机驾驶的目的。辅助驾驶所安装的摄像头通常为全景摄像头，通过对采集的全景视频去噪后可以获取更加清晰的图像信息，避免噪声干扰造成司机误判。
将全景视频中每个像素点的梯度信息输入孤立森林算法，获得每个像素点的异常得分进而筛除离群点，达到对全景视频去噪的目的，但全景视频中的一些如道路边缘、车道边缘以及内容角点的特征像素点，特征像素点相较于其他像素点的梯度信息更加凸显、特征强度较高，在使用孤立森林算法获取特征像素点的梯度信息的异常得分时，使得特征像素点的异常得分偏高，造成关键的特征像素点被孤立森林算法误判为噪声而平滑抹去，影响全景视频的内容完整性。
发明内容
本发明提供一种智能化全景监视方法及系统，以解决现有的关键的特征像素点被孤立森林算法误判为噪声而平滑抹去，影响全景视频的内容完整性。
本发明的一种智能化全景监视方法及系统采用如下技术方案：
第一方面，本发明实施例提供了一种智能化全景监视方法，该方法包括以下步骤：
采集全景视频，获取所有关键帧图像；
对关键帧图像进行等区域切分获得若干个区域，分析每个区域中的边缘曲线获得每个区域的复杂程度；根据每个区域的复杂程度进行区域融合获得若干个平滑区域；根据每个平滑区域在图像金字塔下的比例关系获得每个平滑区域中每个像素点的比例系数；根据每个平滑区域在图像金字塔下的像素点梯度结合比例系数获得每个像素点的匹配程度；根据每个平滑区域在图像金字塔下每一层级的复杂程度获得每个平滑区域在每一层级的匹配阈值；使用匹配阈值对每个像素点的匹配程度进行阈值判断获得每个平滑区域中每个像素点的匹配集合；将每个平滑区域作为一个样本空间获取每个像素点的第一异常得分；根据每个平滑区域中每个像素点的匹配集合对每个像素点的第一异常得分修正获得所述每个像素点的第二异常得分；
根据每个像素点的第二异常得分获取关键帧图像中所有噪声像素点，对所有噪声像素点去噪后获得去噪全景视频。
进一步的，所述获得每个区域的复杂程度包括：
第个区域的复杂程度的计算方式为：
式中，表示第个区域中边缘像素点的数量，为第个区域中边缘曲线的总数， 为第个区域中第条边缘曲线的斜率方差；为线性归一化函数。
进一步的，所述边缘曲线的斜率方差的获取方法包括：
计算第条边缘曲线的每个边缘像素点与下一个边缘像素点的斜率，计算第条边 缘曲线的所有边缘像素点的斜率的方差，记为第条边缘曲线的斜率方差。
进一步的，所述根据每个区域的复杂程度进行区域融合获得若干个平滑区域包括：
预设融合阈值，将任意一个复杂程度大于融合阈值的区域记为第一复杂区域；如 果与第一复杂区域相邻的区域中，存在复杂程度大于融合阈值的区域，则将其记为第二复 杂区域；如果与第二复杂区域相邻的区域中，存在复杂程度大于融合阈值的区域，则将其记 为第三复杂区域；以此类推，直至与复杂区域相邻的区域中不存在复杂程度大于融合阈值 的区域，此时将遍历到的所有复杂程度大于融合阈值的区域合并成一个复杂连通域；
将关键帧图像中除复杂连通域外的所有区域记为空旷区域，相邻的所有空旷区域合并成一个连通域记为一个空旷连通域，获取关键帧图像中所有空旷连通域，将每个空旷连通域和每个复杂连通域分别记为一个平滑区域。
进一步的，所述获得每个平滑区域中每个像素点的比例系数包括：
第个平滑区域中在第层级图像的第个像素点与第层级图像的第个像素点 的比例系数的计算方式为：
式中，为第个平滑区域的第层级图像的第个像素点在第方向到第个平滑 区域边缘的距离，为第个平滑区域的第层级图像的第个像素点在第方向到第 个平滑区域边缘的距离，为第个平滑区域的第层级图像的第个像素点在第方 向到第个平滑区域边缘的距离，为第个平滑区域的第层级图像的第个像素点 在第方向到第个平滑区域边缘的距离；
第方向和第方向的获取方式为：选择第个像素点和第个像素点向上的Y轴方 向记为第一方向，向右的X轴方向记为第二方向，向下的Y轴方向记为第三方向，向左的X轴 方向记为第四方向；当时，第方向为第二方向；当时，第方向为第三方向；当时，第方向为第四方向；当时，第方向为第一方向。
进一步的，所述获得每个像素点的匹配程度包括：
第个平滑区域中第层级图像的第个像素点与第层级图像的第个像素点的 匹配程度的计算方式为：
式中，表示第个平滑区域的第层级图像的第个像素点与第层级图像的 第个像素点的比例系数，为第个平滑区域的第层级图像的第个像素点的梯度方向下 的单位向量，为第个平滑区域的第层级图像的第个像素点的梯度方向下的单位向 量，为第个平滑区域的第层级图像的第个像素点的梯度幅值，为第个平滑区域的 第层级图像的第个像素点的梯度幅值，为余弦相似度函数，为线性归一化 函数。
进一步的，所述获得每个平滑区域在每一层级的匹配阈值包括：
预设初始匹配阈值，第个平滑区域的第层级图像与匹配第层级图像的匹配 阈值的计算方式为：
式中，为初始匹配阈值，为第层级图像的第个平滑区域的复杂程度，为 以自然常数为底的指数函数。
进一步的，所述获得每个平滑区域中每个像素点的匹配集合包括：
当第个平滑区域中第层级图像的第个像素点与第层级图像的第个像素点 的匹配程度满足时，将第层级图像的第个像素点记为第层级图像的第 个像素点的匹配像素点；计算第层级图像的所有像素点与第层级图像的第个像素点 的匹配程度，通过匹配阈值获取第层级图像的第个像素点的所有匹配像素点，所有匹配像 素点构成第层级图像的第个像素点在第层级的第一像素点匹配集合；
将第层级图像的第个像素点在第层级的第一像素点匹配集合中任意一个像 素点记为第层级的第个像素点，获取第层级的第个像素点在第层级的第一像 素点匹配集合；将第层级图像的第个像素点在第层级的第一像素点匹配集合中任意 一个像素点记为第层级的第个像素点，获取第层级的第个像素点在第层级的 第一像素点匹配集合；以此类推，获取到每一层级图像的每个像素点在下一层级图像的第 一像素点匹配集合；对于关键帧图像的第个平滑区域中任意一个像素点，选择所述像素点 在所有图像金字塔层级的第一像素点匹配集合中匹配程度最大的像素点，所有层级像素点 匹配集合中匹配程度最大的像素点构成第个平滑区域中所述像素点的匹配集合。
进一步的，所述根据每个平滑区域中每个像素点的匹配集合对每个像素点的第一异常得分修正获得所述每个像素点的第二异常得分包括：
关键帧图像中第个区域中所有像素点的梯度幅值构成一个样本空间，对所述样本 空间构建孤立森林决策树模型，将样本空间中每个像素点的梯度幅值作为孤立树划分的特 征，获取关键帧图像中第个区域的原始图像中第个像素点的第一异常得分，根据第个 像素点的匹配集合获取关键帧图像中第个区域的原始图像中第个像素点的第二异常得分的计算方式为：
其中，表示关键帧图像中第个区域的原始图像中第个像素点的匹配集合中的 匹配像素点的层级最大值，为在关键帧图像中第个区域的原始图像中第个像素点的匹 配集合中，每个像素点与在集合中相邻像素点的异常分数差值的方差，为以自然常数 为底的指数函数，为线性归一化函数。
进一步的，一种智能化全景监视系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如任意一项一种智能化全景监视方法的步骤。
本发明的技术方案的有益效果是：本发明通过采集公交车全景视频的所有关键帧图像，通过对关键帧图像等区域分割获得若干个区域，通过每个区域内的边缘曲线计算每个区域的复杂程度，根据复杂程度区域融合获得若干个平滑区域，使得每个区域内复杂程度近似，避免不同信息含量的区域构建的样本空间的决策树存在较大差异，使得特征点被误判为噪声点；对每个区域使用图像金字塔下采样算法获取若干个层级，根据相邻的层级图像中每个像素点在不同层级中相较于所处层级的比例位置关系，获取当前层级的每个像素点在下一层级的第一匹配集合，进而获取关键帧图像中每个像素点的匹配集合，使得通过特征点在下采样过程中任然保留而噪声点会被抹去的特征，提取出特征点；根据每个平滑区域构建孤立森林的样本空间，获取每个像素点的第一异常得分，根据每个像素点的匹配集合获取每个像素点的第二异常得分，达到降低特征点的异常得分，避免特征点被误判为噪声像素点的问题，达到全景视频精准去噪的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种智能化全景监视方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种智能化全景监视方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种智能化全景监视方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种智能化全景监视方法的步骤流程图，该方法包括以下步骤：
步骤S001、通过公交车的全景摄像头采集每一帧的全景图像构成全景视频，提取全景视频的关键帧并预处理获得关键帧图像。
需要说明的是，本实施例的目的是通过孤立森林算法获取公交车的全景视频中关键帧图像中每个像素点的异常得分，从而筛选属于噪声的像素点，进而对噪声像素点平滑去噪获得准确的全景视频，因此首先需要获取公交车全景视频的关键帧图像；本实施例通过布置在公交车视线盲区的若干个全景摄像头采集全景视频，全景摄像头的采集帧率为30FPS，即每一秒的全景视频包含30张全景图像，通过H.264编码技术对全景视频的每一帧视频进行帧间预测和帧内压缩分析，获得全景视频的所有视频关键帧，视频关键帧为全景视频在相邻帧内的内容变化较大的一帧视频，但内容变化较大的同时存在噪声的可能性也较高；对所有视频关键帧使用均值灰度化获得所有关键帧图像。均值灰度化和H.264编码技术为现有公知技术，本发明不做过多阐述。
至此，获取到了全景视频的所有关键帧图像。
步骤S002、对关键帧图像切分获得若干个区域，根据关键帧图像的每个区域内边缘曲线的波动获取每个区域的复杂程度，根据每个区域的复杂程度融合区域获取若干个平滑区域。
需要说明的是，孤立森林算法在计算每个像素点的异常得分时需要划分样本空间，受限于公交车周围环境的复杂性，使得关键帧图像内每个像素点所在区域的信息含量不同，若将不同信息含量的像素点放在同一个样本空间进行计算势必会影响到异常得分的准确性，因此本实施例通过将关键帧图像划分为若干个正方形区域，并根据每个区域内属于信息含量低的空旷区域或信息含量高的复杂区域分别融合，获取若干个平滑区域，使得每个平滑区域内部的信息含量近似相同。
具体的，获取到了关键帧图像后，预设关键帧图像的切分边长，本实施例采用进行叙述，使用切分边长对关键帧图像切割，则切分后每个区域含有个像素点。需 要说明的是，当切分后关键帧图像的剩余像素点个数不足个时，有多少个像素点就切分 多少个像素点作为一个区域。
进一步需要说明的是，关键帧图像的每个区域内的信息含量表现方式为像素点灰度值的变化情况，通过Canny边缘检测算法提取关键帧图像中的边缘，那么经过Canny边缘检测后灰度值变化较大的像素点会产生边缘，且边缘越曲折、边缘的数量越多，那么说明在这个区域内的信息含量越高，这个区域越可能是复杂区域，因此本实施例通过分析每个区域内的每一条边缘所构成曲线的曲折程度，获取每个区域的复杂程度；需要说明的是，其中Canny边缘检测算法为现有公知技术，本发明不做过多叙述。
具体的，本实施例以关键帧图像的第个区域为例，第个区域的复杂程度的计算 方式为：
式中，表示第个区域的复杂程度，表示第个区域中边缘像素点的数量，为第 个区域中边缘曲线的总数，为第个区域中第条边缘曲线的斜率方差，所述边缘曲线的斜 率方差的获取方式为：以第个区域中第条边缘曲线为例，计算第条边缘曲线的每个边缘 像素点与下一个边缘像素点的斜率，计算第条边缘曲线的所有边缘像素点的斜率的方差， 记为第条边缘曲线的斜率方差；为线性归一化函数，归一化范围为。当区域中边 缘的像素点个数取值越大时，说明在这个区域内像素点的灰度值变化较大，这个区域越 可能是复杂的区域，即区域的复杂程度取值越大；区域内的边缘曲线的斜率方差取值越 大时，说明区域的信息含量越高使得边缘越曲折，这个区域越可能是复杂的区域，即区域的 复杂程度取值越大。
同理，获取到了所有区域的复杂程度。
进一步需要说明的是，每个区域内包含的像素点数量较少，在使用无监督的孤立森林算法构建样本空间获取噪声像素点时容易产生局部最优解，使得正常像素点被误判为噪声像素点，因此本实施例通过复杂程度将相似的区域融合为一个区域，增加样本空间的像素点含量以及提高样本空间内像素点的准确性。
具体的，预设融合阈值，本实施采用融合阈值进行叙述，将任意一个复杂程 度大于融合阈值的区域记为第一复杂区域；如果与第一复杂区域相邻的区域中，存在复杂 程度大于融合阈值的区域，则将其记为第二复杂区域；如果与第二复杂区域相邻的区域中， 存在复杂程度大于融合阈值的区域，则将其记为第三复杂区域；以此类推，直至与复杂区域 相邻的区域中不存在复杂程度大于融合阈值的区域，此时将遍历到的所有复杂程度大于融 合阈值的区域合并成一个复杂连通域，也即将相邻且复杂程度大于融合阈值的所有区域记 为一个复杂连通域，需要说明的是，本实施例中区域相邻是指上下左右相邻。同理，获取关 键帧图像中所有复杂连通域。
进一步的，将关键帧图像中除复杂连通域外的所有区域记为空旷区域，相邻的所有空旷区域合并成一个连通域记为一个空旷连通域，所述相邻空旷区域的合并的方法与相邻复杂区域的合并方法相同，获取关键帧图像中所有空旷连通域，将每个空旷连通域和每个复杂连通域分别记为一个平滑区域。需要说明的是，空旷连通域和复杂连通域可能互相分割，使得一个关键帧图像中存在多个空旷连通域和复杂连通域，即存在多个平滑区域；每个平滑区域内的复杂程度近似，此时将每个平滑区域内包含的所有区域的复杂程度均值记为每个平滑区域的复杂程度。
至此，获取到了关键帧图像中所有平滑区域。
步骤S003、根据平滑区域的每个像素点在不同尺度下的匹配关系，获得平滑区域的每个像素点的匹配集合。
需要说明的是，每个平滑区域内像素点的信息含量较为近似，因此选取同一平滑区域内的像素点构建孤立森林算法的样本空间时避免了信息含量不同产生的局部最优解问题，但由于全景视频的特征点是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，使得其与噪声在同一个样本空间内都容易被孤立树尽早的决策，即特征点的异常得分较高被误判为噪声而平滑造成视频的信息丢失，因此本实施例根据每个特征点在不同尺度下存在尺度不变换的匹配关系，获取每个特征点的匹配集合，用于对属于特征点的像素点的异常得分修正，进而用于提取噪声数据点。进一步需要说明的是，特征点是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，那么在使用基于图像金字塔对关键帧图像下采样后，特征点由于和图像内其他内容存在关联关系，因此关键帧图像的特征点在图像金字塔的下采样后每一层级图像中都存在对应的像素点；而噪声点是离散的像素点或与图像内容无关的离群点，因此在图像金字塔的下采样后每一层级图像中不一定存在匹配的像素点；因此本实施例根据上述逻辑，对关键帧图像使用图像金字塔的下采样获取若干层级图像，并利用关键帧图像中的相邻层级的像素点之间的梯度和比例关系，获得关键帧图像中的每个像素点的匹配集合。
具体的，本实施例以第个平滑区域为例进行叙述，设置下采样参数，本实施例取进行叙述，对第个平滑区域使用图像金字塔的下采样获取层级图像，其中第1层级图像 为关键帧图像的第个平滑区域，随着层级的增加平滑区域包含的像素点越少，那么噪声会 随着层级的增加极其容易被平滑抹去，而特征点不会被平滑抹去或需要经过多次下采样才 会被平滑抹去，并且下采样后的区域相较于原始区域仅存在大小的变化，那么在当前层级 中的一个内容特征点，在下一个层级中的相同内容处会同样出现特征点，即每一对匹配的 像素点在不同层级中相较于所处平滑区域的比例位置不会改变，因此本实施例根据像素点 在当前层级图像的比例坐标与下一层级图像的比例坐标，获取相邻图像金字塔层级的像素 点匹配程度。
则第个平滑区域中在第层级图像的第个像素点与第层级图像的第个像素 点的比例系数的计算方式为：
式中，表示第个平滑区域的第层级图像的第个像素点与第层级图像的 第个像素点的比例系数，为第个平滑区域的第层级图像的第个像素点在第方向到 第个平滑区域边缘的距离，为第个平滑区域的第层级图像的第个像素点在第 方向到第个平滑区域边缘的距离，为第个平滑区域的第层级图像的第个像素点在 第方向到第个平滑区域边缘的距离，为第个平滑区域的第层级图像的第 个像素点在第方向到第个平滑区域边缘的距离，所述第方向和第方向的获取方式 为：选择第个像素点和第个像素点向上的Y轴方向记为第一方向，向右的X轴方向记为第二 方向，向下的Y轴方向记为第三方向，向左的X轴方向记为第四方向；因此，当时，第方 向为第二方向；当时，第方向为第三方向；当时，第方向为第四方向；当时， 第方向为第一方向。
图像金字塔在对关键帧图像下采样时仅会消除无关的像素点以达到尺度不变换 特性，则第层级图像相较于第层级图像仅是区域包含的像素点减小而区域形状不变， 因此匹配的像素点在第个平滑区域的不同层级中到边缘的比例取值相同，即如果第层 级图像的第个像素点与第层级图像的第个像素点是匹配的，那么其在第层级图像和 第层级图像的位置相较于所处图像层级的比例相同，此时比例系数取值越趋近于 1。
进一步的，由于第个平滑区域中第层级图像的第个像素点与第层级图像的 第个像素点的匹配可能受到第个平滑区域的特殊形状影响，使得存在极端值，因此本实施 例在比例关系的基础上结合两层级图像像素点的灰度取值和变化方向关系，获得第个平滑 区域中第层级图像的第个像素点与第层级图像的第个像素点的匹配程度 的计算方式为：
式中，表示第个平滑区域中第层级图像的第个像素点与第层级图 像的第个像素点的匹配程度，表示第个平滑区域的第层级图像的第个像素点与 第层级图像的第个像素点的比例系数，为第个平滑区域的第层级图像的第个像素点 的梯度方向下的单位向量，为第个平滑区域的第层级图像的第个像素点的梯度方 向下的单位向量，为第个平滑区域的第层级图像的第个像素点的梯度幅值，为第 个平滑区域的第层级图像的第个像素点的梯度幅值，为余弦相似度函数，取值范 围为，为线性归一化函数，归一化范围为。当取值越趋近于1，说明第个 像素点和第个像素点在不同层级的图像中处于第个平滑区域的比例位置相同，例如第个 像素点和第个像素点在不同层级的图像中都是公交车全景图像中的一个行道线角点，那 么第个像素点和第个像素点在不同层级的图像中的比例位置相同，则第个像素点和第 个像素点越可能是匹配的，即匹配程度取值越大；表示第个平滑区域中第层级图像 的第个像素点与第层级图像的第个像素点的梯度幅值之比，取值越趋近于1说明第个像 素点和第个像素点的灰度值变化越近似，则越可能是匹配的，即匹配程度取值越大；表示第个平滑区域中第层级图像的第个像素点与第层级图像的第个像 素点的梯度方向相似性，取值越大说明第个像素点和第个像素点的标梯度幅值变化方向 越近似，则越可能是匹配的，即匹配程度取值越大。
进一步需要说明的是，关键帧图像随着图像金字塔的下采样使得其内部的噪声含量会减少，即随着层级的增加图像区域的复杂程度逐渐减小，而为了避免在低层级的像素点在匹配时受到强噪声点的影响使得正常特征点无法匹配，以及在高层级的像素点在匹配时匹配过多的像素点，因此本实施例需要在低层级设置比较小的匹配阈值以保证在低层级能匹配更多的像素点，在高层级设置比较大的匹配阈值以保证在高层级能更准确的匹配特征点。因此本实施例根据不同层级的金字塔图像的复杂程度变化，自适应调整匹配阈值。
具体的，本实施例预设初始匹配阈值，本实施例选择初始匹配阈值进行叙述， 由于每个平滑区域的复杂程度为平滑区域包含的所有区域的复杂程度均值，因此每个平滑 区域在图像金字塔下的每一层级图像的复杂程度，根据第个平滑区域的每一层级图像的复 杂程度获得第个平滑区域的第层级图像与匹配第层级图像的匹配阈值的计算方式 为：
式中，为第个平滑区域的第层级图像与匹配第层级图像的匹配阈值，为初 始匹配阈值，为第层级图像的第个平滑区域的复杂程度，为以自然常数为底的指 数函数。当第个平滑区域的第层级图像的复杂程度取值越大时，说明第个平滑区域的 第层级图像内信息含量高可能存在较多的噪声点，因此需要减小匹配阈值，使得第层级图 像能匹配更多的像素点；当随着图像金字塔层级升高时，图像内含有的噪声点被平滑因此 复杂程度减小，此时需要设置较大的匹配阈值，将具有强特征的特征点作为匹配点。
进一步的，当第个平滑区域中第层级图像的第个像素点与第层级图像的第 个像素点的匹配程度满足时，说明第层级图像的第个像素点与第层级图 像的第个像素点在比例位置和梯度相似，将第层级图像的第个像素点记为第层级图 像的第个像素点的匹配像素点；当第个平滑区域中第层级图像的第个像素点与第层 级图像的第个像素点的匹配程度满足时，说明第层级图像的第个像素点 与第层级图像的第个像素点在比例位置或梯度不相似，则不对第层级图像的第个像 素点处理。计算第层级图像的所有像素点与第层级图像的第个像素点的匹配程度，通 过匹配阈值获取第层级图像的第个像素点的所有匹配像素点，所有匹配像素点构成第层 级图像的第个像素点在第层级的第一像素点匹配集合。
进一步的，将第层级图像的第个像素点在第层级的第一像素点匹配集合中 任意一个像素点记为第层级的第个像素点，获取第层级的第个像素点在第层 级的第一像素点匹配集合；将第层级图像的第个像素点在第层级的第一像素点匹配 集合中任意一个像素点记为第层级的第个像素点，获取第层级的第个像素点在第层级的第一像素点匹配集合；以此类推，获取到每一层级图像的每个像素点在下一层级 图像的第一像素点匹配集合；对于关键帧图像的第个平滑区域中任意一个像素点，选择所 述像素点在所有图像金字塔层级的第一像素点匹配集合中匹配程度最大的像素点，所有层 级像素点匹配集合中匹配程度最大的像素点构成第个平滑区域中所述像素点的匹配集合。
至此，通过图像金字塔分析每个平滑区域的像素点层级，获得每个像素点的匹配集合。
S004、根据每个像素点的匹配集合以及第一异常得分，获取每个像素点的第二异常得分。
需要说明的是，噪声点在图像金字塔的下采样过程中会被抹去，因此每个平滑区域中的每个像素点的匹配集合包含的匹配像素点的层级越高，说明这个像素点越可能是特征点而非噪声点，那么在使用孤立森林算法获取关键帧中每个平滑区域的每个像素点的异常得分时，对于匹配层级高的强特征点需要削弱其异常得分，从而避免强特征的像素点被误判为噪声点。
具体的，关键帧图像中第个区域中所有像素点的梯度幅值构成一个样本空间，对 所述样本空间构建孤立森林决策树模型，将样本空间中每个像素点的梯度幅值作为孤立树 划分的特征，获取关键帧图像中第个区域的原始图像中第个像素点的第一异常得分， 根据第个像素点的匹配集合获取关键帧图像中第个区域的原始图像中第个像素点的第 二异常得分的计算方式为：
其中，为关键帧图像中第个区域的原始图像中第个像素点的第二异常得分，表示关键帧图像中第个区域的原始图像中第个像素点的匹配集合中的匹配像素点的层 级最大值，为在关键帧图像中第个区域的原始图像中第个像素点的匹配集合中，每个像 素点与在集合中相邻像素点的异常分数差值的方差，为以自然常数为底的指数函数，为线性归一化函数，归一化范围为。取值越大说明关键帧图像中第个区域的原 始图像中第个像素点可以匹配的层级越高，说明该像素点并没有随着下采样消失，即属于 噪声的可能性较小，需要降低异常得分；随着图像金字塔的下采样每个像素点的异常得分 会呈现下降的趋势，因此通过所有相邻层级异常得分差值的方差反映异常得分的变化趋 势，当方差取值较小时，说明异常得分的变化方向越相同，则第个像素点越可能是特征点， 因此需要将异常得分减小。需要说明的是，每个像素点的匹配集合中包含多层级的匹配程 度最大的像素点，那么每一层级在匹配集合中仅存在一个像素点，即层级和像素点的序号 是一一对应的，那么匹配集合中相邻的像素点也是层级相邻的。同理，通过关键帧图像中每 个像素点的匹配集合获取关键帧图像的每个像素点的第二异常得分。
至此，获取到了关键帧图像中每个像素点的第二异常得分。
S005、根据每个像素点的第二异常得分对关键帧图像去噪，并将去噪后的关键帧图像投射到显示屏用于公交司机观察周围环境。
需要说明的是，预设噪声阈值，本实施例选取进行叙述，当关键帧图像中第 个区域的第个像素点的第二异常得分满足时，说明第个区域的第个像素点在孤立 树中会尽早的被决策出来，将第个区域的第个像素点记为噪声像素点；当关键帧图像中第个区域的第个像素点的第二异常得分满足时，说明第个区域的第个像素点在孤立 树中所处分支的平均高度较高，即无法被尽早的决策出来，说明第个区域的第个像素点属 于特征点或属于正常的像素点；获取当前关键帧图像中所有第二异常得分大于噪声阈值的 像素点记为噪声像素点，获取所有噪声像素点在当前关键帧图像中的像素点位置，在当前 关键帧图像到下一个关键帧图像中的所有帧图像中，获取与当前关键帧图像中的噪声像素 点位置相同的像素点记为噪声像素点，将当前关键帧图像与其后到下一个关键帧图像之间 的所有帧图像的所有噪声像素点使用均值去噪算法去噪，获得去噪图像，所有去噪图像组 成去噪后的全景视频，传输并显示到公交车内的显示屏中，用于公交司机的全景监视。
本发明实施例提供的一种智能化全景监视系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现如上述步骤S001至S005。
需要说明的是，本实施例中所用的模型仅表示负相关关系和约束模型输出 的结果处于区间内，其中为本模型的输入，具体实施时可替换成具有同样目的的其他 模型，本实施例只是以模型为例进行叙述，不对做具体限定。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种智能化全景监视方法，其特征在于，该方法包括以下步骤：
采集全景视频，获取所有关键帧图像；
对关键帧图像进行等区域切分获得若干个区域，分析每个区域中的边缘曲线获得每个区域的复杂程度；根据每个区域的复杂程度进行区域融合获得若干个平滑区域；根据每个平滑区域在图像金字塔下的比例关系获得每个平滑区域中每个像素点的比例系数；根据每个平滑区域在图像金字塔下的像素点梯度结合比例系数获得每个像素点的匹配程度；根据每个平滑区域在图像金字塔下每一层级的复杂程度获得每个平滑区域在每一层级的匹配阈值；使用匹配阈值对每个像素点的匹配程度进行阈值判断获得每个平滑区域中每个像素点的匹配集合；将每个平滑区域作为一个样本空间获取每个像素点的第一异常得分；根据每个平滑区域中每个像素点的匹配集合对每个像素点的第一异常得分修正获得所述每个像素点的第二异常得分；
根据每个像素点的第二异常得分获取关键帧图像中所有噪声像素点，对所有噪声像素点去噪后获得去噪全景视频；
所述获得每个区域的复杂程度包括：
第i个区域的复杂程度Di的计算方式为：
式中，mi表示第i个区域中边缘像素点的数量，Zi为第i个区域中边缘曲线的总数，σz,i为第i个区域中第z条边缘曲线的斜率方差；norm{}为线性归一化函数；
所述获得每个像素点的匹配程度包括：
第j个平滑区域中第k+1层级图像的第b个像素点与第k层级图像的第a个像素点的匹配程度Pj(ka,k+1b)的计算方式为：
式中，表示第j个平滑区域的第k+1层级图像的第b个像素点与第k层级图像的第a个像素点的比例系数，/>为第j个平滑区域的第k层级图像的第a个像素点的梯度方向下的单位向量，/>为第j个平滑区域的第k+1层级图像的第a个像素点的梯度方向下的单位向量，/>为第j个平滑区域的第k层级图像的第a个像素点的梯度幅值，/>为第j个平滑区域的第k+1层级图像的第a个像素点的梯度幅值，cos( )为余弦相似度函数，norm{ }为线性归一化函数。
2.根据权利要求1所述一种智能化全景监视方法，其特征在于，所述边缘曲线的斜率方差的获取方法包括：
计算第z条边缘曲线的每个边缘像素点与下一个边缘像素点的斜率，计算第z条边缘曲线的所有边缘像素点的斜率的方差，记为第z条边缘曲线的斜率方差。
3.根据权利要求1所述一种智能化全景监视方法，其特征在于，所述根据每个区域的复杂程度进行区域融合获得若干个平滑区域包括：
预设融合阈值R，将任意一个复杂程度大于融合阈值的区域记为第一复杂区域；如果与第一复杂区域相邻的区域中，存在复杂程度大于融合阈值的区域，则将其记为第二复杂区域；如果与第二复杂区域相邻的区域中，存在复杂程度大于融合阈值的区域，则将其记为第三复杂区域；以此类推，直至与复杂区域相邻的区域中不存在复杂程度大于融合阈值的区域，此时将遍历到的所有复杂程度大于融合阈值的区域合并成一个复杂连通域；
将关键帧图像中除复杂连通域外的所有区域记为空旷区域，相邻的所有空旷区域合并成一个连通域记为一个空旷连通域，获取关键帧图像中所有空旷连通域，将每个空旷连通域和每个复杂连通域分别记为一个平滑区域。
4.根据权利要求1所述一种智能化全景监视方法，其特征在于，所述获得每个平滑区域中每个像素点的比例系数包括：
第j个平滑区域中在第k+1层级图像的第b个像素点与第k层级图像的第a个像素点的比例系数的计算方式为：
式中，d(a)j,k,l为第j个平滑区域的第k层级图像的第a个像素点在第l方向到第j个平滑区域边缘的距离，d(b)j,k+1,l为第j个平滑区域的第k+1层级图像的第b个像素点在第l方向到第j个平滑区域边缘的距离，d(a)j,k,l+1为第j个平滑区域的第k层级图像的第a个像素点在第l+1方向到第j个平滑区域边缘的距离，d(b)j,k+1,l+1为第j个平滑区域的第k+1层级图像的第b个像素点在第l+1方向到第j个平滑区域边缘的距离；
第l方向和第l+1方向的获取方式为：选择第a个像素点和第b个像素点向上的Y轴方向记为第一方向，向右的X轴方向记为第二方向，向下的Y轴方向记为第三方向，向左的X轴方向记为第四方向；当l＝1时，第l+1方向为第二方向；当l＝2时，第l+1方向为第三方向；当l＝3时，第l+1方向为第四方向；当l＝4时，第l+1方向为第一方向。
5.根据权利要求1所述一种智能化全景监视方法，其特征在于，所述获得每个平滑区域在每一层级的匹配阈值包括：
预设初始匹配阈值T，第j个平滑区域的第k层级图像与匹配第k+1层级图像的匹配阈值Tj,k的计算方式为：
Tj,k＝T*exp(-Dj,k)
式中，T为初始匹配阈值，Dj,k为第k层级图像的第j个平滑区域的复杂程度，exp()为以自然常数为底的指数函数。
6.根据权利要求1所述一种智能化全景监视方法，其特征在于，所述获得每个平滑区域中每个像素点的匹配集合包括：
当第j个平滑区域中第k+1层级图像的第b个像素点与第k层级图像的第a个像素点的匹配程度满足Pj(ka,k+1b)≥Tj,k时，将第k+1层级图像的第b个像素点记为第k层级图像的第a个像素点的匹配像素点；计算第k+1层级图像的所有像素点与第k层级图像的第a个像素点的匹配程度，通过匹配阈值获取第k层级图像的第a个像素点的所有匹配像素点，所有匹配像素点构成第k层级图像的第a个像素点在第k+1层级的第一像素点匹配集合；
将第k层级图像的第a个像素点在第k+1层级的第一像素点匹配集合中任意一个像素点记为第k+1层级的第a个像素点，获取第k+1层级的第a个像素点在第k+2层级的第一像素点匹配集合；将第k层级图像的第a个像素点在第k+2层级的第一像素点匹配集合中任意一个像素点记为第k+3层级的第a个像素点，获取第k+2层级的第a个像素点在第k+3层级的第一像素点匹配集合；以此类推，获取到每一层级图像的每个像素点在下一层级图像的第一像素点匹配集合；对于关键帧图像的第j个平滑区域中任意一个像素点，选择所述像素点在所有图像金字塔层级的第一像素点匹配集合中匹配程度最大的像素点，所有层级像素点匹配集合中匹配程度最大的像素点构成第j个平滑区域中所述像素点的匹配集合。
7.根据权利要求1所述一种智能化全景监视方法，其特征在于，所述根据每个平滑区域中每个像素点的匹配集合对每个像素点的第一异常得分修正获得所述每个像素点的第二异常得分包括：
关键帧图像中第j个区域中所有像素点的梯度幅值构成一个样本空间，对所述样本空间构建孤立森林决策树模型，将样本空间中每个像素点的梯度幅值作为孤立树划分的特征，获取关键帧图像中第j个区域的原始图像中第q个像素点的第一异常得分Dej,q，根据第q个像素点的匹配集合获取关键帧图像中第j个区域的原始图像中第q个像素点的第二异常得分De'j,q的计算方式为：
De′j,q＝Dej,q*norm{exp(-Nj,q)*σj,q}
其中，Nj,q表示关键帧图像中第j个区域的原始图像中第q个像素点的匹配集合中的匹配像素点的层级最大值，σj,q为在关键帧图像中第j个区域的原始图像中第q个像素点的匹配集合中，每个像素点与在集合中相邻像素点的异常分数差值的方差，exp( )为以自然常数为底的指数函数，norm{}为线性归一化函数。
8.一种智能化全景监视系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～7任意一项所述一种智能化全景监视方法的步骤。
CN202311542538.0A 2023-11-20 2023-11-20 一种智能化全景监视方法及系统 Active CN117274112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311542538.0A CN117274112B (zh) 2023-11-20 2023-11-20 一种智能化全景监视方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311542538.0A CN117274112B (zh) 2023-11-20 2023-11-20 一种智能化全景监视方法及系统

Publications (2)

Publication Number Publication Date
CN117274112A CN117274112A (zh) 2023-12-22
CN117274112B true CN117274112B (zh) 2024-02-06

Family

ID=89206633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311542538.0A Active CN117274112B (zh) 2023-11-20 2023-11-20 一种智能化全景监视方法及系统

Country Status (1)

Country Link
CN (1) CN117274112B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN211981997U (zh) * 2020-05-13 2020-11-20 张家港乐达汽车电器有限公司 360°环视拍摄装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2506411B (en) * 2012-09-28 2020-03-11 2D3 Ltd Determination of position from images and associated camera positions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN211981997U (zh) * 2020-05-13 2020-11-20 张家港乐达汽车电器有限公司 360°环视拍摄装置

Also Published As

Publication number Publication date
CN117274112A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110738697B (zh) 基于深度学习的单目深度估计方法
CN108492271B (zh) 一种融合多尺度信息的自动图像增强系统及方法
CN111260055B (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN109670429B (zh) 一种基于实例分割的监控视频多目标人脸检测方法及系统
US9152926B2 (en) Systems, methods, and media for updating a classifier
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
US20220128358A1 (en) Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction
CN115345905A (zh) 目标对象跟踪方法、装置、终端及存储介质
CN115019181A (zh) 遥感图像旋转目标检测方法、电子设备及存储介质
CN114596440A (zh) 语义分割模型的生成方法、装置、电子设备及存储介质
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
CN117095180B (zh) 基于分期识别的胚胎发育阶段预测与质量评估方法
CN113393385A (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN109190505A (zh) 基于视觉理解的图像识别方法
CN117274112B (zh) 一种智能化全景监视方法及系统
CN112418149A (zh) 一种基于深卷积神经网络的异常行为检测方法
CN110827319B (zh) 一种基于局部敏感直方图改进的Staple目标跟踪方法
CN106909936B (zh) 一种基于双车辆可变形部件模型的车辆检测方法
CN115661803A (zh) 图像清晰度检测方法、电子设备以及计算机可读存储介质
CN110796680B (zh) 一种基于相似模板更新的目标跟踪方法和装置
CN114202794A (zh) 一种基于人脸ppg信号的疲劳检测方法和装置
CN108986135B (zh) 一种基于llc与频域残差显著度的目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant