CN117115717A - 互联网网络数据解析方法及系统 - Google Patents
互联网网络数据解析方法及系统 Download PDFInfo
- Publication number
- CN117115717A CN117115717A CN202311354108.6A CN202311354108A CN117115717A CN 117115717 A CN117115717 A CN 117115717A CN 202311354108 A CN202311354108 A CN 202311354108A CN 117115717 A CN117115717 A CN 117115717A
- Authority
- CN
- China
- Prior art keywords
- video data
- frame
- segmentation threshold
- segmentation
- original video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000007405 data analysis Methods 0.000 title abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 303
- 230000035945 sensitivity Effects 0.000 claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 16
- 230000000694 effects Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及互联网网络数据解析方法及系统，属于数据处理技术领域，该方法步骤包括：获取互联网网络数据中的待解析视频，并对待解析视频进行逐帧拆解得到多帧原始视频数据；获取每一帧原始视频数据对应的多个不同尺度视频数据；计算出每一帧原始视频数据中每个分割阈值的有效程度；计算出每一帧原始视频数据中每个分割阈值的敏感性；将每一帧原始视频数据中所有分割阈值的敏感性进行聚类得到多个聚簇，选取平均值最小的一个聚簇中的全部敏感性对应的分割阈值作为每一帧原始视频数据的有效分割阈值；本发明利用基于分割阈值敏感性获取的有效分割阈值对待解析视频进行分割，使得整体分割阈值精细化，避免了过分割现象的出现。
Description
技术领域
本发明属于数据处理技术领域，具体涉及互联网网络数据解析方法及系统。
背景技术
随着科技的发展，网络充斥着我们生活的角角落落，而网络对于生活的帮助中最为重要的一个环节为对网络数据的应用，但是网络数据往往是混合复杂的，所以在进行网络数据应用的时候需要对其进行解析，以便于更加直观的进行网络数据的应用。例如网络数据中的视频数据经常被应用到事件检测与分析之中，而对整体的视频数据进行应用时，因为其包含的信息量过大，从而使得事件检测过于困难，所以需要对网络视频数据进行解析。
利用图像分割技术对网络视频数据进行解析是一种常见的计算机视觉任务，图像分割技术可以用于从网络视频数据中提取出感兴趣的对象或区域，如人物、车辆、道路等；但是目前在利用图像分割技术对网络视频数据进行视频解析时，一般是对于网络视频数据中每一帧原始视频数据利用直方图进行峰谷分析进而获得多阈值，利用多阈值对每一帧原始视频数据进行分割解析，但是这种方式选择的阈值对于视频数据中的灰度值较为敏感，进而使得阈值的选择不够准确容易出现过分割现象，进而造成对视频数据的分割异常而无法有效起到解析视频数据的目的。
发明内容
本发明提供互联网网络数据解析方法及系统，用于解决利用现有技术中获取的多阈值对视频数据进行分割解析时容易出现过分割现象，进而造成在对视频数据进行分割时无法有效起到解析视频数据的目的。
本发明的互联网网络数据解析方法采用如下技术方案：
获取互联网网络数据中的待解析视频，并对待解析视频进行逐帧拆解得到多帧原始视频数据；
获取每一帧原始视频数据对应的多个不同尺度视频数据；
获取每一帧原始视频数据中多个分割阈值，同时获取每一帧原始视频数据对应的每个尺度视频数据中多个分割阈值；
将每个尺度视频数据中多个分割阈值与对应的原始视频数据中多个分割阈值根据阈值差值进行匹配，得到每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值；
利用每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值，计算出每一帧原始视频数据中每个分割阈值的有效程度；
根据每个分割阈值邻域像素点灰度值，计算出每个分割阈值邻域像素点的均匀程度；
利用每一帧原始视频数据中每个分割阈值的有效程度、每一帧原始视频数据中的每个分割阈值、每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值、每个分割阈值邻域像素点的均匀程度，计算出每一帧原始视频数据中每个分割阈值的敏感性；
将每一帧原始视频数据中所有分割阈值的敏感性进行聚类得到多个聚簇，选取平均值最小的一个聚簇中的全部敏感性对应的分割阈值作为每一帧原始视频数据的有效分割阈值；
利用每一帧原始视频数据的有效分割阈值对每一帧原始视频数据进行分割，得到待解析视频全部单帧原始视频数据的分割解析数据。
进一步地，将每个尺度视频数据中多个分割阈值与对应的原始视频数据中多个分割阈值根据阈值差值进行匹配，得到每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值的步骤包括：
选取出任一帧原始视频数据作为目标原始视频数据，同时将目标原始视频数据对应的任一个尺度视频数据作为目标尺度视频数据；
计算出目标原始视频数据中的第一个分割阈值与目标尺度视频数据中每个分割阈值的差值作为第一差值，将得到的全部第一差值绝对值的最小值在目标尺度视频数据中对应的分割阈值，作为目标原始视频数据中的第一个分割阈值在目标尺度视频数据中匹配的分割阈值；
按照目标原始视频数据中第一个分割阈值在目标尺度视频数据中匹配的分割阈值的获取方法，获取每一帧原始视频数据中每个分割阈值在每个尺度视频数据中匹配的分割阈值。
进一步地，每一帧原始视频数据中每个分割阈值的有效程度的计算公式为：
其中，表示第/>帧原始视频数据中第/>个分割阈值的有效程度；/>表示第/>帧原始视频数据中第/>个分割阈值；/>表示第/>帧原始视频数据对应的第/>个尺度视频数据中与第/>个分割阈值匹配的阈值；/>表示第/>帧原始视频数据对应的不同尺度视频数据的总数量；/>表示自然常数。
进一步地，每个分割阈值邻域像素点的均匀程度的计算公式为：
其中，表示第/>帧原始视频数据中第/>个分割阈值邻域像素点的均匀程度；/>表示原始视频数据中灰度值与第/>个分割阈值灰度值相同的像素点总个数；/>表示在原始视频数据中灰度值与第/>个分割阈值灰度值相同的第/>个像素点邻域内的所有像素点的最小灰度值；/>表示在原始视频数据中灰度值与第/>个分割阈值灰度值相同的第/>个像素点邻域内的所有像素点的最大灰度值。
进一步地，每一帧原始视频数据中每个分割阈值的敏感性的计算步骤包括：
将每一帧原始视频数据中每个分割阈值邻域像素点的均匀程度，与对应的每个尺度视频数据中匹配的分割阈值邻域像素点的均匀程度的差值作为第二差值，将第二差值绝对值作为每一帧原始视频数据中每个分割阈值与对应的每个尺度视频数据中匹配的分割阈值的一致性参数；
利用每一帧原始视频数据中每个分割阈值的有效程度、每一帧原始视频数据中的每个分割阈值、每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值、每一帧原始视频数据中每个分割阈值与对应的每个尺度视频数据中匹配的分割阈值的一致性参数，计算出每一帧原始视频数据中每个分割阈值的敏感性。
进一步地，每一帧原始视频数据中每个分割阈值的敏感性的计算公式为：
其中，表示第/>帧原始视频数据中第/>个分割阈值的敏感性；/>表示第/>帧原始视频数据中第/>个分割阈值的有效程度；/>表示第/>帧原始视频数据中第/>个分割阈值；/>表示第/>帧原始视频数据中第/>个分割阈值与对应的第/>个尺度视频数据中匹配的分割阈值的一致性参数；/>表示第/>帧原始视频数据中第/>个分割阈值在第/>个尺度视频数据中匹配的分割阈值；/>表示第/>帧原始视频数据对应的不同尺度视频数据的总数量；/>表示自然常数；/>表示线性归一化函数。
进一步地，获取每一帧原始视频数据对应的多个不同尺度视频数据的步骤包括：
利用图像金字塔算法对每一帧原始视频数据进行降采样，得到每一帧原始视频数据对应的多个不同尺度视频数据。
进一步地，并对待解析视频进行逐帧拆解得到多帧原始视频数据的步骤包括：
对待解析视频进行去噪处理得到去噪后待解析视频；
对去噪后待解析视频进行逐帧拆解得到多帧原始视频数据。
进一步地，获取每一帧原始视频数据中多个分割阈值的步骤包括：
利用动态阈值分割算法进行多阈值分割来获取每一帧原始视频数据中多个分割阈值。
互联网网络数据解析系统，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现互联网网络数据解析方法的步骤。
本发明的有益效果是：
本发明提供的一种互联网网络数据解析方法及系统，先对待解析视频进行拆解得到多帧原始视频数据，同时获取每一帧原始视频数据对应的多个不同尺度视频数据，本发明将每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中进行匹配，如果原始视频数据中的一个分割阈值在匹配后如果在其余尺度视频数据中找到的匹配阈值与原始视频数据的分割阈值差距较小，那么该分割阈值有效程度越大否则该分割阈值的有效程度越小；
利用每一帧原始视频数据中每个分割阈值的有效程度和每个分割阈值邻域像素点的均匀程度，计算出每一帧原始视频数据中每个分割阈值的敏感性，敏感性低则说明每一帧原始视频数据中每个分割阈值即使经过了多次尺度处理，在每个尺度视频数据中仍然还存在与之能达到同一分割效果的阈值，反之则相反；本发明利用不同尺度视频数据下的阈值对原始视频数据下的阈值进行修正进而对原始视频数据中的所有的敏感阈值进行排除，获取有效分割阈值来实现网络视频数据的分割解析，从而使得整体分割阈值精细化少量化，避免出现对待解析视频过分割的现象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的互联网网络数据解析方法的总体步骤流程图；
图2为本发明中将每个尺度视频数据中多个分割阈值与对应的原始视频数据中多个分割阈值根据阈值差值进行匹配的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明的互联网网络数据解析方法的实施例，如图1所示，该方法包括：
S1、获取互联网网络数据中的待解析视频，并对待解析视频进行逐帧拆解得到多帧原始视频数据；
并对待解析视频进行逐帧拆解得到多帧原始视频数据的步骤包括：对待解析视频进行去噪处理得到去噪后待解析视频；对去噪后待解析视频进行逐帧拆解得到多帧原始视频数据。
在进行网络视频数据的解析之前，首先需要进行对应的数据的采集，本实施例中以网络监控视频数据为例，具体的数据采集方式为通过对监控端的摄像头采集到的某一个时间段内的监控视频进行获取进行后续的分析，采集到的互联网网络数据往往需要对其进行预处理来保证数据的质量，在本实施例中，对于互联网网络数据进行预处理的方式为通过高斯滤波算法对其进行去噪，获得无噪声影响的去噪后待解析视频数据，至此，需要进行解析的监控视频数据获取完毕，得到了去噪后待解析视频数据。
由于得到的待解析视频为连续的数据，而在对网络数据进行解析时需要获得单帧图像数据，而后利用单帧图像数据进行后续的分析，具体的过程为，首先利用现有技术中的Ffmpe算法对待解析视频进行逐帧拆解得到多帧原始视频数据，可以获得原始视频数据的单帧集合，具体如下所示：
其中，表示第/>帧原始视频数据（/>，其中/>表示对待解析视频进行逐帧拆解得到的原始视频数据的总帧数）。
S2、获取每一帧原始视频数据对应的多个不同尺度视频数据；
获取每一帧原始视频数据对应的多个不同尺度视频数据的步骤包括：利用图像金字塔算法对每一帧原始视频数据进行降采样，得到每一帧原始视频数据对应的多个不同尺度视频数据。
本实施例中在得到每一帧原始视频数据后，对每一帧原始视频数据进行多尺度处理，利用多尺度处理技术对每一帧原始视频数据进行多尺度处理，获得单帧视频数据对应的不同尺度的视频数据，在本实施例中所采用的多尺度处理算法为图像金字塔算法，利用其对每一帧原始视频数据进行降采样，可获得每一帧原始视频数据对应的多尺度数据集，以第帧原始视频数据为例，其对应的多尺度数据集/>如下所示：
其中，表示对第/>帧原始视频数据经过第/>次图像金字塔降采样处理之后得到的第/>个尺度视频数据（/>，其中/>表示第/>帧原始视频数据对应的不同尺度视频数据的总数量，也表示尺度视频数据总个数，本实施例中建议值为/>）。
S3、获取每一帧原始视频数据中多个分割阈值，同时获取每一帧原始视频数据对应的每个尺度视频数据中多个分割阈值。
本实施例中利用动态阈值分割算法进行多阈值分割来获取每一帧原始视频数据中多个分割阈值，同时利用动态阈值分割算法进行多阈值分割来获取每个尺度视频数据中多个分割阈值，具体的以第帧原始视频数据中第/>个尺度视频数据为例，第/>帧原始视频数据中第/>个尺度视频数据对应的分割阈值数据集/>如下所示：
其中，表示第/>帧原始视频数据对应的第/>个尺度视频数据中第/>个分割阈值，其大小为/>（/>，/>，其中/>表示第/>帧原始视频数据对应的第个尺度视频数据中所有分割阈值的总个数；需要说明的是，每一帧原始视频数据对应的不同尺度视频数据中的分割阈值总个数可不相同，为方便叙述，本实施例统一以/>进行表示。
利用上述方式对原始视频数据的单帧集合中的每一帧原始视频数据进行处理，可以获得每一帧原始视频数据对应的多尺度数据集以及每一个尺度视频数据对应的分割阈值，至此，待解析视频通过处理，获得了单帧原始视频数据集合以及分割阈值。
S4、将每个尺度视频数据中多个分割阈值与对应的原始视频数据中多个分割阈值根据阈值差值进行匹配，得到每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值。
将每个尺度视频数据中多个分割阈值与对应的原始视频数据中多个分割阈值根据阈值差值进行匹配，得到每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值的步骤包括：选取出任一帧原始视频数据作为目标原始视频数据，同时将目标原始视频数据对应的任一个尺度视频数据作为目标尺度视频数据；计算出目标原始视频数据中的第一个分割阈值与目标尺度视频数据中每个分割阈值的差值作为第一差值，将得到的全部第一差值绝对值的最小值在目标尺度视频数据中对应的分割阈值，作为目标原始视频数据中的第一个分割阈值在目标尺度视频数据中匹配的分割阈值；按照目标原始视频数据中第一个分割阈值在目标尺度视频数据中匹配的分割阈值的获取方法，获取每一帧原始视频数据中每个分割阈值在每个尺度视频数据中匹配的分割阈值。
例如：若用表示第/>帧原始视频数据中第/>个分割阈值在对应的第/>个尺度视频数据中匹配的分割阈值；/>的获取方式为/>对应的分割阈值，/>表示第/>帧原始视频数据中第/>个分割阈值；/>表示第/>帧原始视频数据中第/>个尺度视频数据对应的分割阈值数据集；计算出第/>帧原始视频数据中第/>个分割阈值与第/>个尺度视频数据中每个分割阈值的差值，将得到的差值作为第一差值，将得到的全部第一差值绝对值的最小值在第/>个尺度视频数据中对应的分割阈值，作为第/>帧原始视频数据中的第个分割阈值在第/>个尺度视频数据中匹配的分割阈值。
如图2所示，表示将每个尺度视频数据中多个分割阈值与对应的原始视频数据中多个分割阈值根据阈值差值进行匹配的示意图；图2中最左侧为原始视频数据，原始视频数据中的每个小方块表示一个分割阈值；表示对原始视频数据利用图像金字塔第一次降采样处理；/>表示对原始视频数据利用图像金字塔第二次降采样处理；/>表示对原始视频数据利用图像金字塔第三次降采样处理；/>表示对原始视频数据利用图像金字塔第三次降采样处理，随着降采样次数的增加分割阈值的数量逐渐减少，在进行匹配时都是从原始视频数据开始进行与多尺度视频数据的匹配，不同尺度视频数据之间不进行匹配。
S5、利用每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值，计算出每一帧原始视频数据中每个分割阈值的有效程度。
每一帧原始视频数据中每个分割阈值的有效程度的计算公式为：
其中，表示第/>帧原始视频数据中第/>个分割阈值的有效程度；/>表示第/>帧原始视频数据中第/>个分割阈值；/>表示第/>帧原始视频数据对应的第/>个尺度视频数据中与第/>个分割阈值匹配的阈值；/>表示第/>帧原始视频数据对应的不同尺度视频数据的总数量；/>表示自然常数。
在每一帧原始视频数据中每个分割阈值的有效程度的计算公式中，在第帧原始尺度视频中，如果第/>个分割阈值是一个较为有效的阈值，那么在其他的尺度下一定是能找到阈值对应的相似的分割阈值。由于在对原始视频数据进行多尺度变化之后，因为信息的丢失，原始视频数据中的过分割阈值大概率是发生了丢失。所以本发明对原始视频数据中的第/>个分割阈值在不同尺度下寻找每个不同尺度中与其最匹配的分割阈值（通过其余尺度中的不同分割阈值与/>大小差距），如果在其余的尺度视频数据中，找到的匹配阈值与差距都较小，则说明第/>个分割阈值有一定的概率为有效阈值，反之，则说明第/>个分割阈值仅存在原始尺度视频中，在经过尺度变化之后发生了丢失，那么其为有效阈值的概率就较小。
例如：若现有原始尺度为,对其进行阈值分割时，选择的阈值为/>；现对其进行1倍降采样得到/>那么现在对其进行阈值选择为/>，则分割效果是没有多大的变化的，可以理解为原始尺度下的分割阈值与降采样后的分割阈值对当前图像的分割效果是相同的，但是当降采样后的分割阈值选择为/>时，则分割效果发生了较大的改变。
S6、根据每个分割阈值邻域像素点灰度值，计算出每个分割阈值邻域像素点的均匀程度。
每个分割阈值邻域像素点的均匀程度的计算公式为：
其中，表示第/>帧原始视频数据中第/>个分割阈值邻域像素点的均匀程度；/>表示原始视频数据中灰度值与第/>个分割阈值灰度值相同的像素点总个数；/>表示在原始视频数据中灰度值与第/>个分割阈值灰度值相同的第/>个像素点邻域内的所有像素点的最小灰度值；/>表示在原始视频数据中灰度值与第/>个分割阈值灰度值相同的第/>个像素点邻域内的所有像素点的最大灰度值。
需要说明的是，在每个分割阈值邻域像素点的均匀程度的计算公式中，优选每个分割阈值八邻域像素点灰度值，计算出每个分割阈值邻域像素点的均匀程度；同时根据每个分割阈值八邻域像素点内所有像素点的最小灰度值和最大灰度值计算出每个分割阈值邻域像素点的均匀程度。
S7、利用每一帧原始视频数据中每个分割阈值的有效程度、每一帧原始视频数据中的每个分割阈值、每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值、每个分割阈值邻域像素点的均匀程度，计算出每一帧原始视频数据中每个分割阈值的敏感性。
每一帧原始视频数据中每个分割阈值的敏感性的计算步骤包括：将每一帧原始视频数据中每个分割阈值邻域像素点的均匀程度，与对应的每个尺度视频数据中匹配的分割阈值邻域像素点的均匀程度的差值作为第二差值，将第二差值绝对值作为每一帧原始视频数据中每个分割阈值与对应的每个尺度视频数据中匹配的分割阈值的一致性参数；利用每一帧原始视频数据中每个分割阈值的有效程度、每一帧原始视频数据中的每个分割阈值、每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值、每一帧原始视频数据中每个分割阈值与对应的每个尺度视频数据中匹配的分割阈值的一致性参数，计算出每一帧原始视频数据中每个分割阈值的敏感性。
在计算每一帧原始视频数据中每个分割阈值与对应的每个尺度视频数据中匹配的分割阈值的一致性参数时，以第帧原始视频数据中第/>个分割阈值/>与对应的第/>个尺度视频数据中匹配的分割阈值/>为例，其阈值一致性参数/>的计算方式如下所示：
其中，表示第/>帧原始视频数据中第/>个分割阈值/>与对应的第/>个尺度视频数据中匹配的分割阈值的一致性参数；/>表示第/>帧原始视频数据中第/>个分割阈值/>邻域像素点的均匀程度；/>表示第/>帧原始视频数据中第/>个分割阈值/>与对应的第/>个尺度视频数据中匹配的分割阈值邻域像素点的均匀程度。
在阈值一致性参数的计算公式中，获得了第帧原始视频数据中第/>个分割阈值在其对应的每个尺度视频数据中匹配的分割阈值，而因为随着降采样的进行，降采样次数越多即尺度空间越大（/>越大）其对应的分割阈值一定时越小的，那么原始视频数据中的每个分割阈值进行不同的尺度空间中的分割阈值匹配时一定会出现某个尺度视频数据中的分割阈值为原始视频数据中的好几个分割阈值的匹配阈值，为了避免这种情况，本发明对原始尺度中的第/>个分割阈值与其余尺度的匹配阈值进行基于邻域分布均匀性的一致性参数计算，如果第/>个分割阈值与其余尺度的匹配阈值匹配的置信度较高，那么其对应的阈值一致性参数一点较大，反之则相反。（因为如果匹配到的阈值置信度较大时，那么对应的匹配阈值一定时与原始尺度下的阈值在各自对应的尺度能够达到相似的视频分割效果的，而分割程度相似，则其周围的像素点的灰度值变化一定时相似的）。利用上述方式，获得每一帧原始视频数据中每个分割阈值与对应的每个尺度视频数据中匹配的分割阈值的一致性参数。
每一帧原始视频数据中每个分割阈值的敏感性的计算公式为：
其中，表示第/>帧原始视频数据中第/>个分割阈值的敏感性；/>表示第/>帧原始视频数据中第/>个分割阈值的有效程度；/>表示第/>帧原始视频数据中第/>个分割阈值；/>表示第/>帧原始视频数据中第/>个分割阈值与对应的第/>个尺度视频数据中匹配的分割阈值的一致性参数；/>表示第/>帧原始视频数据中第/>个分割阈值在第/>个尺度视频数据中匹配的分割阈值；/>表示第/>帧原始视频数据对应的不同尺度视频数据的总数量；/>表示自然常数；/>表示线性归一化函数。
在每一帧原始视频数据中每个分割阈值的敏感性的计算公式中，具体分为两个主要部分，分母修正值与实际值差异部分以及分子/>有效程度增益部分；首先修正值与实际值差异部分的逻辑为：首先进行其余尺度对应的修正值的计算：/>，如果第/>个尺度下匹配的分割阈值为第/>帧原始尺度视频的第/>个分割阈值的一致性参数较大时，说明两个阈值为描述同一个分割效果的阈值的可能性是较大的，其他尺度同理，所以利用阈值一致性参数作为权值来对第/>个尺度下匹配的阈值进行加权求均，以该均值作为其余的尺度的对于原始尺度的修正分割阈值，反之则相反；其次进行差异值计算，具体是以原始尺度下的分割阈值与修正分割阈值进行差异计算，如果该差异值越小，则说明第/>帧原始视频数据中的第/>个分割阈值即使经过了多次尺度处理，每个尺度仍然还存在与之能达到同一个分割效果的阈值，则说明其敏感性较低，反之则相反。其次是分子的有效程度增益部分，有效程度增益部分的逻辑在上述中进行了说明，在此不做赘述。整体的公式逻辑解释，当第/>帧原始视频数据的第/>个分割阈值对应的有效程度可能性越大（分子越大），敏感性的可能性越小（分子越小），则有越大，则其为敏感分割阈值的可能性越小，反之则相反，利用上述方式可以获得第/>帧原始视频数据中所有分割阈值的敏感性。
需要说明的是，在监控视频中，因为其面对环境场景一般而言较为复杂，在利用多阈值分割技术对视频数据进行分割的时候，算法所选择的阈值中一般存在一定的敏感阈值（本实施例中的敏感阈值是指对视频数据进行分割时使得视频数据过分割的阈值），进而导致视频数据中原本不用分割的区域被进行分割，导致视频数据解析时的计算量增大。而在使用多尺度处理技术对视频数据进行处理的时候，会损失一部分的视频数据的部分信息，使得不同尺度下的相同的视频数据利用相同的多阈值分割算法进行阈值选取的时候阈值也相应会有一定的区别，所以本实施例通过对视频的原始尺度下的不同的尺度视频的分割阈值与原始尺度的分割阈值进行分析，利用不同尺度下的分割阈值对原始尺度视频的分割阈值中的敏感阈值去除仅保留有效分割阈值，进而进行视频数据的原始尺度的分割。
S8、将每一帧原始视频数据中所有分割阈值的敏感性进行聚类得到多个聚簇，选取平均值最小的一个聚簇中的全部敏感性对应的分割阈值作为每一帧原始视频数据的有效分割阈值。
将每一帧原始视频数据中所有分割阈值的敏感性进行聚类得到多个聚簇，计算出每个聚簇内包含的所有分割阈值的敏感性平均值，选取敏感性平均值最小的一个聚簇作为目标聚簇，将目标聚簇中的全部敏感性对应的分割阈值作为每一帧原始视频数据的有效分割阈值。
最后利用每个原始尺度视频数据的分割阈值敏感性对所有的有效阈值进行获取，具体的获取方式以视频数据中的第个原始尺度视频数据为例，首先将第/>帧视频中的所有的分割阈值对应的敏感性作为一个新的数据集，而后对该数据集利用自适应的K-Means聚类算法进行聚类，获得多个聚簇，对所有聚簇中的每个聚簇进行基于自身的平均值计算，选择平均值较小的一个聚簇中的所有的敏感性对应的分割阈值作为视频数据中第/>帧原始尺度视频数据对应的有效分割阈值。
上述对于第帧原始视频数据中的每个分割阈值对应的敏感性进行了计算，其中敏感性越大，说明其越有可能为造成过分割的分割阈值，反之则相反，所以本实施例对所有的分割阈值对应的敏感性以自适应聚类的方式进行聚类，当聚类结果中的聚簇内敏感性的平均值最小时，则说明该聚簇内的所有的敏感值对应的分割节点具有极大的可能为非敏感分割阈值，则视其为有效分割阈值，利用上述方式对视频数据集中的所有的原始视频数据进行处理，可以获得每一帧原始视频数据的有效分割阈值。
本实施例中对第帧原始视频数据的分割阈值，和第/>帧原始视频数据对应的不同尺度的分割阈值进行有效程度以及敏感性的分析，并利用原始视频数据的不同阈值对应的有效程度以及敏感性进行有效分割阈值的获取。
S9、利用每一帧原始视频数据的有效分割阈值对每一帧原始视频数据进行分割，得到待解析视频全部单帧原始视频数据的分割解析数据。
在步骤S8中获取了每一帧原始视频数据的有效分割阈值，现利用每一帧原始视频数据的有效分割阈值对每一帧原始视频数据进行分割，具体以第帧原始视频数据为例，分割的过程如下所示：
首先利用动态阈值分割算法通过第帧原始视频数据对应的有效分割阈值集/>中的所有的有效分割阈值进行第/>帧视频的区域分割，即可获得第/>帧原始视频数据对应的分割解析数据，分割解析数据是指第/>帧原始视频数据中的多个连通域，在多个连通域中确定目标连通域。利用上述方式对视频数据集中的所有的单帧原始视频数据进行处理，获得待解析视频中多帧原始视频数据的分割解析数据，即获得了多帧原始视频数据中的多个连通域，在多个连通域中确定目标连通域。
利用上述中分割完成的分割解析数据进行对应的解析任务的实行。
上述中对于待解析的视频数据进行了基于修正后的多阈值的分割，完成了视频数据的解析，现对其按照不同的解析任务进行对应的数据处理。
例如：一个待解析视频的解析任务为对监控视频中的人物运行轨迹进行提取，具体的解析任务实行过程如下所示：
首先对利用多阈值分割算法分割完成的网络视频数据进行提取；
而后获取已经分割的每一帧原始视频数据中的多个连通域，之后从多个连通域中获取目标连通域，例如在进行对应人物识别时，目标连通域就指人物区域；
而后根据不同帧原始视频数据的人物区域进行人物运行轨迹的生成。
实施例2：
本实施例提供互联网网络数据解析系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现互联网网络数据解析方法的步骤。
本发明提供的互联网网络数据解析及系统，用于解决目前在对网络视频数据进行解析的时候，常常利用多阈值分割的形式进行视频数据的解析，但是目前的多阈值分割算法对于视频数据进行分割的时候，因为阈值的选择不合适进而使得视频数据往往被过度分割，导致进行数据的解析的时候整体的计算复杂性较高，所以本发明在现有的多阈值分割的基础上，进行多尺度下的视频数据的分割阈值的获取，而后利用非原始尺度下的分割阈值对于原始尺度下的分割阈值去除敏感阈值进行修正获得有效阈值，而后通过有效阈值对原始尺度下的分割阈值进行分割来实现视频数据的解析。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.互联网网络数据解析方法，其特征在于，该方法包括：
获取互联网网络数据中的待解析视频，并对待解析视频进行逐帧拆解得到多帧原始视频数据；
获取每一帧原始视频数据对应的多个不同尺度视频数据；
获取每一帧原始视频数据中多个分割阈值，同时获取每一帧原始视频数据对应的每个尺度视频数据中多个分割阈值；
将每个尺度视频数据中多个分割阈值与对应的原始视频数据中多个分割阈值根据阈值差值进行匹配，得到每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值；
利用每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值，计算出每一帧原始视频数据中每个分割阈值的有效程度；
根据每个分割阈值邻域像素点灰度值，计算出每个分割阈值邻域像素点的均匀程度；
利用每一帧原始视频数据中每个分割阈值的有效程度、每一帧原始视频数据中的每个分割阈值、每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值、每个分割阈值邻域像素点的均匀程度，计算出每一帧原始视频数据中每个分割阈值的敏感性；
将每一帧原始视频数据中所有分割阈值的敏感性进行聚类得到多个聚簇，选取平均值最小的一个聚簇中的全部敏感性对应的分割阈值作为每一帧原始视频数据的有效分割阈值；
利用每一帧原始视频数据的有效分割阈值对每一帧原始视频数据进行分割，得到待解析视频全部单帧原始视频数据的分割解析数据。
2.根据权利要求1所述的互联网网络数据解析方法，其特征在于，将每个尺度视频数据中多个分割阈值与对应的原始视频数据中多个分割阈值根据阈值差值进行匹配，得到每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值的步骤包括：
选取出任一帧原始视频数据作为目标原始视频数据，同时将目标原始视频数据对应的任一个尺度视频数据作为目标尺度视频数据；
计算出目标原始视频数据中的第一个分割阈值与目标尺度视频数据中每个分割阈值的差值作为第一差值，将得到的全部第一差值绝对值的最小值在目标尺度视频数据中对应的分割阈值，作为目标原始视频数据中的第一个分割阈值在目标尺度视频数据中匹配的分割阈值；
按照目标原始视频数据中第一个分割阈值在目标尺度视频数据中匹配的分割阈值的获取方法，获取每一帧原始视频数据中每个分割阈值在每个尺度视频数据中匹配的分割阈值。
3.根据权利要求2所述的互联网网络数据解析方法，其特征在于，每一帧原始视频数据中每个分割阈值的有效程度的计算公式为：
其中，表示第/>帧原始视频数据中第/>个分割阈值的有效程度；/>表示第/>帧原始视频数据中第/>个分割阈值；/>表示第/>帧原始视频数据对应的第/>个尺度视频数据中与第/>个分割阈值匹配的阈值；/>表示第/>帧原始视频数据对应的不同尺度视频数据的总数量；/>表示自然常数。
4.根据权利要求1所述的互联网网络数据解析方法，其特征在于，每个分割阈值邻域像素点的均匀程度的计算公式为：
其中，表示第/>帧原始视频数据中第/>个分割阈值邻域像素点的均匀程度；/>表示原始视频数据中灰度值与第/>个分割阈值灰度值相同的像素点总个数；/>表示在原始视频数据中灰度值与第/>个分割阈值灰度值相同的第/>个像素点邻域内的所有像素点的最小灰度值；/>表示在原始视频数据中灰度值与第/>个分割阈值灰度值相同的第/>个像素点邻域内的所有像素点的最大灰度值。
5.根据权利要求4所述的互联网网络数据解析方法，其特征在于，每一帧原始视频数据中每个分割阈值的敏感性的计算步骤包括：
将每一帧原始视频数据中每个分割阈值邻域像素点的均匀程度，与对应的每个尺度视频数据中匹配的分割阈值邻域像素点的均匀程度的差值作为第二差值，将第二差值绝对值作为每一帧原始视频数据中每个分割阈值与对应的每个尺度视频数据中匹配的分割阈值的一致性参数；
利用每一帧原始视频数据中每个分割阈值的有效程度、每一帧原始视频数据中的每个分割阈值、每一帧原始视频数据中的每个分割阈值在每个尺度视频数据中匹配的分割阈值、每一帧原始视频数据中每个分割阈值与对应的每个尺度视频数据中匹配的分割阈值的一致性参数，计算出每一帧原始视频数据中每个分割阈值的敏感性。
6.根据权利要求5所述的互联网网络数据解析方法，其特征在于，每一帧原始视频数据中每个分割阈值的敏感性的计算公式为：
其中，表示第/>帧原始视频数据中第/>个分割阈值的敏感性；/>表示第/>帧原始视频数据中第/>个分割阈值的有效程度；/>表示第/>帧原始视频数据中第/>个分割阈值；表示第/>帧原始视频数据中第/>个分割阈值与对应的第/>个尺度视频数据中匹配的分割阈值的一致性参数；/>表示第/>帧原始视频数据中第/>个分割阈值在第/>个尺度视频数据中匹配的分割阈值；/>表示第/>帧原始视频数据对应的不同尺度视频数据的总数量；/>表示自然常数；/>表示线性归一化函数。
7.根据权利要求1所述的互联网网络数据解析方法，其特征在于，获取每一帧原始视频数据对应的多个不同尺度视频数据的步骤包括：
利用图像金字塔算法对每一帧原始视频数据进行降采样，得到每一帧原始视频数据对应的多个不同尺度视频数据。
8.根据权利要求1所述的互联网网络数据解析方法，其特征在于，并对待解析视频进行逐帧拆解得到多帧原始视频数据的步骤包括：
对待解析视频进行去噪处理得到去噪后待解析视频；
对去噪后待解析视频进行逐帧拆解得到多帧原始视频数据。
9.根据权利要求1所述的互联网网络数据解析方法，其特征在于，获取每一帧原始视频数据中多个分割阈值的步骤包括：
利用动态阈值分割算法进行多阈值分割来获取每一帧原始视频数据中多个分割阈值。
10.互联网网络数据解析系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~9任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311354108.6A CN117115717B (zh) | 2023-10-19 | 2023-10-19 | 互联网网络数据解析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311354108.6A CN117115717B (zh) | 2023-10-19 | 2023-10-19 | 互联网网络数据解析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115717A true CN117115717A (zh) | 2023-11-24 |
| CN117115717B CN117115717B (zh) | 2024-02-02 |
Family
ID=88796834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311354108.6A Active CN117115717B (zh) | 2023-10-19 | 2023-10-19 | 互联网网络数据解析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115717B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101170641A (zh) * | 2007-12-05 | 2008-04-30 | 北京航空航天大学 | 一种基于阈值分割的图像边缘检测方法 |
| US20200034972A1 (en) * | 2018-07-25 | 2020-01-30 | Boe Technology Group Co., Ltd. | Image segmentation method and device, computer device and non-volatile storage medium |
| CN114429602A (zh) * | 2022-01-04 | 2022-05-03 | 北京三快在线科技有限公司 | 语义分割方法、装置、电子设备及存储介质 |
| CN114463363A (zh) * | 2022-02-07 | 2022-05-10 | 中国第一汽车股份有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
| CN115393761A (zh) * | 2022-08-18 | 2022-11-25 | 咪咕动漫有限公司 | 视频关键帧提取方法、装置、设备和存储介质 |
| US20220383633A1 (en) * | 2019-10-23 | 2022-12-01 | Beijing University Of Civil Engineering And Architecture | Method for recognizing seawater polluted area based on high-resolution remote sensing image and device |
-
2023
- 2023-10-19 CN CN202311354108.6A patent/CN117115717B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101170641A (zh) * | 2007-12-05 | 2008-04-30 | 北京航空航天大学 | 一种基于阈值分割的图像边缘检测方法 |
| US20200034972A1 (en) * | 2018-07-25 | 2020-01-30 | Boe Technology Group Co., Ltd. | Image segmentation method and device, computer device and non-volatile storage medium |
| US20220383633A1 (en) * | 2019-10-23 | 2022-12-01 | Beijing University Of Civil Engineering And Architecture | Method for recognizing seawater polluted area based on high-resolution remote sensing image and device |
| CN114429602A (zh) * | 2022-01-04 | 2022-05-03 | 北京三快在线科技有限公司 | 语义分割方法、装置、电子设备及存储介质 |
| CN114463363A (zh) * | 2022-02-07 | 2022-05-10 | 中国第一汽车股份有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
| CN115393761A (zh) * | 2022-08-18 | 2022-11-25 | 咪咕动漫有限公司 | 视频关键帧提取方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115717B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110334706B (zh) | 一种图像目标识别方法及装置 | |
| CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| CN108510499B (zh) | 一种基于模糊集和Otsu的图像阈值分割方法及装置 | |
| CN107590427B (zh) | 基于时空兴趣点降噪的监控视频异常事件检测方法 | |
| CN111127387B (zh) | 无参考图像的质量的评价方法 | |
| CN115546203B (zh) | 基于图像数据算法的生产监测分析方法 | |
| CN109255799B (zh) | 一种基于空间自适应相关滤波器的目标跟踪方法及系统 | |
| Shi et al. | Weighted median guided filtering method for single image rain removal | |
| CN114972339B (zh) | 用于推土机结构件生产异常检测的数据增强系统 | |
| CN111696064B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| Chai | Otsu’s Image Segmentation Algorithm with Memory‐Based Fruit Fly Optimization Algorithm | |
| CN109712134B (zh) | 虹膜图像质量评价方法、装置及电子设备 | |
| Zhou et al. | Bone region segmentation in medical images based on improved watershed algorithm | |
| KR101615479B1 (ko) | 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법 | |
| CN113850792A (zh) | 一种基于计算机视觉的细胞分类计数方法及系统 | |
| Ayech et al. | Image segmentation based on adaptive Fuzzy-C-Means clustering | |
| CN117115717B (zh) | 互联网网络数据解析方法及系统 | |
| Wu et al. | Full-parameter adaptive fuzzy clustering for noise image segmentation based on non-local and local spatial information | |
| CN109871779B (zh) | 掌纹识别的方法及电子设备 | |
| Vadaparthi et al. | Segmentation of brain mr images based on finite skew gaussian mixture model with fuzzy c-means clustering and em algorithm | |
| Amin et al. | A hybrid defocused region segmentation approach using image matting | |
| Aibinu et al. | A new method of correcting uneven illumination problem in fundus image | |
| Lie et al. | Fast saliency detection using sparse random color samples and joint upsampling | |
| CN110232302B (zh) | 一种集成灰度值、空间信息和类别知识的变化检测方法 | |
| Sriramakrishnan et al. | Performance Analysis of Advanced Image Segmentation Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |