CN116844077A - 视频处理的方法、装置、计算机设备及存储介质 - Google Patents
视频处理的方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116844077A CN116844077A CN202210306984.0A CN202210306984A CN116844077A CN 116844077 A CN116844077 A CN 116844077A CN 202210306984 A CN202210306984 A CN 202210306984A CN 116844077 A CN116844077 A CN 116844077A
- Authority
- CN
- China
- Prior art keywords
- target
- video
- specific
- image
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000007499 fusion processing Methods 0.000 claims abstract description 31
- 238000012216 screening Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims description 21
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 13
- 238000004458 analytical method Methods 0.000 abstract description 8
- 230000001681 protective effect Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000013145 classification model Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了视频处理的方法、装置、计算机设备及存储介质，视频处理的方法包括：从接收的待处理视频中提取出背景图像，对待处理视频中的各帧图像进行目标检测处理，以得到目标检测结果，根据目标检测结果确定目标跟踪结果；根据接收的检索信息从目标跟踪结果中筛选出特定目标，对特定目标的目标跟踪结果进行轨迹融合处理，以得到融合后的特定目标组合；基于特定目标组合与背景图像合成后的图像，生成浓缩后的视频。本发明极大减少了人工筛选目标过程、减少了人工锁定目标过程及减少了人工分析目标过程，本发明提高了监控视频的查看效率、减少查看监控视频所耗费的时间，提升了用户体验，用户满意度较高。
Description
技术领域
本发明涉及视频处理技术领域，更为具体来说，本发明能够提供一种视频处理的方法、装置、计算机设备及存储介质。
背景技术
随着科技的发展和进步，人们的安全意识也在逐渐提高，各种各样的监控设备无处不在，因而产生了大量的监控视频，用户能够通过监控视频进行实时监控或者调取历史监控数据进行查看。特别对于历史监控数据，如何快速地从大量的监控视频中获取有用的信息至关重要，所以视频浓缩技术应运而生。传统的视频浓缩技术是对原视频内容的一个简单浓缩，以使得较长时间(例如两小时)的视频在较短的时间(例如十分钟)内展现完毕，以提高海量监控视频分析的效率。但是，这种传统的视频浓缩技术仍然依靠人工筛选、人工锁定及人工分析有用目标，其往往存在监控视频查看效率低、耗时长、用户体验差等问题。
发明内容
为传统的监控视频处理方案仍存在查看效率低、耗时长及用户体验差等问题，本发明能够提供一种视频处理的方法、装置、计算机设备及存储介质，以达到提高查看效率、减少查看时长和提升用户体验等技术目的。
为实现上述的技术目的，本发明能够提供一种视频处理的方法，该方法可包括但不限于如下的至少一个步骤。
从接收的待处理视频中提取出背景图像；其中，所述待处理视频中的各帧图像背景相同。
对所述待处理视频中的各帧图像进行目标检测处理，以得到目标检测结果，根据目标检测结果确定目标跟踪结果。
根据接收的检索信息从所述目标跟踪结果中筛选出特定目标。
对所述特定目标的目标跟踪结果进行轨迹融合处理，以得到融合后的特定目标组合。
基于所述特定目标组合与所述背景图像合成后的图像，生成浓缩后的视频。
为实现上述的技术目的，本发明还能够提供一种视频处理的装置，该视频处理的装置可包括但不限于背景图像提取模块、目标检测跟踪模块、特定目标筛选模块、轨迹融合处理模块以及浓缩视频生成模块。
背景图像提取模块，用于从接收的待处理视频中提取出背景图像；其中，所述待处理视频中的各帧图像背景相同。
目标检测跟踪模块，用于对所述待处理视频中的各帧图像进行目标检测处理，以得到目标检测结果，以及用于根据目标检测结果确定目标跟踪结果。
特定目标筛选模块，用于根据接收的检索信息从所述目标跟踪结果中筛选出特定目标。
轨迹融合处理模块，用于对所述特定目标的目标跟踪结果进行轨迹融合处理，以得到融合后的特定目标组合。
浓缩视频生成模块，用于基于所述特定目标组合与所述背景图像合成后的图像，生成浓缩后的视频。
为实现上述的技术目的，本发明还能够提供一种计算机设备，计算机设备可包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行本发明任一实施例中的所述视频处理的方法的步骤。
为实现上述的技术目的，本发明还可提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行本发明任一实施例所述视频处理的方法的步骤。
本发明的有益效果为：
基于目标跟踪结果和检索信息，本发明能够对筛选出的特定目标进行轨迹融合处理，以通过特定目标与背景的图像生成浓缩后的视频，本发明极大地减少了人工筛选目标过程、减少了人工锁定目标过程及减少了人工分析目标过程，实现了对重点目标的快速定位，从而明显提高了监控视频的查看效率、减少查看监控视频所耗费的时间，并提升了用户体验，用户满意度较高。相比现有技术，本发明能够基于目标跟踪结果以及检索命令和检索要求，灵活地筛选出特定目标，然后再通过轨迹融合处理得到特定目标与背景的图像融合后生成的浓缩视频，从而极大提高视频监控分析的效率。
附图说明
图1示出了本发明一个或多个实施例中视频处理的方法的流程示意图。
图2示出了本发明一个或多个实施例中一种用于实现视频处理方法的系统架构示意图。
图3示出了本发明一个或多个实施例中对视频目标轨迹进行提取的示意图。
图4示出了本发明一个或多个实施例中视频处理的装置组成的示意图。
图5示出了本发明一个或多个实施例中计算机设备内部结构组成的示意图。
具体实施方式
下面结合说明书附图对本发明所提供的一种视频处理的方法、装置、计算机设备及存储介质进行详细的解释和说明。
如图1所示，并可结合图2，本发明一个或多个实施例能够提供一种视频处理的方法。其中视频处理的方法可包括但不限于如下的一个或多个步骤，具体说明如下。
步骤100，从接收的待处理视频(原始视频)中提取出背景图像；其中，待处理视频中的各帧图像背景相同；待处理视频例如可包括但不限于监控视频等，结合图2所示，本发明实施例能够通过前端设备和/或终端获取目标视频数据，该前端设备例如可以是监控设备等，终端例如可以是智能手机、平板电脑、笔记本电脑等，获取的待处理视频通过服务器进行处理，当然并不限于此。
可选地，本发明实施例能够通过高斯混合模型对待处理视频进行背景建模，以实现从待处理视频中提取出背景图像。本实施例具体可通过高斯混合模型进行背景建模，得到一张背景图像，即假设图像中的每个像素点都服从高斯分布，根据原始视频中的每一帧图像的变化规律，确定图像中每个像素点的高斯分布函数，然后根据每个像素点的高斯分布函数，确定背景图像中每个像素点的像素值，最终得到最后的背景图像。
步骤200，对待处理视频中的各帧图像进行目标检测处理，以得到目标检测结果，根据目标检测结果确定目标跟踪结果。
本发明实施例的目标检测结果中可包含多个目标，目标具体可为运动目标，运动目标包括但不限于人、车和动物等。
如图3所示，示例性地提供了根据目标检测结果形成目标轨迹的示意图。具体为t帧至t+4帧图像中目标i的轨迹，以及t+2帧至t+3帧图像中目标j的轨迹，本发明通过目标跟踪获取每个运动目标的运动轨迹，具体可利用SSD、Faster RCNN或YOLOv5等已有的目标检测手段进行运动目标的定位，以确定视频中每一帧图像运动目标的位置，如图3中利用YOLOv5确定t帧至t+4帧图像中目标i和目标j的位置(目标框)，即得到目标检测结果。然后在得到的目标检测结果基础上，可利用Deep SORT、FairMOT、FastMOT或ByteTrack等已有目标跟踪方法进行运动目标的跟踪，提取每个目标的运动轨迹，具体可提取每个矩形框中目标的特征，并计算目标间的特征相似度，将相似度小于指定阈值的目标连接在一起，构成该目标的运动轨迹，例如目标i之间的曲线表示目标i的轨迹；目标跟踪结果中包含每个运动目标的轨迹特征。本实施例可按照预设格式保存每个运动目标的图像、目标的出现时间以及相应的运动轨迹，目标的运动轨迹可以通过保存目标每个轨迹的检测框的方式进行保存或可通过保存目标每个轨迹检测框的中心点进行保存；本发明实施例同时还可用reid(re-identification，重识别)等身份识别方法提取每个目标的特征向量，并保存到数据库中。
可理解的是，本发明的目标检测手段和目标跟踪手段并不限于上述的示例，以能够实现本发明技术目的为准。
步骤300，根据接收的检索信息从目标跟踪结果中筛选出特定目标；本实施例检索信息包括检索命令信息和检索要求信息。其中，检索信息可通过前端设备和/或终端发出。
如图2所示，本发明实施例中根据接收的检索信息从目标跟踪结果中筛选出特定目标可包括：根据接收的检索命令信息从目标跟踪结果中筛选出第一目标，再根据接收的检索要求信息从第一目标中筛选出的第二目标作为特定目标。其中，目标跟踪结果中的目标数量大于第一目标的数量，第一目标的数量可大于第二目标的数量。本发明通过检索命令信息筛选出一部分目标，通过检索要求信息对筛选出的目标再次筛选，以筛选出符合条件的运动目标。
具体地，本实施例根据接收的检索命令信息从目标跟踪结果中筛选出第一目标可以包括：从检索命令信息中读取目标特征信息，基于目标特征信息对目标跟踪结果中的目标进行特征提取，以得到特征提取结果，特征提取结果可包括外观特征、运动特征、位置关系特征中的至少一种，特征提取结果的数据形式可为特征向量；根据特征提取结果从目标跟踪结果中筛选出第一目标。其中，外观特征例如可包括白色上衣、黑色裤子、安全帽、防护衣等，运动特征例如可包括运动方向从左到右、运动方向从上到下等，位置关系特征例如包括经过某个建筑物、与某个物体之间的距离等。
对于外观特征，本发明实施例可通过分类模型识别，例如多标签分类模型；对于运动特征，本发明实施例能够通过多元回归模型识别，具体可通过多元回归模型拟合运动目标的运动轨迹，根据多元回归模型相关参数特征和运动目标的起点和终点判断运动目标的运动方向，例如某多元回归模型为y＝0.01x+100，起点为(200，102)，终点为(700，107)，则可判断运动目标从左到右运动；对于位置关系特征，例如经过某个建筑物，本发明实施例可通过运动目标的运动轨迹与建筑物的像素坐标进行位置判断，如果有交集则判断该运动目标经过当前的建筑物。
例如，检索命令信息为“没有穿防护衣的工人”，则分析目标跟踪结果中每个目标的防护衣穿戴情况。其中，对目标进行特征提取的过程可通过训练完成的分类模型实现，可通过分类模型对目标穿戴防护衣的特征进行提取。例如，检索要求信息为“一直没有穿戴防护衣的目标”，则将整个运动过程中没有穿戴防护衣的所有目标输出；或者检索要求为“一半以上的运动过程没有穿戴防护衣的目标”，则将在运动过程中一半以上的时间没有穿戴防护衣的所有目标输出。
由此可见，本发明实现了根据所接收的检索命令信息对每个运动目标进行特征提取，进而根据检索要求信息对各个目标的特征进行分析，进而检索出指定分析目标(即特定目标)。相比预先分析的方式，本发明技术方案对运动目标的分析是在接收到检索命令信息和检索要求信息后执行的，而不是提前进行分析，这种方式既能够对需要关注的目标进行针对性分析，从而减少硬件资源的浪费，而且还能够灵活地组合和分析每个运动目标的特征，所以本发明的灵活性和实用性更强。
步骤400，对特定目标的目标跟踪结果进行轨迹融合处理，以得到融合后的特定目标组合。
可选地，本发明实施例对特定目标的目标跟踪结果进行轨迹融合处理包括：根据特定目标的目标跟踪结果确定在待处理视频中同时出现的特定目标，即确定在原始视频中同时出现的目标，并将同时出现的特定目标的轨迹融合在一起。具体地，本实施例根据特定目标的目标跟踪结果确定在待处理视频中同时出现的特定目标可包括：根据特定目标的目标跟踪结果确定特定目标的轨迹特征，并根据各个特定目标的轨迹特征准确查找在待处理视频中同时出现的特定目标。本发明通过将同时出现的目标的轨迹融合在一起，即在原始视频中同时出现的目标尽可能在浓缩视频中也同时出现，有助于极大地提升浓缩视频的真实性。
可选地，对特定目标的目标跟踪结果进行轨迹融合处理可包括：根据特定目标的目标跟踪结果确定具有相似的轨迹特征的多个特定目标，并对多个特定目标的轨迹错开进行融合处理，实现错开融合、减少轨迹间冲突。本发明实施例通过如下的方式判断不同目标的轨迹是否相似，即判断不同目标间是否发生冲突、确定目标间冲突信息。
对于当前帧目标i和候选目标j，例如，当前帧目标i的剩余轨迹可为(Xi，Yi)，轨迹长度为si，其中，候选目标j的剩余轨迹为(Xj，Yj)，轨迹长度为sj，且/> 假设当前帧目标i与候选目标j的相交轨迹长度为smin，则目标i与候选目标j的冲突情况通过以下公式进行计算。
其中，dist_threshold表示两个目标间的距离阈值，num_threshold表示两个目标距离太近的点数阈值，如果公式满足条件，则认为两个目标冲突，候选目标j暂时不添加。
可见本发明判断不同目标发生冲突的方式为：两个目标各自所包含的目标点之间的距离小于距离阈值的目标点个数小于点数阈值，则判断上述两个目标发生冲突，即这两个目标的轨迹相似。
更为具体地，本实施例对特定目标的目标跟踪结果进行轨迹融合处理包括：对目标进行初始化，以保持前n帧运动目标与原始视频相同，即对前n帧中的原始目标不进行移动，n例如为5，当然并不限于此；本发明如上可基于特定目标的目标跟踪结果确定目标间冲突信息，并根据目标间冲突信息和接收的浓缩要求信息确定是否在当前帧图像中添加新的特定目标，本发明实施例在用于形成浓缩视频的多帧图像中分别添加特定目标；其中，浓缩要求信息可包括浓缩后的视频时长、浓缩后的视频每帧目标数、浓缩后的视频帧数、浓缩后的视频帧率中的至少一种；通过在图像中添加特定目标的方式进行轨迹融合处理，以得到浓缩视频中每个帧的运动目标，即确定用于形成浓缩视频的各帧图像中的目标组合方式。
本发明实施例尽可能在满足浓缩要求和目标间不冲突的前提下添加目标：对于与当前帧目标发生冲突的候选目标，则不在当前帧添加该候选目标；如果当前帧的目标数大于每帧最大目标数，则当前帧不添加目标。对于特殊的情况，如果当前帧的目标数小于每帧最小目标数，则在当前帧中添加冲突最小的目标。通过对每帧最大目标数和最小目标数的控制，本发明能够防止浓缩视频的前一段时间目标过于密集、然而后一段时间目标过于稀疏的问题，使最终形成的浓缩视频每帧目标数量较为均匀。
对于有快速浏览视频或仔细分析视频的用户，本发明待生成浓缩视频时长可通过设定视频时长、每帧图像目标数或浓缩视频为原始视频时长的比例等方式进行指定，并体现在浓缩要求信息中。本发明实施例能够通过浓缩要求信息、原始视频的运动目标个数及轨迹长度确定浓缩视频的时长T、总帧数N以及每帧目标数m，本实施例可根据浓缩视频的总帧数N将运动轨迹较长的目标轨迹拆分为多个运动轨迹，并优先融合该目标；然后根据当前帧的所有目标与其他候选目标冲突情况，遍历添加新目标；如果存在有目标一直冲突、直到浓缩视频的总帧数也无法添加的情况，则根据该目标的轨迹长度s，即该目标在原始视频中所占帧数，在N-s帧时添加该目标，可见本发明将易发生冲突的目标放在浓缩视频后段，以尽可能地提高浓缩视频的真实性。
本发明通过遍历添加新的特定目标的方式实现在时间和空间上重排运动目标序列，最大化去除不必要的信息，从而达到缩短视频时长等技术目的。可见本发明实现对每个特定目标的轨迹特征进行分析，找出在原始视频中同时出现的目标和运动轨迹相似的特征，然后在目标初始化基础上根据目标之间的冲突关系遍历添加新目标，以得到浓缩视频中每帧的运动目标。而且本发明通过保持前n帧运动目标与原始视频相同，以使得浓缩视频尽量保留原始视频中的一些特征，达到浓缩视频更接近真实的目的。
步骤500，基于特定目标组合与背景图像合成后的图像，生成浓缩后的视频。具体地，本发明实施例将各帧特定目标组合融合在背景图像中，通过融合后的图像形成浓缩视频。
基于上述的技术方案，本发明基于检索信息对特定目标相关数据进行处理和基于每帧运动目标与背景图像进行融合后生成浓缩后的视频，可见本发明实质上能够提供一种具有检索功能的视频浓缩方法。
如图2所示，本发明一个或多个实施例提供的视频处理的方法还可以包括：对接收的待分析目标的图像进行目标识别处理，以确定待分析目标；其中的待分析目标的图像来源于浓缩后的视频；基于待分析目标从待处理视频中提取出与待分析目标相匹配的图像，将与待分析目标相匹配的图像合成为目标视频。具体地，用户可以在播放的浓缩视频上定位想要分析的目标，如果想要回溯该目标对应的原始视频，可以将播放的视频暂停到该目标出现的时刻，并在该目标图像上画一个矩形框，并通过终端设备自动截取目标图像、即生成待分析目标的图像；然后将待分析目标的图像返回到对应服务器，服务器接收到待分析目标的图像后，通过reid等身份识别方法提取该图像的特征向量，并将提取的特征向量与数据库中所有目标的特征向量进行相似度计算，相似度计算可通过欧式距离、余弦距离等方式实现，并将相似度最高的目标为该图像的检索结果，记为目标h，即确定待分析目标；基于检索的目标结果和事先保存的目标数据，提取目标h在原始视频中出现的时间和位置，接着从原始视频中截取对应时间的图像，并可用矩形框标记出目标h出现的位置；如果想要检索截取的图像在原始视频中具体出现的时间点，本实施例可以基于已保存的目标图像，进一步计算截取图像的特征向量与目标h的每个图像对应的特征向量的相似度，则相似度最高图像的所对应的时间和位置即为该截取图像在原始视频中出现的时间和位置，然后将在这个时间和这个位置的图像进行特殊标记。最后将从原始视频中截取的图像合成一个视频，并将该视频发送至终端。本发明通过上述方式可重点观看待分析目标的视频，以实现对关注目标的针对性查看和分析。
如图4所示，与本发明中的视频处理的方法基于同一发明技术构思，本发明一个或多个实施例还能够提供一种视频处理的装置。本发明实施例所提供的视频处理的装置包括但不限于背景图像提取模块、目标检测跟踪模块、特定目标筛选模块、轨迹融合处理模块以及浓缩视频生成模块，具体说明如下。
背景图像提取模块，用于从接收的待处理视频中提取出背景图像；其中，待处理视频中的各帧图像背景相同。
目标检测跟踪模块，用于对待处理视频中的各帧图像进行目标检测处理，以得到目标检测结果，以及用于根据目标检测结果确定目标跟踪结果。
特定目标筛选模块，用于根据接收的检索信息从目标跟踪结果中筛选出特定目标。
可选地，特定目标筛选模块用于根据接收的检索命令信息从目标跟踪结果中筛选出第一目标，以及用于根据接收的检索要求信息从第一目标中筛选出的第二目标作为特定目标；检索信息包括检索命令信息和检索要求信息；
可选地，特定目标筛选模块能够用于从检索命令信息中读取目标特征信息，并用于基于目标特征信息对目标跟踪结果中的目标进行特征提取，以得到特征提取结果，特征提取结果包括外观特征、运动特征、位置关系特征中的至少一种；特定目标筛选模块用于根据特征提取结果从目标跟踪结果中筛选出第一目标。
轨迹融合处理模块，用于对特定目标的目标跟踪结果进行轨迹融合处理，以得到融合后的特定目标组合。
可选地，轨迹融合处理模块用于根据特定目标的目标跟踪结果确定在待处理视频中同时出现的特定目标，并用于将同时出现的特定目标的轨迹融合在一起。
可选地，轨迹融合处理模块可用于根据特定目标的目标跟踪结果确定特定目标的轨迹特征，并用于根据各个特定目标的轨迹特征查找在待处理视频中同时出现的特定目标。
可选地，轨迹融合处理模块可用于根据特定目标的目标跟踪结果确定具有相似的轨迹特征的多个特定目标，并用于对多个特定目标的轨迹错开进行融合处理。
可选地，轨迹融合处理模块可用于基于特定目标的目标跟踪结果确定目标间冲突信息，并用于根据目标间冲突信息和接收的浓缩要求信息确定是否在当前帧图像中添加新的特定目标；其中，浓缩要求信息包括浓缩后的视频时长、浓缩后的视频每帧目标数、浓缩后的视频帧数、浓缩后的视频帧率中的至少一种。轨迹融合处理模块具体用于通过在图像中添加特定目标的方式进行轨迹融合处理。
浓缩视频生成模块，用于基于特定目标组合与背景图像合成后的图像，生成浓缩后的视频。
可选地，本发明实施例中的视频处理的装置还能够包括目标识别处理模块、匹配图像提取模块以及目标视频合成模块。目标识别处理模块用于对接收的待分析目标的图像进行目标识别处理，以确定待分析目标；其中待分析目标的图像来源于浓缩后的视频。匹配图像提取模块用于基于待分析目标从待处理视频中提取出与待分析目标相匹配的图像，目标视频合成模块用于将与待分析目标相匹配的图像合成为目标视频。
如图5所示，与视频处理的方法基于同一发明技术构思，本发明一个或多个实施例还能够提供一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行本发明任一实施例中的视频处理的方法的步骤。其中视频处理的方法的详细实现过程已在本说明书中有详细的记载，此处不再进行赘述。
如图5所示，与视频处理的方法基于同一发明技术构思，本发明一个或多个实施例还能够提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明任一实施例中的视频处理的方法的步骤。其中视频处理的方法的详细实现过程已在本说明书中有详细的记载，此处不再进行赘述。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM，Random Access Memory)，只读存储器(ROM，Read-Only Memory)，可擦除可编辑只读存储器(EPROM，Erasable Programmable Read-Only Memory，或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM，Compact Disc Read-Only Memory)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA，Programmable Gate Array)，现场可编程门阵列(FPGA，Field Programmable Gate Array)等。
在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种视频处理的方法，其特征在于，包括：
从接收的待处理视频中提取出背景图像；其中，所述待处理视频中的各帧图像背景相同；
对所述待处理视频中的各帧图像进行目标检测处理，以得到目标检测结果，根据目标检测结果确定目标跟踪结果；
根据接收的检索信息从所述目标跟踪结果中筛选出特定目标；
对所述特定目标的目标跟踪结果进行轨迹融合处理，以得到融合后的特定目标组合；
基于所述特定目标组合与所述背景图像合成后的图像，生成浓缩后的视频。
2.根据权利要求1所述的视频处理的方法，其特征在于，还包括：
对接收的待分析目标的图像进行目标识别处理，以确定待分析目标；所述待分析目标的图像来源于所述浓缩后的视频；
基于所述待分析目标从所述待处理视频中提取出与所述待分析目标相匹配的图像；
将与所述待分析目标相匹配的图像合成为目标视频。
3.根据权利要求1或2所述的视频处理的方法，其特征在于，所述根据接收的检索信息从所述目标跟踪结果中筛选出特定目标包括：
根据接收的检索命令信息从所述目标跟踪结果中筛选出第一目标；
根据接收的检索要求信息从所述第一目标中筛选出的第二目标作为所述特定目标；
所述检索信息包括所述检索命令信息和所述检索要求信息。
4.根据权利要求3所述的视频处理的方法，其特征在于，所述根据接收的检索命令信息从所述目标跟踪结果中筛选出第一目标包括：
从所述检索命令信息中读取目标特征信息；
基于所述目标特征信息对所述目标跟踪结果中的目标进行特征提取，以得到特征提取结果，所述特征提取结果包括外观特征、运动特征、位置关系特征中的至少一种；
根据所述特征提取结果从所述目标跟踪结果中筛选出第一目标。
5.根据权利要求1或2所述的视频处理的方法，其特征在于，所述对所述特定目标的目标跟踪结果进行轨迹融合处理包括：
根据特定目标的目标跟踪结果确定在待处理视频中同时出现的特定目标；
将同时出现的特定目标的轨迹融合在一起。
6.根据权利要求5所述的视频处理的方法，其特征在于，所述根据特定目标的目标跟踪结果确定在待处理视频中同时出现的特定目标包括：
根据特定目标的目标跟踪结果确定特定目标的轨迹特征；
根据各个特定目标的轨迹特征查找在待处理视频中同时出现的特定目标。
7.根据权利要求1或2所述的视频处理的方法，其特征在于，所述对所述特定目标的目标跟踪结果进行轨迹融合处理包括：
根据特定目标的目标跟踪结果确定具有相似的轨迹特征的多个特定目标；
对所述多个特定目标的轨迹错开进行融合处理。
8.根据权利要求1或2所述的视频处理的方法，其特征在于，所述对所述特定目标的目标跟踪结果进行轨迹融合处理包括：
基于特定目标的目标跟踪结果确定目标间冲突信息；
根据所述目标间冲突信息和接收的浓缩要求信息确定是否在当前帧图像中添加新的特定目标；
其中，所述浓缩要求信息包括浓缩后的视频时长、浓缩后的视频每帧目标数、浓缩后的视频帧数、浓缩后的视频帧率中的至少一种；
通过在图像中添加特定目标的方式进行轨迹融合处理。
9.一种视频处理的装置，其特征在于，包括：
背景图像提取模块，用于从接收的待处理视频中提取出背景图像；其中，所述待处理视频中的各帧图像背景相同；
目标检测跟踪模块，用于对所述待处理视频中的各帧图像进行目标检测处理，以得到目标检测结果，以及用于根据目标检测结果确定目标跟踪结果；
特定目标筛选模块，用于根据接收的检索信息从所述目标跟踪结果中筛选出特定目标；
轨迹融合处理模块，用于对所述特定目标的目标跟踪结果进行轨迹融合处理，以得到融合后的特定目标组合；
浓缩视频生成模块，用于基于所述特定目标组合与所述背景图像合成后的图像，生成浓缩后的视频。
10.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1～8中任一项权利要求所述视频处理的方法的步骤。
11.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1～8中任一项权利要求所述视频处理的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210306984.0A CN116844077A (zh) | 2022-03-25 | 2022-03-25 | 视频处理的方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210306984.0A CN116844077A (zh) | 2022-03-25 | 2022-03-25 | 视频处理的方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116844077A true CN116844077A (zh) | 2023-10-03 |
Family
ID=88165827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210306984.0A Pending CN116844077A (zh) | 2022-03-25 | 2022-03-25 | 视频处理的方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116844077A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117336459A (zh) * | 2023-10-10 | 2024-01-02 | 雄安雄创数字技术有限公司 | 一种三维视频融合方法、装置、电子设备及存储介质 |
| CN117676061A (zh) * | 2023-12-07 | 2024-03-08 | 亿海蓝（北京）数据技术股份公司 | 图像处理方法、装置、可读存储介质和计算机程序产品 |
-
2022
- 2022-03-25 CN CN202210306984.0A patent/CN116844077A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117336459A (zh) * | 2023-10-10 | 2024-01-02 | 雄安雄创数字技术有限公司 | 一种三维视频融合方法、装置、电子设备及存储介质 |
| CN117336459B (zh) * | 2023-10-10 | 2024-04-30 | 雄安雄创数字技术有限公司 | 一种三维视频融合方法、装置、电子设备及存储介质 |
| CN117676061A (zh) * | 2023-12-07 | 2024-03-08 | 亿海蓝（北京）数据技术股份公司 | 图像处理方法、装置、可读存储介质和计算机程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yin et al. | Text detection, tracking and recognition in video: a comprehensive survey | |
| CN107798272B (zh) | 快速多目标检测与跟踪系统 | |
| US8200648B2 (en) | Data similarity and importance using local and global evidence scores | |
| Zhang et al. | Part-guided attention learning for vehicle instance retrieval | |
| CN116844077A (zh) | 视频处理的方法、装置、计算机设备及存储介质 | |
| Su et al. | A novel passive forgery detection algorithm for video region duplication | |
| CN110795595A (zh) | 基于边缘计算的视频结构化存储方法、装置、设备及介质 | |
| CN112541448B (zh) | 一种行人重识别方法、装置、电子设备和存储介质 | |
| Gunsel et al. | Video indexing through integration of syntactic and semantic features | |
| Varghese et al. | An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots | |
| CN107169503B (zh) | 一种室内场景的分类方法及装置 | |
| CN110460838B (zh) | 一种镜头切换的检测方法、装置及计算机设备 | |
| CN112905824A (zh) | 目标车辆追踪方法、装置、计算机设备及存储介质 | |
| Fang et al. | Adobe boxes: Locating object proposals using object adobes | |
| Yang et al. | Bottom-up foreground-aware feature fusion for practical person search | |
| Chung et al. | SSAT: Self-supervised associating network for multiobject tracking | |
| CN113536946B (zh) | 一种基于摄像头关系的自监督行人重识别方法 | |
| Belharbi et al. | TCAM: Temporal class activation maps for object localization in weakly-labeled unconstrained videos | |
| Liu et al. | Effective feature extraction for play detection in american football video | |
| e Souza et al. | Survey on visual rhythms: A spatio-temporal representation for video sequences | |
| CN112819859B (zh) | 一种应用于智慧安防的多目标跟踪方法及装置 | |
| Liu et al. | Semantic retrieval for videos in non-static background using motion saliency and global features | |
| KR101342018B1 (ko) | 대표 특징을 이용한 실시간 객체 인식 및 추적 방법과 그 장치 | |
| Nyström | Evaluation of Multiple Object Tracking in Surveillance Video | |
| Dinh et al. | Real-time traffic sign recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |