CN117115718A - 政务视频数据的处理方法、系统及计算机可读存储介质 - Google Patents

政务视频数据的处理方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN117115718A
CN117115718A CN202311364096.5A CN202311364096A CN117115718A CN 117115718 A CN117115718 A CN 117115718A CN 202311364096 A CN202311364096 A CN 202311364096A CN 117115718 A CN117115718 A CN 117115718A
Authority
CN
China
Prior art keywords
frame
video stream
video
sub
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311364096.5A
Other languages
English (en)
Other versions
CN117115718B (zh
Inventor
涂旭青
王磊
李桑榆
邵海春
辜雅敏
周金平
邹小玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Provincial Information Center Jiangxi Provincial E Government Network Management Center Jiangxi Provincial Credit Center Jiangxi Provincial Big Data Center
Thinvent Digital Technology Co Ltd
Original Assignee
Jiangxi Provincial Information Center Jiangxi Provincial E Government Network Management Center Jiangxi Provincial Credit Center Jiangxi Provincial Big Data Center
Thinvent Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Provincial Information Center Jiangxi Provincial E Government Network Management Center Jiangxi Provincial Credit Center Jiangxi Provincial Big Data Center, Thinvent Digital Technology Co Ltd filed Critical Jiangxi Provincial Information Center Jiangxi Provincial E Government Network Management Center Jiangxi Provincial Credit Center Jiangxi Provincial Big Data Center
Priority to CN202311364096.5A priority Critical patent/CN117115718B/zh
Publication of CN117115718A publication Critical patent/CN117115718A/zh
Application granted granted Critical
Publication of CN117115718B publication Critical patent/CN117115718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种政务视频数据的处理方法、系统及计算机可读存储介质，属于数据处理技术领域。该处理方法基于时间顺序将现场视频流分割为多个子视频，同时在现场视频流标记帧识别码。再根据帧间特征修改所述现场视频流后生成第一视频流，从第一视频流中抽取多个视频片段并生成第二视频流。若第二视频流的内容帧异常，根据帧识别码建立优先级列表，基于优先级列表从存储节点下载子视频。本发明将现场视频流分割为多个子视频，实现视频流的分布式存储，降低本地存储要求。本发明还通过异常内容帧的帧识别码快速匹配相应的存储节点，再根据优先级列表确定子视频的下载优先级，提升访问效率。

Description

政务视频数据的处理方法、系统及计算机可读存储介质
技术领域
本发明涉及数据处理技术，尤其涉及一种政务视频数据的处理方法、系统及计算机可读存储介质。
背景技术
在交通管理、环保检查等过程中保存音视频等现场记录，便于事务管理机关审查管理过程。例如中国专利申请CN113162899B公开的一种基于5G通讯实现系统智能化管理的应用平台系统，该系统接收现场采集到的音视频数据资源，通过实时码流的形式传送给管理终端设备，实现音视频数据快速迁移、精准调用。该方案依赖高质量的通信网络，在移动蜂窝网络中，该方案无法满足电子政务对数据实时性的要求。中国专利申请CN116708807A公开了一种监控视频的压缩重建方法，通过压缩现场记录数据，实现实时传输。由于压缩后的现场记录数据丢失部分信息，还需要保留原始数据以备查验。原始数据通常保存在云端的存储节点，因而读取完整的原始数据速度慢。异常帧通常出现在原始数据的某一时间片段，而现有的这种方案尚未解决快速匹配与异常帧相关的时间片段的问题。因此，有必要提供根据异常帧的位置快速读取和匹配原始数据，以提高事务管理的效率。
发明内容
为了解决上述现有技术存在的缺陷，本发明提出了一种政务视频数据的处理方法、系统及计算机可读存储介质，以解决现有技术中快速匹配异常内容帧与存储节点中子视频的问题。进一步的，本发明通过对现场视频的处理，提取关键帧和视频片段，加快事务管理机关的处理效率。
本发明的技术方案是这样实现的：
一种政务视频数据的处理方法，包括以下步骤：
步骤1：视频记录仪采集现场视频流，在现场视频流标记帧识别码，视频记录端将现场视频流发送至本地政务终端；
步骤2：识别现场视频流的帧间特征，基于帧间特征修改所述现场视频流后生成第一视频流，再发送至政务服务器；
步骤3：本地政务终端基于时间顺序将现场视频流分割为多个子视频，读取子视频的起始帧和结束帧的帧识别码，将子视频备份至云服务器的多个存储节点，云服务器生成子视频的索引表，索引表至少由政务序列号、帧识别码、节点地址码组成；
步骤4：政务服务器识别第一视频流的第一前景特征，若第一前景特征超过特征阈值，从该第一视频流中提取关键帧，基于所述关键帧抽取第一视频流的多个视频片段，生成第二视频流，将第二视频流上传至远程政务终端；
步骤5：若第二视频流的内容帧异常，远程政务终端提取异常内容帧的帧识别码，根据该帧识别码建立优先级列表，根据政务序列号访问多个存储节点，基于优先级列表从存储节点下载子视频；
步骤6：同步所述子视频与第二视频流，提取子视频和第二视频流的帧识别码，若帧识别码不同，发出异常通知。
在本发明中，在步骤1中，所述帧识别码由用于标记内容帧时间的时间序列段与用于验证内容帧真伪的校验序列段组成。
在本发明中，在步骤2中，所述帧间特征为帧间距离特征，提取现场视频流中内容帧h与内容帧h+1的特征点，计算特征向量(x1,y1)、(x2,y2)、...、(xk,yk)、...、(xn,yn) ，n为特征点的数量，内容帧h与内容帧h+1的帧间距离特征，遍历现场视频流的内容帧，若Dh小于距离阈值，删除内容帧h+1，剩余内容帧按时间顺序合并为第一视频流。
在本发明中，在步骤3中，读取政务文件，生成政务文件的标注图，识别现场视频流的第二前景特征，在所述第二前景特征插入标注图，所述第二前景特征为人物面部特征、车辆牌照特征中的一种。
在本发明中，在步骤4中，所述第一前景特征为目标运动特征，基于历史数据集生成特征模型，通过特征模型提取目标运动特征，若任意内容帧的目标运动特征超过特征阈值，将该内容帧存储为关键帧。
在本发明中，在步骤4中，根据预设的帧间时长从第一视频流中关键帧的两侧提取多个内容帧，再组成视频片段，在相邻的视频片段之间增加标识帧，生成第二视频流。
在本发明中，在步骤5中，计算任意子视频i的起始帧与异常内容帧的第一时间间隔T1以及结束帧与异常内容帧的第二时间间隔T2，该子视频的优先级Si= (T1-T2)/ (T1×T2)，排列每一子视频的优先级并生成优先级列表。
在本发明中，在步骤6中，根据时间序列段同步所述子视频与第二视频流，对比同一时间序列段的内容帧的校验序列段，若校验序列段不同，远程政务终端向政务服务器发出异常通知。
一种根据所述政务视频数据的处理方法的处理系统，包括：
多个视频记录仪，用于采集现场视频流；
一本地政务终端，用于将现场视频流分割为多个子视频；
一云服务器，具有多个存储节点，存储节点用于存储所述子视频；
一政务服务器，用于从该第一视频流中提取关键帧并生成第二视频流；
一远程政务终端，用于播放第二视频流并从存储节点下载子视频，
其中，视频记录仪在现场视频流中标记帧识别码，
云服务器生成子视频的索引表，索引表至少由政务序列号、帧识别码、节点地址码组成，
远程政务终端根据帧识别码建立优先级列表，基于优先级列表从存储节点下载子视频，
远程政务终端同步所述子视频与第二视频流，提取子视频和第二视频流的帧识别码，若帧识别码不同，发出异常通知。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的政务视频数据的处理方法。
实施本发明的这种政务视频数据的处理方法、系统及计算机可读存储介质，具有以下有益效果：本发明将现场视频流分割为多个子视频，实现视频流的分布式存储，降低本地存储要求。通过异常内容帧的帧识别码快速匹配相应的存储节点，再根据优先级列表确定子视频的下载优先级，提升访问效率。进一步的，本发明根据第一前景特征提取现场视频流的关键帧，再抽取相关视频片段，避免处理全部视频流，提高事务管理效率。
附图说明
图1为本发明政务视频数据的处理方法的流程图；
图2为本发明编辑后的现场视频流的内容帧示意图；
图3为本发明生成第二视频流的示意图；
图4为本发明基于优先级列表从存储节点下载子视频的原理图；
图5为本发明同步所述子视频与第二视频流的示意图；
图6为本发明识别第二前景特征的方法的流程图；
图7为本发明判断第二视频流的内容帧是否异常的方法的流程图；
图8为本发明提取第一前景特征后的内容帧示意图；
图9为本发明根据所述政务视频数据的处理方法的处理系统的框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
现代电子政务要求事务管理机关的事务管理过程资料快速上传至政务服务器，便于事务管理机关实时审查事务管理过程的合规性。事务管理过程资料包括文字记录与视频记录。视频记录的时长通常在几小时甚至几十小时，大部分内容为非核心数据。这给数据的存储、审查以及快速访问带来麻烦。本发明将现场视频流分割为多个子视频，完成现场视频流的云端分布式存储，同时识别现场视频流的关键帧与视频片段，提升审查效率。本发明还通过帧识别码实现异常视频帧对应的子视频的快速访问。本发明通过以下四个实施例进一步解释发明内容。
实施例一
如图1至图5所示本发明的政务视频数据的处理方法，包括以下步骤。
步骤1：视频记录仪采集现场视频流，在现场视频流标记帧识别码，视频记录端将现场视频流发送至本地政务终端。所述帧识别码由用于标记内容帧时间的时间序列段与用于验证内容帧真伪的校验序列段组成。时间序列段由视频记录仪的系统时间生成，精确到秒位。设置一不公开的校验初始值，然后通过rand()函数不断迭代生成下一时刻的校验序列段。
步骤2：识别现场视频流的帧间特征，基于帧间特征修改所述现场视频流后生成第一视频流，再发送至政务服务器。在本实施例中，帧间特征为帧间距离特征，视频记录仪提取现场视频流中内容帧h与内容帧h+1的特征点，计算内容帧的特征向量(x1,y1)、(x2,y2)、...、(xk,yk)、...、(xn,yn) ，n为特征点的数量。特征向量(x1,y1)表示为同一特征点在相邻帧中横向移动x1个像素点，纵向移动y1个像素点。内容帧h与内容帧h+1的帧间距离特征。遍历现场视频流的内容帧，若Dh小于距离阈值，删除内容帧h+1，剩余内容帧按时间序列合并为第一视频流。距离阈值通常取10至30之间。处理后的第一视频流的尺寸显著小于现场视频流，便于视频记录仪实时上传。在更优选实施例中，为避免删除的内容帧过多影响视频播放，可以在部分删除的内容帧之间强行补入一张内容帧。
步骤3：本地政务终端基于时间顺序将现场视频流分割为多个子视频，读取子视频的起始帧和结束帧的帧识别码，将子视频备份至云服务器的多个存储节点，云服务器生成子视频的索引表，索引表至少由政务序列号、帧识别码、节点地址码组成。通过索引表，可以快速查找政务序列号对应的存储节点的节点地址码。进一步的，本地政务终端可以编辑现场视频流，编辑后的现场视频流的内容帧如图2所示。具体来说，本地政务终端读取政务文件，生成政务文件的标注图。本地政务终端识别现场视频流的第二前景特征，在所述第二前景特征插入标注图，所述第二前景特征可以是人物面部特征、车辆牌照特征等。标注图包含人物身份信息和行为信息，提升后续审查的效率。
步骤4：政务服务器识别第一视频流的第一前景特征，若第一前景特征超过特征阈值，从该第一视频流中提取关键帧，基于所述关键帧抽取第一视频流的多个视频片段，生成第二视频流，将第二视频流上传至远程政务终端。第二视频流的生成过程如图3所示。所述第一前景特征为目标运动特征，基于历史数据集生成特征模型，通过特征模型提取目标运动特征，若任意内容帧的目标运动特征超过特征阈值，该内容帧存储为关键帧。
本实施例可以根据政务序列号的类别确定政务行为的特征阈值，包括但不限于人物目标的位置区间、动作幅度以及车辆行驶速度等等。超过特征阈值的关键帧为事务管理机关审查的核心内容。根据预设的帧间时长（例如10min）从关键帧的两侧提取多个内容帧，再组成视频片段，生成第二视频流。为了快速识别相邻视频片段，可以在相邻的视频片段之间增加标识帧。经过两次处理，第二视频流的长度显著小于现场视频流。远程事务管理终端直接审查第二视频流，可以提升事务管理效率。
步骤5：若第二视频流的内容帧异常，远程政务终端提取异常内容帧的帧识别码，根据该帧识别码建立优先级列表，根据政务序列号访问多个存储节点，基于优先级列表从存储节点下载子视频。若内容帧不存在异常，结束当前任务。在确定内容帧异常后，远程政务终端调用现场视频流，核对事务管理过程。现场视频流尺寸大，远程政务终端的带宽有限。参照图4所示，根据异常内容帧的帧识别码确定存储节点的优先级，优先将下载资源分配给异常内容帧相近的子视频。具体实施时，首先匹配现场视频流对应的政务序列号，遍历该政务序列号的全部节点地址码，访问节点地址码对应的存储节点。再提取索引表中每一节点地址码对应起始帧的帧识别码和结束帧的帧识别码。根据帧识别码的时间序列段计算子视频i的起始帧与异常内容帧的第一时间间隔T1以及结束帧与异常内容帧的第二时间间隔T2。该存储节点的子视频优先级Si=(T1-T2)/(T1×T2)。需要说明的是，本实施例的优先级数值越小，子视频与异常内容帧的距离越小，优先级越高。按照优先级数值从小到大的顺序排列每一子视频并生成优先级列表。
步骤6：同步所述子视频与第二视频流，提取子视频和第二视频流的帧识别码，若帧识别码不同，发出异常通知。若帧识别码不同，结束当前任务，启动人工审核操作。如图5所示，根据异常内容帧的时间序列段同步所述子视频与第二视频流，图中虚线为异常内容帧的同步路径。再对比同一时间序列段的内容帧的校验序列段，防止系统出错或内容帧被篡改。若校验序列段不同，远程政务终端向政务服务器发出异常通知。若校验序列段相同，远程政务终端根据子视频以及多个子视频合并的现场视频流进一步审查事务管理过程的合规性。
实施例二
进一步如图6所示，本实施例进一步公开了识别现场视频流的第二前景特征的方法。该方法从政务文件中提取目标人物的身份信息与行为信息，将信息以标注图的形式插入现场视频流的对应位置，可以提升后续审查的效率。
首先，确定人物面部特征的数据集。选择正面、左面、后面、右面四个角度的人物面部特征，生成FIPCO、CCD-B数据集。
然后，采用历史的FIPCO、CCD-B数据集训练VGG16深度卷积神经网络。该深度网络模型的卷积核为3×3，步长为1。通过多个小尺度卷积核的有效叠加，深化非线性层。卷积核设置5个池化层，池化层尺度为2×2，池化步长为2，以提升识别精度。
最后，从现场视频流中识别目标人物的人物面部特征。将政务文件中目标人物的人物面部特征的数据集输入VGG16深度卷积神经网络，获得面部基础特征。再将面部基础特征匹配至现场视频流的内容帧，识别对应人物面部特征。应当理解，本实施例公开的是一种具体的实施方式，除了本实施例所述方法之外，还可以采用例如像素插值等方法识别第二前景特征。
实施例三
参照图7，本实施例公开了判断第二视频流的内容帧是否异常的方法。本实施例基于骨架特征的轨迹进行目标人物的行为建模，检测目标人物的异常行为，进而判断第二视频流的内容帧是否异常。如图8所示，本实施例的第一前景特征为目标人物的目标运动特征，特别是骨架特征。
首先，提取目标人物的骨架特征。使用姿态估计算法检测第二视频流上多个内容帧，确定骨架的整体位置偏移与骨架中各点的相对位置偏移，分别生成全局特征分量和局部特征分量/>。由于人体骨架的刚性，可以通过全局特征分量和局部特征分量描述骨架特征。在连续的多个内容帧中，任意特征序列/>，h为内容帧的序列号，m≤j，j为特征序列的数量。
然后，采用WGAN-GP特征模型完成建模。将全局特征分量或局部特征分量输入编码器，输出编码特征，再将编码特征输入到重构和预测记忆模块。再输出传输到重构解码器和预测解码器中，分别完成特征序列的重构和预测。其中，重构后的修正特征序列，/>为修正全局特征分量，/>为修正局部特征分量。预测后的未来特征序列/>，/>为未来全局特征分量，/>为未来局部特征分量，p为预测的帧数。
再根据样本数据完成WGAN-GP特征模型的训练。样本数据经WGAN-GP模型获得修正特征序列和未来特征序列，分别比较修正特征序列和未来特征序列与真实的特征序列的Wasserstein距离。在WGAN-GP特征模型中定义对抗的生成器和批评器，分别以最大化参数和最小化参数将修正特征序列和未来特征序列拟合至真实的特征序列，逐步迭代获得优化后的WGAN-GP模型。
最后将目标人物存在异常行为的内容帧确定为异常内容帧。对于内容帧的任意目标人物，基于优化后的WGAN-GP特征模型获得修正特征序列和未来特征序列。计算修正特征序列与真实的特征序列的第一差值r1，。再计算未来特征序列与真实的特征序列第二差值r2，/>。合并第一差值和第二差值，获得融合差异r0。若融合差异r0大于特征阈值△，则该内容帧为异常内容帧。
实施例四
如图9所示，本实施例的这种根据所述政务视频数据的处理方法的处理系统，包括：视频记录仪、本地政务终端、云服务器、政务服务器以及远程政务终端。视频记录仪用于采集现场视频流，视频记录仪例如是具有数据处理功能和通信功能的摄像机、手机等。本地政务终端用于将现场视频流分割为多个子视频。本地政务终端为事务管理部门的台式计算机、笔记本以及本地服务器等等。云服务器为分布式存储系统，具有多个存储节点。存储节点用于存储所述子视频，单一存储节点的容量可以是64MkB。政务服务器为政务数据交换平台，用于从第一视频流中提取关键帧并生成第二视频流。远程政务终端用于播放第二视频流并从存储节点下载子视频。远程政务终端与本地政务终端处于不同的局域网，远程政务终端可以是事务管理部门的台式计算机、笔记本以及本地服务器。
为了在现场视频流标记帧识别码，视频记录仪可以嵌入一伪随机数生成器和时钟发生器。云服务器生成子视频的索引表，索引表至少由政务序列号、帧识别码、节点地址码组成。政务序列号可以由政务服务器定义，再分发至各终端。远程政务终端根据帧识别码建立优先级列表，基于优先级列表从存储节点下载子视频。远程政务终端优先将下载资源分配给优先级较高，即优先级数值较小的存储节点。远程政务终端同步所述子视频与第二视频流，提取子视频和第二视频流的帧识别码。若帧识别码不同，远程政务终端向政务服务器、本地政务终端等发出异常通知。
实施例五
本实施例进一步公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的政务视频数据的处理方法。本实施例的计算机可读存储介质，可以是软盘、磁带、硬盘驱动器、CD-ROM、DVD等等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改，等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种政务视频数据的处理方法，其特征在于，包括以下步骤：
步骤1：视频记录仪采集现场视频流，在现场视频流标记帧识别码，视频记录端将现场视频流发送至本地政务终端；
步骤2：识别现场视频流的帧间特征，基于帧间特征修改所述现场视频流后生成第一视频流，再发送至政务服务器；
步骤3：本地政务终端基于时间顺序将现场视频流分割为多个子视频，读取子视频的起始帧和结束帧的帧识别码，将子视频备份至云服务器的多个存储节点，云服务器生成子视频的索引表，索引表至少由政务序列号、帧识别码、节点地址码组成；
步骤4：政务服务器识别第一视频流的第一前景特征，若第一前景特征超过特征阈值，从该第一视频流中提取关键帧，基于所述关键帧抽取第一视频流的多个视频片段，生成第二视频流，将第二视频流上传至远程政务终端；
步骤5：若第二视频流的内容帧异常，远程政务终端提取异常内容帧的帧识别码，根据该帧识别码建立优先级列表，根据政务序列号访问多个存储节点，基于优先级列表从存储节点下载子视频；
步骤6：同步所述子视频与第二视频流，提取子视频和第二视频流的帧识别码，若帧识别码不同，发出异常通知。
2.根据权利要求1所述的政务视频数据的处理方法，其特征在于，在步骤1中，所述帧识别码由用于标记内容帧时间的时间序列段与用于验证内容帧真伪的校验序列段组成。
3.根据权利要求1所述的政务视频数据的处理方法，其特征在于，在步骤2中，所述帧间特征为帧间距离特征，提取现场视频流中内容帧h与内容帧h+1的特征点，计算特征向量(x1,y1)、(x2,y2)、...、(xk,yk)、...、(xn,yn) ，n为特征点的数量，内容帧h与内容帧h+1的帧间距离特征，遍历现场视频流的内容帧，若Dh小于距离阈值，删除内容帧h+1，剩余内容帧按时间顺序合并为第一视频流。
4.根据权利要求1所述的政务视频数据的处理方法，其特征在于，在步骤3中，读取政务文件，生成政务文件的标注图，识别现场视频流的第二前景特征，在所述第二前景特征插入标注图，所述第二前景特征为人物面部特征、车辆牌照特征中的一种。
5.根据权利要求1所述的政务视频数据的处理方法，其特征在于，在步骤4中，所述第一前景特征为目标运动特征，基于历史数据集生成特征模型，通过特征模型提取目标运动特征，若任意内容帧的目标运动特征超过特征阈值，将该内容帧存储为关键帧。
6.根据权利要求1所述的政务视频数据的处理方法，其特征在于，在步骤4中，根据预设的帧间时长从第一视频流中关键帧的两侧提取多个内容帧，再组成视频片段，在相邻的视频片段之间增加标识帧，生成第二视频流。
7.根据权利要求1所述的政务视频数据的处理方法，其特征在于，在步骤5中，计算任意子视频i的起始帧与异常内容帧的第一时间间隔T1以及结束帧与异常内容帧的第二时间间隔T2，该子视频的优先级Si=(T1-T2)/(T1×T2)，排列每一子视频的优先级并生成优先级列表。
8.根据权利要求2所述的政务视频数据的处理方法，其特征在于，在步骤6中，根据时间序列段同步所述子视频与第二视频流，对比同一时间序列段的内容帧的校验序列段，若校验序列段不匹配，远程政务终端向政务服务器发出异常通知。
9.一种根据权利要求1所述政务视频数据的处理方法的处理系统，其特征在于，包括：
多个视频记录仪，用于采集现场视频流；
一本地政务终端，用于将现场视频流分割为多个子视频；
一云服务器，具有多个存储节点，存储节点用于存储所述子视频；
一政务服务器，用于从该第一视频流中提取关键帧并生成第二视频流；
一远程政务终端，用于播放第二视频流并从存储节点下载子视频，
其中，视频记录仪在现场视频流中标记帧识别码，
云服务器生成子视频的索引表，索引表至少由政务序列号、帧识别码、节点地址码组成，
远程政务终端根据帧识别码建立优先级列表，基于优先级列表从存储节点下载子视频，
远程政务终端同步所述子视频与第二视频流，提取子视频和第二视频流的帧识别码，若帧识别码不同，发出异常通知。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1所述的政务视频数据的处理方法。
CN202311364096.5A 2023-10-20 2023-10-20 政务视频数据的处理方法、系统及计算机可读存储介质 Active CN117115718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311364096.5A CN117115718B (zh) 2023-10-20 2023-10-20 政务视频数据的处理方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311364096.5A CN117115718B (zh) 2023-10-20 2023-10-20 政务视频数据的处理方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN117115718A true CN117115718A (zh) 2023-11-24
CN117115718B CN117115718B (zh) 2024-01-09

Family

ID=88809422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311364096.5A Active CN117115718B (zh) 2023-10-20 2023-10-20 政务视频数据的处理方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN117115718B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714814A (zh) * 2023-12-16 2024-03-15 浙江鼎世科技有限公司 一种基于智能策略的视频存储访问系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0406512D0 (en) * 2004-03-23 2004-04-28 British Telecomm Method and system for semantically segmenting scenes of a video sequence
EP1557837A1 (en) * 2004-01-26 2005-07-27 Sony International (Europe) GmbH Redundancy elimination in a content-adaptive video preview system
CN101488967A (zh) * 2009-01-14 2009-07-22 深圳市同洲电子股份有限公司 一种视频传输方法、嵌入式监控终端及监控平台服务器
US20140140415A1 (en) * 2011-05-19 2014-05-22 Lg Electronics Inc. Video stream transmitting device, video stream receiving device, video stream transmitting method, and video stream receiving method
JP5602792B2 (ja) * 2007-02-08 2014-10-08 ビヘイヴィアラル レコグニション システムズ， インコーポレイテッド 挙動認識システム
WO2019057198A1 (zh) * 2017-09-25 2019-03-28 北京达佳互联信息技术有限公司 视频录制方法和装置
CN109583315A (zh) * 2018-11-02 2019-04-05 北京工商大学 一种面向智能视频监控的多通道快速人体姿态识别方法
CN112584082A (zh) * 2020-12-09 2021-03-30 阳博 一种应用于视频通信的图像识别方法及系统
CN112651271A (zh) * 2020-06-09 2021-04-13 深圳市唯特视科技有限公司 一种基于深度学习算法搜索视频关键帧的方法及系统
CN113221674A (zh) * 2021-04-25 2021-08-06 广东电网有限责任公司东莞供电局 基于粗糙集约简和sift的视频流关键帧提取系统及方法
CN116708807A (zh) * 2023-02-16 2023-09-05 国网江苏省电力有限公司常州供电分公司 监控视频的压缩重建方法、压缩重建装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1557837A1 (en) * 2004-01-26 2005-07-27 Sony International (Europe) GmbH Redundancy elimination in a content-adaptive video preview system
GB0406512D0 (en) * 2004-03-23 2004-04-28 British Telecomm Method and system for semantically segmenting scenes of a video sequence
JP5602792B2 (ja) * 2007-02-08 2014-10-08 ビヘイヴィアラル レコグニション システムズ， インコーポレイテッド 挙動認識システム
CN101488967A (zh) * 2009-01-14 2009-07-22 深圳市同洲电子股份有限公司 一种视频传输方法、嵌入式监控终端及监控平台服务器
US20140140415A1 (en) * 2011-05-19 2014-05-22 Lg Electronics Inc. Video stream transmitting device, video stream receiving device, video stream transmitting method, and video stream receiving method
WO2019057198A1 (zh) * 2017-09-25 2019-03-28 北京达佳互联信息技术有限公司 视频录制方法和装置
US20210201952A1 (en) * 2017-09-25 2021-07-01 Beijing Dajia Internet Information Technology Co., Ltd. Video recording method and device
CN109583315A (zh) * 2018-11-02 2019-04-05 北京工商大学 一种面向智能视频监控的多通道快速人体姿态识别方法
CN112651271A (zh) * 2020-06-09 2021-04-13 深圳市唯特视科技有限公司 一种基于深度学习算法搜索视频关键帧的方法及系统
CN112584082A (zh) * 2020-12-09 2021-03-30 阳博 一种应用于视频通信的图像识别方法及系统
CN113221674A (zh) * 2021-04-25 2021-08-06 广东电网有限责任公司东莞供电局 基于粗糙集约简和sift的视频流关键帧提取系统及方法
CN116708807A (zh) * 2023-02-16 2023-09-05 国网江苏省电力有限公司常州供电分公司 监控视频的压缩重建方法、压缩重建装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘华咏, 周洞汝: "基于内容的新闻视频故事分段和检索", 计算机工程, no. 05 *
孙中华, 孙晓野, 付萍: "基于内容的视频检索系统在电子政务中的应用", 计算机工程与应用, no. 17 *
张聪聪;何宁;: "基于关键帧的双流卷积网络的人体动作识别方法", 南京信息工程大学学报(自然科学版), no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714814A (zh) * 2023-12-16 2024-03-15 浙江鼎世科技有限公司 一种基于智能策略的视频存储访问系统

Also Published As

Publication number Publication date
CN117115718B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN108491822B (zh) 一种基于嵌入式设备有限缓存的人脸检测去重方法
Li et al. Rate-distortion optimal video summary generation
CN117115718B (zh) 政务视频数据的处理方法、系统及计算机可读存储介质
CN109063611B (zh) 一种基于视频语义的人脸识别结果处理方法和装置
CN110728294A (zh) 一种基于迁移学习的跨领域图像分类模型构建方法和装置
US20140317062A1 (en) Amethod and apparatus for recovering sqlite file deleted from mobile terminal
CN108337482A (zh) 监控视频的存储方法和系统
CN107533850A (zh) 音频内容识别方法和装置
CN112818955B (zh) 一种图像分割方法、装置、计算机设备以及存储介质
WO2017075493A1 (en) Video frame difference engine
CN108063914A (zh) 监控视频文件生成、播放方法、装置及终端设备
US20220189172A1 (en) Method and system for whole-process trace leaving of video manuscript gathering, editing, and check
Khan et al. Blockchain-enabled deep semantic video-to-video summarization for IoT devices
CN115273372A (zh) 一种园区设备告警方法、系统、装置及存储介质
JP2007507761A5 (zh)
CN113572981B (zh) 视频配乐方法及装置、电子设备、存储介质
CN112446362B (zh) 人脸图片档案处理方法及设备
Li et al. Coverless Video Steganography Based on Frame Sequence Perceptual Distance Mapping.
CN113822138A (zh) 相似视频确定方法及装置
CN111415164A (zh) 基于区块链技术的汽车交易系统及其实现方法
CN116743344A (zh) 一种基于区块链节点用户的身份验证加密方法
CN115269910A (zh) 音视频审核方法及系统
WO2023010701A1 (en) Image generation method, apparatus, and electronic device
CN111966859A (zh) 视频数据的处理方法及装置、可读存储介质
CN109657098B (zh) 一种视频指纹提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant