CN113114968A - 一种视频处理方法、装置、设备及存储介质 - Google Patents

一种视频处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113114968A
CN113114968A CN202110395987.1A CN202110395987A CN113114968A CN 113114968 A CN113114968 A CN 113114968A CN 202110395987 A CN202110395987 A CN 202110395987A CN 113114968 A CN113114968 A CN 113114968A
Authority
CN
China
Prior art keywords
data
video
video stream
structured
structured data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110395987.1A
Other languages
English (en)
Inventor
尹传威
徐志轩
朱可
张元�
陈治宇
何城
方赤
吴宇光
张荣宸
吴思
李洋莹
秦雯婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202110395987.1A priority Critical patent/CN113114968A/zh
Publication of CN113114968A publication Critical patent/CN113114968A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供了一种视频处理方法、装置、设备及存储介质，涉及安防技术领域，其中，该方法应用于前端设备，所述方法包括：采集视频信号，将所述视频信号转换成视频流数据；对所述视频流数据进行结构化处理，得到结构化数据；将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据；将所述融合数据发送至后端设备，以使所述后端设备对所述融合数据进行处理。本发明实施例提供的技术方案可以提高结构化信息提取效率，从而可以针对视频中出现的情况进行及时提示以及报警。

Description

一种视频处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及安防技术领域，尤其涉及一种视频处理方法、装置、设备及存储介质。
背景技术
随着视频监控在安防领域中逐步普及，海量的视频摄像头通过网络接入到视频监控管理系统，随之而来产生了大量的视频录像资料，目前的视频监控主要以人工监控和人工查阅视频录像资料来查找证据和线索。随着视频监控网络规模的不断扩大、视频数据的急剧增长，人工监控和人工查阅越来越难以满足日益增长的银行安全监控需求。
其中，原始视频流数据属于一种难以进行检索、查询的非结构化数据，如果想通过视频录像资料来查找某个线索或者细节，必须采用人工调阅视频片断的方法，极大的浪费了人力、时间资源。面对海量的视频录像资料，对原始视频流数据进行结构化数据提取，变得越来越重要。
相关技术中，通过后端设备对视频流数据进行结构化处理，但是无法针对视频中可能出现的情况进行及时提示以及报警。
发明内容
本发明实施例提供了一种视频处理方法、装置、设备及存储介质，可以提高结构化信息提取效率，从而可以针对视频中出现的情况进行及时提示以及报警。
第一方面，本发明实施例提供了一种视频处理方法，所述方法应用于前端设备，所述方法包括：
采集视频信号，将所述视频信号转换成视频流数据；
对所述视频流数据进行结构化处理，得到结构化数据；
将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据；
将所述融合数据发送至后端设备，以使所述后端设备对所述融合数据进行处理。
第二方面，本发明实施例还提供了一种视频处理方法，所述方法应用于后端设备，所述方法包括：
接收数据包；
若判断所述数据包的头部部分包含结构化数据的特征标识信息，确定所述数据包包括视频流数据和结构化数据的融合数据，并将所述数据包中的融合数据分离形成所述视频流数据以及对应的结构化数据；
在结构化数据中检索满足设定条件的目标结构化数据，并确定所述目标结构化数据对应的目标视频流数据。
第三方面，本发明实施例还提供了一种视频处理方法，包括：
前端设备采集视频信号，将所述视频信号转换成视频流数据；
所述前端设备对所述视频流数据进行结构化处理，得到结构化数据；
所述前端设备将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据；
所述前端设备将所述融合数据以数据包发送至后端设备。
所述后端设备接收数据包；
所述后端设备若判断所述数据包的头部部分包含结构化数据的特征标识信息，确定所述数据包包括视频流数据和结构化数据的融合数据，并将所述融合数据分离形成所述视频流数据以及对应的结构化数据；
所述后端设备在结构化数据中检索满足设定条件的目标结构化数据，并确定所述目标结构化数据对应的目标视频流数据。
第四方面，本发明实施例提供了一种视频处理装置，所述装置配置于前端设备，所述装置包括：
模数转换模块，用于采集视频信号，将所述视频信号转换成视频流数据；
结构化数据提取模块，用于对所述视频流数据进行结构化处理，得到结构化数据；
数据融合模块，用于将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据；
第一网络数据传输模块，用于将所述融合数据发送至后端设备，以使所述后端设备对所述融合数据进行处理。
第五方面，本发明实施例提供了一种视频处理装置，所述装置配置于后端设备，所述装置包括：
第二网络数据传输模块，用于接收数据包；
数据分离模块，用于若判断所述数据包的头部部分包含结构化数据的特征标识信息，确定所述数据包包括视频流数据和结构化数据的融合数据，并将所述数据包中的融合数据分离形成所述视频流数据以及对应的结构化数据；
视频检索模块，用于在结构化数据中检索满足设定条件的目标结构化数据，并确定所述目标结构化数据对应的目标视频流数据。
第六方面，本发明实施例提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的方法。
第七方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的方法。
本发明实施例提供的技术方案，通过前端设备将视频信号转换成视频流数据，通过从视频流数据中提取结构化数据，将视频流数据和结构化数据基于传输协议进行融合，形成融合数据，并将融合数据发送至后端设备，以使后端设备对融合数据进行处理，即通过前端设备提取结构化数据，可以提高结构化信息提取效率，从而可以针对视频中出现的情况进行及时提示以及报警，通过将结构化数据和视频流数据基于传输协议进行融合，形成融合数据，并将融合数据进行发送，可以实现视频流数据和结构化数据的同步传输。
附图说明
图1a是本发明实施例提供的一种视频处理方法流程图；
图1b是本发明实施例提供的一种视频处理方法流程图；
图2是本发明实施例提供的一种视频处理方法流程图；
图3是本发明实施例提供的一种视频处理方法流程图；
图4是本发明实施例提供的一种视频处理装置结构框图；
图5是本发明实施例提供的一种视频处理装置结构框图；
图6a是本发明实施例提供的一种视频处理系统结构框图；
图6b是本发明实施例提供的一种视频处理系统结构示意图；
图7是本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1a是本发明实施例提供的一种视频处理方法流程图，所述方法可以由视频处理装置来执行，所述装置可以由软件和/硬件来实现，所述装置可以配置在前端设备中，前端设备可以是视频采集设备等。可选的，所述方法可以应用于视频检索的场景中，或者可以应用于视频监控的场景中，所述方法应用于其他视频处理的场景中。
如图1a所示，本发明实施例提供的技术方案包括：
S110：采集视频信号，将所述视频信号转换成视频流数据。
在本发明实施例中，本发明实施例提供的方法应用于前端设备，也可以称为近源端设备，其中，前端设备可以是视频采集设备，可以通过设备中的模数转换模块对采集到的视频信号进行模数转换(AD)，以进行信息化处理，形成可供处理的视频流数据。
S120：对所述视频流数据进行结构化处理，得到结构化数据。
在本发明实施例中，可以将人工智能模型配置在前端设备，通过前端设备对视频流数据进行结构化处理，得到结构化数据。可选的，可以通过结构化数据提取模块针对视频流数据中的人、车、物以及活动目标等特征属性进行自动提取，形成结构化数据。其中，结构化数据提取模块将视频内容特征属性自动提取对视频内容按照语义关系，采用目标分割、时序分析、对象识别、深度学习等处理手段，分析和识别目标信息，组织成可供设备和人理解的文本信息。
需要说明的是，原始视频实际上是一种非结构化的数据，其中的目标只能直观的观看，不能直接被设备读取和识别，视频结构化处理就是将视频这种非结构化的数据中的目标贴上相对应的标签，变为可通过某种条件进行搜索的结构化数据。
在本发明实施例中，可选的，所述结构化数据包括时间、视频报警信息、视频分析结果以及视频描述信息。需要说明的是，结构化数据并不局限于上述的数据，还可以根据需要包括视频的其他相关信息。
S130：将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据。
在本发明实施例中，可选的，所述将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据，包括：将结构化数据的特征标识信息添加到基于传输协议传输的数据包的头部部分，将所述视频流数据和所述结构化数据分别封装在所述数据包的数据域部分；将所述头部部分以及所述数据域部分的数据作为融合数据。
在本发明实施例中，可选的，所述传输协议包括实时传输协议/实时传输控制协议RTP/RTCP协议；所述将结构化数据的特征标识信息添加到基于传输协议传输的数据包的头部部分，包括：将结构化数据的特征标识信息添加到RTP数据包头部的扩展位部分。
在本发明实施例中，可选的，在视频流数据封装之后，还可以包括对视频流数据进行压缩。其中，可以通过视频压缩模块对视频流数据进行压缩。其中，视频压缩模块为视频采集设备的常用标准模块，普遍采用的图像编码和压缩技术包括MPEG-2、MPEG-4、H.264、SVAC、AVS等压缩编码方式，实现的主要功能是针对视频流数据进行数据压缩，在保证视频质量的前提下，节省视频流数据在传输过程中的带宽需求。
在本发明实施例中，可以通过数据融合模块将视频流数据与结构化数据采用标准的数据格式进行融合，相比较于XML格式数据量更小、在拥有解析便利性的同时能减少数据传输量，节省传输带宽；所有主流编程语言都有相应的库用来解析JSON格式的数据，进而有效提高了后续数据分离模块在实际数据解析分析过程中的效率，同时支持数据分离模块进行多语言的开发。详细的压缩原理如下：
可选的，视频传输领域采取的协议主要是实时传输协议/实时传输控制协议(Realtime Transport Protocol/Realtime Transport Control Protocol,RTP/RTCP)协议，其中，RTP报文头格式如下介绍：
版本号(V)：2比特，用来标志使用的RTP版本。
填充位(P)：1比特，如果该位置位，则该RTP包的尾部就包含附加的填充字节。
扩展位(X)：1比特，如果该位置位的话，RTP固定头部后面就跟有一个头扩展部分。
CSRC计数器(CC)：4比特，含有固定头部后面跟着的CSRC的数目。
标记位(M)：1比特,该位的解释由配置文档(Profile)来承担。
载荷类型(PayloadType)：7比特，标识了RTP载荷的类型。
序列号(SN)：16比特，每发送一个RTP数据包，序列号增加1。接收端可以据此检测丢包和重建包序列。
时间戳(Timestamp):2比特，记录了该包中数据的第一个字节的采样时刻。在一次会话开始时，时间戳初始化成一个初始值。即使在没有信号发送时，时间戳的数值也要随时间而不断地增加。时钟频率依赖于负载数据格式，并在描述文件(profile)中进行描述。
同步源标识符(SSRC)：32比特，同步源就是指RTP数据包的来源。在同一个RTP会话中不能有两个相同的SSRC值。该标识符是随机选取的RFC1889推荐了MD5随机算法。
贡献源列表(CSRC List)：0～15项，每项32比特，用来标志对一个RTP混合器产生的新数据包有贡献的所有RTP数据包的源。由混合器将这些有贡献的SSRC标识符插入表中。SSRC标识符都被列出来，以便接收端能正确指出交谈双方的身份。
若RTP数据包固定的头部部分中的扩展位的位置(1比特，注意：如果有CSRC列表，则在CSRC列表之后)，则一个长度可变的头扩展部分被加到RTP数据包头部部分之后。其中，头扩展部分包含16比特的长度域，指示扩展项中32比特字的个数，不包括4个字节头扩展部分(因此零是有效值)。RTP固定的头部部分之后只允许有一个头扩展部分。为允许多个互操作实现独立生成不同的头扩展部分，或某种特定实现有多种不同的头扩展部分,扩展项的前16比特用以识别标识符或参数。该16比特的格式由具体实现的上层协议定义。基本的RTP说明并不定义任何头扩展部分本身。
由此，本发明实施例中，通过改变RTP数据包扩展位的位置，为RTP数据包的头部部分添加结构化数据的特征标识信息，即添加结构化数据的专属头部信息，即头扩展部分信息，该特征标识信息可以包括结构化数据的时间戳、校验码以及数据字节数等少量信息。然后，在数据域将上层应用压缩之后的JSON结构化数据进行封装，最终实现结构化数据与视频流数据的融合。头扩展部分的字节数为4个，在RTP扩展位的位置为有效之后，头扩展部分信息生效。
由此，通过数据融合模块是视频流数据以及结构化数据联系起来的桥梁，是视频智能分析和各类以视频为核心的安防应用的关键功能，通过对视频流的数据包的头部部分中扩展位字段的修改，可以实现视频流数据与结构化数据的同步传输。
S140：将所述融合数据发送至后端设备，以使所述后端设备对所述融合数据进行处理。
在本发明实施例中，前端设备可以通过RJ45接口对外发送至后端设备。其中，后端设备可以是后台服务器等设备。后端设备对融合数据的处理包含后端设备对融合数据进行分离，得到视频流数据和结构化数据，将结构化数据存储在关系型数据库，通过建立结构化数据和视频流数据的关联关系，可以通过结构化数据检查对应的视频流数据，查找有关联的视频信息，可以实现视频的快速定位，节省人力和时间成本。
其中，本发明实施例提供的方法还可以参考图1b。
相关技术中，通过将人工智能模型配置在后端设备(远离视频采集设备，例如摄像机)，只能在视频流数据传输到后端设备之后才能对视频流数据进行结构化处理，提取结构化数据，无法针对视频中可能出现的情况进行及时提示以及报警。另外，视频结构化程度不够，无法有效对海量视频流数据进行智能化检索，导致海量视频流数据失去已有的价值，无法实现从视频数据向信息、情报的转换。同时也无法支撑起视频检索需要的及时性、准确性等性能要求。本发明实施例通过将人工智能模型配置在前端设备，前端设备通过并行计算、特征自学习、时序分析、目标角度归一化算法等形成的人工智能模型从视频流数据流数据中提取结构化数据，并将视频流数据和结构化数据基于传输协议进行融合，形成融合数据，从发送至后端设备，可以实现视频流数据和结构化数据的同步传输，可以实现近源端识别和分析，提高视频结构化提取效率。
在本发明实施例提供的技术方案，通过前端设备将视频信号转换成视频流数据，通过从视频流数据中提取结构化数据，将视频流数据和结构化数据基于传输协议进行融合，形成融合数据，并将融合数据发送至后端设备，以使后端设备对融合数据进行处理，可以提高结构化信息提取效率，从而可以针对视频中出现的情况进行及时提示以及报警，可以在解决传输效率的同时，保证视频流数据和结构化数据的同步传输，同步处理，给数据交换和数据共享带来极大的便利性。
图2是本发明实施例提供的一种视频处理方法流程图，所述方法可以由视频处理装置来执行，所述装置可以由软件和/或硬件来实现，所述装置可以配置在后端设备，其中，后端设备可以是后台服务器等电子设备，所述方法可以用于视频检索的场景中。
如图2所示，本发明实施例提供的技术方案包括：
S210：接收数据包。
在本发明实施例中，后端设备接收前端设备发送的包含视频流数据的数据包，或者包含视频流数据以及结构化数据的融合数据的数据包。
S220：若判断所述数据包的头部部分包含结构化数据的特征标识信息，确定所述数据包包括视频流数据和结构化数据的融合数据，并将所述数据包中的融合数据分离形成所述视频流数据以及对应的结构化数据。
在本发明实施例中，可选的，所述结构化数据的特征标识信息包括结构化数据的时间戳、校验码以及数据字节数。可选的，所述结构化数据包括时间、视频报警信息、视频分析结果以及视频描述信息。
在本发明实施例中，若判断数据包的头部部分包含结构化数据的特征标识信息，确定数据包包括视频流数据和结构化数据的融合数据，数据分离模块通过反向提取技术，将视频流数据和结构化数据进行分离，形成视频流数据和对应的结构化数据。
S230：在结构化数据中检索满足设定条件的目标结构化数据，并确定所述目标结构化数据对应的目标视频流数据。
在本发明实施例中，设定条件可以包括视频标识信息、时间、视频报警信息等。在结构化数据中检索满足设定条件的目标结构化数据，并通过目标结构化数据与视频流数据之间对应事件、帧数、位置等关联信息进行定位，从而检索到目标视频流数据，从而可以快速定位相关视频片段，实现视频的查找，实现智能化，高效的视频检索。
在上述实施例的基础上，本发明实施例提供的技术方案还可以包括：将所述视频流数据存储至视频数据存储数据库中，将所述结构化数据存储到关系型数据库中。其中，可以通过视频存储模块将视频流数据进行存储，数据存储模块可以是数据存储数据库，其中，视频流数据的存储可以采用集群存储，可以采用CEPH技术和HDFS技术的方式，主要的功能是对视频流数据进行文件化保存，以便视频监控系统进行视频回放、调阅以及下载等功能。其中，CEPH是一种分布式文件系统；HDFS是Hadoop分布式文件系统(HDFS)，是指被设计成适合运行在通用硬件上的分布式文件系统，其中，Hadoop是一种分布式系统基础架构。其中，可以通过数据存储模块，对结构化数据进行存储，实现视频的结构化数据存储至关系型数据库中，关系型数据库选择常见的有Sql、Server、Oracle、DB2等。
图3是本发明实施例提供的视频处理方法流程图，在本实施例中，本发明实施例提供的方法可以由前端设备和后端设备形成的系统来执行。如图3所示，本发明实施例提供的技术方案包括：
S310：前端设备采集视频信号，将所述视频信号转换成视频流数据；
S320：所述前端设备对所述视频流数据进行结构化处理，得到结构化数据；
S330：所述前端设备将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据；
S340：所述前端设备将所述融合数据以数据包发送至后端设备。
S350：所述后端设备接收数据包；
S360：所述后端设备若判断所述数据包的头部部分包含结构化数据的特征标识信息，确定所述数据包包括视频流数据和结构化数据的融合数据，并将所述融合数据分离形成所述视频流数据以及对应的结构化数据；
S370：所述后端设备在结构化数据中检索满足设定条件的目标结构化数据，并确定所述目标结构化数据对应的目标视频流数据。
其中，S310-S370的介绍可以参考上述实施例的介绍。
图4是本发明实施例提供的一种视频处理装置结构框图，所述装置配置于前端设备，所述装置包括：模数转换模块410、结构化数据提取模块420、数据融合模块430和第一网络数据传输模块440。
其中，模数转换模块410，用于采集视频信号，将所述视频信号转换成视频流数据；
结构化数据提取模块420，用于对所述视频流数据进行结构化处理，得到结构化数据；
数据融合模块430，用于将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据；
第一网络数据传输模块440，用于将所述融合数据发送至后端设备，以使所述后端设备对所述融合数据进行处理。
可选的，所述将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据，包括：
将结构化数据的特征标识信息添加到基于传输协议传输的数据包的头部部分，将所述视频流数据和所述结构化数据分别封装在所述数据包的数据域部分；
将所述头部部分以及所述数据域部分的数据作为融合数据。
可选的，所述传输协议包括实时传输协议/实时传输控制协议RTP/RTCP协议；
所述将结构化数据的特征标识信息添加到基于传输协议传输的数据包的头部部分，包括：
将结构化数据的特征标识信息添加到RTP数据包头部的扩展位部分。
可选的，所述结构化数据的特征标识信息包括结构化数据的时间戳、校验码以及数据字节数。
可选的，所述结构化数据包括时间、视频报警信息、视频分析结果以及视频描述信息。
可选的，所述前端设备包括视频采集设备。
可选的，所述装置还包括视频压缩模块，用于在封装之前将所述视频流数据进行压缩。
上述装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
图5是本发明实施例提供的一种视频处理装置结构框图，如图5所示，所述装置配置于后端设备，所述装置包括：第二网络数据传输模块510、数据分离模块520和视频检索模块530。
第二网络数据传输模块510，用于接收数据包；
数据分离模块520，用于若判断所述数据包的头部部分包含结构化数据的特征标识信息，确定所述数据包包括视频流数据和结构化数据的融合数据，并将所述数据包中的融合数据分离形成所述视频流数据以及对应的结构化数据；
视频检索模块530，用于在结构化数据中检索满足设定条件的目标结构化数据，并确定所述目标结构化数据对应的目标视频流数据。
可选的，所述结构化数据的特征标识信息包括结构化数据的时间戳、校验码以及数据字节数。
可选的，所述装置还包括：
视频存储模块，用于将所述视频流数据存储至视频数据存储数据库中；
数据存储模块，用于将所述结构化数据存储到关系型数据库中。
上述装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
图6a是本发明实施例提供的一种视频处理系统的结构框图，如图6a所示，本发明实施例提供的系统包括前端设备和后端设备，其中，前端设备包括上述实施例提供的模数转换模块、结构化数据提取模块、数据融合模块、第一网络数据传输模块和视频压缩模块，后端设备包括上述实施例提供的第二网络数据传输模块、数据分离模块、视频检索模块、视频存储模块和数据存储模块。其中，各个模块的相关介绍可以参考上述实施例。
其中，本发明实施例提供的系统包含的各个模块也可以参考图6b，通过图6b所示的系统实现本发明实施例提供的视频处理方法的步骤可以包含如下步骤：
步骤1：首先通过模数转换模块针对采集到的视频信号进行模数转换(AD)，形成可供设备处理的视频流数据。
步骤2：通过结构化数据提取模块，针对视频内容(人、车、物、活动目标)特征属性自动提取技术，形成结构化数据。
步骤3：通过数据融合模块将视频流数据与提取出来的结构化数据进行数据融合。
步骤4：在后端设备通过反向提取技术，通过数据分离模块将传输过来的数据进行分离，通过视频存储模块将视频流数据进行存储，通过数据存储模块将结构化数据进行存储。
步骤5：通过视频检索模块结合结构化数据与视频流数据进行智能检索，首先通过结构化数据检索到满足条件的记录，之后通过结构化数据与视频流数据之间对应的事件、帧数、位置等关联信息进行相关视频片段的定位查找，真正实现智能化、高效的视频检索。
其中，其它功能模块：例如网络数据传输模块、视频解码模块、视频压缩模块，视频预览/回放等功能模块可以参考相关技术。
图7是本发明实施例提供的一种设备结构示意图，如图7所示，该设备包括：
一个或多个处理器710，图7中以一个处理器710为例；
存储器720；
所述设备还可以包括：输入装置730和输出装置740。
所述设备中的处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接，图7中以通过总线连接为例。
存储器720作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种视频处理方法对应的程序指令/模块(例如，附图4所示的模数转换模块410、结构化数据提取模块420、数据融合模块430和第一网络数据传输模块440，或者附图5所示的第二网络数据传输模块510、数据分离模块520和视频检索模块530)。处理器710通过运行存储在存储器720中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例的一种视频处理方法，即：
采集视频信号，将所述视频信号转换成视频流数据；
对所述视频流数据进行结构化处理，得到结构化数据；
将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据；
将所述融合数据发送至后端设备，以使所述后端设备对所述融合数据进行处理。
或者，
接收数据包；
若判断所述数据包的头部部分包含结构化数据的特征标识信息，确定所述数据包包括视频流数据和结构化数据的融合数据，并将所述数据包中的融合数据分离形成所述视频流数据以及对应的结构化数据；
在结构化数据中检索满足设定条件的目标结构化数据，并确定所述目标结构化数据对应的目标视频流数据。
存储器720可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器720可选包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的一种视频处理方法：
采集视频信号，将所述视频信号转换成视频流数据；
对所述视频流数据进行结构化处理，得到结构化数据；
将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据；
将所述融合数据发送至后端设备，以使所述后端设备对所述融合数据进行处理。
或者，
接收数据包；
若判断所述数据包的头部部分包含结构化数据的特征标识信息，确定所述数据包包括视频流数据和结构化数据的融合数据，并将所述数据包中的融合数据分离形成所述视频流数据以及对应的结构化数据；
在结构化数据中检索满足设定条件的目标结构化数据，并确定所述目标结构化数据对应的目标视频流数据。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种视频处理方法，其特征在于，所述方法应用于前端设备，所述方法包括：
采集视频信号，将所述视频信号转换成视频流数据；
对所述视频流数据进行结构化处理，得到结构化数据；
将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据；
将所述融合数据发送至后端设备，以使所述后端设备对所述融合数据进行处理。
2.根据权利要求1所述的方法，其特征在于，所述将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据，包括：
将结构化数据的特征标识信息添加到基于传输协议传输的数据包的头部部分，将所述视频流数据和所述结构化数据分别封装在所述数据包的数据域部分；
将所述头部部分以及所述数据域部分的数据作为融合数据。
3.根据权利要求2所述的方法，其特征在于，所述传输协议包括实时传输协议/实时传输控制协议RTP/RTCP协议；
所述将结构化数据的特征标识信息添加到基于传输协议传输的数据包的头部部分，包括：
将结构化数据的特征标识信息添加到RTP数据包头部的扩展位部分。
4.根据权利要求2或3所述的方法，其特征在于，所述结构化数据的特征标识信息包括结构化数据的时间戳、校验码以及数据字节数。
5.根据权利要求1所述的方法，其特征在于，所述结构化数据包括时间、视频报警信息、视频分析结果以及视频描述信息。
6.根据权利要求1所述的方法，其特征在于，所述前端设备包括视频采集设备。
7.根据权利要求2所述的方法，其特征在于，在封装之前，所述方法还包括：
将所述视频流数据进行压缩。
8.一种视频处理方法，其特征在于，所述方法应用于后端设备，所述方法包括：
接收数据包；
若判断所述数据包的头部部分包含结构化数据的特征标识信息，确定所述数据包包括视频流数据和结构化数据的融合数据，并将所述数据包中的融合数据分离形成所述视频流数据以及对应的结构化数据；
在结构化数据中检索满足设定条件的目标结构化数据，并确定所述目标结构化数据对应的目标视频流数据。
9.根据权利要求8所述的方法，其特征在于，所述结构化数据的特征标识信息包括结构化数据的时间戳、校验码以及数据字节数。
10.根据权利要求8所述的方法，其特征在于，还包括：
将所述视频流数据存储至视频数据存储数据库中；
将所述结构化数据存储到关系型数据库中。
11.一种视频处理方法，其特征在于，包括：
前端设备采集视频信号，将所述视频信号转换成视频流数据；
所述前端设备对所述视频流数据进行结构化处理，得到结构化数据；
所述前端设备将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据；
所述前端设备将所述融合数据以数据包发送至后端设备；
所述后端设备接收数据包；
所述后端设备若判断所述数据包的头部部分包含结构化数据的特征标识信息，确定所述数据包包括视频流数据和结构化数据的融合数据，并将所述融合数据分离形成所述视频流数据以及对应的结构化数据；
所述后端设备在结构化数据中检索满足设定条件的目标结构化数据，并确定所述目标结构化数据对应的目标视频流数据。
12.一种视频处理装置，其特征在于，所述装置配置于前端设备，所述装置包括：
模数转换模块，用于采集视频信号，将所述视频信号转换成视频流数据；
结构化数据提取模块，用于对所述视频流数据进行结构化处理，得到结构化数据；
数据融合模块，用于将所述视频流数据和所述结构化数据基于传输协议进行融合，形成融合数据；
第一网络数据传输模块，用于将所述融合数据发送至后端设备，以使所述后端设备对所述融合数据进行处理。
13.一种视频处理装置，其特征在于，所述装置配置于后端设备，所述装置包括：
第二网络数据传输模块，用于接收数据包；
数据分离模块，用于若判断所述数据包的头部部分包含结构化数据的特征标识信息，确定所述数据包包括视频流数据和结构化数据的融合数据，并将所述数据包中的融合数据分离形成所述视频流数据以及对应的结构化数据；
视频检索模块，用于在结构化数据中检索满足设定条件的目标结构化数据，并确定所述目标结构化数据对应的目标视频流数据。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10任一项的所述方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10任一项所述的方法。
CN202110395987.1A 2021-04-13 2021-04-13 一种视频处理方法、装置、设备及存储介质 Pending CN113114968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110395987.1A CN113114968A (zh) 2021-04-13 2021-04-13 一种视频处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110395987.1A CN113114968A (zh) 2021-04-13 2021-04-13 一种视频处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113114968A true CN113114968A (zh) 2021-07-13

Family

ID=76716468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110395987.1A Pending CN113114968A (zh) 2021-04-13 2021-04-13 一种视频处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113114968A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205674A (zh) * 2021-12-16 2022-03-18 中国建设银行股份有限公司 视频数据处理方法、装置、电子设备和存储介质
CN116980657A (zh) * 2023-09-25 2023-10-31 北京数盾信息科技有限公司 一种视频数据传输处理方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236912A1 (en) * 2002-06-24 2003-12-25 Microsoft Corporation System and method for embedding a sreaming media format header within a session description message
CN104899261A (zh) * 2015-05-20 2015-09-09 杜晓通 一种构建结构化视频图像信息的设备和方法
CN110909203A (zh) * 2019-11-27 2020-03-24 上海商汤智能科技有限公司 视频分析方法及装置、电子设备和存储介质
CN111698546A (zh) * 2020-06-29 2020-09-22 平安国际智慧城市科技股份有限公司 视频结构化结果传输方法、装置、终端设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236912A1 (en) * 2002-06-24 2003-12-25 Microsoft Corporation System and method for embedding a sreaming media format header within a session description message
CN104899261A (zh) * 2015-05-20 2015-09-09 杜晓通 一种构建结构化视频图像信息的设备和方法
CN110909203A (zh) * 2019-11-27 2020-03-24 上海商汤智能科技有限公司 视频分析方法及装置、电子设备和存储介质
CN111698546A (zh) * 2020-06-29 2020-09-22 平安国际智慧城市科技股份有限公司 视频结构化结果传输方法、装置、终端设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205674A (zh) * 2021-12-16 2022-03-18 中国建设银行股份有限公司 视频数据处理方法、装置、电子设备和存储介质
CN114205674B (zh) * 2021-12-16 2024-04-26 中国建设银行股份有限公司 视频数据处理方法、装置、电子设备和存储介质
CN116980657A (zh) * 2023-09-25 2023-10-31 北京数盾信息科技有限公司 一种视频数据传输处理方法、装置及设备
CN116980657B (zh) * 2023-09-25 2023-12-26 北京数盾信息科技有限公司 一种视频数据传输处理方法、装置及设备

Similar Documents

Publication Publication Date Title
WO2016184314A1 (zh) 一种构建结构化视频图像信息的设备和方法
CN109451006B (zh) 一种数据传输方法、装置、服务器及计算机存储介质
US9806974B2 (en) Efficient acquisition of sensor data in an automated manner
CN110519635B (zh) 一种无线集群系统的音视频媒体流合流方法及系统
US10691748B2 (en) Methods and apparatus to process call packets collected in a communications network
CN113114968A (zh) 一种视频处理方法、装置、设备及存储介质
TW201328332A (zh) 提供與傳送複合濃縮串流之方法以及系統
US20200374333A1 (en) Methods and systems for codec detection in video streams
CN111222547B (zh) 一种面向移动应用的流量特征提取方法及系统
WO2011127859A2 (zh) 视频数据处理方法、视频图像展示方法和装置
CN112565224B (zh) 一种视频处理方法及装置
US20120084435A1 (en) Smart Real-time Content Delivery
CN112672381A (zh) 一种数据关联方法、装置、终端设备及介质
CN104093038B (zh) 用于实时流媒体识别服务的测试和监控方法及装置
WO2015101152A1 (zh) 基于dfa的http分块传输编码的传输载荷提取方法
CN112887289A (zh) 一种网络数据处理方法、装置、计算机设备及存储介质
CN111371575B (zh) 一种通话问题定界的方法和装置
CN112350986B (zh) 一种音视频网络传输碎片化的整形方法及系统
CN109618139A (zh) 一种基于视觉路由的智能视频监控系统及方法
CN108880925B (zh) 一种流量监控的方法和系统
Alghafli et al. Identification and recovery of video fragments for forensics file carving
CN113329080B (zh) 基于WebSocket的视频播放方法、装置、电子设备及存储介质
CN111416990B (zh) 一种流式数据平台的ts流的访问方法
CN108200481B (zh) 一种rtp-ps流处理方法、装置、设备及存储介质
CN110545447B (zh) 一种音视频同步的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210713