CN113784094B - 视频数据处理方法、网关、终端设备及存储介质 - Google Patents
视频数据处理方法、网关、终端设备及存储介质 Download PDFInfo
- Publication number
- CN113784094B CN113784094B CN202111018653.9A CN202111018653A CN113784094B CN 113784094 B CN113784094 B CN 113784094B CN 202111018653 A CN202111018653 A CN 202111018653A CN 113784094 B CN113784094 B CN 113784094B
- Authority
- CN
- China
- Prior art keywords
- video
- analysis information
- private data
- video image
- data frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 156
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000006835 compression Effects 0.000 claims description 14
- 238000007906 compression Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
Abstract
本发明公开了视频数据处理方法、网关、终端设备及存储介质，该方法包括：获取H.264视频流中的视频图像的分析信息；将所述分析信息按照预设格式进行格式化处理，根据格式化处理后的所述分析信息生成所述视频图像对应的私有数据帧；将所述私有数据帧插入对应的所述视频图像帧之前，以得到目标视频流；将所述目标视频流发送至终端设备，使得存储与后续调取播放时，视频图像帧与分析信息匹配。
Description
技术领域
本发明涉及视频数据处理技术领域，尤其涉及一种视频数据处理方法、网关、终端设备及存储介质。
背景技术
在智慧城市等大型场景中，摄像头点位将随着建设程度的提高逐步发展，传统方式采用去中心化的分布式边缘处理方式对视频流进行分析，通常是将一份视频流直接传输到存储设备，另一份视频流在边缘侧做处理得到分析结果，该分析结果一方面用于边缘侧的及时反应，另一方面会传输到存储设备进行存储；但是，在边缘侧的分析需要时间，在分析结果产生之前，直接传输到存储设备的视频流可能已经传输出去甚至已经到了存储设备，加之设备之间时钟往往不保证同步，会导致视频流中的视频图像与分析信息不匹配的现象，不利于视频的播放。
发明内容
本申请实施例通过提供一种视频数据处理方法、网关、终端设备及存储介质，旨在使视频图像与分析信息匹配。
本申请实施例提供了一种应用于网关的视频数据处理方法，所述视频数据处理方法，包括：
获取H.264视频流中的视频图像的分析信息；
将所述分析信息按照预设格式进行格式化处理，根据格式化处理后的所述分析信息生成所述视频图像对应的私有数据帧；
将所述私有数据帧插入对应的所述视频图像帧之前，以得到目标视频流；
将所述目标视频流发送至终端设备。
在一实施例中，所述将所述分析信息按照预设格式进行格式化处理，根据格式化处理后的所述分析信息生成私有数据帧的步骤包括：
将所述分析信息按照JSON字符串格式进行格式化处理；
获取私有数据帧对应的预设数据类型；
根据预设压缩格式将格式化处理后的所述分析信息与所述预设数据类型进行压缩，得到私有数据帧，所述预设压缩格式为H.264压缩格式。
在一实施例中，所述获取H.264视频流中的视频图像的分析信息的步骤之前包括：
通过实时流传输协议从网络摄像设备上获取RTSP数据包；
对所述RTSP数据包进行解压以得到H.264视频流后，执行获取H.264视频流中的视频图像的分析信息的步骤。
在一实施例中，所述获取H.264视频流中的视频图像的分析信息的步骤包括：
对H.264视频流进行解码以得到至少一张视频图像；
对所述视频图像进行分析处理，得到所述视频图像的分析信息，所述分析信息包括至少一个目标对象，且每个所述目标对象包括：目标对象的类型、目标对象的定位框以及目标对象的置信度中的至少一个。
在一实施例中，所述对所述RTSP数据包进行解压以得到H.264视频流的步骤之后还包括：
将所述H.264视频流同步备份至缓存队列中进行存储；
所述将所述私有数据帧插入对应的所述视频图像帧之前，以得到目标视频流的步骤包括：
将压缩后的所述私有数据帧插入所述缓存队列中所述私有数据帧对应的视频图像帧之前，以得到目标视频流。
本申请实施例提供了一种应用于终端设备的视频数据处理方法，所述视频数据处理方法，包括：
接收到视频播放请求时，获取所述视频播放请求对应的目标视频流；
对所述目标视频流进行解码以得到私有数据帧包含的分析信息以及所述私有数据帧对应的视频图像；
播放所述分析信息以及所述视频图像。
在一实施例中，所述播放所述分析信息以及所述视频图像的步骤包括：
对所述私有数据帧进行解码以得到所述私有数据帧包含的分析信息，其中，所述分析信息对所述私有数据帧对应的视频图像中的目标对象进行标注；
播放标注目标对象后的所述视频图像。
此外，为实现上述目的，本发明还提供了一种网关，所述网关包括：第一存储器、第一处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现上述的视频数据处理方法的步骤。
此外，为实现上述目的，本发明还提供了一种终端设备，所述终端设备包括：第二存储器、第二处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现上述的视频数据处理方法的步骤。
此外，为实现上述目的，本发明还提供了一种存储介质，其上存储有视频数据处理程序，所述视频数据处理程序被处理器执行时实现上述的视频数据处理方法的步骤。
本申请实施例中提供的一种视频数据处理方法、网关、终端设备及存储介质的技术方案，当需要对视频流中的视频图像进行分析处理时，将获取到的视频流发送至网关中的视频帧缓存队列进行备份存储，同时，对所述视频流进行抽帧、解码得到视频图像，将所述视频图像发送至网关中的智能分析组件进行分析处理，以得到视频图像对应的分析信息；将所述分析信息进行格式化处理，根据格式化处理后的所述分析信息生成所述视频图像对应得到私有数据帧，再将所述私有数据帧插入所述视频帧缓存队列中所述私有数据帧对应的视频图像帧之前，从而得到目标视频流；由于该目标视频流中，在视频图像帧之前均有该帧图像对应的私有数据帧，使得视频图像与分析信息匹配。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明视频数据处理方法第一实施例的流程示意图；
图3为本发明视频数据处理方法第二实施例的流程示意图；
图4为本发明视频数据处理方法第三实施例的流程示意图；
图5为本发明视频数据处理方法第四实施例的流程示意图；
图6为本发明视频数据处理方法第五实施例的流程示意图；
图7为本发明视频数据处理方法第六实施例的流程示意图；
图8为本发明视频数据处理方法第七实施例的流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明，上述附图只是一个实施例图，而不是发明的全部。
具体实施方式
为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，图1为本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图1即可为网关或终端设备的硬件运行环境的结构示意图。
第一、当图1为网关的硬件运行环境的结构示意图时，该网关可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置，其中，所述处理器为第一处理器，所述存储器为第一存储器。
本领域技术人员可以理解，图1中示出的视频数据处理设备结构并不构成对视频数据处理设备限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频数据处理程序。其中，操作系统是管理和控制网关硬件和软件资源的程序，视频数据处理程序以及其它软件或程序的运行。
在图1所示的网关中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的视频数据处理程序。
在本实施例中，网关包括：存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，其中：
处理器1001调用存储器1005中存储的视频数据处理程序时，执行以下操作：
获取H.264视频流中的视频图像的分析信息；
将所述分析信息按照预设格式进行格式化处理，根据格式化处理后的所述分析信息生成所述视频图像对应的私有数据帧；
将所述私有数据帧插入对应的所述视频图像帧之前，以得到目标视频流；
将所述目标视频流发送至终端设备。
处理器1001调用存储器1005中存储的视频数据处理程序时，还执行以下操作：
将所述分析信息按照JSON字符串格式进行格式化处理；
获取私有数据帧对应的预设数据类型；
根据预设压缩格式将格式化处理后的所述分析信息与所述预设数据类型进行压缩，得到私有数据帧，所述预设压缩格式为H.264压缩格式。
处理器1001调用存储器1005中存储的视频数据处理程序时，还执行以下操作：
通过实时流传输协议从网络摄像设备上获取RTSP数据包；
对所述RTSP数据包进行解压以得到H.264视频流后，执行获取H.264视频流中的视频图像的分析信息的步骤。
处理器1001调用存储器1005中存储的视频数据处理程序时，还执行以下操作：
对H.264视频流进行解码以得到至少一张视频图像；
对所述视频图像进行分析处理，得到所述视频图像的分析信息，所述分析信息包括至少一个目标对象，且每个所述目标对象包括：目标对象的类型、目标对象的定位框以及目标对象的置信度中的至少一个。
处理器1001调用存储器1005中存储的视频数据处理程序时，还执行以下操作：
将所述H.264视频流同步备份至缓存队列中进行存储；
所述将所述私有数据帧插入对应的所述视频图像帧之前，以得到目标视频流的步骤包括：
将压缩后的所述私有数据帧插入所述缓存队列中所述私有数据帧对应的视频图像帧之前，以得到目标视频流。
第二、当图1为终端设备的硬件运行环境的结构示意图时，该终端设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置，其中，所述处理器为第二处理器，所述存储器为第二存储器。
本领域技术人员可以理解，图1中示出的终端设备结构并不构成对网关限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频数据处理程序。其中，操作系统是管理和控制网关硬件和软件资源的程序，视频数据处理程序以及其它软件或程序的运行。
在图1所示的终端设备中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的视频数据处理程序。
在本实施例中，终端设备包括：存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，其中：
处理器1001调用存储器1005中存储的视频数据处理程序时，还执行以下操作：
接收到视频播放请求时，获取所述视频播放请求对应的目标视频流；
对所述目标视频流进行解码以得到私有数据帧包含的分析信息以及所述私有数据帧对应的视频图像；
播放所述分析信息以及所述视频图像。
处理器1001调用存储器1005中存储的视频数据处理程序时，还执行以下操作：
对所述私有数据帧进行解码以得到所述私有数据帧包含的分析信息，其中，所述分析信息对所述私有数据帧对应的视频图像中的目标对象进行标注；
播放标注目标对象后的所述视频图像。
本发明实施例提供了视频数据处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图2所示，在本申请的第一实施例中，本申请的视频数据处理方法，包括以下步骤：
步骤S110，获取H.264视频流中的视频图像的分析信息；
步骤S120，将所述分析信息按照预设格式进行格式化处理，根据格式化处理后的所述分析信息生成所述视频图像对应的私有数据帧；
步骤S130，将所述私有数据帧插入对应的所述视频图像帧之前，以得到目标视频流；
步骤S140，将所述目标视频流发送至终端设备。
在本实施例中，为了解决现有技术中分析信息与视频图像播放不同步的问题，本申请设计了一种视频数据处理方法，当所述视频数据处理方法应用于网关时，当需要对视频流中的视频图像进行分析处理时，将获取到的视频流发送至网关中的视频帧缓存队列进行备份存储，同时，对所述视频流中进行抽帧、解码得到视频图像，将所述视频图像发送至网关中的智能分析组件进行分析处理，以得到视频图像对应的分析信息；根据所述分析信息生成所述视频图像对应的私有数据帧，将所述私有数据帧插入所述视频帧缓存队列中所述私有数据帧对应的视频图像之前，从而得到目标视频流；由于在该目标视频流中，在视频图像之前均有该视频图像对应的私有数据帧，使得在播放视频的时候，根据所述私有数据帧包含的分析信息标注所述私有数据帧对应的视频图像以实现分析信息与视频图像的匹配。
在本实施例中，所述网关包括解码组件、智能分析组件、私有数据帧组件以及视频帧缓存队列；Arm架构的边缘嵌入式网关通过RTSP协议从网络摄像头上拉取视频流，将所述视频流发送至视频帧缓存队列缓存所有视频帧，同时，将所述视频流发送至解码组件，经过解码组件解码后得到视频图像；将解码后的所述视频图像发送至智能分析组件中进行分析，以得到视频图像对应的分析信息；在得到分析信息之后，将所述分析信息发送至私有数据帧组件，所述私有数据帧组件会将所述分析信息以及预设数据类型进行组合编码，从而形成私有数据帧；在得到私有数据帧之后，将所述私有数据帧插入视频帧缓存队列中所述私有数据帧对应的视频图像帧之前，使得私有数据帧包含的分析信息对该私有数据帧对应的视频图像中的目标对象进行标注，从而得到目标视频流；将所述目标视频流发送至终端设备，终端设备在播放所述目标视频流时，由于私有数据帧包含的分析信息已对该私有数据帧对应的视频图像中的目标对象标注，因此，可实现分析信息与视频图像的匹配。
具体的，网关通过实时流传输协议即RTSP协议，从网络摄像头上拉取RTSP协议包，所述RTSP协议包采用H.264视频压缩格式进行压缩，因此，在将所述RTSP协议包发送至解码组件进行解码之前，需要对所述RTSP协议包解压以得到H.264视频流；在得到视频流之后，将所述H.264视频流发送至网关中的视频帧缓存队列进行备份存储，同时将所述H.264视频流发送至解码组件进行解码，其中，所述解码组件使用解码器将所述视频流解码成视频图像，并将所述视频图像发送至智能分析组件，所述智能分析组件对所述视频图像进行分析处理，以生成所述视频图像对应的分析信息，所述分析信息主要为了识别所述视频图像中的目标对象信息，所述分析信息包括至少一个目标对象，且每个所述目标对象包括目标对象的类型、目标对象的定位框以及目标对象的置信度中的至少一个；在生成分析信息之后，将所述分析信息发送至私有数据帧组件，以对所述分析信息进行进一步的处理。
在本实施例中，私有数据帧组件在获取视频流中的视频图像对应的分析信息之后，获取私有数据帧对应的预设数据类型，将所述预设数据类型与所述分析信息进行组合编码，从而得到私有数据帧；具体的，私有数据帧是一种封装的模组，一个完整的私有数据帧包括帧头和帧体，其中，帧头内又包括私有数据帧的数据类型，私有数据帧包括多种数据类型，本申请采用的私有数据帧的数据类型Nal_unit_type为0x17；所述分析信息相当于所述私有数据帧的帧体，通过将所述分析信息以及所述预设数据类型进行组合编码得到私有数据帧。
在本实施例中，在生成所述私有数据帧之前，为了避免分析信息存储过程中出现误码的现象，本申请通过私有数据帧组件对分析信息按照预设格式进行格式化处理，再根据格式化处理后的所述分析信息与私有数据帧的预设数据类型进行组合编码得到私有数据帧；在得到所述私有数据帧之后，在视频流缓存队列中定位所述私有数据帧对应的视频图像帧，具体的，可根据所述私有数据帧对应的时间戳在所述视频流缓存队列中寻找时间戳相同的视频图像帧，将所述私有数据帧插入所述视频图像帧之前；例如，视频流缓存队列中包括A/B/C/D四张视频图像帧，当通过智能分析组件对视频图像A1分析得到A对应的私有数据帧A2时，将私有数据帧A2插入所述视频流缓存队列中视频图像帧A之前；通过上述将私有数据帧插入视频图像帧的方式，得到目标视频流，在所述目标视频流中，每张视频图像都有对应的私有数据帧，所述私有数据帧用于标注所述视频图像中的目标对象。
在本实施例中，在得到所述目标视频流之后，生成目标视频流对应的压缩后的RTSP协议包，将所述RTSP协议包，通过实时流传输协议RTSP将所述RTSP协议包推送至网络录像机中进行存储。
本实施例根据上述技术方案，当需要对视频流中的视频图像进行分析处理时，将获取到的视频流发送至网关中的视频帧缓存队列进行备份存储，同时，对所述视频流进行抽帧、解码得到视频图像，将所述视频图像发送至网关中的智能分析组件进行分析处理，以得到视频图像对应的分析信息；将所述分析信息进行格式化处理，根据格式化处理后的所述分析信息生成所述视频图像对应得到私有数据帧，再将所述私有数据帧插入所述视频帧缓存队列中所述私有数据帧对应的视频图像帧之前，从而得到目标视频流；由于该目标视频流中，在视频图像帧之前均有该帧图像对应的私有数据帧，使得视频图像与分析信息匹配。
如图3所示，基于第一实施例步骤S120，本申请的第二实施例包括以下步骤：
步骤S121，将所述分析信息按照JSON字符串格式进行格式化处理；
步骤S122，获取私有数据帧对应的预设数据类型；
步骤S123，根据预设压缩格式将格式化处理后的所述分析信息与所述预设数据类型进行压缩，得到私有数据帧，所述预设压缩格式为H.264压缩格式。
在本实施例中，在生成所述私有数据帧之前，为了避免分析信息存储过程中出现误码的现象，本申请通过私有数据帧组件将分析信息按照预设格式进行格式化处理，将分析信息转换成预设格式后再进行传输保存；为了方便数值数据和字符串互相转换，本申请的预设格式为JSON字符串格式，将所述分析信息按照JSON字符串格式进行格式化处理。
在本实施例中，本申请采用的私有数据帧的预设数据类型Nal_unit_type为0x17，当采用的预设数据类型为0x17时，该预设数据类型对应的视频图像帧不容易丢失；在获取私有数据帧对应的预设数据类型以及获取格式化处理后的分析信息之后，将所述预设数据类型与所述分析信息进行组合编码，得到对应的私有数据帧，其中，所述私有数据帧只存储视频图像对应的分析信息。
本实施例根据上述技术方案，由于采用了根据JSON字符串格式化处理后的分析信息以及私有数据帧对应的预设数据类型进行组合编码的技术手段，得到了私有数据帧，从而避免分析信息存储过程中出现误码的情况。
如图4所示，基于第一实施例步骤S110之前，本申请的第三实施例包括以下步骤：
步骤S210，通过实时流传输协议从网络摄像设备获取RTSP数据包；
步骤S220，对所述RTSP数据包进行解压以得到H.264视频流后，执行获取H.264视频流中的视频图像的分析信息的步骤。
在本实施例中，所述实时流传输协议为RTSP协议，是TCP/IP协议体系中的一个应用层协议；实时流传输协议是用来控制声音或影像的多媒体串流协议，允许同时多个串流需求控制；通过在网关中进行配置，使得网关可以自行选择使用TCP或UDP来传送视频流；通过所述RTSP协议可实现将网络摄像设备采集的视频流推送至网关；具体的，本申请可在网关中设置传输协议，视频流数据包的源地址、视频流数据包的目的地址从而从对应的网络摄像设备获取RTSP数据包。
在本实施例中，本申请的网络摄像设备具备实时拍摄、实时压缩以及实时传输的功能；将压缩后的所述RTSP数据包通过实时流传输协议发送至网关；当同时获取多台网络摄像设备的视频流时，通过将所述视频流压缩成RTSP数据包，再进行传输可缓解网络视频数据传输压力；网关在获取RTSP数据包之后，对所述RTSP数据包进行解压从而得到H.264视频流。
本实施例根据上述技术方案，由于采用了将网络摄像设备的视频流数据包通过实时流传输协议传输至网关，网关对视频流数据包进行解压得到H.264视频流的技术手段，通过视频流数据包传输的方式缓解了网络传输压力。
如图5所示，基于第三实施例步骤S110，在本申请的第四实施例包括以下步骤：
步骤S111，对H.264视频流进行解码以得到至少一张视频图像；
步骤S112，对所述视频图像进行分析处理，得到所述视频图像的分析信息，所述分析信息包括至少一个目标对象，且每个所述目标对象包括：目标对象的类型、目标对象的定位框以及目标对象的置信度中的至少一个。
在本实施例中，在对网络摄像设备传输的RTSP数据包进行解压得到视频流之后，将所述视频流发送至网关中的视频帧缓存队列中进行备份存储，同时，将所述视频流解码成至少一张视频图像，所述视频图像的格式为NV12格式，所述视频图像的格式也可为YV12格式；将解码得到的所述视频图像发送至智能分析组件进行分析处理；所述智能分析组件可根据不同的业务需求对所述视频图像进行分析处理，得到所述视频图像中目标对象对应的分析信息，所述分析信息包括目标对象的类型、目标对象的定位框以及目标对象的置信度中的至少一个；例如，当业务需求为识别视频图像中的流浪动物时，所述智能分析组件对视频图像进行图像处理，以得到视频图像流浪动物的类型，或者通过定位框标注视频图像中流浪动物的位置，或者确定定位框标注的目标对象是流浪动物的置信度。
本实施例根据上述技术方案，由于通过对视频流进行解码得到视频图像，将视频图像发送至智能分析组件中进行分析处理得到所述视频图像中目标对象对应的分析信息的技术手段，从而实现获取视频图像对应的分析信息。
如图6所示，基于第三实施例步骤S220之后，在本申请的第五实施例包括以下步骤：
步骤S310，将所述H.264视频流同步备份至缓存队列中进行存储；
步骤S320，将压缩后的所述私有数据帧插入所述缓存队列中所述私有数据帧对应的视频图像帧之前，以得到目标视频流。
在本实施例中，在得到网络摄像设备推送的H.264视频流时，将所述H.264视频流一边发送至网关中的视频帧缓存队列进行备份存储，一边发送至智能分析组件进行解码分析；在采用智能分析组件对所述H.264视频流中的视频图像进行分析时，生成每个视频图像对应的分析信息，并将所述分析信息压缩成私有数据帧；在将分析信息压缩成私有数据帧之后，将压缩后的所述私有数据帧插入网关中视频帧缓存队列中所述私有图像帧对应的视频帧之前，从而组成目标视频流。
本实施例根据上述技术方案，由于采用了将压缩后的所述私有数据帧插入所述缓存队列中所述私有数据帧对应的视频图像帧之前，以得到目标视频流的技术手段，使得视频图像与分析信息匹配。
如图7所示，在本申请的第六实施例中，本申请的第六实施例包括以下步骤：
步骤S410，接收到视频播放请求时，获取所述视频播放请求对应的目标视频流；
步骤S420，对所述目标视频流进行解码以得到私有数据帧包含的分析信息以及所述私有数据帧对应的视频图像；
步骤S430，播放所述分析信息以及所述视频图像。
在本实施例中，在接收到用户终端设备发送的视频播放请求时，从网络录像设备中获取所述视频播放请求对应的目标视频流；所述网络录像机可存储多组目标视频流，例如，当用户终端设备发送的视频播放请求是观看流浪动物相关视频时，从网络录像设备中获取观看流浪动物对应的目标视频流；在获取目标视频流之后，对所述目标视频流进行解码，以将所述目标视频流解码得到私有数据帧包含的分析信息以及私有数据帧对应的视频图像；在解码得到所述私有数据帧包含的分析信息以及私有数据帧对应的视频图像之后，可以实现同步播放分析信息以及所述视频图像。
本实施例根据上述技术方案，由于在接收到视频播放请求时，对视频播放请求对应的目标视频流进行解码得到私有数据帧包含的分析信息以及私有数据帧对应的视频图像，从而在播放过程中，能同步播放私有数据帧的分析信息以及视频图像。
如图8所示，基于第六实施例步骤S430，本申请的第七实施例包括以下步骤：
步骤S431，对所述私有数据帧进行解码以得到所述私有数据帧包含的分析信息，其中，所述分析信息对所述私有数据帧对应的视频图像中的目标对象进行标注；
步骤S432，播放标注目标对象后的所述视频图像。
在本实施例中，在对私有数据帧进行解码得到私有数据帧包含的分析信息以及私有数据帧对应的视频图像，由于所述分析信息对所述私有数据帧对应的视频图像中的目标对象进行标注，因此可播放标注目标对象后的所述视频图像；在播放的过程中，普通的播放器会无视私有数据帧，只播放原始视频；而当使用能够解析此私有数据帧的播放器时，播放器会自动解析包含分析信息的私有数据帧，并使用解析出的分析信息自动标注该分析信息对应的视频图像中的目标对象。
本实施例根据上述技术方案，由于采用了对私有数据帧进行解码得到私有数据帧对应的分析信息，采用所述分析信息自动标识该分析信息对应的视频图像中的目标对象的技术手段，实现所述视频图像以及分析信息的匹配。
基于同一发明构思，本申请实施例还提供了一种存储介质，所述存储介质存储有视频数据处理程序，所述视频数据处理程序被处理器执行时实现如上所述的视频数据处理的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
由于本申请实施例提供的存储介质，为实施本申请实施例的方法所采用的存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的存储介质都属于本申请所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种视频数据处理方法，其特征在于，应用于网关；所述视频数据处理方法包括：
通过实时流传输协议从网络摄像设备获取RTSP数据包；
对所述RTSP数据包进行解压以得到H.264视频流后，对H.264视频流进行解码以得到至少一张视频图像；
对所述视频图像进行分析处理，得到所述视频图像的分析信息，所述分析信息包括至少一个目标对象，且每个所述目标对象包括目标对象的类型、目标对象的定位框以及目标对象的置信度中的至少一个；
将所述分析信息按照预设格式进行格式化处理，根据格式化处理后的所述分析信息生成所述视频图像对应的私有数据帧；
将所述私有数据帧插入对应的所述视频图像帧之前，以得到目标视频流；
将所述目标视频流发送至终端设备。
2.如权利要求1所述的方法，其特征在于，所述将所述分析信息按照预设格式进行格式化处理，根据格式化处理后的所述分析信息生成私有数据帧的步骤包括：
将所述分析信息按照JSON字符串格式进行格式化处理；
获取私有数据帧对应的预设数据类型；
根据预设压缩格式将格式化处理后的所述分析信息与所述预设数据类型进行压缩，得到私有数据帧，所述预设压缩格式为H.264压缩格式。
3.如权利要求1所述的方法，其特征在于，所述对所述RTSP数据包进行解压以得到H.264视频流的步骤之后还包括：
将所述H.264视频流同步备份至缓存队列中进行存储；
所述将所述私有数据帧插入对应的所述视频图像帧之前，以得到目标视频流的步骤包括：
将压缩后的所述私有数据帧插入所述缓存队列中所述私有数据帧对应的视频图像帧之前，以得到目标视频流。
4.一种视频数据处理方法，其特征在于，应用于终端设备，所述视频数据处理方法包括：
接收到视频播放请求时，获取所述视频播放请求对应的目标视频流，其中，网关通过实时流传输协议从网络摄像设备获取RTSP数据包；对所述RTSP数据包进行解压以得到H.264视频流后，对H.264视频流进行解码以得到至少一张视频图像；对所述视频图像进行分析处理，得到所述视频图像的分析信息，所述分析信息包括至少一个目标对象，且每个所述目标对象包括目标对象的类型、目标对象的定位框以及目标对象的置信度中的至少一个；将所述分析信息按照预设格式进行格式化处理，根据格式化处理后的所述分析信息生成所述视频图像对应的私有数据帧；将所述私有数据帧插入对应的所述视频图像帧之前，以得到目标视频流；将所述目标视频流发送至所述终端设备；
对所述目标视频流进行解码以得到私有数据帧包含的分析信息以及所述私有数据帧对应的视频图像；
播放所述分析信息以及所述视频图像。
5.如权利要求4所述的方法，其特征在于，所述播放所述分析信息以及所述视频图像的步骤包括：
对所述私有数据帧进行解码以得到所述私有数据帧包含的分析信息，其中，所述分析信息对所述私有数据帧对应的视频图像中的目标对象进行标注；
播放标注目标对象后的所述视频图像。
6.一种网关，其特征在于，所述网关包括：第一存储器、第一处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现如权利要求1-3中任一项所述的视频数据处理方法的步骤。
7.一种终端设备，其特征在于，所述终端设备包括：第二存储器、第二处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现如权利要求4或5所述的视频数据处理方法的步骤。
8.一种存储介质，其特征在于，其上存储有视频数据处理程序，所述视频数据处理程序被处理器执行时实现权利要求1-5中任一项所述的视频数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111018653.9A CN113784094B (zh) | 2021-08-31 | 2021-08-31 | 视频数据处理方法、网关、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111018653.9A CN113784094B (zh) | 2021-08-31 | 2021-08-31 | 视频数据处理方法、网关、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113784094A CN113784094A (zh) | 2021-12-10 |
| CN113784094B true CN113784094B (zh) | 2024-04-30 |
Family
ID=78840556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111018653.9A Active CN113784094B (zh) | 2021-08-31 | 2021-08-31 | 视频数据处理方法、网关、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113784094B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115209179A (zh) * | 2022-05-27 | 2022-10-18 | 浪潮通信技术有限公司 | 视频数据处理方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009200757A (ja) * | 2008-02-21 | 2009-09-03 | Fujitsu Ltd | 映像データ処理装置、プログラム及び方法 |
| CN103716584A (zh) * | 2013-11-30 | 2014-04-09 | 南京大学 | 基于上下文感知的智能移动终端现场监测方法 |
| CN104320416A (zh) * | 2014-11-13 | 2015-01-28 | 杭州海康威视数字技术股份有限公司 | 对实时传输协议数据进行打包的方法及装置 |
| WO2017219896A1 (zh) * | 2016-06-21 | 2017-12-28 | 中兴通讯股份有限公司 | 视频流的传输方法及装置 |
| CN109510990A (zh) * | 2018-10-25 | 2019-03-22 | 深圳市腾讯信息技术有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
| CN109565612A (zh) * | 2016-08-22 | 2019-04-02 | 索尼公司 | 发送装置、发送方法、接收装置和接收方法 |
| CN111385221A (zh) * | 2018-12-29 | 2020-07-07 | 华为技术有限公司 | 一种数据处理方法和通信设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9681125B2 (en) * | 2011-12-29 | 2017-06-13 | Pelco, Inc | Method and system for video coding with noise filtering |
| TW201401808A (zh) * | 2012-06-29 | 2014-01-01 | Hon Hai Prec Ind Co Ltd | 遠端視訊監控系統及方法 |
| US11521400B2 (en) * | 2019-12-06 | 2022-12-06 | Synamedia Limited | Systems and methods for detecting logos in a video stream |
-
2021
- 2021-08-31 CN CN202111018653.9A patent/CN113784094B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009200757A (ja) * | 2008-02-21 | 2009-09-03 | Fujitsu Ltd | 映像データ処理装置、プログラム及び方法 |
| CN103716584A (zh) * | 2013-11-30 | 2014-04-09 | 南京大学 | 基于上下文感知的智能移动终端现场监测方法 |
| CN104320416A (zh) * | 2014-11-13 | 2015-01-28 | 杭州海康威视数字技术股份有限公司 | 对实时传输协议数据进行打包的方法及装置 |
| WO2017219896A1 (zh) * | 2016-06-21 | 2017-12-28 | 中兴通讯股份有限公司 | 视频流的传输方法及装置 |
| CN109565612A (zh) * | 2016-08-22 | 2019-04-02 | 索尼公司 | 发送装置、发送方法、接收装置和接收方法 |
| CN109510990A (zh) * | 2018-10-25 | 2019-03-22 | 深圳市腾讯信息技术有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
| CN111385221A (zh) * | 2018-12-29 | 2020-07-07 | 华为技术有限公司 | 一种数据处理方法和通信设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113784094A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109168078B (zh) | 一种视频清晰度切换方法及装置 | |
| CN108200447B (zh) | 直播数据传输方法、装置、电子设备、服务器及存储介质 | |
| WO2018054193A1 (zh) | 一种数据传输方法、装置及电子设备 | |
| CN112653700B (zh) | 一种基于webrtc网页视频通信的方法 | |
| EP2869569A1 (en) | Method and apparatus for transmitting adaptive media structure in multimedia system | |
| CN107634930B (zh) | 一种媒体数据的获取方法和装置 | |
| CN108924583B (zh) | 视频文件生成方法及其设备、系统、存储介质 | |
| CN112584087B (zh) | 视频会议录制方法、电子装置和存储介质 | |
| WO2002087134B1 (en) | Interactive streaming media production tool using communication optimization | |
| WO2022262858A1 (zh) | 图像传输方法、图像显示及处理设备、及图像传输系统 | |
| CN112261445B (zh) | 流媒体播放方法、装置、设备及计算机可读存储介质 | |
| CN112492347A (zh) | 处理信息流、显示弹幕信息的方法及信息流处理系统 | |
| CN110996160A (zh) | 视频处理方法、装置、电子设备及计算机可读取存储介质 | |
| CN113784094B (zh) | 视频数据处理方法、网关、终端设备及存储介质 | |
| CN103270764B (zh) | 用于处理视频信号的方法和设备 | |
| US20070239780A1 (en) | Simultaneous capture and analysis of media content | |
| CN114363648A (zh) | 直播系统混流过程中音视频对齐的方法、设备及存储介质 | |
| JP2002502169A (ja) | 会話形通信におけるクライアント−サーバインタラクションの方法及びシステム | |
| CN108810575B (zh) | 一种发送目标视频的方法和装置 | |
| CN106937127B (zh) | 一种智能搜索准备的显示方法及其系统 | |
| WO2024041239A1 (zh) | 一种沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品 | |
| CN105791964B (zh) | 跨平台的媒体文件播放方法及系统 | |
| CN113099282A (zh) | 一种数据处理方法、装置及设备 | |
| CN116193160A (zh) | 一种数字水印嵌入方法、装置、设备和介质 | |
| CN116233411A (zh) | 音视频同步测试的方法、装置、设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |