CN115426524A - 未知视频流数据的解析方法、装置以及分析方法、装置 - Google Patents

未知视频流数据的解析方法、装置以及分析方法、装置 Download PDF

Info

Publication number
CN115426524A
CN115426524A CN202210998869.4A CN202210998869A CN115426524A CN 115426524 A CN115426524 A CN 115426524A CN 202210998869 A CN202210998869 A CN 202210998869A CN 115426524 A CN115426524 A CN 115426524A
Authority
CN
China
Prior art keywords
data
format
video stream
stream
unknown
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210998869.4A
Other languages
English (en)
Inventor
丁尧
柳明
张永晋
刘硕
孟慈恒
雷达
陈久红
吴旭琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 52 Research Institute
Original Assignee
CETC 52 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 52 Research Institute filed Critical CETC 52 Research Institute
Priority to CN202210998869.4A priority Critical patent/CN115426524A/zh
Publication of CN115426524A publication Critical patent/CN115426524A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种未知视频流数据的解析方法、装置以及分析方法、装置，解析方法，包括连通未知视频流，截取未知视频流中的数据流；基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流。本发明能够实现对未知视频流的捕获、解析和分析。

Description

未知视频流数据的解析方法、装置以及分析方法、装置
技术领域
本发明属于视频流数据解析技术领域，具体涉及一种未知视频流数据的解析方法、装置以及分析方法、装置。
背景技术
目前的抓包软件一般可以分为两类，一类是设置代理来抓http包，比如Charles和MitmProxy，其中Charles使用简单，但只能抓取http协议包，MitmProxy可以采用命令行的方式进行运行，能支持数据包的拦截、修改等操作，但也只能抓取http协议包。第二类是直接捕获所有经过网卡的协议包，如Wireshark和tcpdump，其中Wireshark可以捕获和分析所有协议的数据包，但无法使用在线服务器和解析http数据包。tcpdump可以抓所有服务器上所有协议的包，但数据包分析比较困难，需要配合Wireshark使用。因此，目前开源抓包软件使用范围有限，难以进行未知视频流数据的解析与分析工作。
发明内容
本发明的目的之一在于提供一种未知视频流数据的解析方法，用于实现对未知视频流的捕获和解析。
为实现上述目的，本发明所采取的技术方案为：
一种未知视频流数据的解析方法，用于将未知格式视频流转化为已知格式视频流，所述未知视频流数据的解析方法，包括：
连通未知视频流，截取未知视频流中的数据流；
基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；
根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；
根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流。
以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
作为优选，所截取的数据流为基于UDP协议的数据流。
作为优选，所述根据确定的H.264格式或H.265格式对数据流进行组包，包括：
基于依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷中记载的内容，根据H.264格式或H.265格式的SPS、PPS、SEI、VPS、I帧、P帧、B帧各组成部分获取相应的内容进行组合。
本发明提供的一种未知视频流数据的解析方法，对特定数据流进行捕获，并根据RTP协议对数据流进行分析得到数据流的组成，后对数据流进行分类重组转换为已知格式视频流。该方法可用于对未知视频流中的数据进行截取和解析，便于更好地实时获取未知视频流的有用信息。
本发明的目的之二在于提供一种未知视频流数据的解析装置，用于实现对未知视频流的捕获和解析。
为实现上述目的，本发明所采取的技术方案为：
一种未知视频流数据的解析装置，用于将未知格式视频流转化为已知格式视频流，所述未知视频流数据的解析装置，包括：
数据截取模块，用于实时检测未知视频流，截取未知视频流中的数据流；
数据提取模块，用于基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；
数据分类模块，用于根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；
数据组包模块，用于根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流。
作为优选，所截取的数据流为基于UDP协议的数据流。
作为优选，所述根据确定的H.264格式或H.265格式对数据流进行组包，执行如下流程：
基于依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷中记载的内容，根据H.264格式或H.265格式的SPS、PPS、SEI、VPS、I帧、P帧、B帧各组成部分获取相应的内容进行组合。
本发明提供的一种未知视频流数据的解析装置，对特定数据流进行捕获，并根据RTP协议对数据流进行分析得到数据流的组成，后对数据流进行分类重组转换为已知格式视频流。该方法可用于对未知视频流中的数据进行截取和解析，便于更好地实时获取未知视频流的有用信息。
本发明的目的之三在于提供一种未知视频流数据的分析方法，用于实现对未知视频流的分析。
为实现上述目的，本发明所采取的技术方案为：
一种未知视频流数据的分析方法，用于根据未知格式视频流得到分析结果，所述未知视频流数据的分析方法，包括：
连通未知视频流，截取未知视频流中的数据流；
基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；
根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；
根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流；
对所述已知格式视频流进行解码，并在解码后通过分析算法得到分析结果。
作为优选，所述分析算法包括：人车检测算法、定位算法、ReID算法和人脸识别算法中的一种或多种。
本发明提供的一种未知视频流数据的分析方法，对特定数据流进行捕获，并根据RTP协议对数据流进行分析得到数据流的组成，后对数据流进行分类重组转换为已知格式视频流，后将已知格式视频流解码成图片供分析算法使用。该方法可用于对未知视频流中的数据进行截取和解析，便于更好地实时获取未知视频流的有用信息。并且通过执行不同的分析算法，得到分析结果可实时用于掌握未知地点的人员车辆情况，对于维护公共安全、加强应急管理、预警突发事件等领域具有重要意义。
本发明的目的之四在于提供一种未知视频流数据的分析装置，用于实现对未知视频流的分析。
为实现上述目的，本发明所采取的技术方案为：
一种未知视频流数据的分析装置，用于根据未知格式视频流得到分析结果，所述未知视频流数据的分析装置，包括：
数据截取模块，用于实时检测未知视频流，截取未知视频流中的数据流；
数据提取模块，用于基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；
数据分类模块，用于根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；
数据组包模块，用于根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流；
数据处理模块，用于对所述已知格式视频流进行解码，并在解码后通过分析算法得到分析结果。
作为优选，分析算法包括：人车检测算法、定位算法、ReID算法和人脸识别算法中的一种或多种。
本发明提供的一种未知视频流数据的分析装置，对特定数据流进行捕获，并根据RTP协议对数据流进行分析得到数据流的组成，后对数据流进行分类重组转换为已知格式视频流，后将已知格式视频流解码成图片供分析算法使用。该方法可用于对未知视频流中的数据进行截取和解析，便于更好地实时获取未知视频流的有用信息。并且通过执行不同的分析算法，得到分析结果可实时用于掌握未知地点的人员车辆情况，对于维护公共安全、加强应急管理、预警突发事件等领域具有重要意义。
附图说明
图1为本发明的未知视频流数据的解析方法的流程图；
图2为本发明的未知视频流数据的分析方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本发明。
在一个实施例中，为了解决现有开源抓包软件使用有限，无法进行二次开发，无法满足实际使用场景的问题，提供一种未知视频流数据的解析方法，该方法能够将未知格式视频流转化为已知格式视频流。
目前为了维护公共安全，通常会在公共区域安装图像采集设备，以实时监控公共区域情况。由于图像采集设备布置数量众多，导致接收图像采集设备上传视频流数据的总台的数据维护压力大，一旦总台因设备故障丢失维护数据，则可能造成部分图像采集设备变为失联设备，总台无法根据对应的端口对其进行数据解析，而本申请解析方法能有效解决此问题。
具体的，如图1所示，本实施例的未知视频流数据的解析方法，包括：
步骤1、连通未知视频流，截取未知视频流中的数据流。为了实现对应解析，本实施例所截取的数据流为基于UDP协议的数据流。
步骤2、基于RTP协议分析数据流，得到依次组成数据流的IP报头(20字节)、UDP报头(8字节)、RTP报头(12字节)和有效载荷(即NALU内容，长度不超过1460字节)，其中有效载荷长度不定。
步骤3、根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式。本实施例根据有效载荷中的NALU字段进行判断，判断方式符合H.264格式和H.265格式数据流中有效载荷的NALU字段的值。
步骤4、根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流。
本实施例中组包是根据H.264格式和H.265格式的SPS、PPS、SEI、VPS、I帧、P帧、B帧等组成部分的数值不同进行组合的，且组成一个视频序列的帧数不确定。
本实施例针对未知视频流数据是H.264格式或H.265格式的解析方法。其中H.264是MPEG-4标准所定义的最新编码格式，同时也是技术含量最高、技术水平最新的视频编码格式之一，H.264采用的是有损压缩的方式，主要由NALU(network abstraction layerunit)组成，具体可分为Start Code、NALU Header、NALU Payload三部分组成，其中StartCode用于标示一个NALU单元的开始，必须是“00 00 00 01”或“00 00 01”。
NALU的头部依次由forbidden_zero_bit(1bit)，nal_reference_idc(2bits)，nal_unit_type(5bits)三个部分组成的。如表1所示：(1)F(forbidden)表示禁止位，当禁止位值为1时表示语法错误；(2)NRI用于表示优先级，值越大，该NALU越重要；(3)Type表示NALU的数据类型，也就是标识该NAL单元是哪种数据类型。其中，SPS(序列参数集)是对标识符、帧数、参考帧数目、解码图像尺寸和帧场模式等解码参数进行标识记录。PPS(图像参数集)是对熵编码类型、有效参考图像的数目和初始化等解码参数进行标志记录。SEI(补充增强信息)可作为H264的比特流数据而被传输，每一个SEI信息被封装成一个NALU。SEI对于解码器来说可能是有用的，但是对于基本的解码过程来说，并不是必须的。
表1 H.264NALU的头部组成
Figure BDA0003806500410000061
NALU的主体涉及到三种帧，分别是I帧、B帧与P帧：(1)关键帧I帧，采用了帧内压缩技术，完整保留了一帧画面。I帧包括IDR图像(立即刷新图像)。H.264引入IDR图像是为了解码的重同步，当解码器解码到IDR图像时，立即将参考帧队列清空，将已解码的数据全部抛弃并重新开始一个新的序列。因此，如果前一个序列出现重大错误，在这里可以获得重新同步的机会；(2)向前参考帧P帧，采用帧间压缩技术。在压缩时，只参考前面最靠近它的I帧或P帧。P帧没有完整画面数据，只有与前一帧的画面差别的数据，在解码时将I帧中的预测值与预测误差求和以重构完整的P帧图像；(3)双向预测编码帧B帧，采用帧间压缩技术。在压缩时，它既参考前面的帧，又参考它后面的帧。B帧记录的是前后两帧之间的预测误差及运动矢量。故对B帧进行解码不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩比最高，因为它只反映并参考帧间运动主体的变化情况，预测比较准确。加大B帧的数量可以有效地提高视频数据的压缩比，但是在网络不好的实时互动环境下，过多的B帧会引起延时。通过将SPS、PPS、SEI、I帧、P帧、B帧依次进行组合，即可得到基于H.264协议的视频。
H.265是ITU-T VCEG继H.264之后所制定的新的视频编码标准。H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进，如改善码流、编码质量、延时和算法复杂度之间的关系，从而达到最优化设置。具体的研究内容包括：提高压缩效率、鲁棒性和错误恢复能力、减少实时的时延、信道获取时间和随机接入时延、降低复杂度等。H.264由于算法优化，可以低于1Mbps的速度实现标清(分辨率在1280P*720以下)数字图像传送；H.265则可以实现利用1～2Mbps的传输速度传送720P(分辨率1280*720)普通高清音视频传送。
与H.264类似，H.265的NALU结构由开始码、NALU头和NALU数据组成。开始码大小为四个字节，是一个固定值00 00 00 01(十六进制)，标识一个NALU的开始。NALU头大小为两个字节。第1位值为0，第2-7位为NALU的type位(共6位)，标识当前NALU的类型，第8-15位值为0，第16位值为1。NALU数据为编码器编出来的图像信息或图像数据。如表2所示，NALU主要可分为六种类型，依次为VPS、SPS、PPS、SEI、I帧、P帧，通过将这些数据依次进行组合，即可得到基于H.265协议的视频。
表2 H.265NALU的头部组成
Figure BDA0003806500410000071
Figure BDA0003806500410000081
在成功解析出H.264和H.265的视频流以后，解码成图片，用于后续的智能分析。
本实施例提供的未知视频流数据的解析方法，用于对未知视频流中的数据进行截取和解析。具体为将截取到的数据根据标志位分成H.264和H.265两种UDP数据。本实施例的解析方法能够有效解析未知视频流，对于常年未维护的失联图像采集设备上传的视频流进行解析或者根据配合要求对海外视频流进行解析等场景具有有效应用。
在另一个实施例中，提供一种未知视频流数据的解析装置，用于将未知格式视频流转化为已知格式视频流，所述未知视频流数据的解析装置，包括：
数据截取模块，用于实时检测未知视频流，截取未知视频流中的数据流；
数据提取模块，用于基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；
数据分类模块，用于根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；
数据组包模块，用于根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流。
关于未知视频流数据的解析装置的具体限定可以参见上文中对于未知视频流数据的解析方法的限定，在此不再赘述。上述未知视频流数据的解析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个具体实施例中，所截取的数据流为基于UDP协议的数据流。
在一个具体实施例中，所述根据确定的H.264格式或H.265格式对数据流进行组包，执行如下流程：
基于依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷中记载的内容，根据H.264格式或H.265格式的SPS、PPS、SEI、VPS、I帧、P帧、B帧各组成部分获取相应的内容进行组合。
在另一个实施例中，如图2所示，提供一种未知视频流数据的分析方法，用于根据未知格式视频流得到分析结果，所述未知视频流数据的分析方法，包括：
连通未知视频流，截取未知视频流中的数据流；
基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；
根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；
根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流；
对所述已知格式视频流进行解码，并在解码后通过分析算法得到分析结果。
本实施例将从未知格式重组成已知格式的视频流解码成图片，并用人车检测算法、定位算法、ReID算法、人脸识别算法等算法对图片进行智能分析。
当运行人脸识别算法时，在人脸识别算法检测到人脸后对人脸位置进行定位，然后计算出该人脸对应的特征向量，最后与人脸库中的人脸进行比对，通过返回识别结果判断视频中的人是否在人脸库中。
当运行定位算法时，根据获取的实时移动人车目标的跟踪结果，取目标检测框底边中心作为此时移动人车目标的图像系坐标，再根据前期标定工作得到的映射模型，计算其在自设网络坐标系下的实时坐标位置，再经过经纬度转换传送给态势展示地图显示。
当运行ReID算法时，可在无重叠的视频流网络中，判断摄像头中给定的某个行人是否出现在其他摄像头的视野中。
在一个具体实施例中，所截取的数据流为基于UDP协议的数据流。
在一个具体实施例中，所述根据确定的H.264格式或H.265格式对数据流进行组包，执行如下流程：
基于依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷中记载的内容，根据H.264格式或H.265格式的SPS、PPS、SEI、VPS、I帧、P帧、B帧各组成部分获取相应的内容进行组合。
关于未知视频流数据的分析方法的具体限定可以参见上文中对于未知视频流数据的解析方法的限定，在此不再赘述。并且当本实施例分析方法获得分析结果后，还可以进行分析结果展示。
本实施例提供的未知视频流数据的分析方法，该方法可用于对未知视频流中的数据进行截取、解析和分析，可在应急行动中实时获取未知视频流的有用信息。具体为首先实时检测未知视频流，并实时截取未知视频流中的基于UDP协议的视频数据，然后通过判断数据流标志位上的数值将数据组合成H.264或H.265形式的视频流，最后根据需求将视频流解码成图片，并用人车检测算法、定位算法、ReID算法、人脸识别算法等算法对图片进行分析。通过分析结果可实时掌握未知地点的人员车辆情况，对于维护公共安全、加强应急管理、预警突发事件等领域具有重要意义。
在另一个实施例中，提供一种未知视频流数据的分析装置，用于根据未知格式视频流得到分析结果，所述未知视频流数据的分析装置，包括：
数据截取模块，用于实时检测未知视频流，截取未知视频流中的数据流；
数据提取模块，用于基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；
数据分类模块，用于根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；
数据组包模块，用于根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流；
数据处理模块，用于对所述已知格式视频流进行解码，并在解码后通过分析算法得到分析结果。
关于未知视频流数据的分析装置的具体限定可以参见上文中对于未知视频流数据的分析方法的限定，在此不再赘述。上述未知视频流数据的分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个具体实施例中，所述分析算法，包括：人车检测算法、定位算法、ReID算法和人脸识别算法中的一种或多种。
在一个具体实施例中，所截取的数据流为基于UDP协议的数据流。
在一个具体实施例中，所述根据确定的H.264格式或H.265格式对数据流进行组包，执行如下流程：
基于依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷中记载的内容，根据H.264格式或H.265格式的SPS、PPS、SEI、VPS、I帧、P帧、B帧各组成部分获取相应的内容进行组合。
在另一个实施例中，未知视频流数据的分析装置还可以包括数据展示模块，用于将数据处理模块得到的分析结果以可视化界面的方式进行展示，如视频中的人是否在人脸库中，人车检测算法检测到的目标及其所在位置，如果是人，再用ReID算法判断人是否在白名单中等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种未知视频流数据的解析方法，用于将未知格式视频流转化为已知格式视频流，其特征在于，所述未知视频流数据的解析方法，包括：
连通未知视频流，截取未知视频流中的数据流；
基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；
根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；
根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流。
2.如权利要求1所述的未知视频流数据的解析方法，其特征在于，所截取的数据流为基于UDP协议的数据流。
3.如权利要求1所述的未知视频流数据的解析方法，其特征在于，所述根据确定的H.264格式或H.265格式对数据流进行组包，包括：
基于依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷中记载的内容，根据H.264格式或H.265格式的SPS、PPS、SEI、VPS、I帧、P帧、B帧各组成部分获取相应的内容进行组合。
4.一种未知视频流数据的解析装置，用于将未知格式视频流转化为已知格式视频流，其特征在于，所述未知视频流数据的解析装置，包括：
数据截取模块，用于实时检测未知视频流，截取未知视频流中的数据流；
数据提取模块，用于基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；
数据分类模块，用于根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；
数据组包模块，用于根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流。
5.如权利要求4所述的未知视频流数据的解析装置，其特征在于，所截取的数据流为基于UDP协议的数据流。
6.如权利要求4所述的未知视频流数据的解析装置，其特征在于，所述根据确定的H.264格式或H.265格式对数据流进行组包，执行如下流程：
基于依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷中记载的内容，根据H.264格式或H.265格式的SPS、PPS、SEI、VPS、I帧、P帧、B帧各组成部分获取相应的内容进行组合。
7.一种未知视频流数据的分析方法，用于根据未知格式视频流得到分析结果，其特征在于，所述未知视频流数据的分析方法，包括：
连通未知视频流，截取未知视频流中的数据流；
基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；
根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；
根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流；
对所述已知格式视频流进行解码，并在解码后通过分析算法得到分析结果。
8.如权利要求7所述的未知视频流数据的分析方法，其特征在于，所述分析算法，包括：人车检测算法、定位算法、ReID算法和人脸识别算法中的一种或多种。
9.一种未知视频流数据的分析装置，用于根据未知格式视频流得到分析结果，其特征在于，所述未知视频流数据的分析装置，包括：
数据截取模块，用于实时检测未知视频流，截取未知视频流中的数据流；
数据提取模块，用于基于RTP协议分析数据流，得到依次组成数据流的IP报头、UDP报头、RTP报头和有效载荷；
数据分类模块，用于根据有效载荷中的标志位将本次截取的数据流分为H.264格式或H.265格式；
数据组包模块，用于根据确定的H.264格式或H.265格式对数据流进行组包，得到相应的已知格式视频流；
数据处理模块，用于对所述已知格式视频流进行解码，并在解码后通过分析算法得到分析结果。
10.如权利要求9所述的未知视频流数据的分析装置，其特征在于，所述分析算法，包括：人车检测算法、定位算法、ReID算法和人脸识别算法中的一种或多种。
CN202210998869.4A 2022-08-19 2022-08-19 未知视频流数据的解析方法、装置以及分析方法、装置 Pending CN115426524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210998869.4A CN115426524A (zh) 2022-08-19 2022-08-19 未知视频流数据的解析方法、装置以及分析方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210998869.4A CN115426524A (zh) 2022-08-19 2022-08-19 未知视频流数据的解析方法、装置以及分析方法、装置

Publications (1)

Publication Number Publication Date
CN115426524A true CN115426524A (zh) 2022-12-02

Family

ID=84198723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210998869.4A Pending CN115426524A (zh) 2022-08-19 2022-08-19 未知视频流数据的解析方法、装置以及分析方法、装置

Country Status (1)

Country Link
CN (1) CN115426524A (zh)

Similar Documents

Publication Publication Date Title
CN113873345B (zh) 一种分布式的超高清视频同步处理方法
CN108881927B (zh) 一种视频数据合成方法和装置
TWI603609B (zh) 簡化視訊隨機存取之限制及單元類型
US8060651B2 (en) Systems and methods for adaptively packetizing data partitions for transport over a network
US20160234522A1 (en) Video Decoding
US9253063B2 (en) Bi-directional video compression for real-time video streams during transport in a packet switched network
US20070127488A1 (en) Transmission format, communication control apparatus and method, recording medium, and program
CN108307202B (zh) 实时视频转码发送方法、装置及用户终端
MX2007000810A (es) Metodo y aparato para conversion ascendente de velocidad por cuadro asistido de codificador (ea-fruc) para compresion de video.
KR20050122281A (ko) 픽처 코딩 방법
CN104349074A (zh) 用于生成合并的数字视频序列的方法、设备和系统
US20230224502A1 (en) Providing semantic information with encoded image data
CN112954433B (zh) 视频处理方法、装置、电子设备及存储介质
CN114257760A (zh) 视频拼接处理方法、智能机器人及系统
CN112532923A (zh) 一种视频流的处理方法、装置、终端设备和存储介质
US11843822B2 (en) Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
CN111400047A (zh) 通过云边协同从监控视频流中进行人脸检测和识别的方法
CN111210462A (zh) 一种报警方法及装置
CN103581695B (zh) 一种实现移动终端接入全球眼的系统和方法
CN115426524A (zh) 未知视频流数据的解析方法、装置以及分析方法、装置
CN110324667B (zh) 一种新型视频流的播放方法和系统
US20230328308A1 (en) Synchronization of multiple content streams
CN114531528A (zh) 用于视频处理的方法和图像处理设备
CN110324666B (zh) 一种安防视频流的播放方法和系统
Xue et al. Studies on a video surveillance system designed for deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination