CN113873340B - 一种数据处理方法、装置、设备、系统及存储介质 - Google Patents
一种数据处理方法、装置、设备、系统及存储介质 Download PDFInfo
- Publication number
- CN113873340B CN113873340B CN202111101393.1A CN202111101393A CN113873340B CN 113873340 B CN113873340 B CN 113873340B CN 202111101393 A CN202111101393 A CN 202111101393A CN 113873340 B CN113873340 B CN 113873340B
- Authority
- CN
- China
- Prior art keywords
- rtp
- data packet
- data
- fingerprint information
- sei
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012795 verification Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000000153 supplemental effect Effects 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 62
- 230000005856 abnormality Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种数据处理方法、装置、设备、系统及存储介质。该方法包括：获取待发送的实时传输协议RTP数据包，并计算与所述RTP数据包中的H264编码数据对应的指纹信息；根据所述指纹信息生成补充增强信息SEI载荷，将SEI载荷与所述RTP数据包关联向外发送，以使接收所述RTP数据包的终端设备，根据所述SEI载荷对所述RTP数据包中的H264编码数据进行内容校验。本发明实施例的技术方案，可以对传输过程中的H264编码数据进行实时校验，及时检测出传输内容的变化异常。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备、系统及存储介质。
背景技术
实时传输协议(Real-time Transport Protocol，RTP)是在互联网上处理多媒体数据流的一种网络协议，利用它能够在一对一(unicast)或者一对多(multicast)的网络环境中实现多媒体数据的实时传输。出于多媒体业务的实时性要求，RTP通常使用用户数据报协议(User Datagram Protocol，UDP)来进行传输。
现有的多媒体数据保护技术，主要应用于数据的生产和存储环节，通过基于编解码技术的手段，在原始数据中嵌入可见或不可见的水印，以实现对传输数据的校验。视频的编码技术有很多种，H264是其中一种常用技术。基于UDP传输的H264编码数据，由于采用的是面向无连接、不可靠的UDP传输方式，应用层缺少有效的内容保护机制，因而容易在传输过程中受到攻击，造成不同程度的不良影响。
发明内容
本发明实施例提供一种数据处理方法、装置、设备、系统及存储介质，以对传输过程中的H264编码数据进行实时校验，及时检测出传输内容的变化异常。
第一方面，本发明实施例提供了一种数据处理方法，包括：
获取待发送的实时传输协议RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息；
根据指纹信息生成补充增强信息SEI载荷，将SEI载荷与RTP数据包关联向外发送，以使接收RTP数据包的终端设备，根据SEI载荷对RTP数据包中的H264编码数据进行内容校验。
可选的，获取待发送的RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息，包括：
获取待发送的RTP数据包，并从RTP数据包中提取五元组信息、RTP序列号以及RTP时间戳；
统计已传输的H264编码数据的数据长度，并采用目标摘要算法计算已传输H264编码数据的摘要值；
将五元组信息、RTP序列号、RTP时间戳、已传输数据长度、已传输数据的摘要值，作为与RTP数据包中的H264编码数据对应的指纹信息。
可选的，根据指纹信息生成SEI载荷，将SEI载荷与RTP数据包关联向外发送，包括：
根据目标摘要算法、指纹信息以及其他校验数据，生成载荷类型为6的SEI载荷；
将SEI载荷添加至RTP数据包中向外发送；或者
将SEI载荷作为一个新数据包向外发送，并将在新数据包之后的RTP数据包的序列号加一。
第二方面，本发明实施例还提供了一种数据处理方法，包括：
接收RTP数据包，并获取与RTP数据包关联的SEI载荷；
计算与RTP数据包中的H264编码数据对应的本地指纹信息，并将本地指纹信息与SEI载荷中的目标指纹信息进行比对；
如果本地指纹信息与目标指纹信息不一致，则确定RTP数据包中的H264编码数据被篡改。
可选的，在确定RTP数据包中的H264编码数据被篡改之后，还包括：
生成篡改告警事件，并发送至RTP数据包对应的接收端设备，以使接收端设备根据上报的篡改告警事件定位篡改行为的发生位置。
第三方面，本发明实施例还提供了一种数据处理装置，包括：
指纹计算模块，用于获取待发送的RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息；
数据保护模块，用于根据指纹信息生成SEI载荷，并将SEI载荷添加至RTP数据包向外发送，以使接收RTP数据包的终端设备，根据SEI载荷对RTP数据包中的H264编码数据进行内容校验。
第四方面，本发明实施例还提供了一种数据处理装置，包括：
载荷获取模块，用于接收RTP数据包，并获取与RTP数据包关联的SEI载荷；
指纹比对模块，用于计算与RTP数据包中的H264编码数据对应的本地指纹信息，并将本地指纹信息与SEI载荷中的目标指纹信息进行比对；
校验模块，用于如果本地指纹信息与目标指纹信息不一致，则确定RTP数据包中的H264编码数据被篡改。
第五方面，本发明实施例还提供了一种终端设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例提供的数据处理方法。
第六方面，本发明实施例还提供了一种数据处理系统，系统包括多个终端设备；
当终端设备为发送端设备时，执行获取待发送的RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息；根据指纹信息生成SEI载荷，将SEI载荷与RTP数据包关联向外发送，以使接收RTP数据包的终端设备，根据SEI载荷对RTP数据包中的H264编码数据进行内容校验；
当终端设备为中继设备或者接收端设备时，执行接收RTP数据包，并获取与RTP数据包关联的SEI载荷；计算与RTP数据包中的H264编码数据对应的本地指纹信息，并将本地指纹信息与SEI载荷中的目标指纹信息进行比对；如果本地指纹信息与目标指纹信息不一致，则确定RTP数据包中的H264编码数据被篡改。
第七方面，本发明实施例还提供了一种计算机可读存储介质，该程序被处理器执行时实现本发明任意实施例提供的数据处理方法。
本发明实施例中，通过获取待发送的RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息；根据指纹信息生成SEI载荷，将SEI载荷与RTP数据包关联向外发送，以使接收RTP数据包的终端设备，根据SEI载荷对RTP数据包中的H264编码数据进行内容校验，解决了现有技术中基于UDP传输H264编码数据时，缺少内容保护机制的问题，对传输过程中的H264编码数据进行实时校验，及时检测出传输内容的变化异常。
附图说明
图1是本发明实施例一中的一种数据处理方法的流程图；
图2是本发明实施例二中的一种数据处理方法的流程图；
图3是本发明实施例三中的一种数据处理装置的结构示意图；
图4是本发明实施例四中的一种数据处理装置的结构示意图；
图5是本发明实施例五中的一种终端设备的结构示意图；
图6a是本发明实施例六中的一种数据处理系统的结构示意图；
图6b是本发明实施例六中的一种传输过程进行内容校验的演示图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中的一种数据处理方法的流程图，本实施例可适用于为待发送的H264编码数据关联唯一的指纹信息，以实现在数据传输过程进行实时校验的情况，该方法可以由数据处理装置来执行，该装置可以由硬件和/或软件来实现，并一般可以集成在发送端设备中，与中继设备和接收端设备配合使用。如图1所示，该方法包括：
步骤110、获取待发送的RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息。
本实施例中，H264是一种常用的视频编码技术，其功能分为两层，视频编码层(VCL)和网络提取层(NAL)。VCL数据即被压缩编码后的视频数据序列，需要封装到NAL单元中才可以用来传输或存储。多个NAL单元和起始码(start code)组成H264帧，NAL单元之间由“起始码”字段分开。为了采用RTP协议传输H264编码数据，可以去除H264帧中的起始码，将包括H264编码数据的NAL单元封装进RTP数据包，12字节的RTP头后面就是音视频数据。
其中，对于长度小于最大传输单元的NAL单元，可以将一个NAL单元封装在一个RTP数据包中；当NAL单元长度特别小时,可以将几个NAL单元封装在一个RTP数据包中；当NAL单元的长度超过最大传输单元时,则对NAL单元进行拆分，12字节的RTP头后面跟随的是Fragmentation Units(FUs)，简称为FU-A分片。FU-A分片有1个字节的FU标识、一个字节的FU头部和NAL分片构成。
本实施例中，为了实现对传输数据进行实时异常检测，在发送待传输的RTP数据包之前，需要生成与传输数据紧密相关的唯一性指纹信息作为校验信息，用于后续判断传输数据内容是否遭到异常改变。
可选的，获取待发送的RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息，可以包括：获取待发送的RTP数据包，并从RTP数据包中提取五元组信息、RTP序列号以及RTP时间戳；统计已传输的H264编码数据的数据长度，并采用目标摘要算法计算已传输H264编码数据的摘要值；将五元组信息、RTP序列号、RTP时间戳、已传输数据长度、已传输数据的摘要值，作为与RTP数据包中的H264编码数据对应的指纹信息。
本实施例中，RTP数据包由报文头和有效载荷两部分组成，RTP报文头中包括：协议的版本号，有效载荷类型，RTP序列号，RTP时间戳，同步信源标识符等。其中，RTP序列号用于标识发送端设备所发送的RTP数据包的序列号，且每发送一个数据包，序列号增加1。接收端设备可以通过序列号来检测RTP数据包的丢失情况，重新排序RTP数据包，恢复数据。RTP时间戳反映该RTP数据包的第一个八位组的采样时刻，接收端设备可以使用时间戳来计算延迟和延迟抖动，并进行同步控制。
本实施例中，在数据存储方面，不同的多媒体内容对应不同的长度和二进制内容，因此可以将RTP报文头中的五元组信息、当前RTP数据包的序列号、当前RTP数据包的时间戳、已传输的H264编码数据的数据长度以及已传输的H264编码数据内容等信息的集合作为一次传输的唯一指纹信息，作为当前传输内容的正确对照。其中，五元组信息包括源IP地址、源端口、目的IP地址、目的端口和协议的版本号。
其中，由于已传输数据内容的信息量较大，可以通过一定的摘要算法，例如循环冗余校验算法(Cyclic Redundancy Check，CRC)、MD5消息摘要算法(Message-DigestAlgorithm 5，MD5)、安全哈希算法(Secure Hash Algorithm，SHA1)、SHA256以及相关变种算法，计算出已传输内容的摘要值，作为指纹信息的组成信息。
其中，在一些特定场合，可以在计算已传输内容的摘要值的过程中引入加密计算，通过预先部署的证书/签名或是实时协商的秘钥，对计算结果进行保护。具体加密算法可以根据实际算力和部署场景进行选择。
步骤120、根据指纹信息生成SEI载荷，将SEI载荷与RTP数据包关联向外发送，以使接收RTP数据包的终端设备，根据SEI载荷对RTP数据包中的H264编码数据进行内容校验。
本实施例中，为了将指纹信息跟随传输数据实时传递，可以使用H264规范中的补充增强信息单元SEI消息。其中，SEI消息属于码流范畴，提供向视频码流中加入额外信息的方法，同时SEI消息又并非解码过程的必须选项，SEI消息在解码、显示或其它过程中起辅助作用，例如在解码处理时，构建亮度或者色度样值不需要SEI消息参与。也就是说，H264编码器在输出视频码流的时候，可以不提供SEI信息，H264解码器接收到包含SEI消息的NAL单元的数据时会自动忽略该部分内容。
需要说明的是，虽然在视频的传输过程、解封装、解码这些环节，都可能因为某种原因丢弃SEI内容，但在视频内容的生成端和传输过程中，是可以插入SEI载荷数据的。生成SEI的方式可以包括：如果设备支持，可以在发送端对传输数据编码生成NAL单元时，生成相应的SEI载荷，并在容器层写入时将SEI载荷插入NAL单元中，将NAL单元封装成RTP数据包传输；或者，在发送端对传输的RTP数据包进行环路过滤时，将生成的SEI载荷插入NAL单元或分片中。插入的SEI载荷信息，和其他传输的视频内容一同经过传输链路到达接收端。
在H264/AVC视频编码标准中，明确指出一个SEI NAL单元中可以包含多个SEI消息，每个SEI消息都携带自身的载荷，目前H264规定SEI载荷类型为6时，对应载荷可以是用户自定义数据。基于此，本实施例可以使用指定的处理方法user_data_unregistered()，根据指纹信息生成类型为6的SEI载荷，并将SEI载荷与RTP数据包关联向外发送，利用SEI消息中未注册的用户自定义数据来实时传输校验信息。
可选的，根据指纹信息生成SEI载荷，将SEI载荷与RTP数据包关联向外发送，可以包括：根据目标摘要算法、指纹信息以及其他校验数据，生成载荷类型为6的SEI载荷；将SEI载荷添加至RTP数据包中向外发送；或者将SEI载荷作为一个新数据包向外发送，并将在新数据包之后的RTP数据包的序列号加一。
本实施例中，可以构造一种结构，将目标摘要算法、指纹信息以及其他校验数据，按照该结构生成类型为6的SEI载荷，附加到RTP数据包中的NAL单元中已有的SEI载荷之后，伴随RTP数据包向外发送；或者，该SEI载荷作为新的待发送数据包，插入到当前RTP数据包之前或者之后进行发送，此时，由于每个发送数据包都有唯一序列号，因此需要跟踪并修改SEI载荷之后的RTP数据包的序列号。其中，其他校验数据可以是预先约定的业务数据，例如一个字符串，或者业务代码。
本实施例中，将包括指纹信息的SEI载荷发送出去之后，传输沿途的中继设备以及接收端设备可以通过结构中指定的目标摘要算法，对传输内容进行实时校验，判断RTP数据包中的H264编码数据在传输过程是否发生了内容改变。
本实施例中，通过在发送侧实时计算与传输内容对应的校验信息，利用H264overRTP中的SEI扩展机制，将校验信息插入当前传输的H264编码数据中传输，传输沿途以及接收侧通过相同的算法对传输内容进行实时校验，感知内容变化的情况。
需要说明的是，本实施例的技术方案具有多种优势，包括：可独立部署，无需对现有的通信双方进行改造；增加的数据量较少，不会对已有传输通道造成额外压力；校验信息与传输内容共享通道一起到达接收端，无需额外的逻辑链接，不受网络异构和防火墙等网络设备的影响；加入校验信息所引入的时延较小，感官差异几乎为零，不会对传输中的实时业务造成影响。
本发明实施例中，通过获取待发送的RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息；根据指纹信息生成SEI载荷，将SEI载荷与RTP数据包关联向外发送，以使接收RTP数据包的终端设备，根据SEI载荷对RTP数据包中的H264编码数据进行内容校验，解决了现有技术中基于UDP传输H264编码数据时，缺少内容保护机制的问题，对传输过程中的H264编码数据进行实时校验，及时检测出传输内容的变化异常。
实施例二
图2是本发明实施例二中的一种数据处理方法的流程图，本实施例可适用于对传输过程中的H264编码数据进行实时校验和保护的情况，该方法可以由数据处理装置来执行，该装置可以由硬件和/或软件来实现，并一般可以集成在中继设备或接收端设备中，与发送端设备配合使用。如图2所示，该方法包括：
步骤210、接收RTP数据包，并获取与RTP数据包关联的SEI载荷。
本实施例中，如果终端设备为中继设备或者接收端设备，则接收其他终端设备发送的RTP数据包，并获取与该RTP数据包关联的类型为6的SEI载荷。其中，SEI载荷可能插入在RTP数据包中的NAL单元中已有的SEI载荷之后，也可能作为新的数据包在该RTP数据包之前或者之后传输。SEI载荷中包括用于计算已传输内容的摘要值的目标摘要算法，用于进行内容校验的目标指纹信息以及其他校验数据。其中，其他校验数据可以是预先约定的业务数据，例如一个字符串，或者业务代码。
步骤220、计算与RTP数据包中的H264编码数据对应的本地指纹信息，并将本地指纹信息与SEI载荷中的目标指纹信息进行比对。
本实施例中，在获取类型为6的SEI载荷之后，从SEI载荷中提取与当前传输内容对应的目标指纹信息以及目标摘要算法，统计已传输的H264编码数据的数据长度，使用目标摘要算法计算已传输的H264编码数据内容的摘要值，从当前接收的RTP数据包中的报文头中获取五元组信息、当前RTP数据包的序列号以及当前RTP数据包的时间戳，结合计算出的已传输数据长度以及已传输数据摘要值确定与接收的RTP数据包对应的本地指纹信息。将本地指纹信息与目标指纹信息进行一致性比对，以判断当前接收的RTP数据包的内容在传输过程中是否发生改变。其中，五元组信息包括源IP地址、源端口、目的IP地址、目的端口和协议的版本号。
步骤230、如果本地指纹信息与目标指纹信息不一致，则确定RTP数据包中的H264编码数据被篡改。
本实施例中，如果传输数据内容发生改变，则相应的与传输内容相关的指纹信息也会发生改变，因此，当本地指纹信息与目标指纹信息存在差异时，则终端设备可以确定当前接收的RTP数据包中的H264编码数据被篡改，如果本地指纹信息与目标指纹信息一致，则表示当前接收的RTP数据包中的H264编码数据在传输途中未被篡改。
可选的，在确定RTP数据包中的H264编码数据被篡改之后，还可以包括：生成篡改告警事件，并发送至RTP数据包对应的接收端设备，以使接收端设备根据上报的篡改告警事件定位篡改行为的发生位置。
本实施例中，在确定RTP数据包中的H264编码数据被篡改之后，需要对发生篡改的过程进行记录生成篡改告警事件，并将篡改告警事件发送至RTP数据包对应的接收端设备，以使接收端设备依据各中继设备实时上报过来的篡改告警事件，逐级排查内容异常变化的记录告警信息，定位篡改行为发生的位置，并根据预先设置的异常应对方案，在本地执行相应的应对措施，以对传输途中的数据篡改行为进行纠正。
本发明实施例中，通过接收RTP数据包，并获取与RTP数据包关联的SEI载荷；计算与RTP数据包中的H264编码数据对应的本地指纹信息，并将本地指纹信息与SEI载荷中的目标指纹信息进行比对；如果本地指纹信息与目标指纹信息不一致，则确定RTP数据包中的H264编码数据被篡改，解决了现有技术中基于UDP传输H264编码数据时，缺少内容保护机制的问题，对传输过程中的H264编码数据进行实时校验，及时检测出传输内容的变化异常。
实施例三
图3是本发明实施例三中的一种数据处理装置的结构示意图，本实施例可适用于为待发送的H264编码数据关联唯一的指纹信息，以实现在数据传输过程进行实时校验的情况，该装置可以由硬件和/或软件来实现，并一般可以集成在发送端设备中，与中继设备和接收端设备配合使用。如图3所示，该装置包括：
指纹计算模块310，用于获取待发送的RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息；
数据保护模块320，用于根据指纹信息生成SEI载荷，并将SEI载荷添加至RTP数据包向外发送，以使接收RTP数据包的终端设备，根据SEI载荷对RTP数据包中的H264编码数据进行内容校验。
本发明实施例中，通过获取待发送的RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息；根据指纹信息生成SEI载荷，将SEI载荷与RTP数据包关联向外发送，以使接收RTP数据包的终端设备，根据SEI载荷对RTP数据包中的H264编码数据进行内容校验，解决了现有技术中基于UDP传输H264编码数据时，缺少内容保护机制的问题，对传输过程中的H264编码数据进行实时校验，及时检测出传输内容的变化异常。
可选的，指纹计算模块310，用于：
获取待发送的RTP数据包，并从RTP数据包中提取五元组信息、RTP序列号以及RTP时间戳；
统计已传输的H264编码数据的数据长度，并采用目标摘要算法计算已传输H264编码数据的摘要值；
将五元组信息、RTP序列号、RTP时间戳、已传输数据长度、已传输数据的摘要值，作为与RTP数据包中的H264编码数据对应的指纹信息。
可选的，数据保护模块320，用于：
根据目标摘要算法、指纹信息以及其他校验数据，生成载荷类型为6的SEI载荷；
将SEI载荷添加至RTP数据包中向外发送；或者
将SEI载荷作为一个新数据包向外发送，并将在新数据包之后的RTP数据包的序列号加一。
本发明实施例所提供的数据处理装置，可执行本发明任意实施例所提供的应用于发送端设备的数据处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四中的一种数据处理装置的结构示意图，本实施例可适用于对传输过程中的H264编码数据进行实时校验和保护的情况，该装置可以由硬件和/或软件来实现，并一般可以集成在中继设备或接收端设备中，与发送端设备配合使用。如图4所示，该装置包括：
载荷获取模块410，用于接收RTP数据包，并获取与RTP数据包关联的SEI载荷；
指纹比对模块420，用于计算与RTP数据包中的H264编码数据对应的本地指纹信息，并将本地指纹信息与SEI载荷中的目标指纹信息进行比对；
校验模块430，用于如果本地指纹信息与目标指纹信息不一致，则确定RTP数据包中的H264编码数据被篡改。
本发明实施例中，通过接收RTP数据包，并获取与RTP数据包关联的SEI载荷；计算与RTP数据包中的H264编码数据对应的本地指纹信息，并将本地指纹信息与SEI载荷中的目标指纹信息进行比对；如果本地指纹信息与目标指纹信息不一致，则确定RTP数据包中的H264编码数据被篡改，解决了现有技术中基于UDP传输H264编码数据时，缺少内容保护机制的问题，对传输过程中的H264编码数据进行实时校验，及时检测出传输内容的变化异常。
可选的，还包括：告警模块，用于在确定RTP数据包中的H264编码数据被篡改之后，生成篡改告警事件，并发送至RTP数据包对应的接收端设备，以使接收端设备根据上报的篡改告警事件定位篡改行为的发生位置。
本发明实施例所提供的数据处理装置，可执行本发明任意实施例所提供的应用于中继设备或接收端设备的数据处理方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五中的一种终端设备的结构示意图，图5是本发明实施例五提供的一种设备的结构示意图，如图5所示，该设备包括处理器710、存储器720、输入装置730和输出装置740；设备中处理器710的数量可以是一个或多个，图5中以一个处理器710为例；设备中的处理器710、存储器720、输入装置730和输出装置740可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器720作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据处理方法对应的程序指令/模块(例如，数据处理装置中的指纹计算模块310和数据保护模块320，或者数据处理装置中的载荷获取模块410、指纹比对模块420和校验模块430)。处理器710通过运行存储在存储器720中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数据处理方法。
存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器720可进一步包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。
实施例六
图6a是本发明实施例六中的一种数据处理系统的结构示意图，本实施例可适用于对传输过程中的H264编码数据进行实时校验和保护的情况。如图6a所示，数据处理系统包括：多个终端设备610；
当终端设备610为发送端设备时，执行获取待发送的RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息；根据指纹信息生成SEI载荷，将SEI载荷与RTP数据包关联向外发送，以使接收RTP数据包的终端设备，根据SEI载荷对RTP数据包中的H264编码数据进行内容校验；
当终端设备610为中继设备或者接收端设备时，执行接收RTP数据包，并获取与RTP数据包关联的SEI载荷；计算与RTP数据包中的H264编码数据对应的本地指纹信息，并将本地指纹信息与SEI载荷中的目标指纹信息进行比对；如果本地指纹信息与目标指纹信息不一致，则确定RTP数据包中的H264编码数据被篡改。
本实施例中，如图6b所示，当终端设备为发送端设备时，可以在发送端设备串接部署指纹提取和SEI插入模块，以利用H264视频编码标准的SEI消息中包括的未注册的用户自定义数据，来实时传递校验信息。
本实施例中，当H264 over RTP数据，即待发送的RTP数据包，流经发送侧的指纹提取和SEI插入模块时，实时计算与RTP数据包中的H264编码数据对应的指纹信息，并将指纹信息按照预定的结构生成载荷类型为6的SEI载荷数据，插入当前传输的RTP数据包中继续向后发送，或者将该SEI载荷数据作为新的待发送数据包，插入到当前RTP数据包之前或者之后进行发送。
可选的，获取待发送的RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息，可以包括：获取待发送的RTP数据包，并从RTP数据包中提取五元组信息、RTP序列号以及RTP时间戳；统计已传输的H264编码数据的数据长度，并采用目标摘要算法计算已传输H264编码数据的摘要值；将五元组信息、RTP序列号、RTP时间戳、已传输数据长度、已传输数据的摘要值，作为与RTP数据包中的H264编码数据对应的指纹信息。
可选的，根据指纹信息生成SEI载荷，将SEI载荷与RTP数据包关联向外发送，可以包括：根据目标摘要算法、指纹信息以及其他校验数据，生成载荷类型为6的SEI载荷；将SEI载荷添加至RTP数据包中向外发送；或者将SEI载荷作为一个新数据包向外发送，并将在新数据包之后的RTP数据包的序列号加一。
本实施例中，如图6b所示，当终端设备为中继设备或者接收端设备时，可以在终端设备上安装指纹校验模块，通过从流经该模块的数据中提取SEI类型为6的载荷数据，确定与正确的传输数据对应的目标指纹信息以及目标摘要算法。使用目标摘要算法计算与接收数据对应的本地指纹信息，将目标指纹信息与本地指纹信息进行比对，根据两者的一致性判断传输数据内容是否遭受篡改。
本实施例中，如果传输数据内容发生改变，则相应的与传输内容相关的指纹信息也会发生改变，因此，当本地指纹信息与目标指纹信息存在差异时，则终端设备可以确定当前接收的RTP数据包中的H264编码数据被篡改，如果本地指纹信息与目标指纹信息一致，则表示当前接收的RTP数据包中的H264编码数据在传输途中未被篡改。
可选的，在确定RTP数据包中的H264编码数据被篡改之后，还可以包括：生成篡改告警事件，并发送至RTP数据包对应的接收端设备，以使接收端设备根据上报的篡改告警事件定位篡改行为的发生位置。
本实施例中，在确定RTP数据包中的H264编码数据被篡改之后，需要对发生篡改的过程进行记录生成篡改告警事件，并将篡改告警事件发送至RTP数据包对应的接收端设备，以使接收端设备依据各中继设备实时上报过来的篡改告警事件，逐级排查内容异常变化的记录告警信息，定位篡改行为发生的位置，并根据预先设置的异常应对方案，在本地执行相应的应对措施，以对传输途中的数据篡改行为进行纠正。
本实施例中，通过在发送端部署指纹提取和SEI插入模块，在传输沿途及接收侧部署指纹校验模块，以对基于RTP传输的H264编码内容进行保护，实时检测传输内容的异常变化，定位造成异常的传输环节。在内容安全敏感的场景中，可以对实时传输的流媒体传输过程进行保护。
实施例七
本发明实施例七还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种数据处理方法，包括：
获取待发送的实时传输协议RTP数据包，并计算与RTP数据包中的H264编码数据对应的指纹信息；
根据指纹信息生成补充增强信息SEI载荷，将SEI载荷与RTP数据包关联向外发送，以使接收RTP数据包的终端设备，根据SEI载荷对RTP数据包中的H264编码数据进行内容校验。
一种数据处理方法，包括：
接收RTP数据包，并获取与RTP数据包关联的SEI载荷；
计算与RTP数据包中的H264编码数据对应的本地指纹信息，并将本地指纹信息与SEI载荷中的目标指纹信息进行比对；
如果本地指纹信息与目标指纹信息不一致，则确定RTP数据包中的H264编码数据被篡改。
当然，本发明实施例所提供的一种计算机可读存储介质，其计算机程序可执行不限于如上的方法操作，还可以执行本发明任意实施例所提供的数据处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
值得注意的是，上述数据处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种数据处理方法，其特征在于，包括：
获取待发送的实时传输协议RTP数据包，并计算与所述RTP数据包中的H264编码数据对应的指纹信息；
根据所述指纹信息生成补充增强信息SEI载荷，将SEI载荷与所述RTP数据包关联向外发送，以使接收所述RTP数据包的终端设备，根据所述SEI载荷对所述RTP数据包中的H264编码数据进行内容校验；
所述获取待发送的RTP数据包，并计算与所述RTP数据包中的H264编码数据对应的指纹信息，包括：
获取待发送的RTP数据包，并从所述RTP数据包中提取五元组信息、RTP序列号以及RTP时间戳；其中，所述五元组信息包括源IP地址、源端口、目的IP地址、目的端口和协议的版本号；
统计已传输的H264编码数据的数据长度，并采用目标摘要算法计算已传输H264编码数据的摘要值；
将所述五元组信息、RTP序列号、RTP时间戳、已传输数据长度、已传输数据的摘要值，作为与所述RTP数据包中的H264编码数据对应的指纹信息。
2.根据权利要求1所述的方法，其特征在于，根据所述指纹信息生成SEI载荷，将SEI载荷与所述RTP数据包关联向外发送，包括：
根据目标摘要算法、指纹信息以及其他校验数据，生成载荷类型为6的SEI载荷；
将所述SEI载荷添加至所述RTP数据包中向外发送；或者
将所述SEI载荷作为一个新数据包向外发送，并将在所述新数据包之后的RTP数据包的序列号加一。
3.一种数据处理方法，其特征在于，包括：
接收RTP数据包，并获取与所述RTP数据包关联的SEI载荷；
计算与所述RTP数据包中的H264编码数据对应的本地指纹信息，并将所述本地指纹信息与所述SEI载荷中的目标指纹信息进行比对；
如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述RTP数据包中的H264编码数据被篡改；
所述计算与所述RTP数据包中的H264编码数据对应的本地指纹信息，包括：
统计已传输的H264编码数据的数据长度，使用目标摘要算法计算已传输的H264编码数据内容的摘要值；从当前接收的RTP数据包中的报文头中获取五元组信息、当前RTP数据包的序列号以及当前RTP数据包的时间戳，其中，所述五元组信息包括源IP地址、源端口、目的IP地址、目的端口和协议的版本号；将所述五元组信息、RTP序列号、RTP时间戳、已传输数据长度、已传输数据的摘要值，确定作为与接收的RTP数据包对应的本地指纹信息。
4.根据权利要求3所述的方法，其特征在于，在确定所述RTP数据包中的H264编码数据被篡改之后，还包括：
生成篡改告警事件，并发送至所述RTP数据包对应的接收端设备，以使所述接收端设备根据上报的篡改告警事件定位篡改行为的发生位置。
5.一种数据处理装置，其特征在于，包括：
指纹计算模块，用于获取待发送的RTP数据包，并计算与所述RTP数据包中的H264编码数据对应的指纹信息；
数据保护模块，用于根据所述指纹信息生成SEI载荷，并将SEI载荷添加至所述RTP数据包向外发送，以使接收所述RTP数据包的终端设备，根据所述SEI载荷对所述RTP数据包中的H264编码数据进行内容校验；
所述指纹计算模块，还用于获取待发送的RTP数据包，并从所述RTP数据包中提取五元组信息、RTP序列号以及RTP时间戳；其中，所述五元组信息包括源IP地址、源端口、目的IP地址、目的端口和协议的版本号；统计已传输的H264编码数据的数据长度，并采用目标摘要算法计算已传输H264编码数据的摘要值；将所述五元组信息、RTP序列号、RTP时间戳、已传输数据长度、已传输数据的摘要值，作为与所述RTP数据包中的H264编码数据对应的指纹信息。
6.一种数据处理装置，其特征在于，包括：
载荷获取模块，用于接收RTP数据包，并获取与所述RTP数据包关联的SEI载荷；
指纹比对模块，用于计算与所述RTP数据包中的H264编码数据对应的本地指纹信息，并将所述本地指纹信息与所述SEI载荷中的目标指纹信息进行比对；
校验模块，用于如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述RTP数据包中的H264编码数据被篡改；
所述指纹比对模块，还用于统计已传输的H264编码数据的数据长度，使用目标摘要算法计算已传输的H264编码数据内容的摘要值；从当前接收的RTP数据包中的报文头中获取五元组信息、当前RTP数据包的序列号以及当前RTP数据包的时间戳，其中，所述五元组信息包括源IP地址、源端口、目的IP地址、目的端口和协议的版本号；将所述五元组信息、RTP序列号、RTP时间戳、已传输数据长度、已传输数据的摘要值，确定作为与接收的RTP数据包对应的本地指纹信息。
7.一种终端设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-2中任一项所述的数据处理方法，或者实现如权利要求3-4中任一项所述的数据处理方法。
8.一种数据处理系统，其特征在于，所述系统包括多个终端设备；
当所述终端设备为发送端设备时，执行如权利要求1-2中任一项所述的数据处理方法；
当所述终端设备为中继设备或者接收端设备时，执行如权利要求3-4中任一项所述的数据处理方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一项所述的数据处理方法，或者实现如权利要求3-4中任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111101393.1A CN113873340B (zh) | 2021-09-18 | 2021-09-18 | 一种数据处理方法、装置、设备、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111101393.1A CN113873340B (zh) | 2021-09-18 | 2021-09-18 | 一种数据处理方法、装置、设备、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113873340A CN113873340A (zh) | 2021-12-31 |
| CN113873340B true CN113873340B (zh) | 2024-01-16 |
Family
ID=78992910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111101393.1A Active CN113873340B (zh) | 2021-09-18 | 2021-09-18 | 一种数据处理方法、装置、设备、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113873340B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116033113B (zh) * | 2023-03-27 | 2023-08-11 | 全时云商务服务股份有限公司 | 一种视频会议辅助信息传输方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1863302A (zh) * | 2005-11-03 | 2006-11-15 | 华为技术有限公司 | 多媒体通信方法及其终端 |
| CN101356829A (zh) * | 2006-01-04 | 2009-01-28 | 诺基亚公司 | 用于检查视频编码器和解码器状态完整性的方法 |
| CN101796846A (zh) * | 2007-04-17 | 2010-08-04 | 诺基亚公司 | 基于反馈的可缩放视频编码 |
| CN101800671A (zh) * | 2010-02-08 | 2010-08-11 | 同济大学 | 一种h.264视频文件的丢包检测方法 |
| CN110198293A (zh) * | 2018-04-08 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 服务器的攻击防护方法、装置、存储介质和电子装置 |
| CN110225416A (zh) * | 2019-05-31 | 2019-09-10 | 杭州涂鸦信息技术有限公司 | 一种视频的传输方法、网络终端、智能终端以及存储装置 |
| CN113328902A (zh) * | 2020-02-29 | 2021-08-31 | 华为技术有限公司 | 网络性能检测方法、装置及网络设备 |
-
2021
- 2021-09-18 CN CN202111101393.1A patent/CN113873340B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1863302A (zh) * | 2005-11-03 | 2006-11-15 | 华为技术有限公司 | 多媒体通信方法及其终端 |
| CN101356829A (zh) * | 2006-01-04 | 2009-01-28 | 诺基亚公司 | 用于检查视频编码器和解码器状态完整性的方法 |
| CN101796846A (zh) * | 2007-04-17 | 2010-08-04 | 诺基亚公司 | 基于反馈的可缩放视频编码 |
| CN101800671A (zh) * | 2010-02-08 | 2010-08-11 | 同济大学 | 一种h.264视频文件的丢包检测方法 |
| CN110198293A (zh) * | 2018-04-08 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 服务器的攻击防护方法、装置、存储介质和电子装置 |
| CN110225416A (zh) * | 2019-05-31 | 2019-09-10 | 杭州涂鸦信息技术有限公司 | 一种视频的传输方法、网络终端、智能终端以及存储装置 |
| CN113328902A (zh) * | 2020-02-29 | 2021-08-31 | 华为技术有限公司 | 网络性能检测方法、装置及网络设备 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多维聚类挖掘的异常检测方法研究;陈平 等;计算机技术与发展(第07期);第142-145页 * |
| 面向安全分析的大规模网络下的DNS流量还原系统;文奕 等;信息网络安全(第05期);第83-89页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113873340A (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107547918A (zh) | 一种交互式网络电视频道安全播放的方法、装置和系统 | |
| KR102305410B1 (ko) | 통신 시스템에서 패킷 송수신 방법 및 장치 | |
| US8438450B2 (en) | Method and system for performing data integrity verification of a transport stream | |
| US11153360B2 (en) | Methods and systems for codec detection in video streams | |
| CN107517410B (zh) | 视频业务质量评估的方法及装置 | |
| CN108809893A (zh) | 一种视频质量评估方法和设备 | |
| CN101902477A (zh) | 发送系统、接收系统、媒体流合法性的识别方法和系统 | |
| CN111294639A (zh) | 一种视频实时在线共享浏览防篡改的系统和方法 | |
| CN113873340B (zh) | 一种数据处理方法、装置、设备、系统及存储介质 | |
| CN111385221A (zh) | 一种数据处理方法和通信设备 | |
| WO2012094915A1 (zh) | 流媒体前向纠错实现方法及系统 | |
| CN113316028B (zh) | 投屏方法、投屏设备及存储介质 | |
| CN109218752B (zh) | 视频播放、提供和检测方法及机顶盒、媒体服务器和系统 | |
| US20180255325A1 (en) | Fault recovery of video bitstream in remote sessions | |
| CN110572640A (zh) | 一种基于gb35114标准的视频签名验签测评工具及方法 | |
| CN104079578A (zh) | 取证数据隐蔽传输的方法及系统 | |
| WO2021174879A1 (zh) | Ai视频通话质量分析方法、装置、计算机设备及存储介质 | |
| CN116614481A (zh) | 一种多媒体数据传输方法、装置、设备及存储介质 | |
| CN104219212B (zh) | 视频文件跨网络传输方法、装置及系统 | |
| CN114205674B (zh) | 视频数据处理方法、装置、电子设备和存储介质 | |
| CN114285769B (zh) | 共享上网检测方法、装置、设备及存储介质 | |
| US11483627B2 (en) | Method and apparatus for providing broadcast service | |
| Panajotov et al. | Covert channels in TCP/IP protocol stack | |
| CN116545653A (zh) | H265视频编码数据的传输方法、装置、设备、系统及介质 | |
| CN117319088B (zh) | 一种阻断违规外联设备的方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |