CN117749904A - 数据处理方法、装置以及电子设备 - Google Patents

数据处理方法、装置以及电子设备 Download PDF

Info

Publication number
CN117749904A
CN117749904A CN202410172376.4A CN202410172376A CN117749904A CN 117749904 A CN117749904 A CN 117749904A CN 202410172376 A CN202410172376 A CN 202410172376A CN 117749904 A CN117749904 A CN 117749904A
Authority
CN
China
Prior art keywords
data
data packet
streaming media
format
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410172376.4A
Other languages
English (en)
Inventor
王洪波
荣晓亮
路通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tols Tianxiang Net An Information Technology Co ltd
Original Assignee
Tols Tianxiang Net An Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tols Tianxiang Net An Information Technology Co ltd filed Critical Tols Tianxiang Net An Information Technology Co ltd
Priority to CN202410172376.4A priority Critical patent/CN117749904A/zh
Publication of CN117749904A publication Critical patent/CN117749904A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了数据处理方法、装置以及电子设备,涉及数据安全技术领域。该方法包括:接收来自第一设备的第一数据包;对第一数据包进行通信协议的转换处理,得到第二数据包;对第二数据包进行数据格式查询,若第二数据包的数据格式为流媒体格式,则基于配置信息对第二数据包进行数据处理,得到第三数据包,并将第三数据包发送至第二设备;配置信息用于表征第一设备对流媒体格式的数据包的数据处理需求。能够提高隔离设备在数据交换过程中的数据处理能力,还保障了数据处理过程中的安全性。

Description

数据处理方法、装置以及电子设备
技术领域
本申请一般涉及数据安全技术领域,尤其涉及一种数据处理方法、装置以及电子设备。
背景技术
随着电子政务和电子商务的快速发展,基于安全隔离技术的数据安全交换系统已经成为内外网络、高低信任网络之间数据安全交换的重要手段。
目前,隔离设备作为数据安全交换系统中不可或缺的一部分,在其中所起的作用也仅仅只是负责数据的摆渡。但随着多媒体时代的到来,隔离设备仅仅负责数据的摆渡工作是远远不够。因此,如何进一步提升隔离设备在数据交换过程中的数据处理能力成为了行业研究的热点。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种数据处理方法、装置以及电子设备,能够提高隔离设备在数据交换过程中的数据处理能力,还保障了数据处理过程中的安全性。
第一方面,本申请提供了一种数据处理方法,该方法包括:接收来自第一设备的第一数据包;对第一数据包进行通信协议的转换处理,得到第二数据包;对第二数据包进行数据格式查询,若第二数据包的数据格式为流媒体格式,则基于配置信息对第二数据包进行数据处理,得到第三数据包,并将第三数据包发送至第二设备;配置信息用于表征第一设备对流媒体格式的数据包的数据处理需求。
第二方面,本申请提供了一种数据处理装置,该数据处理装置包括:
接收模块,用于接收来自第一设备的第一数据包。
协议转换模块,用于对第一数据包进行通信协议的转换处理,得到第二数据包。
数据处理模块,用于对第二数据包进行数据格式查询,若第二数据包的数据格式为流媒体格式,则基于配置信息对第二数据包进行数据处理,得到第三数据包;配置信息用于表征第一设备对流媒体格式的数据包的数据处理需求。
发送模块,用于将第三数据包发送至第二设备。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行该程序时实现如本申请实施例描述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例描述的方法。
第五方面,本申请实施例提供一种计算机程序产品,该计算机程序产品包括指令,当该指令被运行时,使得如本申请实施例描述的方法被执行。
本申请提出的数据处理方法、装置以及电子设备,为了提高隔离设备的数据处理能力,本方案在接收到来自第一设备的第一数据包时,对该第一数据包进行通信协议的转换处理,得到第二数据包,通过通信协议的转换,不仅减少了第一设备对网络协议处理的工作量,同时还为第一设备与第二设备进行的数据交换安全提供了安全保障。
基于上述,本方案还对第二数据包进行数据格式查询,在第二数据包的数据格式为流媒体格式的情况下,响应于第一设备对流媒体格式的数据包的数据处理需求,基于该需求所生成的配置信息对第二数据包进行进一步的数据处理,得到第三数据包,以便将第三数据包传输至第二设备。这样,无论是内网设备亦或是外网设备,对于数据包的进一步处理都是不可见的,在提高了隔离设备在数据交换过程中的数据处理能力,还确保了数据处理过程中的安全性。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本申请实施例提供的一种数据处理系统的结构示意图;
图2为本申请实施例提供的一种数据处理方法的流程示意图;
图3为本申请实施例提供的一种配置页面的结构示意图;
图4为本申请实施例提供的另一种配置页面的结构示意图;
图5为本申请实施例提供的又一种配置页面的结构示意图;
图6为本申请实施例提供的一种数据处理装置的结构示意图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请实施例涉及了芯片、接口的相关应用,为了更好地理解本申请实施例的方案,下面先对本申请实施例可能涉及的相关术语和概念进行介绍。
1、FPGA(field program gate way):全称为现场可编程门阵列,是一种灵活可编程的数字电路芯片,可根据业务灵活配置,并行处理能力强,常用于数字信号处理、数据加速等高速业务场景。
2、PCIE(peripheral component interconnect express):全称为外围组件互连快速总线,是一种高速串行计算机扩展总线标准,可提高隔离卡的通用性和传输带宽,降低隔离卡设计的复杂性和设计成本。目前,PCI-e3.0 协议每一条Lane支持 8.0 GT/s,即每秒钟内传输 8G个Bit。
3、Slim SAS(Slim Serial Attached SCSI):全称为精简串行连接小型计算机系统接口,是一种高速数据传输接口协议,旨在满足当前和未来计算机存储的高速和高密度需求,由 SAS 接口协议的发展而来,拥有更高的带宽和更小的尺寸具有高速传输、高密度、灵活性等特点,支持直接连接到PCIE存储控制器。
4、DDR(Double Data Rate Synchronous Dynamic Random Access Memory)芯片:全称为双倍速率同步动态随机存储器,是用于计算机内存的一种芯片,是存储和传输数据的关键组件,具有较高的数据传输速度、较低能耗以及良好稳定性、扩展性。
随着电子政务和电子商务的快速发展,业务相互隔离的内外网络或者高低信任网络之间,数据安全交换的需求旺盛,基于安全隔离技术的数据安全交换系统已经成为内外网络、高低信任网络之间数据安全交换的重要手段。
数据安全交换系统一般由内网设备、隔离设备和外网设备组成,内外网设备通常部署在隔离设备两侧,数据交换由以上三部分协同完成,以满足信息采集安全要求。而隔离设备作为数据安全交换系统中不可获或缺一部分,在其中所起的作用也仅仅只是负责数据的摆渡。但随着多媒体时代的到来,隔离设备仅仅负责数据的摆渡工作是远远不够。因此,如何进一步提升隔离设备在数据交换过程中的数据处理能力成为了行业研究的热点。
基于此,本申请实施例提供一种数据处理方法、装置以及电子设备,其技术原理为:对来自第一设备的数据包,首先进行通信协议的转换处理,再进行数据格式查询,当数据包的数据格式为流媒体格式的情况下,基于第一设备对流媒体格式的数据包的数据处理需求(即配置信息)进行数据处理,并将数据处理后的数据包传输至第二设备。
其中,通信协议的转换包括了对数据包中网络协议的剥离以及私有协议的添加两个过程,而私有协议是将数据包向第二设备传输时所采用的传输协议,尽可能保障数据传输过程中的信息安全。另外,针对流媒体格式的数据包的数据处理包括了异常数据处理和/或水印处理的方式。其中,异常数据处理主要是通过格式异常以及无关信息剔除两种方式实现;而水印处理包含水印添加和水印去除两种。
图1为本申请实施例提供的一种数据处理系统的结构示意图。本申请实施例所提供的数据处理方法可应用于该数据处理系统100。参考图1,该数据处理系统100包括内网设备101、隔离设备102以及外网设备103。
其中,外网设备103:一方面负责从外网源地址采集内网数据并进行处理,然后通过隔离设备102向内网设备101发送数据;另一方面负责接收内网设备101经隔离设备102发送来的内网数据,在进行深度处理后,分发至外网目的地址。
内网设备101:一方面负责从内网源地址采集数据并进行处理,再通过隔离设备102向外网设备103发送;另一方面负责接收外网设备103经隔离设备102发送来的外网数据,进行深度处理后分发至内网目的地址。
本申请实施例提供的数据处理方法可以在隔离设备102上被执行。相应的,本申请以下提及的数据处理装置同样可以部署于隔离设备102上,同理,本申请以下提及的电子设备可以是隔离设备102,具体可以根据实际应用场景进行调整。
在一些实施例中,隔离设备102基于FPGA技术进行了创新设计和业务功能实现,是集成了FPGA芯片1021、DDR芯片1022、第一Slim SAS接口1023以及第二Slim SAS接口1024等高性能硬件设备,可提供基于物理隔离的高稳定性和高速率的数据双向传输服务,以满足网络安全隔离场境下,大规模数据传输、高带宽应用和实时多媒体流等场景对高性能和高稳定性的数据安全交换需求。其中,第一Slim SAS接口1023可对应于内网设备101,主要用于实现与内网设备101之间的信息交互,并将接收到来自内网设备101的数据包传输于FPGA芯片1021;第二Slim SAS接口1024可对应于外网设备103,主要用于实现与外网设备103之间的信息交互,并将接收到来自外网设备103的数据包传输于FPGA芯片1021。FPGA芯片1021主要用于对数据包进行通信协议转换、数据包的数据格式查询以及基于配置信息对数据包进行数据处理等。
具体地,为了充分利用FPGA芯片1021的硬件加速和多业务并行处理能力,针对当前数据安全交换业务场景中存在的网络协议处理暴露风险、多媒体(如视频)数据非法夹带风险以及多媒体数据外发后的安全管控难等现实难题,在FPGA芯片1021上开发了通信协议处理功能单元、视频编解码功能单元和水印处理单元等多个业务处理功能单元。这样,可以利用FPGA硬件加速能力,在保障数据交换性能基础上,利用FPGA芯片1021进行一些复杂业务处理。例如,在隔离设备102的FPGA芯片1021上利用网络协议处理单元进行网络协议剥离,同时利用私有协议完成数据属性和标记添加工作,整个过程对内网设备101和外网设备103来说是不可见的,有效降低了网络协议处理的暴露风险,安全性也更高。隔离设备102的FPGA芯片1021上的视频编解码单元能够对数据交换中的流媒体数据进行高速解码和编码,如,对于视频数据,首先对视频数据解码,再利用有损编码算法和丢弃非关键帧的方式,在不影响视频质量的前提下,去损坏视频数据中夹带的非正常视频数据,这样可以有效应对视频数据夹带而引发的数据泄漏风险;隔离设备102的FPGA芯片1021上的水印处理单元支持对多媒体数据的水印处理(包括水印添加和水印去除),添加多媒体数据的水印可以强化多媒体数据完成交换后的管控,实现对非授权的多媒体数据泄漏进行溯源;去除多媒体数据的水印可以提高多媒体数据的画面质量和使用效果。
在一些实施例中,内网设备101、外网设备103均包含了与隔离设备102进行通信的通信接口,例如,内网设备101采用第一PCIE接口1011与隔离设备102进行通信;外网设备103采用第二PCIE接口1031与隔离设备102进行通信。另外,无论是内网设备101亦或是外网设备103,各自均含了相应的配套软件系统和硬件支撑环境。
作为一个示例,以外网设备103向内网设备101传输数据为例说明内网设备101与外网设备103分别所执行的流程。外网设备103在接收到外网应用服务转发的网络数据包后,利用其上部署的配套软件对数据包开展深度分析审查,主要包括如格式检查、内容过滤、病毒查杀、SQL语句过滤等处理,以阻断含有病毒或木马的数据进行交换,实现基于数据条件的安全同步。外网设备103上部署的配套软件,通过申请N个固定大小数据块的内存空间来构建发送接收缓冲队列。以发送为例,配套软件将专门开启2个线程,一个线程负责将外网设备103审查通过的网络数据包,填入发送队列相应数据块中,当第一个数据块被填满后,开始填下一个数据块,依次类推,形成一个缓冲发送队列;另一个线程负责调用本端PCIE驱动函数(即第二PCIE接口1031),将填满的数据块发送至隔离设备102,同时清空数据块,隔离设备102对外网设备传输过来的数据包所执行的流程,可参考上述内容,此处不再赘述。内网设备101通过第一PCIE接口1011接收到来自隔离设备102的数据包后,首先进行数据包的数据读取工作。然后,对数据包进行私有协议解析,提取出原始的应用层数据,之后,按照通用的网络协议(如TCP/IP协议(TransmissionControlProtocol/InternetProtocol))对原始的应用层数据进行重新封装,并转发至内网目的地址。
内网设备101、外网设备103均可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
内网设备101、外网设备103均也可以是终端设备,该终端设备可以是具有计算功能的电子设备、平台电脑等,本申请实施例对此不作限定。
应当注意,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。
下面将结合图1,以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。以下具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
如图2所示,本申请实施例提供一种数据处理方法,该方法可应用于图1所示的隔离设备102,该方法具体包括以下步骤:
201、接收来自第一设备的第一数据包。
可选的,第一设备可以是内网设备与外网设备的其中一个,第二设备可以是内网设备与外网设备中与第一设备不同的另一个。
202、对第一数据包进行通信协议的转换处理,得到第二数据包。
可选的,通信协议的转换处理包括了对第一数据包原通信协议的剥离以及新通信协议的添加。
在一种实现方式中,对第一数据包进行通信协议的转换处理,得到第二数据包,包括:剥离第一数据包中的网络协议,并在第一数据包中的预设字段添加私有协议,得到第二数据包;私有协议用于与第二设备进行通信。
可选的,隔离设备中存储有与第二设备的IP映射表,该IP映射表可以为哈希链表,哈希链表定义有IP映射表索引INDEX以及数据包的源地址、目的地址和IP映射ID信息。
IP映射表维护存储在第二设备与隔离设备的两端,且在第二设备与隔离设备中存储的相同,每个IP映射表中都有多条表项,每一条所述表项均定义有数据包的源地址和目的地址。
可选的,对第一数据包中进行IP头部(即网络协议)剥离处理,根据剥离的IP头部,计算IP映射表中索引INDEX,并遍历哈希链表,查找是否有对应的源IP地址、目的IP地址,如有对应的数据,则在第一数据包中的预设字段添加该源IP地址以及目的IP地址所对应的私有协议,得到第二数据包。
第二设备在接收到进行了私有协议添加的数据包(即第三数据包)后,对第三数据包进行解封装处理,根据解封装得到的IP映射表索引INDEX,节点ID在IP映射表进行检索,根据检索的结果对第三数据包进行重组,生成明文数据包,发送明文数据包到第二设备的内部网络的目的地址。
203、对第二数据包进行数据格式查询,若第二数据包的数据格式为流媒体格式,则基于配置信息对第二数据包进行数据处理,得到第三数据包,并将第三数据包发送至第二设备;配置信息用于表征第一设备对流媒体格式的数据包的数据处理需求。
可选的,数据处理需求包括异常数据处理以及水印处理中的至少一个。
示例性的,流媒体格式可以包括但不限于:视频格式、音频格式以及图片格式。相应的,流媒体数据可以包括但不限于:视频数据、音频数据以及图片数据。
可选的,配置信息是通过第一设备进行设置,并将设置好的信息传输至隔离设备,隔离设备对该配置信息进行存储,并在接收到来自第一设备的数据包,并对其进行数据格式的判断后,确定该数据包的数据格式属于流媒体格式的其中一种的情况,基于该配置信息对数据包进行相关的数据处理工作。
在一种可能的实现方式中,可以针对不同的流媒体格式的数据包分别设置,即视频格式、音频格式以及图片格式各自均对应一个的配置信息。
作为一个示例,参照图3-图5,以视频格式、音频格式以及图片格式为例对流媒体格式的数据包设置各自的配置信息,在第一设备上展示关于各个流媒体格式的配置页面30,该配置页面30包含了视频格式的数据包的视频配置界面301(如图3)、音频格式的数据包的音频配置界面302(如图4)以及图片格式的数据包的图片配置界面303(如图5)。通过操作视频配置界面301中的控件3011可以实现从当前展示的如音频配置界面302或者图片配置界面303切换为视频配置界面301;通过操作音频配置界面302中的控件3021可以实现从当前展示的如视频配置界面301或者图片配置界面303切换为音频配置界面302;通过操作图片配置界面303中的控件3021可以实现从当前展示的如视频配置界面301或者音频配置界面302切换为图片配置界面303。
进一步的,视频配置界面301、音频配置界面302以及图片配置界面303各自均包含对应的至少一个配置项;可选的,至少一个配置项可以是选择项和/或输入项。当然,配置项也可以同时包括选择项和输入项,当选择项中没有用户需要选择的配置内容,则可以通过输入的方式确定所需要的配置内容。不同界面的配置项的具体内容可以有所区别。
例如,图3中展示视频配置界面301的至少一个配置项可以包括异常格式处理3012、无关信息处理3013以及水印处理3014,通过操作异常格式处理3012中的控件30121展示该配置项的下拉菜单30122,下拉菜单30122用于展示是否进行操作异常格式处理的选项;通过无关信息处理3013中的控件30131展示该配置项的下拉菜单30132,下拉菜单30132用于展示非关键帧去除以及有损编码的选项;通过水印处理3014中的控件30141展示该配置项的下拉菜单30142,下拉菜单30142用于展示添加水印以及去除水印的选项。
同理,图4中展示音频配置界面302的至少一个配置项可以包括异常格式处理3022、有损编码3023以及水印处理3024,通过操作异常格式处理3022中的控件30221展示该配置项的下拉菜单30222,下拉菜单30222用于展示是否进行操作异常格式处理的选项;通过有损编码3023中的控件30231展示该配置项的下拉菜单30232,下拉菜单30232用于展示是否进行有损编码的选项;通过水印处理3024中的控件30241展示该配置项的下拉菜单30242,下拉菜单30242用于展示添加水印以及去除水印的选项。
同理,图5中展示图片配置界面303的至少一个配置项可以包括异常格式处理3032、有损编码3033以及水印处理3034,通过操作异常格式处理3032中的控件30321展示该配置项的下拉菜单30322,下拉菜单30322用于展示是否进行操作异常格式处理的选项;通过有损编码3033中的控件30331展示该配置项的下拉菜单30332,下拉菜单30332用于展示是否进行有损编码的选项;通过水印处理3034中的控件30341展示该配置项的下拉菜单30342,下拉菜单30342用于展示添加水印以及去除水印的选项。
可以理解的是,上述仅示例性的说明了对流媒体格式的数据包设置各自的配置信息其中一种展示方式,还可以通过其他展示方式进行配置信息的设置,本实施例对此不作任何限定。
可选的,若第二数据包的数据格式为非流媒体格式,则将第二数据包传输至第二设备。
本申请实施例提出的数据处理方法,为了提高隔离设备的数据处理能力,本方法在接收到来自第一设备的第一数据包时,对该第一数据包进行通信协议的转换处理,得到第二数据包,通过通信协议的转换,不仅减少了第一设备对网络协议处理的工作量,同时还为第一设备与第二设备进行的数据交换安全提供了安全保障。
基于上述,本方法还对第二数据包进行数据格式查询,在第二数据包的数据格式为流媒体格式的情况下,响应于第一设备对流媒体格式的数据包的数据处理需求,基于该需求所生成的配置信息对第二数据包进行进一步的数据处理,得到第三数据包,以便将第三数据包传输至第二设备。这样,无论是内网设备亦或是外网设备,对于数据包的进一步处理都是不可见的,在提高了隔离设备在数据交换过程中的数据处理能力,还确保了数据处理过程中的安全性。
在本申请其中的一个实施例中,考虑到当有多个第一设备的情况,隔离设备可以构建一个数据配置集合,在数据配置集合中以第一设备的标识存储各个第一设备所设置的配置信息,在需要获取第一设备的配置信息时,可以通过第一设备的标识,在该数据配置集合中进行查询。因此,该方法还包括:基于第一数据包,获取第一设备的标识;并根据第一设备的标识,在数据配置集合中确定与第一设备匹配的配置信息。
可选的,基于第一数据包中的源媒体访问控制(Source Media Access Control,SMAC)地址、互联网协议(Internet Protocol,IP)地址、端口号(Source Port,SP)或者设备标识符(Device Identifier)来获取第一设备的标识。
在本申请其中的一个实施例中,当配置信息包括异常数据处理指令时,需要获取数据包中的流媒体数据,以便对流媒体数据进行异常数据处理。因此,基于配置信息对第二数据包进行数据处理,得到第三数据包,包括:基于异常数据处理指令,对第二数据包中的负载数据进行数据解码操作,得到第一流媒体数据;对第一流媒体数据进行异常数据处理,得到目标流媒体数据;对目标流媒体数据进行打包操作,得到第三数据包。
可选的,异常数据处理指令用于指示异常格式处理和/或无关信息剔除。其中,异常格式处理用于指示对第一流媒体数据进行格式检查,确认第一流媒体数据中是否存在与其数据格式不同的数据。无关信息剔除包括了非关键帧去除和/或有损编码。
可选的,对第二数据包中的负载数据进行数据解码操作,具体可以包括以下流程:首先,确定数据编码类型。例如,针对视频类的数据,常见的编码方式包括H.264/AVC、H.265/HEVC、VP9等。从数据包中提取出负载数据部分,通常负载数据位于数据包的特定字段或位置。之后,根据确定的编码类型,使用相应的解码算法进行解码操作。其中不同的编码方式有不同的解码算法。最后,恢复原始数据,得到第一流媒体数据。
在一种可能的实现方式中,考虑到流媒体数据可能存在数据夹带的风险,可首先对流媒体数据中存在异常格式的数据进行剔除。因此,对第一流媒体数据进行异常数据处理,得到目标流媒体数据,包括:对第一流媒体数据进行格式检查,确定第一流媒体数据中是否夹带与第一流媒体数据的数据格式不同的异常格式数据;若存在,则对异常格式数据进行删除操作,得到第二流媒体数据;若不存在,则将第一流媒体数据确定为第二流媒体数据;将第二流媒体数据确认为目标流媒体数据。
例如,假设第一流媒体数据的视频数据,而视频数据的数据格式通常以帧(frame)的形式进行存储和处理。每一帧包含了图像的像素数据以及与之相关的元数据。当第一流媒体数据中混入的如文档数据,其数据格式会明显与视频数据的数据格式完全不同,则可以对其进行剔除。对于音频数据和图片数据同理,此处不在赘述。
在本申请其中的一种实现方式中,避免将非法数据转换为与流媒体数据的数据格式相同的情况,无法通过格式检查来直观的进行识别,因此,在进行异常数据处理时,还可以对流媒体数据进行无关信息的剔除。因此,本方法还包括:对第二流媒体数据进行无关信息剔除操作,得到第三流媒体数据。在此基础上,将第三流媒体数据替换第二流媒体数据,作为目标流媒体数据,将第二流媒体数据确认为目标流媒体数据,包括:将第三流媒体数据确认为目标流媒体数据。
可选的,无关信息剔除操作包括了非关键帧去除和有损编码中的至少一项;无关信息剔除操作针对不同数据格式的流媒体数据,所包含的内容可以有所区别。例如,对于视频数据中包含了关键帧(keyframe)和非关键帧(non-keyframe)两种类型的帧,为了更好的将非法数据进行破坏,可以对视频数据进行非关键帧的去除后,再进行有损编码。又如,在音频数据中,通常没有关键帧和非关键帧的概念。因此,可以无需进行非关键帧去除,而直接进行有损编码。
可选的,第二流媒体数据为视频数据,对第二流媒体数据进行无关信息剔除操作,得到第三流媒体数据,包括:对第二流媒体数据进行非关键帧去除,并对去除了非关键帧的第二流媒体数据进行有损编码,得到第三流媒体数据。
在本申请其中的一个实施例中,为了实现对非授权多媒体数据的泄露进行溯源,隔离设备还可以对多媒体数据进行水印的添加操作。而为了保证多媒体数据的画面质量以及显示效果,隔离设备可以对多媒体数据进行水印的去除操作。通过隔离设备进行多媒体数据水印的添加或去除,不仅提高了隔离数据的数据处理能力,减少了第一设备的计算任务,还保证了水印的去除或添加过程的安全性。因此,配置信息包括水印处理指令,水印处理指令用于指示添加水印或去除,方法还包括:在生成第二流媒体数据之前去除水印;或者,在生成第二流媒体数据之后添加水印。
可选的,水印处理指令包括水印添加指令和水印去除指令,响应于水印添加指令,在生成第二流媒体数据之后添加水印;或者,响应于水印去除指令,在生成第二流媒体数据之前去除水印。可以理解的是,水印的添加或去除可以基于实际需求进行配置。
可选的,水印的类型可以是文字、图像、或者是组合的形式。
在一些实施例中,针对去除水印,对第二数据包中的负载数据进行数据解码操作,并对解码操作后的负载数据(即初始流媒体数据)去除水印,得到第一流媒体数据。
在另一些实施例中,针对添加水印,若无需对第二流媒体数据进行无关信息剔除操作,则可以直接针对第二流媒体数据进行水印添加,得到目标流媒体数据;若需要对第二流媒体数据进行无关信息剔除操作,则在对第二流媒体数据进行有损编码之前进行水印添加,并对添加了水印之后的第二流媒体数据进行有损编码,得到第三流媒体数据,该第三流媒体数据即可作为目标流媒体数据。
进一步地,除了对第二流媒体数据进行有损编码,若还需要对流媒体数据进行非关键帧去除,则可以对去除了非关键帧的第二流媒体数据进行水印添加,并对添加了水印之后的第二流媒体数据进行有损编码,得到第三流媒体数据。
可选的,对第二流媒体数据进行有损编码的过程中,在对第二流媒体数据的每一流媒体帧进行有损编码前,将该流媒体帧所对应的目标水印插入该流媒体帧中。可以理解的是,第二流媒体数据也可以是去除了非关键帧的第二流媒体数据。
作为一个示例,假设流媒体数据为视频数据,在对去除了非关键帧的第二视频数据进行有损编码操作过程中,针对去除了非关键帧的第二视频数据中的每一视频帧中插入目标水印,得到第三流媒体数据。
应当注意,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。
图6为本申请一个实施例的数据处理装置的方框示意图。
如图6所示,数据处理装置包括:接收模块601、协议转换模块602、数据处理模块603、发送模块604,其中,
接收模块601,用于接收来自第一设备的第一数据包。
协议转换模块602,用于对第一数据包进行通信协议的转换处理,得到第二数据包。
数据处理模块603,用于对第二数据包进行数据格式查询,若第二数据包的数据格式为流媒体格式,则基于配置信息对第二数据包进行数据处理,得到第三数据包;配置信息用于表征第一设备对流媒体格式的数据包的数据处理需求。
发送模块604,用于将第三数据包发送至第二设备。
在一些实施例中,数据处理模块603,具体用于基于第一数据包,获取第一设备的标识;根据第一设备的标识,在数据配置集合中确定与第一设备匹配的配置信息。
在一些实施例中,配置信息包括异常数据处理指令,数据处理模块603,具体用于,
基于异常数据处理指令,对第二数据包中的负载数据进行数据解码操作,得到第一流媒体数据。
对第一流媒体数据进行异常数据处理,得到目标流媒体数据。
对目标流媒体数据进行打包操作,得到第三数据包。
在一些实施例中,数据处理模块603,具体用于,
对第一流媒体数据进行格式检查,确定第一流媒体数据中是否夹带与第一流媒体数据的数据格式不同的异常格式数据。
若存在,则对异常格式数据进行删除操作,得到第二流媒体数据。
若不存在,则将第一流媒体数据确定为第二流媒体数据。
将第二流媒体数据确认为目标流媒体数据。
在一些实施例中,数据处理模块603,具体用于对第二流媒体数据进行无关信息剔除操作,得到第三流媒体数据;并将第三流媒体数据确认为目标流媒体数据。
在一些实施例中, 第二流媒体数据为视频数据,数据处理模块603,具体用于对第二流媒体数据进行非关键帧去除,并对去除了非关键帧的第二流媒体数据进行有损编码,得到第三流媒体数据。
在一些实施例中,配置信息包括水印处理指令,水印处理指令用于指示添加水印或去除,数据处理模块603,具体用于在生成第二流媒体数据之前去除水印;或者,在生成第二流媒体数据之后添加水印。
在一些实施例中,协议转换模块602,具体用于剥离第一数据包中的网络协议,并在第一数据包中的预设字段添加私有协议,得到第二数据包;私有协议用于与第二设备进行通信。
应当理解,数据处理装置中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作和特征同样适用于数据处理装置及其中包含的单元,在此不再赘述。数据处理装置可以预先实现在电子设备的浏览器或其他安全应用中,也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。数据处理装置中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。
在上文详细描述中提及的若干模块或者单元,这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
需要说明的是,本申请实施例的数据处理装置中未披露的细节,请参照本申请上述实施例中所披露的细节,这里不再赘述。
图7为本公开实施例提供的一种电子设备的框图。
参照图7,本公开实施例提供了一种电子设备,该电子设备700包括:至少一个处理器701;至少一个存储器702,以及一个或多个I/O接口703,连接在处理器701与存储器702之间;其中,存储器702存储有可被至少一个处理器701执行的一个或多个计算机程序,一个或多个计算机程序被至少一个处理器701执行,以使至少一个处理器701能够执行上述任意一实施例的数据处理方法。
本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序在被处理器执行时实现上述任意一实施例的数据处理方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备的处理器中运行时,所述电子设备中的处理器执行上述任意一实施例的数据处理方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读存储介质上,计算机可读存储介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。
如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读程序指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM)、静态随机存取存储器(SRAM)、闪存或其他存储器技术、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读程序指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里所描述的计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其他可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本文已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本公开的范围的情况下,可进行各种形式和细节上的改变。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
接收来自第一设备的第一数据包;
对所述第一数据包进行通信协议的转换处理,得到第二数据包;
对所述第二数据包进行数据格式查询,若所述第二数据包的数据格式为流媒体格式,则基于配置信息对所述第二数据包进行数据处理,得到第三数据包,并将所述第三数据包发送至第二设备;所述配置信息用于表征所述第一设备对流媒体格式的数据包的数据处理需求。
2.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
基于所述第一数据包,获取所述第一设备的标识;
根据所述第一设备的标识,在数据配置集合中确定与所述第一设备匹配的所述配置信息。
3.根据权利要求1或2所述的数据处理方法,其特征在于,所述配置信息包括异常数据处理指令,所述基于配置信息对所述第二数据包进行数据处理,得到第三数据包,包括:
基于所述异常数据处理指令,对所述第二数据包中的负载数据进行数据解码操作,得到第一流媒体数据;
对所述第一流媒体数据进行异常数据处理,得到目标流媒体数据;
对所述目标流媒体数据进行打包操作,得到所述第三数据包。
4.根据权利要求3所述的数据处理方法,其特征在于,所述对所述第一流媒体数据进行异常数据处理,得到目标流媒体数据,包括:
对所述第一流媒体数据进行格式检查,确定所述第一流媒体数据中是否夹带与所述第一流媒体数据的数据格式不同的异常格式数据;
若存在,则对所述异常格式数据进行删除操作,得到第二流媒体数据;
若不存在,则将所述第一流媒体数据确定为所述第二流媒体数据;
将所述第二流媒体数据确认为所述目标流媒体数据。
5.根据权利要求4所述的数据处理方法,其特征在于,所述方法还包括:
对所述第二流媒体数据进行无关信息剔除操作,得到第三流媒体数据;
所述将所述第二流媒体数据确认为所述目标流媒体数据,包括:
将所述第三流媒体数据确认为所述目标流媒体数据。
6.根据权利要求5所述的数据处理方法,其特征在于,所述第二流媒体数据为视频数据,所述对所述第二流媒体数据进行无关信息剔除操作,得到第三流媒体数据,包括:
对所述第二流媒体数据进行非关键帧去除,并对去除了非关键帧的第二流媒体数据进行有损编码,得到所述第三流媒体数据。
7.根据权利要求5所述的数据处理方法,其特征在于,所述配置信息包括水印处理指令,所述水印处理指令用于指示添加水印或去除,所述方法还包括:
在生成所述第二流媒体数据之前去除水印;或者,在生成所述第二流媒体数据之后添加水印。
8.根据权利要求1所述的数据处理方法,其特征在于,所述对所述第一数据包进行通信协议的转换处理,得到第二数据包,包括:
剥离所述第一数据包中的网络协议,并在所述第一数据包中的预设字段添加私有协议,得到所述第二数据包;所述私有协议用于与所述第二设备进行通信。
9.一种数据处理装置,其特征在于,所述装置包括:
接收模块,用于接收来自第一设备的第一数据包;
协议转换模块,用于对所述第一数据包进行通信协议的转换处理,得到第二数据包;
数据处理模块,用于对所述第二数据包进行数据格式查询,若所述第二数据包的数据格式为流媒体格式,则基于配置信息对所述第二数据包进行数据处理,得到第三数据包;所述配置信息用于表征所述第一设备对流媒体格式的数据包的数据处理需求;
发送模块,用于将所述第三数据包发送至第二设备。
10.一种电子设备,其特征在于,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时,实现如权利要求1至8中任一项所述的方法。
CN202410172376.4A 2024-02-07 2024-02-07 数据处理方法、装置以及电子设备 Pending CN117749904A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410172376.4A CN117749904A (zh) 2024-02-07 2024-02-07 数据处理方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410172376.4A CN117749904A (zh) 2024-02-07 2024-02-07 数据处理方法、装置以及电子设备

Publications (1)

Publication Number Publication Date
CN117749904A true CN117749904A (zh) 2024-03-22

Family

ID=90261229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410172376.4A Pending CN117749904A (zh) 2024-02-07 2024-02-07 数据处理方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN117749904A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104160681A (zh) * 2012-03-09 2014-11-19 阿尔卡特朗讯 用于使用dns数据识别与ip流相关的应用的方法和装置
CN105103460A (zh) * 2013-02-25 2015-11-25 马维尔国际贸易有限公司 使用帧控制数据块进行数据输送的电力线通信
CN105187388A (zh) * 2015-08-07 2015-12-23 深圳市科陆电子科技股份有限公司 使用集中器实现网络安全隔离的方法及集中器
US20200167091A1 (en) * 2018-11-27 2020-05-28 Commvault Systems, Inc. Using interoperability between components of a data storage management system and appliances for data storage and deduplication to generate secondary and tertiary copies
US20220006836A1 (en) * 2020-07-01 2022-01-06 Nvidia Corporation Dynamically hardening communications having insecure protocols

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104160681A (zh) * 2012-03-09 2014-11-19 阿尔卡特朗讯 用于使用dns数据识别与ip流相关的应用的方法和装置
CN105103460A (zh) * 2013-02-25 2015-11-25 马维尔国际贸易有限公司 使用帧控制数据块进行数据输送的电力线通信
CN105187388A (zh) * 2015-08-07 2015-12-23 深圳市科陆电子科技股份有限公司 使用集中器实现网络安全隔离的方法及集中器
US20200167091A1 (en) * 2018-11-27 2020-05-28 Commvault Systems, Inc. Using interoperability between components of a data storage management system and appliances for data storage and deduplication to generate secondary and tertiary copies
US20220006836A1 (en) * 2020-07-01 2022-01-06 Nvidia Corporation Dynamically hardening communications having insecure protocols

Similar Documents

Publication Publication Date Title
JP5851470B2 (ja) マルチメディアコンテンツの適合通知の生成および伝達
US7106751B2 (en) Apparatus for linking a SAN with a LAN
KR101278632B1 (ko) 인터넷 프로토콜을 사용하여 직렬 버스를 통해 데이터운반을 수행하는 방법 및 그러한 방법에 사용하기 위한장치
US10122816B2 (en) HTTP proxy
US10469915B2 (en) Apparatus and method for delivering and receiving multimedia data in hybrid network
US9398117B2 (en) Protocol data unit interface
CN110198345B (zh) 一种数据请求方法、系统及装置和存储介质
CN104396263A (zh) 用于流式媒体内容的实时复用变换的方法和系统
WO2022116764A1 (zh) 数据处理方法、装置、通信节点和存储介质
CN110647698A (zh) 页面加载方法、装置、电子设备及可读存储介质
CN110392044B (zh) 一种基于视联网的信息传输方法及装置
CN108206788B (zh) 一种流量的业务识别方法及相关设备
JP5535498B2 (ja) 送信装置及び伝送方法
JP7391963B2 (ja) コンテナファイルフォーマットで情報をシグナリングするための装置及び方法
CN111125426A (zh) 一种数据存储和查询的方法及装置
CN110839142B (zh) 监控目录的共享方法和装置
KR102226915B1 (ko) 소프트웨어 정의 네트워크에서 플로우 룰 데이터베이스를 운영하는 방법, 장치 및 컴퓨터 프로그램
CN117749904A (zh) 数据处理方法、装置以及电子设备
CN110535829B (zh) 一种数据交互方法及一种视联网系统
CN111416990B (zh) 一种流式数据平台的ts流的访问方法
CN110401846B (zh) 基于视联网的数据存取方法、装置、系统、设备及介质
CN102447637A (zh) 报文处理方法、系统和网络设备
CN112737915B (zh) 基于智能网卡的内网隧道跨域网关转发方法、系统、设备和介质
US20220417313A1 (en) Digital media data management system comprising software-defined data storage and an adaptive bitrate media streaming protocol
CN115278343A (zh) 一种基于对象存储的视频管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination