CN115767144A - 目标视频的上传对象确定方法及装置 - Google Patents
目标视频的上传对象确定方法及装置 Download PDFInfo
- Publication number
- CN115767144A CN115767144A CN202211321634.8A CN202211321634A CN115767144A CN 115767144 A CN115767144 A CN 115767144A CN 202211321634 A CN202211321634 A CN 202211321634A CN 115767144 A CN115767144 A CN 115767144A
- Authority
- CN
- China
- Prior art keywords
- data
- matching
- target video
- determining
- uniform resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000008439 repair process Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本公开涉及一种目标视频的上传对象确定方法、装置、电子设备及计算机可读介质。该方法包括：获取流量数据中的数据报文；根据所述数据报文确定所述流量数据的协议类型；根据所述协议类型对所述流量数据进行解析，生成解析数据；将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频；根据所述目标视频的发送IP地址确定上传对象。本申请涉及的目标视频的上传对象确定方法、装置、电子设备及计算机可读介质，能够准确识别出上网者是否存在上传非法视频的操作，并对相关人员进行追溯，可以对历史未知数据进行修复甄别。杜绝非法操作，净化网络环境。
Description
技术领域
本公开涉及计算机信息处理领域，具体而言，涉及一种目标视频的上传对象确定方法、装置、电子设备及计算机可读介质。
背景技术
目前互联网视频资源呈爆炸式增长，提供视频服务的网站或移动端APP越来越多；部分网站为了吸引更多的用户观看，会提供一些色情、暴力等非法视频资源；部分网站允许用户上传自己的视频资源，一些用户通过上传非法视频牟利；所以需要对用户上传非法视频的行为严厉打击。
目前对上传非法视频的检测方式主要包括：网络用户举报与文件上传监控系统检测；网络用户举报主要依赖人为举报，文件上传监控系统则通过分析网络出口流量内容，对其中通过将http协议上传文件的流量还原为原始文件，分析文件内容是否包含非法视频内容，根据流量的IP、认证账号、地理位置等信息可以追溯到具体上网人员。
现有技术方案的存在以下问题：
1、依赖用户主动举报覆盖率较小；
2、文件流量监控系统检测只能针对http协议检测，为了逃避网络防火墙等安全设备封堵，大部分非法网站已经支持https协议，所以仅靠传统的http协议文件检测效果不是很好。
因此，需要一种新的目标视频的上传对象确定方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本申请提供一种目标视频的上传对象确定方法、装置、电子设备及计算机可读介质，能够准确识别出上网者是否存在上传非法视频的操作，并对相关人员进行追溯，可以对历史未知数据进行修复甄别。杜绝非法操作，净化网络环境。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请的一方面，提出一种目标视频的上传对象确定方法，该方法包括：获取流量数据中的数据报文；根据所述数据报文确定所述流量数据的协议类型；根据所述协议类型对所述流量数据进行解析，生成解析数据；将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频；根据所述目标视频的发送IP地址确定上传对象。
在本申请的一种示例性实施例中，还包括：定时对多个网络平台进行特征提取；对特征提取结果进行分类识别确定其对应的匹配类型；通过多个网络平台和其对应的匹配类型生成所述统一资源定位符库。
在本申请的一种示例性实施例中，定时对多个网络平台进行特征提取，包括：定时获取多个网络平台的网络数据；对所述多个网络平台的所述网络数据进行特征提取。
在本申请的一种示例性实施例中，对特征提取结果进行分类识别确定其对应的匹配类型，包括：对特征提取结果进行分词提取生成每个网络平台对应的关键词集合；将所述关键词集合输入分类识别模型中，以确定所述网络平台的匹配类型。
在本申请的一种示例性实施例中，通过多个网络平台和其对应的匹配类型生成所述统一资源定位符库，包括：提取目标匹配类型的网络平台的统一资源定位符生成所述统一资源定位符库。
在本申请的一种示例性实施例中，在所述协议类型为HTTP协议时，根据所述协议类型对所述流量数据进行解析，生成解析数据，包括：对所述流量数据的数据包内容进行解析，提取文件信息作为解析数据。
在本申请的一种示例性实施例中，将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频，包括：由文件信息中提取所述流量数据对应的统一资源定位符；将所述统一资源定位符和统一资源定位符库中的多个统一资源定位符进行匹配；在匹配成功时，确定所述流量数据为目标视频。
在本申请的一种示例性实施例中，在所述协议类型为HTTPS协议时，根据所述协议类型对所述流量数据进行解析，生成解析数据，包括：对所述流量数据的数据包内容进行解析，提取SNI字段作为解析数据。
在本申请的一种示例性实施例中，将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频，包括：由SNI字段中提取所述流量数据对应的统一资源定位符；将所述统一资源定位符和统一资源定位符库中的多个统一资源定位符进行匹配；在匹配成功时，确定所述流量数据为目标视频。
在本申请的一种示例性实施例中，根据所述目标视频的发送IP地址确定上传对象，包括：在所述目标视频的上行流量和下行流量满足预设策略时，根据所述目标视频的IP地址对应的注册信息确定上传对象。
根据本申请的一方面，提出一种目标视频的上传对象确定装置，该装置包括：报文模块，用于获取流量数据中的数据报文；协议模块，用于根据所述数据报文确定所述流量数据的协议类型；解析模块，用于根据所述协议类型对所述流量数据进行解析，生成解析数据；匹配模块，用于将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频；定位模块，用于根据所述目标视频的发送IP地址确定上传对象。
根据本申请的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。
根据本申请的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。
根据本申请的目标视频的上传对象确定方法、装置、电子设备及计算机可读介质，通过获取流量数据中的数据报文；根据所述数据报文确定所述流量数据的协议类型；根据所述协议类型对所述流量数据进行解析，生成解析数据；将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频；根据所述目标视频的发送IP地址确定上传对象的方式，能够准确识别出上网者是否存在上传非法视频的操作，并对相关人员进行追溯，可以对历史未知数据进行修复甄别。杜绝非法操作，净化网络环境。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
通过参照附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种目标视频的上传对象确定方法及装置的系统框图。
图2是根据一示例性实施例示出的一种目标视频的上传对象确定方法的流程图。
图3是根据另一示例性实施例示出的一种目标视频的上传对象确定方法的流程图。
图4是根据另一示例性实施例示出的一种目标视频的上传对象确定方法的示意图。
图5是根据一示例性实施例示出的一种目标视频的上传对象确定装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
图7是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本申请概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的，因此不能用于限制本申请的保护范围。
图1是根据一示例性实施例示出的一种目标视频的上传对象确定方法、装置的系统框图。
如图1所示，系统架构10可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频共享类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的视频共享类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的视频数据进行分析等处理，并将处理结果反馈给管理员。
服务器105可例如获取流量数据中的数据报文；服务器105可例如根据所述数据报文确定所述流量数据的协议类型；服务器105可例如根据所述协议类型对所述流量数据进行解析，生成解析数据；服务器105可例如将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频；服务器105可例如根据所述目标视频的发送IP地址确定上传对象。
服务器105还可例如定时对多个网络平台进行特征提取；服务器105还可例如对特征提取结果进行分类识别确定其对应的匹配类型；服务器105还可例如通过多个网络平台和其对应的匹配类型生成所述统一资源定位符库。
服务器105可以是一个实体的服务器，还可例如为多个服务器组成，需要说明的是，本申请实施例所提供的目标视频的上传对象确定方法可以由服务器105执行，相应地，目标视频的上传对象确定装置可以设置于服务器105中。而提供给用户进行视频共享的网页端一般位于终端设备101、102、103中。
图2是根据一示例性实施例示出的一种目标视频的上传对象确定方法的流程图。目标视频的上传对象确定方法20至少包括步骤S202至S210。
如图2所示，在S202中，获取流量数据的数据报文。设备嗅探到数据报文，进入协议识别引擎，识别协议类型。
在S204中，根据所述数据报文确定所述流量数据的协议类型。
在S206中，根据所述协议类型对所述流量数据进行解析，生成解析数据。
在一个实施例中，在所述协议类型为HTTP协议时，根据所述协议类型对所述流量数据进行解析，生成解析数据，包括：对所述流量数据的数据包内容进行解析，提取文件信息作为解析数据。
在一个实施例中，在所述协议类型为HTTPS协议时，根据所述协议类型对所述流量数据进行解析，生成解析数据，包括：对所述流量数据的数据包内容进行解析，提取SNI字段作为解析数据。
在S208中，将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频。
在一个实施例中，在所述协议类型为HTTP协议时，由文件信息中提取所述流量数据对应的统一资源定位符；将所述统一资源定位符和统一资源定位符库中的多个统一资源定位符进行匹配；在匹配成功时，确定所述流量数据为目标视频。
http协议获取数据包内容解析文件头信息可识别是否为上传视频文件操作，如是则提取url并到url分类库中检测判断是否为非法视频类。如果url是未知分类，则还原文件内容，检查上传的文件内容是否为非法视频，如果判断文件内容是非法视频，并将该url加入url分类库的非法视频类。
在一个实施例中，在所述协议类型为HTTPS协议时，由SNI字段中提取所述流量数据对应的统一资源定位符；将所述统一资源定位符和统一资源定位符库中的多个统一资源定位符进行匹配；在匹配成功时，确定所述流量数据为目标视频。
更进一步的，在所述目标视频的上行流量和下行流量满足预设策略时，根据所述目标视频的IP地址对应的注册信息确定上传对象。
https协议是加密传输，可以采用以下方案进行匹配分类，首先获取数据包中的sni(server name)字段，使用该字段到url库中查询是否存在，如果为非法视频分类，进而对比会话的上下行流量，文件上传操作的特征即上传的数据远大于响应的数据，如果发现下行流量与上行流量有数量级的差距，比如上行流量10M，下行只有2k，则判定该操作非法视频上传动作。如果查询结果为未知分类并且上行流量远大于下行流量，则进行其他处理。
在S210中，根据所述目标视频的发送IP地址确定上传对象。可根据IP追溯视频上传者，例如可以根据上传者使用宽带接入账号的绑定信息可定位上传者的一些注册的信息(手机号，地理位置)。
在一个实施例中，还可将会话信息(五元组、上网账号、认证信息、上下行流量等相关信息)以日志形式存储。当URL分类特征库更新时，触发系统加载历史未知分类会话，对这些未知分类重新匹配，以确保历史数据是否存在是非法视频网站。对于确定为非法视频网站的会话，删除相关日志。
根据本申请的目标视频的上传对象确定方法，通过获取流量数据中的数据报文；根据所述数据报文确定所述流量数据的协议类型；根据所述协议类型对所述流量数据进行解析，生成解析数据；将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频；根据所述目标视频的发送IP地址确定上传对象的方式，能够准确识别出上网者是否存在上传非法视频的操作，并对相关人员进行追溯，可以对历史未知数据进行修复甄别。杜绝非法操作，净化网络环境。
应清楚地理解，本申请描述了如何形成和使用特定示例，但本申请的原理不限于这些示例的任何细节。相反，基于本申请公开的内容的教导，这些原理能够应用于许多其它实施例。
图3是根据另一示例性实施例示出的一种目标视频的上传对象确定方法的流程图。图3所示的流程30是对图2所示的流程的补充描述。
如图3所示，在S302中，定时对多个网络平台进行特征提取。可定时获取多个网络平台的网络数据；对所述多个网络平台的所述网络数据进行特征提取。
在S304中，对特征提取结果进行分类识别确定其对应的匹配类型。可对特征提取结果进行分词提取生成每个网络平台对应的关键词集合；将所述关键词集合输入分类识别模型中，以确定所述网络平台的匹配类型。
在S306中，通过多个网络平台和其对应的匹配类型生成所述统一资源定位符库。可提取目标匹配类型的网络平台的统一资源定位符生成所述统一资源定位符库。
可使用爬虫工具分析http、https未知分类等未收录的网站进行特征提取：网页内容进行分词，为了性能可以对网页标题、keywords、description等关键字段中的信息进行分词提取，使用分类算法(朴素贝叶斯、svm、k-means等)对网页进行归类归类。
图4是根据另一示例性实施例示出的一种目标视频的上传对象确定方法的示意图。如图4所示，在本申请中，提出一种针对非法视频上传者的检测方法，网络设备能够解析数据包内容判定是否为http协议还是https协议，进而使用不同的特征来识别是否为上传非法视频的动作，即http直接可以使用明文内容分析上传信息，https通过提取servername和上下行流量数据进行分析是否是非法视频动作，通过爬虫分析等技术手段来更新url分类特征库，如果特征库更新，将之前未识别的历史会话再次检测，以防漏检。
根据本申请中的方法，可以准确识别出上网者是否存在上传非法视频的操作，并对相关人员进行追溯，可以对历史未知数据进行修复甄别。杜绝非法操作，净化网络环境。
在本申请中，可通过https流量特征提取sni和上传视频文件的上下行流量的特征，判断是否为上传非法视频会话。
在本申请中，可对于未识别的https流量记录会话日志，在URL分类库更新时重新匹配。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本申请提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图5是根据一示例性实施例示出的一种目标视频的上传对象确定装置的框图。如图5所示，目标视频的上传对象确定装置50包括：报文模块502，协议模块504，解析模块506，匹配模块508，定位模块510。
报文模块502用于获取流量数据中的数据报文；
协议模块504用于根据所述数据报文确定所述流量数据的协议类型；
解析模块506用于根据所述协议类型对所述流量数据进行解析，生成解析数据；解析模块506还用于在所述协议类型为HTTP协议时，对所述流量数据的数据包内容进行解析，提取文件信息作为解析数据。协议模块解析模块506还用于对所述流量数据的数据包内容进行解析，提取SNI字段作为解析数据。
匹配模块508用于将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频；匹配模块508还用于由SNI字段中提取所述流量数据对应的统一资源定位符；将所述统一资源定位符和统一资源定位符库中的多个统一资源定位符进行匹配；在匹配成功时，确定所述流量数据为目标视频。匹配模块508还用于由文件信息中提取所述流量数据对应的统一资源定位符；将所述统一资源定位符和统一资源定位符库中的多个统一资源定位符进行匹配；在匹配成功时，确定所述流量数据为目标视频。
定位模块510用于根据所述目标视频的发送IP地址确定上传对象。
根据本申请的目标视频的上传对象确定装置，通过获取流量数据中的数据报文；根据所述数据报文确定所述流量数据的协议类型；根据所述协议类型对所述流量数据进行解析，生成解析数据；将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频；根据所述目标视频的发送IP地址确定上传对象的方式，能够准确识别出上网者是否存在上传非法视频的操作，并对相关人员进行追溯，可以对历史未知数据进行修复甄别。杜绝非法操作，净化网络环境。
图6是根据一示例性实施例示出的一种电子设备的框图。
下面参照图6来描述根据本申请的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书中描述的根据本申请各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图2，图3中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备600’(例如键盘、指向设备、蓝牙设备等)通信，使得用户能与该电子设备600交互的设备通信，和/或该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图7所示，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本申请实施方式的上述方法。
所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
总体而言，本公开的方法针对https协议流量进行分析，检测出流量中包含的非法视频上传流量，进一步确定视频上传者信息。具体而言，本公开提供一种针对非法视频上传者的检测方法和装置，网络设备能够解析数据包内容判定是否为http协议还是https协议，进而使用不同的特征来识别是否为上传非法视频的动作，即http直接可以使用明文内容分析上传信息，https通过提取server name和上下行流量数据进行分析是否是非法视频动作，通过爬虫分析等技术手段来更新url分类特征库，如果特征库更新，将之前未识别的历史会话再次检测，以防漏检。具体步骤包括以下7个。1.设备嗅探到数据报文，进入协议识别引擎，识别协议，http协议转2，https协议转3。2.http协议获取数据包内容解析文件头信息可识别是否为上传视频文件操作，如是则提取url并到url分类库中检测判断是否为非法视频类，如是则进入5。如果url是未知分类，则还原文件内容，检查上传的文件内容是否为非法视频，如果判断文件内容是非法视频，并将该url加入url分类库的非法视频类，进入5。3.https协议是加密传输，因此我们采用以下方案进行匹配分类，首先获取数据包中的sni(server name)字段，使用该字段到url库中查询是否存在，如果为非法视频分类，进而对比会话的上下行流量，文件上传操作的特征即上传的数据远大于响应的数据，如果发现下行流量与上行流量有数量级的差距，比如上行流量10M，下行只有2k，则判定该操作非法视频上传动作则进入5。如果查询结果为未知分类并且上行流量远大于下行流量，则进入4。4.将会话信息(五元组、上网账号、认证信息、上下行流量等相关信息)以日志形式存储。5.根据IP追溯视频上传者，例如可以根据上传者使用宽带接入账号的绑定信息可定位上传者的一些注册的信息(手机号，地理位置)。6.当URL分类特征库更新时，触发系统加载历史未知分类会话，对这些未知分类重新匹配，以确保历史数据是否存在是非法视频网站。对于确定为非法视频网站的会话，删除相关日志并进入5。7.使用爬虫工具分析http、https未知分类等未收录的网站进行特征提取：网页内容进行分词，为了性能可以对网页标题、keywords、description等关键字段中的信息进行分词提取，使用分类算法(朴素贝叶斯、svm、k-means等)对网页进行归类归类。如有更新，则进入6。本公开可以准确识别出上网者是否存在上传非法视频的操作，并对相关人员进行追溯，可以对历史未知数据进行修复甄别。杜绝非法操作，净化网络环境。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：获取流量数据中的数据报文；根据所述数据报文确定所述流量数据的协议类型；根据所述协议类型对所述流量数据进行解析，生成解析数据；将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频；根据所述目标视频的发送IP地址确定上传对象。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施例的方法。
以上具体地示出和描述了本申请的示例性实施例。应可理解的是，本申请不限于这里描述的详细结构、设置方式或实现方法；相反，本申请意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (11)
1.一种目标视频的上传对象确定方法，其特征在于，包括：
获取流量数据中的数据报文；
根据所述数据报文确定所述流量数据的协议类型；
根据所述协议类型对所述流量数据进行解析，生成解析数据；
将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频；
根据所述目标视频的发送IP地址确定上传对象。
2.如权利要求1所述的方法，其特征在于，还包括：
定时对多个网络平台进行特征提取；
对特征提取结果进行分类识别确定其对应的匹配类型；
通过多个网络平台和其对应的匹配类型生成所述统一资源定位符库。
3.如权利要求2所述的方法，其特征在于，定时对多个网络平台进行特征提取，包括：
定时获取多个网络平台的网络数据；
对所述多个网络平台的所述网络数据进行特征提取。
4.如权利要求2所述的方法，其特征在于，对特征提取结果进行分类识别确定其对应的匹配类型，包括：
对特征提取结果进行分词提取生成每个网络平台对应的关键词集合；
将所述关键词集合输入分类识别模型中，以确定所述网络平台的匹配类型。
5.如权利要求2所述的方法，其特征在于，通过多个网络平台和其对应的匹配类型生成所述统一资源定位符库，包括：
提取目标匹配类型的网络平台的统一资源定位符生成所述统一资源定位符库。
6.如权利要求1所述的方法，其特征在于，在所述协议类型为HTTP协议时，
根据所述协议类型对所述流量数据进行解析，生成解析数据，包括：
对所述流量数据的数据包内容进行解析，提取文件信息作为解析数据。
7.如权利要求6所述的方法，其特征在于，将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频，包括：
由文件信息中提取所述流量数据对应的统一资源定位符；
将所述统一资源定位符和统一资源定位符库中的多个统一资源定位符进行匹配；
在匹配成功时，确定所述流量数据为目标视频。
8.如权利要求1所述的方法，其特征在于，在所述协议类型为HTTPS协议时，
根据所述协议类型对所述流量数据进行解析，生成解析数据，包括：
对所述流量数据的数据包内容进行解析，提取SNI字段作为解析数据。
9.如权利要求8所述的方法，其特征在于，将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频，包括：
由SNI字段中提取所述流量数据对应的统一资源定位符；
将所述统一资源定位符和统一资源定位符库中的多个统一资源定位符进行匹配；
在匹配成功时，确定所述流量数据为目标视频。
10.如权利要求9所述的方法，其特征在于，根据所述目标视频的发送IP地址确定上传对象，包括：
在所述目标视频的上行流量和下行流量满足预设策略时，根据所述目标视频的IP地址对应的注册信息确定上传对象。
11.一种目标视频的上传对象确定装置，其特征在于，包括：
报文模块，用于获取流量数据中的数据报文；
协议模块，用于根据所述数据报文确定所述流量数据的协议类型；
解析模块，用于根据所述协议类型对所述流量数据进行解析，生成解析数据；
匹配模块，用于将所述解析数据和统一资源定位符库进行匹配，在匹配成功时，确定所述流量数据为目标视频；
定位模块，用于根据所述目标视频的发送IP地址确定上传对象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211321634.8A CN115767144A (zh) | 2022-10-26 | 2022-10-26 | 目标视频的上传对象确定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211321634.8A CN115767144A (zh) | 2022-10-26 | 2022-10-26 | 目标视频的上传对象确定方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115767144A true CN115767144A (zh) | 2023-03-07 |
Family
ID=85353449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211321634.8A Pending CN115767144A (zh) | 2022-10-26 | 2022-10-26 | 目标视频的上传对象确定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115767144A (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101110757A (zh) * | 2006-07-17 | 2008-01-23 | 华为技术有限公司 | 半分布式p2p网络流量管理方法、系统及设备 |
| WO2009074070A1 (fr) * | 2007-12-07 | 2009-06-18 | Huawei Technologies Co., Ltd. | Procede et equipement de telechargement amont de contenu multimedia en temps reel |
| JP2009199513A (ja) * | 2008-02-25 | 2009-09-03 | Nec Corp | 違法情報検出装置、違法情報検出方法、及び違法情報検出プログラム |
| CN101958912A (zh) * | 2010-10-28 | 2011-01-26 | 华为技术有限公司 | 一种分类级别查询方法、系统和统一资源定位符服务器 |
| CN103581765A (zh) * | 2012-08-02 | 2014-02-12 | 华为技术有限公司 | 一种报文转发的方法和设备 |
| CN106789413A (zh) * | 2016-12-10 | 2017-05-31 | 锐捷网络股份有限公司 | 一种检测代理上网的方法和装置 |
| CN106973020A (zh) * | 2017-03-20 | 2017-07-21 | 上海与德科技有限公司 | 网络分享终端和网络分享的流量限制方法及系统 |
| CN107040544A (zh) * | 2017-05-15 | 2017-08-11 | 上海斐讯数据通信技术有限公司 | 一种基于流量的入侵检测方法、装置及系统 |
| CN107404494A (zh) * | 2017-08-21 | 2017-11-28 | 北京奇安信科技有限公司 | 异常事件信息处理方法及装置 |
| CN107454109A (zh) * | 2017-09-22 | 2017-12-08 | 杭州安恒信息技术有限公司 | 一种基于http流量分析的网络窃密行为检测方法 |
| CN110209647A (zh) * | 2019-05-15 | 2019-09-06 | 深圳市麦谷科技有限公司 | 一种支持多云存储服务的文件上传方法及系统 |
| CN110457137A (zh) * | 2019-08-16 | 2019-11-15 | 杭州安恒信息技术股份有限公司 | 流量解析方法、装置、电子设备及计算机可读介质 |
| CN112104523A (zh) * | 2020-09-11 | 2020-12-18 | 中国联合网络通信集团有限公司 | 流量透传的检测方法、装置、设备及存储介质 |
| CN114006956A (zh) * | 2021-10-29 | 2022-02-01 | 杭州迪普信息技术有限公司 | 报文数据解析方法、装置及设备 |
| CN114422211A (zh) * | 2021-12-30 | 2022-04-29 | 中国人民解放军战略支援部队信息工程大学 | 基于图注意力网络的http恶意流量检测方法及装置 |
-
2022
- 2022-10-26 CN CN202211321634.8A patent/CN115767144A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101110757A (zh) * | 2006-07-17 | 2008-01-23 | 华为技术有限公司 | 半分布式p2p网络流量管理方法、系统及设备 |
| WO2009074070A1 (fr) * | 2007-12-07 | 2009-06-18 | Huawei Technologies Co., Ltd. | Procede et equipement de telechargement amont de contenu multimedia en temps reel |
| JP2009199513A (ja) * | 2008-02-25 | 2009-09-03 | Nec Corp | 違法情報検出装置、違法情報検出方法、及び違法情報検出プログラム |
| CN101958912A (zh) * | 2010-10-28 | 2011-01-26 | 华为技术有限公司 | 一种分类级别查询方法、系统和统一资源定位符服务器 |
| CN103581765A (zh) * | 2012-08-02 | 2014-02-12 | 华为技术有限公司 | 一种报文转发的方法和设备 |
| CN106789413A (zh) * | 2016-12-10 | 2017-05-31 | 锐捷网络股份有限公司 | 一种检测代理上网的方法和装置 |
| CN106973020A (zh) * | 2017-03-20 | 2017-07-21 | 上海与德科技有限公司 | 网络分享终端和网络分享的流量限制方法及系统 |
| CN107040544A (zh) * | 2017-05-15 | 2017-08-11 | 上海斐讯数据通信技术有限公司 | 一种基于流量的入侵检测方法、装置及系统 |
| CN107404494A (zh) * | 2017-08-21 | 2017-11-28 | 北京奇安信科技有限公司 | 异常事件信息处理方法及装置 |
| CN107454109A (zh) * | 2017-09-22 | 2017-12-08 | 杭州安恒信息技术有限公司 | 一种基于http流量分析的网络窃密行为检测方法 |
| CN110209647A (zh) * | 2019-05-15 | 2019-09-06 | 深圳市麦谷科技有限公司 | 一种支持多云存储服务的文件上传方法及系统 |
| CN110457137A (zh) * | 2019-08-16 | 2019-11-15 | 杭州安恒信息技术股份有限公司 | 流量解析方法、装置、电子设备及计算机可读介质 |
| CN112104523A (zh) * | 2020-09-11 | 2020-12-18 | 中国联合网络通信集团有限公司 | 流量透传的检测方法、装置、设备及存储介质 |
| CN114006956A (zh) * | 2021-10-29 | 2022-02-01 | 杭州迪普信息技术有限公司 | 报文数据解析方法、装置及设备 |
| CN114422211A (zh) * | 2021-12-30 | 2022-04-29 | 中国人民解放军战略支援部队信息工程大学 | 基于图注意力网络的http恶意流量检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 赵洪斌: ""安卓系统网络数据流量的监测分析与研究"", 中国优秀硕士学位论文, 15 July 2015 (2015-07-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200389495A1 (en) | Secure policy-controlled processing and auditing on regulated data sets | |
| CN111586005B (zh) | 扫描器扫描行为识别方法及装置 | |
| CN111435393B (zh) | 对象漏洞的检测方法、装置、介质及电子设备 | |
| CN111371778B (zh) | 攻击团伙的识别方法、装置、计算设备以及介质 | |
| CN110602030A (zh) | 网络入侵阻断方法、服务器及计算机可读介质 | |
| CN114244564A (zh) | 攻击防御方法、装置、设备及可读存储介质 | |
| CN112953896A (zh) | 日志报文的回放方法及装置 | |
| CN113704328A (zh) | 基于人工智能的用户行为大数据挖掘方法及系统 | |
| CN110955890B (zh) | 恶意批量访问行为的检测方法、装置和计算机存储介质 | |
| De La Torre-Abaitua et al. | On the application of compression-based metrics to identifying anomalous behaviour in web traffic | |
| CN113704772B (zh) | 基于用户行为大数据挖掘的安全防护处理方法及系统 | |
| CN108804501B (zh) | 一种检测有效信息的方法及装置 | |
| He et al. | Mobile app identification for encrypted network flows by traffic correlation | |
| US9904662B2 (en) | Real-time agreement analysis | |
| CN112667875A (zh) | 一种数据获取、数据分析方法、装置、设备及存储介质 | |
| CN116738369A (zh) | 一种流量数据的分类方法、装置、设备及存储介质 | |
| CN115767144A (zh) | 目标视频的上传对象确定方法及装置 | |
| CN108322912B (zh) | 一种短信辨别的方法及装置 | |
| CN114124555A (zh) | 报文回放方法、装置、电子设备及计算机可读介质 | |
| CN114417198A (zh) | 一种网络诈骗预警方法、装置、预警设备、系统 | |
| CN113037746A (zh) | 客户端指纹提取、身份识别和网络安全检测的方法及装置 | |
| CN111858782A (zh) | 基于信息安全的数据库构建方法、装置、介质与设备 | |
| US20240195841A1 (en) | System and method for manipulation of secure data | |
| US20240037157A1 (en) | Increasing security of a computer program using unstructured text | |
| CN113890866B (zh) | 一种违规应用软件识别方法、装置、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |