CN1980241A - 用于信息传送的未授权内容检测 - Google Patents

Abstract

提供一种用于检测违规或非法下载活动的方法。诸如执法机构之类的机构在一组计算机文件的每一个的指定区域上生成校验和列表。该机构向分组交换机的管理员提供该校验和列表和指定区域的标识。计算通过该交换机的分组的指定区域的校验和。如果计算校验和在违规校验和列表中被发现，那么标记该分组。为了使处理开销可管理，可以只对一些分组计算校验和。虽然这种方式只能检测到已知的违规计算机文件，但是已知违规计算机文件的已知校验和的使用极大减少了假阳性分组检测的可能性。

Description

用于信息传送的未授权内容检测

技术领域

本发明涉及传送过程中的特定文件的识别，尤其涉及在传送过程中未授权图像的检测。

背景技术

互联网服务供应商(ISP)和企业日益感到需要确保诸如色情图片或者受版权保护的材料的未授权内容在ISP或企业的控制之下不被传送给使用网络资源的终端用户。例如，执法机构可以要求ISP监控那些显示非法内容的色情图片的下载。再举一例，企业可能希望对于员工把色情图片下载到企业网上进行监控。在监视个人非法下载活动的情况时，阻止此类下载可能是所希望的，但是检测此类下载也可能是有用的，或者甚至是优选的。为了检测此类下载活动，所希望的是在违规(offending)计算机文件通过交换机时检测之。

识别通过交换机传送的违规计算机文件的一种方法是使用试探法来检测共有某些类型特征的文件。模糊逻辑可以使用在图片测量上从而估算一个图片具有违规性质的可能性。这种特征的一个示例为：叠加在图片一部分上的一个黑色矩形，用于保护标识。可是，虽然这种试探技术可以检测大量的违规图片，但是它们还可以产生许多假阳性。

发明内容

[04]根据本发明的一个方面，提供一种用于检测违规计算机文件片段的方法。定义指定区域。对于许多计算机文件的每一个，对计算机文件的指定区域的字节的违规校验和进行计算。计算在计算机文件片段的指定区域中的字节的计算校验和。如果所述计算校验和与至少一个违规校验和匹配，则该计算机文件片段被确定为是违规计算机文件片段。

计算机文件片段可以是存储在网络上的计算机文件。可选地，计算机文件片段可以是分组。在后一种实施例中，本发明可以应用于在分组交换机处所接收到的分组。对于每一分组，确定该分组是否要被检查。对于计算校验和的计算只针对要检查的分组。确定分组是否要被检查可以基于如下任何一个：检查分组的百分比、检查源地址与存储的源地址相匹配的分组、检查目的地址与存储的目的地址相匹配的分组、检查特定文件类型的第一个分组或者检查超过尺寸限制的分组。

提供一种用于执行本发明方法的设备。本发明的方法可以作为处理指令被存储在计算机可读介质上。

本发明的方法和设备允许监控被终端用户为了非法或者违规内容正被下载的分组而不中断业务流。违规校验和存储在管理员站点而非违规计算机文件本身。虽然在分组或者计算机文件内的特定校验和的检查将只是检测已知的违规材料，但是那些可能由更多试探法中产生的假阳性的数量极大减少。还出现的假阳性结果对下载活动将无影响，因为本发明检测活动但是不阻止活动。对于执法机构或其它机构所规定和提供的已知违规文件的监控，可能足以证明互联网服务供应商或企业在监控和检测非法下载活动中是仔细审查的。

附图说明

本发明的特征和优点将参考附图从优选实施例的随后详细描述中变得显而易见，其中：

图1是根据本发明一个实施例的分组交换机和其它组件的简图；

图2是根据本发明一个实施例由图1的交换机执行的方法的流程图；

图3是根据本发明一个实施例由图1的违规分组检测器执行的方法的流程图。

应当指出：附图中相同的特征具有相同的标记。

具体实施方式

参见图1，根据本发明一个实施例的分组交换机和其它组件的图表被示出。分组交换机10接收输入分组12并将其作为输出分组14转发到终端用户的目的地。分组交换机10不在终端用户的管理控制之下，但是优选地，在分组交换机10的管理控制和终端用户之间存在某种关系。例如，分组交换机10可以是企业网的入口交换机，并且终端用户可以是该企业的一名员工。再举一例，分组交换机10可以是ISP的接入交换机，而终端用户可以是该ISP的客户。在任何情况下，终端用户是通过分组交换机10下载计算机文件的个人，所述计算机文件诸如作为计算机文件存储的图片文件或音乐文件。

管理系统16提供至分组交换机10的管理接口。违规分组检测器18从分组交换机10接收某些分组的拷贝(如下所述)。违规分组检测器18最好是采用与分组交换机10相分离的处理器上的软件的形式，例如与分组交换机10通信的个人计算机上的软件。违规分组检测器10可以与管理系统16位于同一平台上。一般来说，违规分组检测器18包含软件或硬件的任意结合形式的逻辑指令。软件形式的逻辑指令可以存储在计算机可读介质上。

违规分组检测器18与数据库20通信。数据库20存储至少一个违规校验和表格。每个违规校验和表格包括指定区域的定义、至少一个违规校验和与机构标识。对于此说明书的剩余部分，为了描述简洁，假定每个表格将存储多个违规校验和。每个指定区域是计算机文件内的一组字节，将对于该字节计算校验和。该指定区域可以用清楚定义一组字节在计算机文件内的位置的任何形式来表示。例如，第一字节的偏移和字节总数可以用来定义指定区域。

违规校验和与相关指定区域的定义由诸如执法机构的机构来提供。通过计算特定计算机文件的指定区域的校验和，每个违规校验和从该计算机文件中产生。例如，计算机文件的字节24到28可以用作指定区域，并且使用这些字节的值而计算出校验和。关于在计算校验和中使用计算机文件的哪个指定区域的选择被留给所述机构，但是优选的是靠近计算机文件的开始处，以便确保指定区域的偏移与第一分组内的偏移相同——如果计算机文件的部分作为多个分组有效载荷而被下载的话。用来产生校验和的计算机文件可以是任意类型的计算机文件，机构希望对于其检测下载。这些计算机文件的示例有：色情图片文件和受版权保护的音乐文件。

在实践中，机构会选择指定区域，并且基于该指定区域计算违规计算机文件集合中每个计算机文件的校验和。所述机构向分组交换机10的管理员提供指定区域的定义以及违规校验和，而不是实际的违规计算机文件。分组交换机10的管理员把指定区域的定义、违规校验和以及所述机构标识存储在数据库20中。机构可以提供例如从两个不同的违规计算机文件组中产生的一个以上的指定区域的定义及相关的违规校验和。一个以上的机构每一个都可以向管理员提供一个或多个违规校验和表格，并且数据库20因此可以存储一个以上的违规校验和表格、这些表格中的一些或者全部具有机构的不同标识。

分组交换机10的管理员使用管理系统来在分组交换机10中设置标志用于启用违规分组检测。管理员还使用管理系统在交换机内设置参数，用于定义哪些分组要被拷贝到违规分组检测器18中。设置的最简单参数是要拷贝的分组百分比，例如全部输入分组12的5％要被拷贝到违规分组检测器。这样的百分比可以随机或者确定地被应用，换言之，可以每二十分组5％的百分比被拷贝或者有5％的几率拷贝任意特定分组。参数的其它例子是：在某一个尺寸限制内的分组、能被识别为特定文件类型的第一分组的分组(例如图片、音乐或者电影文件)、与存储的源地址相匹配的分组的源地址、与存储的目的地址相匹配的分组目的地址、或者这些参数的任意组合。

参见图2，该图示出根据本发明一个实施例由分组交换机10执行的方法的流程图。在步骤30，分组交换机10接收输入分组。分组交换机在步骤32确定违规分组检测是否已被启用。如果违规分组检测已被启用，则在步骤34，分组交换机考虑参数来确定该输入分组是否要被拷贝到违规分组检测器。如果分组交换机确定该输入分组要被拷贝，那么在步骤36，分组交换机把该分组拷贝到违规分组检测器18中。分组交换机然后在步骤38把输入分组传递给该分组中所指示的目的地，即请求此次下载的终端用户。如果违规分组检测未被启用，或者如果分组交换机确定该输入分组不被拷贝，那么分组交换机就把输入分组传递给该分组中所指示的目的地。

参见图3，该图示出根据本发明一个实施例由违规分组检测器18所执行的方法的流程图。当违规分组检测器18被启动时，违规分组检测器18读取数据库20，并且对于数据库20中的每个表格，违规分组检测器载入指定区域的定义。违规分组检测器18在存储器中存储记录，每个记录与数据库20中的一个表格相关联。每个记录包括从对应表格中读出的指定区域的定义、到表格中的至少一个违规校验和组的链接、以及到表格中机构标识的链接。在步骤42，违规分组检测器18等候分组从分组交换机10中到达。这样的分组将在分组交换机拷贝分组时到达，正如在上面参考图2的步骤36所描述的那样。

当分组到达违规分组检测器18时，在步骤44，违规分组检测器认为第一指定区域的定义是包括在记录之一中的指定区域。在步骤46，违规分组检测器计算该分组内字节的校验和，该字节从指定区域的定义中选出。在步骤48，违规分组检测器使用指定区域的记录内的链接接入至少一个违规校验和组，从而确定在步骤46确定的计算校验和是否在相应表格中的至少一个违规校验和组内。

如果违规分组检测器在步骤48确定计算校验和在至少一个违规校验和组内，那么在步骤50，违规分组检测器产生报告。该报告标识该分组，包括：目的地址、源地址、该分组所属的计算机文件、违规校验和、以及与包含该违规校验和的表格相关的机构标识。这个报告可以被管理员以任何方式使用，例如：用于内部监控、用于传递给所述机构、或者仅仅用于记录保存。在生成报告之后，违规分组检测器在步骤42等候来自分组交换机的另一分组。

应当指出：如果分组被检测，该分组指定区域的校验和是违规校验和，则在图2的步骤38该分组仍然被分组交换机10转发给适当的目的地。这允许分组交换机10对输入分组的处理的执行采用了计算校验和与咨询数据库的极少处理开销。这也极大减少了假阳性识别的影响，因为下载导致假阳性的文件的终端用户将不会使其业务受到影响。本发明旨在监控并记录违规活动，而非中断业务。如果机构从步骤50生成的报告中确定出现假阳性，那么终端用户业务保持不受影响。即使该报告指示真的违规分组，由是管理员或者所述机构负责确定下一步采取什么行动。终端用户的业务可以保持不受影响，或者分组交换机在步骤34使用的参数可以被修改成把发往该终端用户的所有分组拷贝到违规分组检测器，允许暗中监控该终端用户的后续下载活动。

如果违规分组检测器在步骤48确定计算校验和不在数据库中并因此不是违规校验和，则在步骤52违规分组检测器确定是否存在另一个要被考虑的指定区域的定义。例如，如果数据库20包括一个以上违规校验和表格，如果一个以上机构对于通过分组交换机20监控下载活动感兴趣，或者如果单个机构提供了一个以上的违规校验和组，则这就是这种情况。如果存在指定区域的下一个定义，则违规分组检测器在步骤46计算指定区域的校验和，并且确定计算校验和是否与对应于该指定区域的表格内的违规校验和相匹配。违规分组检测器继续计算并检查在步骤40载入的每个指定区域的校验和，直到所有指定区域已被检查。违规分组检测器然后在步骤42等候来自分组交换机的另一分组的到来。

如果新的违规校验和组被机构提供，那么更新数据库20以包括新的表格，并且违规分组检测器被重启以使得该表格在图3的步骤40被载入到违规分组检测器的存储器中，所述表格包括新指定区域的定义和到新校验和的链接。

在本发明的一个实施例中，违规分组检测器18按照与管理系统16相同的方式提供到分组交换机10的通信。如果违规分组检测器18在步骤48确定分组的计算校验和是违规校验和，那么除了生成报告之外，违规分组检测器改变分组交换机10的工作状况。违规分组检测器18调整分组交换机10在步骤34所使用的参数，以便确定分组是否要被拷贝到违规分组检测器。这些参数可以改变以屏蔽更多发往该终端用户的分组或者从该违规分组源发出的分组。例如，如果违规分组被发现，那么参数可以被调整以使得分组交换机向违规分组检测器拷贝终端用户下载的更高百分比的分组甚至全部分组。

本发明已被描述为使用与分组交换机10相分离的违规分组检测器。分组交换机10在与分组有效载荷内容无关的分组上执行初始屏蔽功能。由分离的违规分组检测器考虑该分组的有效载荷并且咨询数据库。这将分组交换机10上的处理开销减到最少，并且允许该方法的大部分可以用软件实现。如上参考图3所述，可选地，确定分组是否具有违规校验和的逻辑可以在分组交换机本身实现。可是，为了保持处理时间最小，这可能需要对分组交换机10进行显著的硬件变化。作为另一个可选方案，分组交换机10可以把所有业务都拷贝到另一个分离的硬件设备上，该硬件设备包含用于执行参考图2和图3在上面所描述的方法的逻辑电路。

本发明已被描述为监控通过分组交换机的分组。违规分组检测器还可以被应用来监控存储在网络上的计算机文件，虽然检测器更适当地应被称为违规文件检测器。这允许网络管理员扫描网络用户存储的计算机文件以发现违规计算机文件。例如，企业网的管理员能使用本发明来扫描员工的文件。代替在步骤42接收分组，违规文件检测器接收存储的计算机文件的位置。上面参考图3所述的逻辑无变化，违规文件检测器计算每一个计算机文件的指定区域上的校验和并把计算校验和与存储在数据库中的违规校验和进行比较。更一般地，本发明旨在检测违规计算机文件片段，计算机文件片段可以是作为有效载荷而携带部分计算机文件的分组或者可以是在网络上存储的整个计算机文件，其中，针对所述计算机文件片段计算校验和并将该计算校验和与存储的违规校验和进行比较片段。违规分组检测器一般来说可以被称为违规计算机文件片段检测器，以便包括监控网络上存储的计算机文件的实施例。

当前的实施例只是示例性的，本领域技术人员应该理解：在不偏离本发明精神的前提下，可以作出上述实施例的各种变体。本发明的范围仅由所附权利要求来定义。

Claims (19)

1.一种检测违规计算机文件片段的方法，包括：

定义指定区域；

对于至少一个计算机文件的每一个，计算该计算机文件的所述指定区域的字节的违规校验和；

计算在计算机文件片段的所述指定区域中的字节的计算校验和；

确定所述计算校验和是否与至少一个违规校验和相匹配；以及

如果所述计算校验和与所述至少一个违规校验和相匹配，则确定该计算机文件片段是违规计算机文件片段。

2.根据权利要求1的方法，其中至少一个计算机文件是图片文件。

3.根据权利要求1的方法，其中至少一个计算机文件是音乐文件。

4.根据权利要求1的方法，其中至少一个计算机文件是电影文件。

5.根据权利要求1的方法，其中每一个计算机文件片段是分组，该方法还包括：

接收多个分组；和

对于每个分组，确定该分组是否要被检查，并且其中，只是对要被检查的分组执行下列步骤：对计算校验和进行计算，确定所述计算校验和是否与任何违规校验和相匹配，并确定该分组是违规分组。

6.根据权利要求5的方法，其中至少一个计算机文件是图片文件。

7.根据权利要求5的方法，其中至少一个计算机文件是音乐文件。

8.根据权利要求5的方法，其中确定分组是否要被检查包括：确定分组的百分比要被检查。

9.根据权利要求5的方法，其中确定分组是否要被检查包括：如果分组的源地址与存储的源地址相匹配，则确定该分组要被检查。

10.根据权利要求5的方法，其中确定分组是否要被检查包括：如果分组的目的地地址与存储的目的地址相匹配，则确定该分组要被检查。

11.根据权利要求5的方法，其中确定分组是否要被检查包括：如果分组是特定文件类型的第一分组，则确定该分组要被检查。

12.根据权利要求5的方法，其中确定分组是否要被检查包括：如果分组超过了尺寸限制，则确定该分组要被检查。

13.根据权利要求5的方法还包括修改参数，在分组被确定是违规分组的情况下，通过修改参数，确定分组是否要被检查。

14.根据权利要求13的方法，其中：修改所述参数以使得具有与违规分组的所述源地址相匹配的源地址的所有分组都被确定为要被检查。

15.根据权利要求13的方法，其中：修改所述参数以使得具有与违规分组的目的地址相匹配的目的地址的所有分组都被确定为要被检查。

16.根据权利要求5的方法，其中：接收多个分组并确定每个分组是否要被检查由分组交换机来执行，并且其中：对计算校验和进行计算、确定所述计算校验和是否与至少一个违规校验和的任何一个相匹配、以及确定该分组是不是违规分组，由与所述分组交换机相分离的处理器上运行的软件来执行。

17.根据权利要求1的方法，其中每个计算机文件片段是存储在网络上的计算机文件。

18.一种用于检测违规分组的系统，包括：

数据库，用于存储指定区域的定义和至少一个违规校验和；

分组交换机，用于接收多个分组并用于确定每个分组是否要被检查；以及

违规分组检测器，用于计算要被检查的每个分组的所述指定区域中的字节的计算校验和，用于确定任何计算校验和是否与至少一个违规校验和中的任意一个相匹配，并且如果所述分组的计算校验和与至少一个违规校验和相匹配，用于确定该分组是违规分组。

19.一种存储指令的计算机可读介质，该指令可以被处理器处理，所述指令包括：

用于从数据库中检索指定区域的定义的指令；

用于接收分组的指令；

用于计算在要被检查的所述分组的所述指定区域中的字节的计算校验和的指令；

用于确定所述计算校验和是否与所述数据库中的至少一个违规校验和相匹配的指令；以及

如果所述计算校验和与至少一个违规校验和相匹配，用于确定该分组是违规分组的指令。

Images