CN100384134C - 播存网格环境下客户端资源检索及自动下载方法 - Google Patents

Abstract

本发明属于智能IT技术领域，具体涉及一种在播存网格环境下，基于内容语义的在客户端进行资源检索以及自动下载的方法，这种方法使信源与信宿之间架起沟通网页语义的桥梁。其内包括客户端进行三层语义检索匹配(节目关键信息匹配、节目分类匹配和语义摘要信息匹配)和用户个性化资源的自动下载。本发明一方面提供应用广泛、功能强大的内容语义的主动服务，同时结合用户的搜索习惯以及对节目的偏好，个性，浏览方式，实现节目的自动下载，实现网络的人性化服务，为用户省去了网上寻找的时间。

Description

播存网格环境下客户端资源检索及自动下载方法

技术领域

本发明属于智能IT技术领域，具体涉及一种播存网格环境下基于内容语义的客户端资源检索以及自动下载的方法。

技术背景

互联网飞速发展，网络上的资源越来越多，现状是“资源过剩”，而同时由于海量信息，用户无法获得自己最需要的信息，这就需要在信源与信宿之间架起沟通网页语义的桥梁。而这种语义学意义上筛选内容的科学技术手段，成了网络传媒持续发展的新瓶颈。

进一步把互联网改造成语义网，让基于内容语义的用户搜索成为现实，其应用范围将大大超出网络传媒，几乎是无所不能的内容语义的主动服务。同时结合用户的搜索习惯以及节目偏好，个性，浏览方式，实现节目的自动下载，彰显网络的人性化，为用户省去了网上寻找的时间。同时，在组播环境下，可以有效解决了服务器端网络拥堵的现状，实现了“信息快速通道”。

发明内容

本发明的目的在于提出一种在播存网格环境下基于内容语义的客户端资源检索以及自动下载的方法。

本发明提出的方法基于“播存网格”的组播环境，运用“组播”网络通信模式。

由于80/20规则，传统的网络存在着严重的访问量以及信息不对称的问题。80％的用户只访问20％的网站(实际的网络情况更加悬殊)，即极少数的网站承担着繁重的访问任务，于是出现了“共享冲突”问题，并且随着网络用户数的急剧增长而日益严重。采用组播技术，即在服务器端，每一个播组具有实时数据传输能力，每天播出几百兆的内容，直接到用户，没有拥堵，无需带宽等待分配，客户端选择自己所需要加入的播组，无缝的进行连接，随心所欲的接收节目。

在此组播环境下，本发明包含下述2个方面的内容：

1、客户端进行三层语义检索匹配；

2、用户个性化资源自动下载。

1.客户端进行三层语义检索匹配

服务器端对将要播出的节目进行清洗，抽取出节目的关键信息，以XML文件的形式保存每个节目的“内容语义”，而客户端通过语义分析，选出自己所感兴趣的节目进行接收。

在客户端基于内容语义搜索进行组播节目下载时，采用了三层语义匹配的方式：

第一层：节目关键信息匹配。

服务器端对每个节目高度清洗，简要的分析出每一个将要组播节目的关键信息，随节目单一起播出，用户接收到组播节目单，根据该节目内容语义信息中的关键信息(如关键字)，进行模糊匹配(包含近义词匹配，中英文匹配等)，由于用户的检索习惯以及检索关键信息准确度不同，语义匹配的过程中简单运用分词技术，对于中文用户，理解更准确，搜索效率更高。

第二层：节目分类匹配

根据每个节目的分类信息进行语义匹配，每个节目的分类方式可以参照中国图书馆分类简表，结合现在网络上各网站的目录分类格式，在分类信息的精确度以及简易度之间达到动态平衡，同时建立分类树。

分类树上的各个节点存在相互关联相互依存的联系。各节点两两之间的关联系数可以用一个2维的“关联矩阵”来描述。即为每一个节点赋一个全局唯一的ID，用一个2维的矩阵来表示每两个节点的关联程度。可以想象这是一个非常庞大的矩阵，但其中大部分的值为0。

客户端系统根据用户的请求，在分类树上进行语义匹配，找到匹配度最高的一个或几个节点。同时注意，在进行语义匹配时，第一步：先进行分类内容的查询匹配，即进行匹配或者模糊匹配，定位到分类树上的节点。第二步：通过“关联矩阵”，将与第一步找到的节点有一定关联程度(可通过某一阀值来控制)的节点也找出来。分别加以权重，通过各个分类树节点位置以及其相互的关联程度，可得到本次用户请求的各节目“匹配度”。

第三层：语义摘要信息匹配

作为对本节目分类和关键信息的补充，每个节目的一个XML文件还含有摘要信息。对摘要信息进行语义匹配的方法，类似于全文检索，由于在组播环境中，所有节目检索都是在本地进行，若是对节目的所有内容进行检索，显然不合适。所以采用对节目的摘要信息进行匹配的方式。建立一张倒排表，将节目的摘要信息内容经过分词，切词，分别放入倒排表，根据倒排表所统计出的结果，判断该节目是否到达用户搜索需求的阀值(动态更新中)，若是匹配度低于该阀值，则该节目不予考虑(在关键信息匹配，分类匹配都失败的前提下)。在摘要信息匹配上，可以结合一些比较成熟的算法，如LR，NNet(Neural network)，Knn(K-nearest neighbor)，SVM。

客户端通过三层语义检索匹配，对发送到客户端的节目描述信息(XML文件形式)进行本地的语义匹配，对相似相近的表述，客户端搜索引擎能够辨别，并根据相似耦合度以及其关联程度，对每一层的搜索都给出其权重；对于中文搜索技术，运用分词切词技术，体现对客户的人性化检索服务。同时，对三层语义匹配单元，其在搜索结果中所占的权重不同，这是一个动态的参数，并非线性，根据动态算法给出三维“匹配度矩阵”，每次结合三层语义匹配度，从矩阵中取出三层分别所占的权重，得到最终每个节目对于用户的搜索匹配度，并按降序排列，显示给用户；同时，设置一个阀值，低于该匹配度值的节目将不显示给用户，该阀值可以由用户配置。系统也可以根据用户的以往搜索结果的节目下载情况的统计数据，经过算法得到一个阀值，为用户所参考。限制节目选择范围，提供符合用户喜好耦合度高的节目，从而一方面体现用户服务人性化，节省用户浏览时间，另一方面，节约客户端开销，达到效率最高。

即M＝K*k％+C*c％+A*a％(＞T)

这里M代表：对于用户某一特定需求而言，某一文件的整体匹配程度(match)。K代表该文件的关键词匹配程度(keyword match)，k％代表关键词匹配在整体匹配度中所占的比重；C代表分类的匹配程度(category match)，c％代表分类匹配在整体匹配度中所占的比重；A代表摘要信息的匹配程度(abstract match)，a％代表摘要匹配在整体匹配度中所占的比重。这里T是所设置的阀值，那些匹配度很低(比如＜60％)的就直接丢弃，不作为一个匹配查找出来的文件供用户选择。客户端进行语义匹配，分类树模块和动态匹配矩阵模块，由服务中心和客户端之间特定播组来传输，保证同步。

本方法采取了组播的网络传输格式，所有的搜索工作在客户端本地完成。

2.用户个性化资源自动下载

特定用户的喜好总是有一定的连续性，每次有新的节目出现，原本用户需要重新输入用户的搜索信息，进行节目的选择，这对用户来说是重复操作。客户端，一方面提供用户个人喜好存储表格，另一方面，客户端系统通过记录用户长期观看节目的习惯，总结出用户对各类节目的喜好度，然后主动代理用户对喜好度高的节目(比较喜欢的节目)实施节目的预定和下载。使用户不必去寻找自己喜欢的节目，而让用户喜欢的节目自动找上用户。

用户对节目喜好度的确定方式如下：系统记录用户每次输入的搜索信息，根据语义匹配得出的每次格式化的节目检索结果(XML文件格式)，同时配合用户所设置或系统计算出的的匹配度阀值，得出用户对哪一分类的节目、哪些关键信息的节目感兴趣。系统同时记录用户对已下载节目的操作、浏览频率、保留时间等，若确实是用户的喜好所在，则此类节目将享有较高的“用户偏爱度”。若是用户下载后立即删除或是访问频率很低，则用户对该节目的实际兴趣不高。即在用户的搜索匹配度以及节目实际观看率上，系统加权之后为每个类别节目分配一个“用户喜好度”，这个值由系统根据用户行为的检测结果确定，不断处于动态过程之中。

同时，客户端将用户行为的统计信息定期的回传给服务器端。服务器接收到来自各个用户的喜好，习惯统计，在服务器端，根据统计模型进行分析，适当的调整“分类树”的结构，某些类别若是大多数用户都不感兴趣，则放低该分类在分类树中的位置，使之更接近于叶节点；对那些大多数用户都十分感兴趣的内容，适当提高其在分类树中的位置，使之向根节点移动。此外，对于那些实事，热门影片等节目，可以适当调整其关键字或类别，例如“近期热点”，以突出该节目的受欢迎程度，同时这些节目由于时效性需要及时更新；同样，一些经久不衰的经典之作可以独辟一个类别或冠以关键字“经典”“宝典”之类。这些反馈也给服务器端的节目播出提供了依据，从而使节目播出更有效，达到更好的“收视率”。

这样，在用户接收到节目单时，即可有的放矢寻找当前最热门的以及为大家所公认的节目。有效的帮助了用户在海量的信息中，寻找最有价值的节目，得到最大的信息量。

附图说明

图1为原始分类树的结构。

图2为经过用户喜好反馈之后的分类树的结构。

具体实施方式

结合一个具体的客户端实施例来进一步说明上述方法的实际操作过程。

在播存网格系统下，客户端首先下载特定频道上的节目单以及服务中心的语义分类树等必要文件。

1、用户首先查看节目单(此时节目单的分类按照原始分类树的结构)，选出自己感兴趣的节目。此时用户可以直接选择自己喜欢的节目，或者输入所感兴趣的内容，通过三层语义检索匹配。

2、用户首先输入自己感兴趣的资源信息，比如“足球”，“计算机课程”，“十运会”，“热门”等。此时，客户端系统对资源节目单上的所有资源进行“三层语义检索匹配”。首先进行关键信息的匹配检索，得出其匹配度在某一阀值上的资源节目单元。其次，进行分类匹配检索。在分类树上模糊匹配用户所输入的感兴趣的内容。比如，在分类树上找到“足球”的分支节点，那么凡资源节目单上分类属于“足球”的那些资源是用户所感兴趣的，把那些挑选出来，列给用户候选。同时，分类树上，和“足球”节点耦合度比较高的那些节点，比如“英国足球队”，“足球先生”类别所对应的资源也很有可能是用户比较关心的，那些资源也应该赋予稍低的匹配度，作为搜索匹配结果提供给用户选择。系统还会进行语义摘要信息的匹配，找出相对应的资源。将这些搜索返回结果的匹配度予以加权，可以得到所有即将要组播(一定数量的滚动播出)资源对于用户偏好的匹配度。排序后，用户可以看到系统提供给用户的符合要求的资源节目，用户再进行选择。

比如，用户输入了“赛事”，“田径”，此时参照节目单上各个节目的关键词，分类以及摘要信息，并且考虑到语义分类树的结构。根据M＝K*k％+C*c％+A*a％(＞T)可以发现，算法如下：

节目单中，找到文件F1，其有一个关键词为“田径”；F2，其有一个关键词为“田径”；F3，其分别有一个关键词为“田径”，并且还有一个关键词为“赛事”；则赋值K1＝50％，K2＝50％，K3＝90％。

接着查看分类信息，通过图1的分类图可以看到，在田径赛事下的那些文件是最符合用户需求的，发现F1的分类为“田径”，则赋值C1＝60％；F2的分类为“田径明星”则赋值C2＝50％；F3的分类为“田径赛事”，赋值C3＝90％；同时发现有一个文件F4的分类为“体育”，此时可以看到体育类和田径类有一定的关联，查看“关联矩阵”，发现田径和体育的关联值为70％，则此时，赋值C4＝60％*70％＝42％，(此时采用了简单的分类匹配度^*分类关联度的计算方法)。

最后进行摘要的匹配工作，将各文件的摘要内容进行LR摘要匹配，得出对文件F1，其A1＝60％；对文件F2，其A2＝50％，对文件F3，其A3＝80％，对文件F4，其A4＝40％；又发现有文件F5，其A5＝45％。其余文件的摘要匹配都小于40％，不予考虑。

最后进行统计，对本系统，权值之间的分配：k％＝40％，c％＝35％，a％＝25％，同时根据该用户本机系统所设置的阀值为40％，即匹配度＜60％不显示给用户，直接丢弃。

根据：M＝K*k％+C*c％+A*a％(＞T)

计算M1＝50％*40％+60％*35％+60％*25％＝56％＞40％(供用户选择)

M2＝50％*40％+50％*35％+50％*25％＝50％＞40％(供用户选择)

M3＝90％*40％+90％*35％+80％*25％＝87.5％＞40％(供用户选择)

M4＝0.00*40％+42％*35％+40％*25％＝24.7％＜40％(不为候选)

M5＝0.00*40％+0.00*35％+45％*25％＝11.25％＜40％(不为候选)

由于此时的语义匹配是在客户端完成的，语义树等需要客户端和服务中心同步，需要在下载资源节目单的时候，在特定频道上同步更新下载。

3、同时，系统自动记录用户每次自己选择要下载节目的关键信息，如该节目的关键词、分类等，以及每次用户输入的感兴趣的资源信息，以及系统每次返回结果和用户的二次挑选，这些都是用户偏好的关键信息。如果用户连续几天都有搜索“足球”的信息，那么我们比较确定这位用户是一个足球爱好者，如果他每次都下载皇马球队的信息，那么我们认为他很可能是皇马的球迷。于是，在系统几天的统计之后，系统“用户喜好”保存中，就会自动为用户加上足球，皇马的关键信息，接着若是每次系统为该用户搜索出来的足球，皇马的资源，该用户都有选择下载，则说明足球皇马的用户喜好度比较高，则将动态的用户喜好度，比如赋值为90。又过了几天，发现用户对足球、皇马的资源节目不予以选择下载，则喜好度动态的下降，比如降到60。若是又几天，用户仍不对此感兴趣，喜好度继续下降，下降到一定阀值，比如45，则系统不再为用户自动搜索此类内容。同时用户也可以自己事先定义自己感兴趣的内容，让系统每次都为用户自动搜索。

4、由于客户端将用户行为的统计信息定期的回传给服务器端，服务器端根据统计近期大家比较关心的事件人物等，适当的调整“分类树”的结构，比如，本来“刘翔”放在“体育”->“田径”->“田径明星”->“刘翔”，现在服务器端及时调整，将“刘翔”放在“热点人物”分类中，则客户端搜索“近期热点”，“焦点人物”等关键信息时，通过模糊匹配，即能找出当前大家关心的“刘翔”的信息。(参见图1，图2)

Claims (3)

1.一种播存网格环境下客户端资源检索及自动下载方法，其特征在于基于播存网格的组播环境，运用组播网络通信模式，具体步骤为：

(1)客户端进行三层语义检索匹配：

服务器端对将要播出的节目进行清洗，抽取出节目的关键信息，以XML文件的形式保存每个节目的内容语义，而客户端通过语义分析，选出自己所感兴趣的节目进行接收；

在客户端基于内容语义搜索进行组播节目下载时，采用了三层语义匹配的方式：

第一层：节目关键信息匹配

服务器端简要的分析出每一个将要组播节目的关键信息，随节目单一起播出，用户接收到组播节目单，根据该节目内容语义信息中的关键信息，进行模糊匹配；

第二层：节目分类匹配

根据每个节目的分类信息进行语义匹配，同时建立分类树，分类树上各节点两两之间的关联系数用一个2维的关联矩阵来描述；

客户端系统根据用户的请求，在分类树上进行语义匹配，第一步：先进行分类内容的查询匹配，即进行匹配或者模糊匹配，定位到分类树上的节点；第二步：通过关联矩阵，将与第一步找到的节点有一定关联程度的节点也找出来，分别加以权重，通过各个分类树节点位置以及其相互的关联程度，得到本次用户请求的各节目“匹配度”；

第三层：语义摘要信息匹配

建立一张倒排表，将节目的摘要信息内容经过分词，切词，分别放入倒排表，根据倒排表所统计出的结果，判断该节目是否到达用户搜索需求的阀值，若是匹配度低于该阀值，则该节目不予考虑；

(2)用个性化资源自动下载：

客户端，一方面提供用户个人喜好存储表格，另一方面，客户端系统通过记录用户长期观看节目的习惯，总结出用户对各类节目的喜好度，然后主动代理用户对喜好度高的节目实施节目的预定和下载。

2.根据权利要求1所述的方法，其特征在于所述用户对节目喜好度的确定方式如下：客户端系统记录用户每次输入的搜索信息，根据语义匹配得出的每次格式化的节目检索结果，同时配合用户所设置或系统计算出的匹配度阀值，得出用户对哪一分类的节目、哪些关键信息的节目感兴趣；系统同时记录用户对已下载节目的操作、浏览频率、保留时间，若确实是用户的喜好所在，则此类节目将享有较高的“用户偏爱度”；若是用户下载后立即删除或是访问频率很低，则用户对该节目的实际兴趣不高。

3.根据权利要求2所述的方法，其特征在于客户端将用户行为的统计信息定期的回传给服务器端；服务器接收到来自各个用户的喜好，习惯统计，在服务器端，根据统计模型进行分析，适当的调整分类树的结构，某些类别若是大多数用户都不感兴趣，则放低该分类在分类树中的位置，使之更接近于叶节点；对那些大多数用户都十分感兴趣的内容，适当提高其在分类树中的位置，使之向根节点移动。

Images