CN101008946A

CN101008946A - 中文移动通信信息搜索方法及装置

Info

Publication number: CN101008946A
Application number: CN 200610002344
Authority: CN
Inventors: 冉征
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-01-26
Filing date: 2006-01-26
Publication date: 2007-08-01

Abstract

本发明公开了一种中文移动通信信息搜索方法，包括步骤：移动用户终端通过无线方式向无线搜索引擎系统发送查询条件；无线搜索引擎系统通过已建立的索引系统进行查询，得出查询结果；无线搜索引擎系统将查询结果通过无线方式发送回相应请求的移动用户终端。还公开了实现上述方法的装置。按照本发明的中文移动通信信息搜索方法及装置，移动用户终端可以很方便地通过无线方式查询搜索各来自收费WAP和免费WAP网站，互联网网站，数据库，文档等各方面的信息，方便且快捷。

Description

中文移动通信信息搜索方法及装置

技术领域

本发明涉及一种信息搜索方法，特别涉及一种用于无线通信网络中的中文信息搜索方法。

背景技术

目前，移动通信系统应用十分广泛，而基于移动通信系统的WAP(无线应用协议)是详细描述如何进行通讯传输、信息编码及将之应用于无线设备的全球性开放标准，这一标准获得了超过200家公司的支持，Ericsson，Nokia及Motorola公司等都是WAP的发起者。它规范化了网页的浏览格式及通讯协议，如TCP/IP等。

WAP使得持有小型无线用户终端：诸如可浏览Internet的移动电话和PDA等的用户也能实现移动上网，以获取信息。只是手持式WAP设备的局限性是：低分辨率的小显示屏，输入装置容量有限，内存较少及能量较不稳定，网络带宽较窄且连接较不稳定。

WML与HTML相类似，是用于编制WAP浏览器识别的网络语言。WAP浏览器(WAP微型浏览器)是WAP设备上用于识别WML语言的工具。它与PC上的网络浏览器相似。用户在GSM网络，及CDMA网络上可使用的WAP类型有两种选择：SMS(短消息业务)和CSD(巡回交换数据业务)。SMS与CSD相比较，其容量较少。

移动用户终端基于WAP协议，可以上网获得更多的信息，随着移动用户上网的日益普及，WAP对我们的工作和生活将会越来越重要，WAP网页的信息量在不断增加，也面临着信息爆炸性增长带来严重问题，移动用户终端(如：手机或移动电话)上网的时效性随着WAP信息的增长也在不断提高，面对巨大的信息源，要找到真正需要的有用信息变得越来越难，如何最快速的获得需要的信息，是用户越来越关注的问题。目前还没有相应的技术，用于直接通过移动通信设备用户终端来快速搜索WAP网、INTERNET网及其他相连接的网络信息的方法，特别是没有通过中文系统来快速搜索中文信息的方法。

发明内容

本发明克服了现有技术的缺点，目的是提供一种用于无线通信网络中的中文信息搜索方法和装置，采用了该方法和装置，移动用户终端可以通过WAP协议，在WAP、INTERNET及其他网络上搜索所需的信息，特别是中文信息。

为了达到上述目的，本发明采取的技术方案是：一种中文移动通信信息搜索方法，包括步骤：

移动用户终端通过无线方式向无线搜索引擎系统发送查询条件；

无线搜索引擎系统通过已建立的索引系统进行查询，得出查询结果；

无线搜索引擎系统将查询结果通过无线方式发送回相应请求的移动用户终端。

本发明进一步优化的技术方案是：其中，索引系统建立的方法包括步骤：

无线搜索引擎系统从信息源采集信息；

将所采集的信息数据处理成可进行无线传输的格式；

对处理好的信息进行全文索引，建立索引数据库。

本发明更进一步优化的技术方案是：无线搜索引擎系统将收集来的信息存储到本地。

本发明更进一步优化的技术方案是：

无线搜索引擎系统将收集来的信息进行处理的方法包括：信息过滤，信息去重，自动提取摘要。

本发明更进一步优化的技术方案是：无线搜索引擎系统可以判断发送查询条件的移动用户终端的特点，并适配不同型号的移动用户终端，进行相应查询和以相应的格式发送查询结果。

本发明更进一步优化的技术方案是：所述信息源包括收费WAP和免费WAP网站，互联网网站，数据库，文档。

本发明更进一步优化的技术方案是：所述信息包括网页，图片，铃声，视频，FLASH，数据库。

本发明更进一步优化的技术方案是：所述无线方式包括通过无线WAP协议传输，和/或通过短信协议传输。

本发明的一种无线搜索引擎系统，包括：

接收单元，用于接收移动用户终端通过无线方式发送的查询条件；

搜索单元，用于根据该查询条件对已建立的索引数据库进行搜索；

生成单元，用于生成搜索结果；

发送单元，用于将上述搜索结果通过无线方式发送给相应的移动用户终端。

还可以包括：

判断单元，用于判断该移动用户终端的型号。

还可以包括：

数据采集单元，用于从各类信息源采集信息数据；

数据处理单元，用于将信息数据处理成可进行无线传输的格式；

索引生成单元，对信息数据进行索引，生成索引数据库。

其中，数据处理单元还包括：

提取单元：用于提取信息数据的摘要；

分类单元：用于将不同的内容分类；

过滤单元：用于去掉没有意义或手机无法显示的内容；

去重单元：用于去除内容基本相同的信息。

本发明的有益效果：按照本发明的中文移动通信信息搜索方法及装置，移动用户终端可以很方便地通过无线方式查询搜索各来自收费WAP和免费WAP网站，互联网网站，数据库，文档等各方面的信息，方便且快捷。

并且通过该方法及装置，无线搜索引擎系统经查询后，会发送与移动用户终端适配的查询结果给移动用户终端，所以使用非常广泛，可以适用于各种类型的移动用户终端。

附图说明

图1表示本发明实施例的搜索方法的基本流程图；

图2表示本发明实施例的搜索系统的宏观结构示意图；

图3表示本发明实施例的搜索装置的单元结构示意图；

图4表示本发明实施例中建立索引数据库的装置的单元结构示意图；

图5表示本发明实施例中数据处理单元的结构示意图。

具体实施方式

参照附图，将详细叙述本发明的具体实施方式。

按照本发明提出的中文移动通信信息搜索方法，其主要流程如图1所示，移动用户终端通过无线方式将要搜索的信息，比如：关键词或逻辑语句等查询条件，发送到无线搜索引擎系统上(步骤S10)，无线搜索引擎系统在后台，通过已建立的索引系统进行信息查询，得出查询结果(步骤S20)，无线搜索引擎系统并将查询结果通过无线方式发送回相应请求的移动用户终端(步骤S30)。通过这样的方式，移动用户终端就可以进行方便地各种信息查询、检索。以上查询条件可以包括中文，也可以包括英文或中英文相结合。

对于所述无线搜索引擎系统，在完成步骤S20时，需要提前建立适合用于无线发送的信息的索引系统，建立该系统的方法，主要包括信息采集和数据处理两步，其中信息采集的信息源包括收费WAP和免费WAP网站，互联网网站，数据库，文档等，信息类型包括网页，图片，铃声，视频，FLASH，数据库内容，各种格式文件。将以上各类信息源的信息采集到所述无线搜索引擎系统上。

在采集数据时，为了作到尽量快速、准确、高效，特别是对于在不断更新的WAP网页或互联网网页，可以采取以下一个或多个措施：

1)网站列表管理：

网站列表管理部分提供管理界面，可以方便地人为控制需要抓取的网页和重点网站列表，实现列表的添加、删除、修改功能。

2)海量信息映像

针对大量的网页，把海量网页的信息周期性的抓取，在本地把所有信息进行映像，即：收集来的信息需要存储到本地，并可以在本地进行浏览。这样用户可以不必访问文献的原始网址就可以看到信息的详细内容，节省了网络带宽，同时节省了用户的等待时间；另外，在原始网站不能访问或者该文献已经从该网站上删除的情况下，用户仍然可以通过访问网页快照库来得到原始信息。

3)重点网站实时监控

根据重点监控网站列表，对这些网站实时监控，一旦出现新信息，可以在信息发布系统随时反映出来。

4)抓取任务量分派

对抓取的网络蚂蚁的进程进行管理，在海量信息映像和重点网站实时监控之间分派进程，不同时期可以有所侧重，发挥这两个模块的最大的功效。

5)抓取计划管理

设定开启、中止网络蚂蚁的时间，在网络比较空闲时分派较多的任务量，使它发挥最大的效率。

6)信息收集要求支持增量更新方式，即：只收集更新和新发布的信息：信息采集能够自动定期进行。

在采集了以上数据之后，对各类信息进行处理，所述信息处理主要包括以下几个方面，

(1).数据分析挖掘

对于WAP格式网页，分析WAP格式网页，去除网页标记(TAG)，自动分析标题，正文，作者，时间，并提取，分析网页连接地址及连接地址上的描述，提取的纯文本做UTF-8转码为GB2312，原始WAP网页存储，图片是PNG和WBMP格式存储。

对于互联网格式网页，分析互联网网页格式，去除网页标记(TAG)，转换成WAP格式存储，自动分析标题，正文，作者，时间，并提取，分析网页连接地址及连接地址上的描述，图片是GIF或JPG格式的转存为PNG或GIF格式。

对于图片，铃声，视频文件，需要分析出描述，首先分析图片和铃声视频文件连接地址的描述文字，通过分词技术分词并判断主题词和词性，分析描述是否具有意义，如果有则作为描述文字，如果没有连接地址或连接地址上的描述没有意义，则分析网页结构，分析图片铃声和视频文件出现位置附近的文字段落，通过技术判断是否是描述文字。

(2)数据处理，对以上信息可以进行进一步处理，包括：

1.信息过滤

通过分词及语义技术，对内容进行分词断句，提取主题词，及统计主题词及主题句的位置，和词频统计，对页面结构进行分析，分析统计标点，文字分布的位置，网页标记的分布统计，连接的位置等，根据分析结果判断是否是内容页，去掉手机无法显示的列表页，和没意义的垃圾内容。

2.信息去重

通过分词和语义算法，对标题和内容进行分析，去除内容基本相同的信息。

3.自动提取摘要

分析内容通过分词和语义技术，及中文语言技术，根据内容的含义，自动构造符合语法的摘要信息。特别采用中文信息处理技术，根据中文词库和语法库对中文内容做分词断句，中文语义分析，中文内容分类，中文内容摘要等。

(3)自动分类

通过语义技术分析内容将内容相似相近的信息自动类聚到相同的类属下。

(4)全文索引

对经过处理的信息，进行全文索引，建立索引档。可以定时仅针对新增、修改、删除的部份进行索引重建，加快索引文件更新的时间。

考虑到海量数据的访问，及大量并发用户访问，系统所需要承受的负载，系统设计参照互联网全球搜索引擎的模式，采用分布式系统设计，UNIX平台下(FREEBSD)开发采用C语言，由于海量的资料及巨大的查询负载，在系统软件设计上需要将资料及查询负载均衡的分布到多台服务器上处理的功能，将索引文件分为多部分分别存储到多组多台服务器上，查询时需要将用户的查询条件顺序负载到多台服务器上，如果前一组的查询结果比较好，则只用前一组的结果。

当无线搜索引擎系统接收移动用户终端发来的查询条件时，利用已建立的全文索引，查询到符合条件的网页、资料等信息列表发送给移动用户终端。具体发送搜索结果的方法，可以包括以下措施：

1)关键字查询

用户输入关键词并指定排序方式，全文检索信息，并显示结果列表能够正确摘取网页标题正文发布时间网页大小等信息，对网页正文(纯文本信息)做摘要，取正文256或512个字节

2)关键词位置标注

将用户查询的关键词在查询出的结果中进行标注

3)网页快照

将信息由来源网站下载到本地服务器存储，提供信息本地化的浏览编辑功能，用户可以在内网环境不用上INTERNET网就可浏览已做过快照处理的信息的全部内容；

源网页快照：保存源网页所有的特征及信息，包括网页内容网页格式图片等；

文本快照：只保存源网页的纯文本部分的信息，包括标题正文等；

移动用户终端可以通过WAP网对源网页快照的进行浏览，也可以只对文本快照的进行浏览。

4)发布模板定制

通过修改参数及输出模板，可以对用户查询输出结果的形式进行定制。比如：

适合手机屏幕的搜索结果输出格式定制，结果列表页显示的条数不超过10条，分页显示，标题输出的字数做限制，限制在12个字以内，摘要根据内容自动摘出20个至30个字，标明关键字出现位置，查看具体内容采用将内容分段显示，每屏显示200字内，通过分段连接(上一段、下一段)一段段看内容，每个内容段页面下方出现，此篇内容的在查询结果列表的上一条和下一条的标题描述带导航地址，方便用户使用。

无线搜索引擎系统还可以自动判断手机的型号，自动适配，根据不同型号的手机，首先屏幕大小不同，根据不同手机的屏幕大小，自动调整控制输出标题和摘要的长度，内容段显示的字数。

对于手机图片搜索，也可以自动判断手机的型号，自动适配，根据不同型号的手机的屏幕大小及显示分辨率(像素)，自动的调整手机输出图片的大小，色彩，分辨率等，并可根据用户的设定任意调整图片的输出格式。

手机铃声搜索，不同厂家和型号手机所能适配铃声不同，所以必须根据不同型号的手机的提供不同格式的铃声，自动判断手机的型号，自动适配，根据不同型号的手机，提供适配的铃声格式，提供搜索，浏览和下载。

根据测试的结果显示，在PC级的服务器上，即使针对10GB的资料量，连续执行10000个查询，可以在约2千秒的时间内完成所有的查询；平均每个查询执行的时间约0.2秒，速度非常快。

本发明的中文移动通信信息搜索方法采用中文信息处理技术，根据中文词库和语法库对中文内容做分词断句，中文语义分析，中文内容分类，中文内容摘要等。

本发明的上述用于中文移动通信信息搜索方法，可以采用软硬件结合的方式实现。

按照本发明的一个实施例，在实现中文移动通信信息搜索方法时，该无线搜索引擎系统及移动用户终端的宏观组成如图2所示，移动用户终端UE1，UE2，UE3，可以通过WAP网关10，通过无线应用协议(WAP协议)将要检索的关键词发送给无线搜索引擎系统100，也可以通过短信网关20，通过短信协议将要检索的关键词发送给无线搜索引擎系统100，无线搜索引擎系统100检索出的结果也可以通过WAP协议或短信协议发送给移动用户终端。无线搜索引擎系统100从硬件功能上讲，可以分设为如图1所示的多个服务器：数据采集服务器101，数据处理服务器102，索引数据库120，查询服务器104，各服务器可以合为一个或多个服务器，但是需要设置如图3所示的各个结构单元。

图3示出一个移动用户终端UE1与无线搜索引擎系统100的装置结构组成示意图，结合图2和图3当移动用户终端UE1进入通信网络中时，UE1中的一个发送单元201利用WAP协议或短信协议向无线搜索引擎系统100发出查询请求，无线搜索引擎系统100中，包括接收单元111，接收UE1发送的查询请求，还可以包括判断单元112根据该查询请求判断出该移动用户终端UE1的型号，根据该判断的结果，如果要查询的是图片、铃声等需与手机型号适配的内容，在进行下一步搜索时，要加入该型号的搜索条件。之后，将信号传输给搜索单元113，搜索单元113通过对索引数据库120的搜索，利用生成单元114生成搜索结果，并根据不同型号手机屏幕大小，调整控制输出标题和摘要的长度，内容段显示的字数。并将搜索结果传输给发送单元110，发送单元110通过WAP网关10或短信网关20将结果发送给移动用户终端UE1。

上述索引数据库120是利用如图4所示的装置来建立的。主要包括数据采集单元130，数据处理单元140，数据采集单元130可以从各类信息源200采集信息，信息源200可以包括：收费WAP和免费WAP网站，互联网网站，数据库，文档，信息类型包括WAP格式网页，图片，铃声，视频，FLASH，数据库内容，各种格式文件。数据采集单元130将要采集的信息复制在本地存储器上，按照可以按照上文已描述过的方法进行定期更新。

接下来，图5示出了数据处理单元140的组成，数据处理单元140中分析单元141的对于以上采集到的信息进行适合于无线发送或浏览的格式，比如：

之后，通过对已分析好的数据利用提取单元142提取摘要；并利用分类单元143将不同的内容分类，然后利用索引生成单元144生成索引数据库120。

为了提高索引的质量和速度，防止资源的浪费，在以上分析单元141与提取单元142之间可以加入过滤单元146和去重单元145，其中过滤单元146主要用于去掉没有意义或手机无法显示的内容，而去重单元145主要用于去除内容基本相同的信息。

本领域技术人员应当理解，本发明所公开的中文移动通信信息搜索方法及装置。可以在不脱离本发明内容的基础上做出各种改进，因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims

1、一种中文移动通信信息搜索方法，包括步骤：

2、根据权利要求1所述的中文移动通信信息搜索方法，其特征在于，索引系统建立的方法包括步骤：

无线搜索引擎系统从信息源采集信息；

将所采集的信息数据处理成可进行无线传输的格式；

对处理好的信息进行全文索引，建立索引数据库。

3、根据权利要求2所述的中文移动通信信息搜索方法，其特征在于，无线搜索引擎系统将收集来的信息存储到本地。

4、根据权利要求2所述的中文移动通信信息搜索方法，其特征在于，

5、根据权利要求2所述的中文移动通信信息搜索方法，其特征在于，无线搜索引擎系统可以判断发送查询条件的移动用户终端的特点，并适配不同型号的移动用户终端，进行相应查询和以相应的格式发送查询结果。

6、根据权利要求1至5任一所述的中文移动通信信息搜索方法，其特征在于，所述信息源包括收费WAP和免费WAP网站，互联网网站，数据库，文档。

7、根据权利要求1至5任一所述的中文移动通信信息搜索方法，其特征在于，所述信息包括网页，图片，铃声，视频，FLASH，数据库。

8、根据权利要求1至5任一所述的中文移动通信信息搜索方法，其特征在于，所述无线方式包括通过无线WAP协议传输，和/或通过短信协议传输。

9、一种无线搜索引擎系统，包括：