CN103530343A - 结构化数据交互系统、数据接收端和结构化数据交互方法 - Google Patents

结构化数据交互系统、数据接收端和结构化数据交互方法 Download PDF

Info

Publication number
CN103530343A
CN103530343A CN201310464605.1A CN201310464605A CN103530343A CN 103530343 A CN103530343 A CN 103530343A CN 201310464605 A CN201310464605 A CN 201310464605A CN 103530343 A CN103530343 A CN 103530343A
Authority
CN
China
Prior art keywords
data
structural
structural data
display platform
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310464605.1A
Other languages
English (en)
Other versions
CN103530343B (zh
Inventor
糜利敏
祝洪凯
曹中宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201310464605.1A priority Critical patent/CN103530343B/zh
Publication of CN103530343A publication Critical patent/CN103530343A/zh
Application granted granted Critical
Publication of CN103530343B publication Critical patent/CN103530343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种结构化数据交互系统、数据接收端和结构化数据交互方法。系统包括:包括,数据发送端、数据接收端和至少一个数据展示平台:数据发送端用于向数据接收端发送预定格式的结构化数据,接收数据接收端发送的反馈信息;数据接收端用于接收并存储结构化数据,向数据展示平台推送存储的结构化数据,统计数据展示平台对推送的结构化数据的收录情况,根据收录情况,发送相应地收录反馈信息至数据发送端;数据展示平台用于展示收录的结构化数据。本发明使得数据发送方在主动提交数据的同时,能够获取提交的数据使用反馈信息,方便数据发送方了解主动提交的数据的使用情况,便于数据发送方及时合理的修正提交的数据。

Description

结构化数据交互系统、数据接收端和结构化数据交互方法
技术领域
本发明涉及通信技术和计算机领域,尤其涉及一种数据交互系统、数据接收端和数据交互方法。
背景技术
随着互联网技术的飞速发展,网络信息迅速成为人们获取信息的主要渠道之一。互联网在将人类可以获取的几乎所有知识纳入其中的同时,也给资源的使用者和提供者带来了巨大压力。搜索引擎正是在这一压力下应运而生,它用来协助互联网用户在互联网中更加有效的查找信息。具体地,搜索引擎根据一定的策略、运用特定的计算机程序从互联网上搜索信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户。目前,世界上的搜索引擎所使用的技术主要包括以下三个功能模块:(1)爬网;(2)分词索引;(3)搜索。爬网是将全世界的网站网页尽可能多的抓取到自己的服务器中存起来,然后通过一定的方法进行分词检索,最后通过大量的服务器阵列来对应大量的搜索请求。这三个功能模块也被称为搜索引擎的信息求取技术。
在信息求取技术中,搜索引擎主要通过调动、被动拉取的方式,从外部获取数据,该方式主要存在以下问题:
(1)需要考虑外部数据站点可承受的抓取压力;
(2)需要优化调度策略,技术成本比较高;
(3)数据一旦变化而调度不及时,容易有漏抓,造成数据内容未及时获取而丢失;
(4)不管数据是否变化,均需要通过抓取来检测,对站点造成抓取压力;
(5)站点提供的数据,搜索引擎可以抓取,其他用户也可以抓取,数据的保密性无法保证;
(6)站点需要对搜索引擎的抓取做白名单,需要了解搜索引擎网爬的UA(User Agent,用户代理)以及抓取IP(Internet Protocol,网络互连协议)地址,有一定的成本;
(7)通过调度进行抓取,在时效性上会有一定的延迟;
(8)对站点来说,数据的提供是不可控的,当站点不希望提供某些数据时,只能通过做数据删除或者UA封禁的方式来解决。
针对上述技术问题,现有技术提出一种用户自动上传结构化数据的方式,主要思想是让数据的提供方主动提供数据给搜索引擎,这种数据提供方式目前是基于XML-RPC(XML Remote Procedure Call,XML远程方法调用)协议实现的,需要按照XML-RPC的协议标准构造结构化数据包,该结构化数据包结构复杂,用户的使用成本很高,有一定的开发成本;同时,现有技术提供的主动提交方式没有安全机制,无法保证某一数据方提交的数据确实是来自于该数据方的数据;另外,现有技术提供的主动提交方式没有反馈机制,数据方无法获取主动提交的数据在搜索引擎内部的使用情况,无法根据反馈信息修正自身的数据。
发明内容
有鉴于此,本发明提供一种结构化数据交互系统、数据接收端和结构化数据交互方法,使得数据发送方在主动提交数据的同时,能够获取提交数据的使用反馈信息,方便数据发送方了解主动提交的数据的使用情况,便于数据发送方及时、合理的修正提交的数据。
在第一方面,本发明实施例提供了一种结构化数据交互系统,包括,数据发送端、数据接收端和至少一个数据展示平台:
所述数据发送端用于向数据接收端发送预定格式的结构化数据,接收所述数据接收端发送的反馈信息,所述反馈信息中包括收录反馈信息;
所述数据接收端用于接收所述结构化数据,存储所述结构化数据,向所述数据展示平台推送存储的结构化数据,统计所述数据展示平台对推送的结构化数据的收录情况,根据所述收录情况,发送相应地收录反馈信息至所述数据发送端;
所述数据展示平台用于展示收录的结构化数据。
在第二方面,本发明实施例提供了一种数据接收端,包括:
数据接收单元,用于接收数据发送端发送的结构化数据;
数据存储单元,用于存储所述结构化数据,
数据推送单元,用于向数据展示平台推送存储的结构化数据;
数据统计单元,用于统计所述数据展示平台对推送的结构化数据的收录情况;
收录反馈发送单元,用于根据所述收录情况,发送相应地收录反馈信息至所述数据发送端。
在第三方面,本发明实施例提供了一种数据交互方法,包括:
一种数据交互方法,其特征在于,包括:
接收数据发送端发送的结构化数据;
存储所述结构化数据,
向数据展示平台推送存储的结构化数据;
统计所述数据展示平台对推送的结构化数据的收录情况;
根据所述收录情况,发送相应地收录反馈信息至所述数据发送端。
本发明实施例通过在数据发送方主动提交数据的系统中引入反馈机制,使得数据发送方在主动提交数据的同时,能够获取提交数据的使用反馈信息,方便数据发送方了解主动提交的数据的使用情况,既实现了数据接收方对实时更新的结构化数据的及时获取,又方便了数据发送方及时、合理的修正提交的数据。
附图说明
图1是本发明第一实施例的结构化数据交互系统的示意图;
图2是某招聘网站中一个网页的显示信息的示意图;
图3是本发明第一实施例的一种结构化数据在网页展示平台的展示结果示意图;
图4是本发明第一实施例的一种结构化数据在视频展示平台展示结果示意图;
图5是本发明优选实施方式的一种数据发送端和数据接收端按照预定的安全机制进行交换的示意图;
图6是本发明优选实施方式的一种反馈信息的发送示意图;
图7是本发明第二实施例的一种结构化数据交互系统的示意图;
图8是本发明第三实施例的一种结构化数据交互方法的流程图;
图9是本发明方案的一种应用场景的示意图;
图10是可用于实施本发明方案的服务器的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
第一实施例
图1是本发明第一实施例的数据交互系统的示意图。如图1所示,结构化数据交互系统10包括:数据发送端11、数据接收端12和至少一个数据展示平台13。
其中,数据发送端11和数据接收端12通过有线或者无线数据网络连接。以上所述通过有线或者无线数据网络连接是指数据接收端12可以通过网络即时地接收数据发送端11发送的消息,或者,数据接收端12可以通过网络间接地、非即时地(例如,通过消息存储服务器中转)接收数据发送端11发送的消息。
其中,数据发送端11用于向数据接收端12发送结构化数据;接收数据接收端12发送的反馈信息,所述反馈信息中包括收录反馈信息。
在本实施例中,数据发送端11的数据提供者为一些行业网站的站长。
当然本领域人员应该理解,数据发送端的数据提供者可以为任何组织或者任何个人,对此并不限定。
结构化数据为行数据,是可以用二维表结构来逻辑表达实现的数据。互联网中的各类网站数据信息均可以按照预定的规则以结构化数据的形式表示,网站资源可以通过结构化数据的形式推送至互联网,供用户进行访问。
在本实施例中,行业站长将网站中的数据按照结构化数据的格式规范构造相应的结构化数据包,向数据接收端12发送相应的结构化数据。
在本实施例中,数据发送端11可以按照国际通用的协议标准(例如:XML-RPC协议或者HTTP协议等)构造结构化数据包发送至数据接收端12,也可以按照收发双方约定的数据格式构造结构化数据包发送至数据接收端12。
图2所示的某招聘网站中一个网页的显示信息,该网页对应的结构化数据示意图如表1所示。
表1
Figure BDA0000392468670000061
Figure BDA0000392468670000071
优选的,当网站的结构化数据进行更新后,数据提供者通过数据发送端11向数据接收端12发送更新的结构化数据。
具体地,数据发送端11发送的结构化数据中还包括数据发送端的身份标识。
其中,结构化数据中的身份标识可以为数据发送端11的物理地址或者数据发送端11的网络地址等其他形式的可唯一识别数据发送端11身份的标识,对此并不限定。
在本实施例中,数据接收端12为搜索引擎的服务器。
当然,本领域技术人员应该理解,数据接收端可以为任何应用领域中的服务器,对此并不限定。
在本实施例中数据提供方主动向搜索引擎的服务器提交网站的结构化数据,使得新建立的网站或者已存在网站中新更新的数据信息能够很快的被搜索引擎收录,提高对应网站在搜索引擎中的排名,增加网站的访问量。
数据接收端12用于接收所述结构化数据;存储所述结构化数据;向所述数据展示平台推送存储的结构化数据;统计所述数据展示平台对推送的结构化数据的收录情况;根据所述收录情况,发送相应地收录反馈信息至所述数据发送端。
具体地,数据接收端12包括:数据接收单元121、数据存储单元122、数据推送单元123、数据统计单元124和收录反馈发送单元125。
数据接收单元121,用于接收数据发送端发送的结构化数据。
数据存储单元122,用于存储接收到的所述结构化数据。
在本实施例的一个优选的实施方式中,数据存储单元122根据待存储的结构化数据的数据类型,存储带类型标签的结构化数据。例如,当接收到一个视频类的结构化数据时,将该结构化数据上添加视屏标签后进行存储,这样做的好处是当需要对数据接收端12中的结构化数据按类进行搜索时,可以很方便的定位同一类别的结构化数据。
数据推送单元123,用于向数据展示平台13推送存储的结构化数据。
在本实施例中,至少一个数据展示平台13包括:文字展示平台、图片展示平台、视频展示平台、博客展示平台等。
当然,本领域技术人员应该理解,数据展示平台展示的数据类型并不限于上文提到的平台类型,对此并不限定。
在本实施例中,数据接收端12将存储的结构化数据推送至至少一个数据展示平台13包括:
数据接收端12在存储结构化数据之后,将结构化数据推送至至少一个数据展示平台13(主动推送结构化数据的方式);或者,数据接收端12在接收到至少一个数据展示平台13发送的数据下载请求时,将结构化数据推送至至少一个数据展示平台13(被动推送结构化数据的方式)。
优选的,数据接收端12对已经上线并运行稳定的数据展示平台采取主动推送结构化数据的方式,使得该结构化数据能够尽快被上述数据展示平台收录,方便更多的互联网用户可以通过上述数据展示平台检索到该结构化数据;对正在搭建的数据展示平台或者试运行的数据展示平台采取被动推送结构化数据的方式,当上述未正式运行的数据展示平台提供大量的实际测试数据。
例如,百度正在搭建一个视频类相关的展示平台,需要大量的视频类结构化数据,可以在数据接收端12中搜索视频类结构化数据,下载对应的视频类结构化数据,方便的完成相关测试。
在本实施例中,将结构化数据主动推送至数据展示平台可以采用以下方式:将结构化数据直接推送至数据展示平台,或者将该结构化数据所在的存储路径推送至数据展示平台。
在本实施例的一个优选的实施方式中,数据接收端12根据接收到的结构化数据的数据类型,将该结构化数据推送至相应的数据展示平台,例如,将图片类结构化数据推送至图片展示平台,将音乐类结构化数据推送至音乐展示平台等。
数据统计单元124,用于统计至少一个数据展示平台13对推送的结构化数据的收录情况。
在本实施例的一种优选的实施方式中,数据接收端12统计数据展示平台对推送的结构化数据的下载情况,当确认有数据展示平台下载该结构化数据时,记录该数据展示平台的下载时间以及该数据展示平台的标识名。
收录反馈发送单元125,用于根据所述收录情况,发送收录反馈信息至所述数据发送端11。
在本实施例中,数据接收端12每隔预定的时间阈值将收录反馈信息推送至数据发送端。
作为示例而非限定,可以将时间阈值设置为6小时、1天、5天等,当然,在实际应用中,本领域技术人员可根据实际情况对预定时间的大小进行预设。
当然,数据接收端12向数据发送端发送收录反馈信息还可以采用其他的方式,例如,每次检测到有数据展示平台下载结构化数据时,将相应的反馈信息发送至相应的数据发送端11,对此并不限定。
其中,数据接收端12可以每次仅将前一次发送收录反馈信息之后的结构化数据的收录情况发送至相应的数据发送端11,也可以每次将结构化数据的收录汇总情况发送至相应的数据发送端11,例如:数据接收端在2013-7-5曾经向数据发送端发送收录反馈信息,数据接收端在2013-7-8向数据发送的收录反馈信息,可以为2013-7-5到2013-7-8之间数据展示平台对结构化数据的收录情况,也可以为所有2013-7-8之前的数据展示平台对结构化数据的收录情况。
在表2中示出了一种收录反馈信息的显示示意图。
表2
至少一个数据展示平台13用于展示接收到的所述结构化数据。
在本实施例中,互联网用户可以通过数据展示平台提供的展示界面,查看相应的结构化数据的展示情况,例如:搜索引擎的搜索结果展示界面(例如:百度搜索中的“网页”界面、“图片”界面、“视屏”界面或者“知道”界面等),或者应用程序中的信息推送界面(例如:百度影音中的视频推荐界面、百度游戏中的游戏推荐界面或者千千静听中的音乐推荐界面等)。
其中,数据展示平台对结构化数据的展示可以通过互联网用户的搜索触发,也可以在通过主动推送的方式,对结构化数据进行展示(例如:视频推荐、博客推荐等)。
举例而言,数据发送端11发送的结构化数据为“快乐大本营”视频播放的结构化数据,数据接收端12接收到该结构化数据后,将该结构化数据进行存储,将该结构化数据推送至百度网页展示平台和百度视频展示平台。其中,该结构化数据在网页展示平台的展示结果如图3所示,在视频展示平台的展示结果如图4所示。
当然,本领域相关人员应该理解,对结构化数据的展示还可以采取其他的方式,对此并不进行限定。
本发明实施例通过在数据发送方主动提交数据的系统中引入反馈机制,使得数据发送方在主动提交数据的同时,能够获取提交数据的使用反馈信息,方便数据发送方了解主动提交的数据的使用情况,既实现了数据接收方对实时更新的结构化数据的及时获取,又方便了数据发送方及时、合理的修正提交的数据。
在第一实施例中,由于数据收发双方并没有约定安全机制,无法保证某一数据方提交的数据确实是来自于该数据方的数据,当某一非法数据发送方以恶意的形式提交合法数据发送方的结构化数据时,会对合法发送方造成不利影响。
在本实施例的一个优选的实施方式中,数据接收端在存储所述结构化数据之前,还用于校验所述结构化数据的合法性,当校验结果为合法时,存储该校验合法的结构化数据。
举例而言,数据发送端如果想要向数据接收端发送结构化数据,需要首先进入数据接收端公布的结构化数据提交平台进行注册,成为登记在册的合法用户。数据发送端在提交数据之间选择预定的安全机制,例如:IP(InternetProtocol网络互连协议)验证或者密钥验证等。
当数据发送端选择IP验证时,在提交结构化数据时,需要同时提交IP供数据接收端进行验证。
当数据发送端选择密钥验证时,在提交结构化数据时,可以采用以下步骤:
(1)数据发送端请求动态密钥,数据接收端生成动态密钥发送给数据发送端。其中,动态密钥内容格式可以根据实际需要进行预设,例如双方支持的加密算法(MD5(Message Digest Algorithm MD5,消息摘要算法))、随机码和密钥有效期等,并且在数据接收端保存该动态密钥,保持形式可以是数据库或文件等,例如动态密钥格式为(MD5+123456+2010/9/23/12:00:00),最简单的形式只有一个随机码;
(2)数据接收端提交结构化数据,数据接收端获得动态密钥后,用动态密钥中的加密算法加密需要发送的结构化数据,数据发送端将加密好的结构化数据发送给数据接收端;
(3)数据接收端验证应答,数据接收端把收到的加密好的结构化数据,利用动态密钥判断收到的结构化数据是否合法,判断结束后,删除动态密钥。
图5是本发明优选实施方式的一种数据发送端和数据接收端按照预定的安全机制进行数据交互的示意图。
当然,本领域技术人员可以理解,收发双方约定密钥进行数据传输还可以采取其他不同的形式,对此并不限定。
如图5所示,数据发送端如果想要向数据接收端发送结构化数据,需要首先进入数据接收端公布的结构化数据提交平台进行注册,成为登记在册的合法用户。数据发送端在提交数据之间选择预定的安全机制,例如:IP(InternetProtocol网络互连协议)验证或者密钥验证或者不进行验证等,当数据发送端向数据接收端发送结构化数据时,根据数据发送端选择的不同验证方式,数据接收端对收到的结构化数据进行安全验证。
优选的,数据接收端在接收到结构化数据后,首先对结构化数据进行完整性验证,对通过完整性验证的结构化数据进行存储。丢弃未通过完整性验证的结构化数据。
优选的,在数据接收端在对结构化数据进行安全验证之外,还对通过验证的结构化数据进行格式验证,当该结构化数据通过格式验证时,存储该结构化数据,当该结构化数据未通过验证时,将该结构化数据丢弃或者将通过格式验证的那部分结构化数据进行存储。
例如,数据发送端提交的结构化数据为.xml格式的结构化数据,数据接收端验证该结构化是否满足.xml的格式要求;又例如,数据发送端提交的结构化数据中包括URL(Uniform Resource Locator,统一资源定位符)地址,验证提交的URL是否符合预定的URL格式要求等。
在本优选实施方式通过在具有反馈机制的数据发送方主动提交结构化数据的系统中引入了安全机制,保证某一数据发送方提交的数据确实是来自于该数据方的数据,提高了结构化数据的准确性和可用性,为数据发送方提供了可靠的安全保障。
在上述优选实施方式中,仅仅对数据发送端发送的结构化数据进行完整性验证、安全性验证以及格式化验证,数据发送端无法获知提交的结构化数据在提交过程中的具体细节,因此,数据接收端可以在结构化数据的不同处理过程中向对应的数据发送端发送实时的反馈信息。
图6中示出了一种反馈信息的发送流程图,如图6所示,所述流程包括:
步骤610、数据发送端向数据接收端发送结构化数据。
步骤620、数据接收端判断接收到的结构化数据是否通过完整性验证:若否,执行步骤630;若是,执行步骤640。
步骤630、数据接收端向数据发送端发送完整性验证失败的反馈信息。
步骤640、数据接收端向数据发送端发送完整性验证成功的反馈信息。
步骤650、数据接收端判断结构化数据是否通过安全性验证:若否,执行步骤660;若是,执行步骤670。
步骤660、数据接收端向数据发送端发送安全性验证失败的反馈信息。
步骤670、数据接收端向数据发送端发送安全性验证成功的反馈信息。
步骤680、数据接收端判断结构化数据是否通过格式化验证:若否,执行步骤690;若是,执行步骤6A0。
步骤660、数据接收端向数据发送端发送格式化验证失败的反馈信息。
步骤6A0、数据接收端向数据发送端发送格式化验证成功的反馈信息。
本优选实施方式在对结构化数据进行验证的同时,将各种反馈信息发送至数据发送端,可以使得数据发送端对结构化数据的处理过程更加清楚、明白,使得数据发送端可以及时的修正发送的结构化数据包,提高了数据发送端的发送效率,同时,进一步丰富了反馈机制中的反馈信息。
第二实施例
图7是本发明第二实施例的数据交互系统的示意图。如图7所示,结构化数据交互系统70包括:数据发送端71、数据接收端72和至少一个数据展示平台73和用户展示平台74。
在本实施例中,数据发送端71向数据接收端72发送结构化数据,接收数据接收端72发送的反馈信息;
数据接收端72对数据发送端71发送的结构化数据进行安全验证,将验证通过的结构化数据进行存储,将存储的结构化数据推送至至少一个数据展示平台73。
数据发送端71还可以直接将结构化数据发送至用户展示平台74,数据展示平台接收数据发送端71发送的结构化数据,将该结构化数据的模拟显示结果发送至数据发送端71。
在本实施例中,数据发送端71可以通过注册登录的方式,进入用户展示平台74提交数据。
在本实施例中,用户展示平台可74以根据收到的结构化数据的数据类型,向相应的数据展示平台中下载对应的显示程序,对结构化数据进行模拟显示。
本市实施例通过在数据方主动提交结构化数据的系统中引入了用户展示平台,数据方可以查看提交的结构化数据的模拟显示结果,便于数据方对提交的结构化数据进行实时的修改和更新,进一步提高了提交的结构化数据的有效性。
以下为本发明实施例提供的结构化数据交互方法的实施例。方法的实施例与上述结构化数据交互系统实施例属于同一构思,方法的实施例中未详尽描述的细节内容,可以参考上述实施例。
实施例三
图8是本发明第三实施例的一种结构化数据交互方法的流程图,如图3所示,所述方法包括:
步骤810、接收数据发送端发送的结构化数据。
步骤820、验证接收到的结构化数据的合法性。
步骤830、存储验证结果为合法的结构化数据。
步骤840、向数据展示平台推送存储的结构化数据;
步骤850、统计所述数据展示平台对推送的结构化数据的收录情况;
步骤860根据所述收录情况,发送相应地收录反馈信息至所述数据发送端。
本发明实施例通过在数据发送方主动提交数据的系统中引入安全机制和反馈机制,使得数据发送方在主动提交数据的同时,能够获取提交数据的使用反馈信息,方便数据发送方了解主动提交的数据的使用情况,便于数据发送方及时、合理的修正提交的数据,保证某一数据发送方提交的数据确实是来自于该数据发送方的数据,提高了结构化数据的准确性和可用性,为数据发送方提供了可靠的安全保障。
图9是本发明方案的一种应用场景的示意图,如图9所示,所述场景包括:
第一网站站长91、第二网站站长92、…第N网站站长93、Web服务器94以及至少一个数据发布平台95。
第一网站站长91、第二网站站长92、…第N网站站长93通过主动提交的方式向Web服务器94提交结构化数据,Web服务器94将其中验证为合法的结构化数据推送至至少一个数据发布平台95,当至少一个数据发布平台95对推送的结构化数据进行下载时,Web服务器94向与下载的结构化数据对应的网站站长发送收录反馈信息。
在本实施场景的一个可能的实施方式中,网站站长通过XML-RPC协议构造结构化数据包,以Post的方式主动发送至Web服务器。
本实施方式的优点在于,网站站长遵循国际统一的数据协议构造结构化数据包,数据包的构造方式统一无歧义;本实施方式的主要缺点是,XML-RPC协议相对比较复杂,用户的学习成本比较高,而且在构造结构化数据包的过程中需要加入很多冗余数据,降低了数据传输的有效性,同时,数据接收端在接收到通过XML-RPC协议构造的结构化数据包之后,需要花费一定的成本去掉冗余量,解析出需要的结构化数据。
在本应用场景的另一个可能的实施方式中,网络站长不再按照XML-RPC协议,仅是以HTTP POST的方式将结构化数据发送至Web服务器。
通过以上方式,可以大大降低用户的学习成本。
在本应用场景的一个可能的替代场景中,将Web服务器替换为FTP(FileTransfer Protocol,文件传输协议)服务器,网络站长在FTP服务器上申请账号密钥,将结构化数据主动提交至FTP服务器上。
在本应用场景的另一个可能的替代场景中,将Web服务器替换为无特殊功能的服务器,服务器发布二进制lib库,网站站长直接使用lib库主动提交数据。
当然,本领域技术人员可以理解,数据发送端(图9中的网站站长)将结构化数据主动发送至数据接收端(Web服务器)还可以采用其他的方式,对此并不限定。
图10为可用于实施本发明方案的服务器的结构示意图。所述服务器A0可以用于实施上述实施例中提供的方法。典型地,服务器A0包括至少一个处理器A1、至少一个存储装置A2和通信装置A3。
存储装置A2可用于存储程序以及数据,处理器A1通过读取和/或运行存储在存储装置A2中的数据和程序,从而执行各种指令以及进行对应的数据处理。存储装置A2所存储的程序包括操作系统、至少一个功能或步骤所需的应用程序等;存储装置A2所存储的数据包括如上所述的大量结构化数据。
通信装置A3可用于通过无线/有线方式发送和接收数据,优选地,所述通信装置A3为无线通讯装置,其可基于已有的无线通信技术(例如,GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(Code DivisionMultiple Access,码分多址)、WCDMA(Wideband Code Division Multiple Access,宽带码分多址)、LTE(Long Term Evolution,长期演进)、WiFi(wireless fidelity,无线保真)、蓝牙等进行数据发送和接收。
显然,本领域技术人员应该明白,上述的本发明的各模块或各步骤可以通过如上所述的通信终端实施,可选地,本发明实施例可以用计算机装置可执行的程序来实现,从而可以将它们存储在存储装置中由处理器来执行,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等;或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种结构化数据交互系统,其特征在于,包括,数据发送端、数据接收端和至少一个数据展示平台:
所述数据发送端用于向数据接收端发送预定格式的结构化数据,接收所述数据接收端发送的反馈信息,所述反馈信息包括收录反馈信息;
所述数据接收端用于接收所述结构化数据,存储所述结构化数据,向所述数据展示平台推送存储的结构化数据,统计所述数据展示平台对推送的结构化数据的收录情况,根据所述收录情况,发送相应的收录反馈信息至所述数据发送端;
所述数据展示平台用于展示收录的结构化数据。
2.根据权利要求1所述的结构化数据交互系统,其特征在于,所述数据接收端用于在接收所述结构化数据之后,校验所述结构化数据的合法性,并存储校验合法的结构化数据。
3.根据权利要求1或2所述的结构化数据交互系统,其特征在于,所述存储所述结构化数据进一步包括,根据接收的结构化数据的数据类型,存储带类型标签的结构化数据。
4.根据权利要求3所述的结构化数据交互系统,其特征在于,所述向所述数据展示平台推送存储的结构化数据包括:在所述数据接收端存储所述结构化数据之后,向所述数据展示平台推送该存储的结构化数据。
5.根据权利要求4所述的结构化数据交互系统,其特征在于,所述向所述数据展示平台推送所述结构化数据进一步包括,所述数据接收端根据存储的结构化数据的类型标签,向对应的数据展示平台推送所述存储的结构化数据。
6.根据权利要求3所述的结构化数据交互系统,其特征在于,所述向所述数据展示平台推送存储的结构化数据包括:在所述数据接收端接收到所述数据展示平台发送的数据下载请求时,向所述数据展示平台推送存储的结构化数据。
7.一种数据接收端,其特征在于,包括:
数据接收单元,用于接收数据发送端发送的结构化数据;
数据存储单元,用于存储所述结构化数据;
数据推送单元,用于向数据展示平台推送存储的结构化数据;
数据统计单元,用于统计所述数据展示平台对推送的结构化数据的收录情况;
收录反馈发送单元,用于根据所述收录情况,发送相应地收录反馈信息至所述数据发送端。
8.根据权利要求7所述的数据接收端,其特征在于,所述数据接收端还包括数据校验单元,用于校验所述接收的结构化数据的合法性,并触发数据存储单元存储校验合法的结构化数据。
9.根据权利要求7或8所述的数据接收端,其特征在于,所述数据存储单元进一步用于根据接收的结构化数据的数据类型,存储带类型标签的结构化数据。
10.根据权利要求9所述的数据接收端,其特征在于,所述数据推送单元用于在所述数据存储单元存储所述结构化数据之后,向所述数据展示平台推送该存储的结构化数据。
11.根据权利要求10所述的数据接收端,其特征在于,所述数据推送单元进一步用于根据存储的结构化数据的类型标签,向对应的数据展示平台推送所述存储的结构化数据。
12.根据权利要求9所述的数据接收端,其特征在于,所述数据推送单元用于在接收到所述数据展示平台发送的数据下载请求时,向所述数据展示平台推送存储的结构化数据。
13.一种数据交互方法,其特征在于,包括:
接收数据发送端发送的结构化数据;
存储所述结构化数据;
向数据展示平台推送存储的结构化数据;
统计所述数据展示平台对推送的结构化数据的收录情况;
根据所述收录情况,发送相应地收录反馈信息至所述数据发送端。
14.根据权利要求13所述的数据交互方法,其特征在于,所述方法包括在接收所述数据发送端发送的结构化数据之后,校验所述结构化数据的合法性,并存储校验合法的结构化数据。
15.根据权利要求13或14所述的数据交互方法,其特征在于,所述存储所述结构化数据进一步包括,根据接收的结构化数据的数据类型,存储带类型标签的结构化数据。
16.根据权利要求15所述的数据交互方法,其特征在于,所述向数据展示平台推送存储的结构化数据包括,在所述存储所述结构化数据之后,向所述数据展示平台推送该存储的结构化数据。
17.根据权利要求16所述的数据交互方法,其特征在于,所述向数据展示平台推送存储的结构化数据进一步包括,根据存储的结构化数据的类型标签,向对应的数据展示平台推送所述存储的结构化数据。
18.根据权利要求15所述的数据交互方法,其特征在于,所述向数据展示平台推送存储的结构化数据包括,在接收到所述数据展示平台发送的数据下载请求时,向所述数据展示平台推送存储的结构化数据。
CN201310464605.1A 2013-10-08 2013-10-08 结构化数据交互系统、数据接收端和结构化数据交互方法 Active CN103530343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310464605.1A CN103530343B (zh) 2013-10-08 2013-10-08 结构化数据交互系统、数据接收端和结构化数据交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310464605.1A CN103530343B (zh) 2013-10-08 2013-10-08 结构化数据交互系统、数据接收端和结构化数据交互方法

Publications (2)

Publication Number Publication Date
CN103530343A true CN103530343A (zh) 2014-01-22
CN103530343B CN103530343B (zh) 2017-03-22

Family

ID=49932352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310464605.1A Active CN103530343B (zh) 2013-10-08 2013-10-08 结构化数据交互系统、数据接收端和结构化数据交互方法

Country Status (1)

Country Link
CN (1) CN103530343B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955500A (zh) * 2014-04-22 2014-07-30 广州杰赛科技股份有限公司 基于云存储的海量文档数据信息结构化展示方法及系统
CN104796498A (zh) * 2015-05-19 2015-07-22 郑州悉知信息技术有限公司 一种数据处理方法、装置及系统
CN104948173A (zh) * 2014-03-25 2015-09-30 中国石油化工股份有限公司 压裂现场数据远程实时监测方法及系统
CN106610985A (zh) * 2015-10-23 2017-05-03 镇江金软计算机科技有限责任公司 一种信息发布系统
CN113114704A (zh) * 2021-06-15 2021-07-13 杭州海康威视数字技术股份有限公司 基于设备属性选择的视频结构化数据单向传输方法及装置
CN113625930A (zh) * 2021-10-11 2021-11-09 统信软件技术有限公司 一种数据显示方法、计算设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1271134A (zh) * 1999-04-15 2000-10-25 伊塞公司 网络系统的动态回馈及查询方法
CN1369837A (zh) * 2001-02-14 2002-09-18 英业达股份有限公司 基于客户机/服务器结构的动态信息反馈的系统及方法
US20080104024A1 (en) * 2006-10-25 2008-05-01 Amit Kumar Highlighting results in the results page based on levels of trust
CN101477539A (zh) * 2008-12-31 2009-07-08 杭州华三通信技术有限公司 一种信息采集方法及装置
CN101854377A (zh) * 2010-01-25 2010-10-06 杭州东信北邮信息技术有限公司 一种支持无线终端的信息平台系统及其实现方法
CN103188312A (zh) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 数据处理系统及数据处理方法
CN103237082A (zh) * 2013-05-06 2013-08-07 百度在线网络技术(北京)有限公司 云测试方法、系统和云端服务器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1271134A (zh) * 1999-04-15 2000-10-25 伊塞公司 网络系统的动态回馈及查询方法
CN1369837A (zh) * 2001-02-14 2002-09-18 英业达股份有限公司 基于客户机/服务器结构的动态信息反馈的系统及方法
US20080104024A1 (en) * 2006-10-25 2008-05-01 Amit Kumar Highlighting results in the results page based on levels of trust
CN101477539A (zh) * 2008-12-31 2009-07-08 杭州华三通信技术有限公司 一种信息采集方法及装置
CN101854377A (zh) * 2010-01-25 2010-10-06 杭州东信北邮信息技术有限公司 一种支持无线终端的信息平台系统及其实现方法
CN103188312A (zh) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 数据处理系统及数据处理方法
CN103237082A (zh) * 2013-05-06 2013-08-07 百度在线网络技术(北京)有限公司 云测试方法、系统和云端服务器

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104948173A (zh) * 2014-03-25 2015-09-30 中国石油化工股份有限公司 压裂现场数据远程实时监测方法及系统
CN103955500A (zh) * 2014-04-22 2014-07-30 广州杰赛科技股份有限公司 基于云存储的海量文档数据信息结构化展示方法及系统
CN104796498A (zh) * 2015-05-19 2015-07-22 郑州悉知信息技术有限公司 一种数据处理方法、装置及系统
CN104796498B (zh) * 2015-05-19 2018-08-07 郑州悉知信息科技股份有限公司 一种数据处理方法、装置及系统
CN106610985A (zh) * 2015-10-23 2017-05-03 镇江金软计算机科技有限责任公司 一种信息发布系统
CN113114704A (zh) * 2021-06-15 2021-07-13 杭州海康威视数字技术股份有限公司 基于设备属性选择的视频结构化数据单向传输方法及装置
CN113625930A (zh) * 2021-10-11 2021-11-09 统信软件技术有限公司 一种数据显示方法、计算设备及可读存储介质

Also Published As

Publication number Publication date
CN103530343B (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN103530343A (zh) 结构化数据交互系统、数据接收端和结构化数据交互方法
US8458604B2 (en) Methods and apparatus for determining website validity
CN104468531B (zh) 敏感数据的授权方法、装置和系统
CN109376291B (zh) 一种基于网络爬虫的网站指纹信息扫描的方法及装置
CN106856434A (zh) 访问请求转换的方法和装置
CN102546668B (zh) 一种独立访问者的统计方法、装置及系统
CN103443781A (zh) 数据递送
CN110929183B (zh) 一种数据处理方法、装置和机器可读介质
CN103890734A (zh) 遥测文件散列和冲突检测
CN107085549B (zh) 故障信息生成的方法和装置
CN110266661A (zh) 一种授权方法、装置及设备
CN110674140A (zh) 基于区块链的内容处理方法、装置、设备及存储介质
CN104796491A (zh) 一种服务器和基于一次扫码的软件下载及注册方法
JP2012014652A (ja) コンテンツ配信システム及びコンテンツ配信方法
CN103544150B (zh) 为移动终端浏览器提供推荐信息的方法及系统
CN104394041A (zh) 访问日志生成方法及装置
CN104462242B (zh) 网页回流量统计方法及装置
CN108667768A (zh) 一种网络应用指纹的识别方法及装置
CN104375935A (zh) Sql注入攻击的测试方法和装置
CN105337946A (zh) 网页防伪验证的方法和装置
CN112131085A (zh) 互联网业务过程记录与回放的方法、系统及装置
CN104462392A (zh) 分享回流量的统计方法和装置
CN110866196A (zh) 一种打印机网络信息采集方法、装置及电子设备
KR102170016B1 (ko) 구매이력 정보를 기반으로 최저가 가격비교목록을 제공하기 위한 서비스 장치, 시스템 및 방법
KR20090060840A (ko) 연관 컨텐츠 제공 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant