第三方系统数据获取方法和装置
技术领域
本发明涉及数字出版领域,尤其涉及一种第三方系统数据获取方法和装置。
背景技术
随着数字出版业务的蓬勃发展,传统出版社纷纷建立资源内容管理系统,把历史资源即存量资源,或新建的各种资源入库到资源内容管理系统进行统一管理、调度。但是上述的各种资源分别由出版社内各个独立的第三方系统如:企业资源计划(EnterpriseResource Planning,简称“ERP”)系统、办公自动化(Office Automation,简称“OA”)系统、版权信息系统等管理,这就造成在第三方系统需要向资源内容管理系统传输数据时,第三方系统与资源内容管理系统彼此没有相互兼容的数据传输接口,或者虽然有接口,但从第三方系统中导出的资源由于数据格式、协议等原因造成资源内容管理系统无法成功接收资源或所接收到的资源内容完整性及可靠性不高。因此,第三方系统的五花八门导致其与资源内容管理系统间存在兼容性问题,双方系统的可靠对接成为亟待解决的问题。
发明内容
本发明提供一种第三方系统数据获取方法和装置,能够有效地适配第三方系统和资源内容管理系统,解决第三方系统和资源内容管理系统间的兼容性问题,实现资源数据的快速传输、且保证所传输资源数据的完整性、可靠性。
本发明提供一种第三方系统数据获取方法,包括:
接收资源内容管理系统发送的数据获取请求,所述数据获取请求包含第三方系统标识、资源数据属性信息;根据所述第三方系统标识,获取所述第三方系统标识对应的资源获取方式信息;
根据所述资源获取方式信息、所述资源数据属性信息,填写预设配置表,以使第三方系统根据填写后的预设配置表进行资源数据的筛选;
发送填写后的预设配置表到所述第三方系统标识对应的第三方系统;
接收所述第三方系统发送的资源数据,对所述资源数据进行处理,以使处理后的资源数据匹配所述资源内容管理系统的需求;
发送处理后的资源数据到所述资源内容管理系统。
本发明还提供一种第三方系统数据获取装置,包括:
接收模块:用于接收资源内容管理系统发送的数据获取请求,所述数据获取请求包含第三方系统标识、资源数据属性信息;
获取模块:用于根据所述第三方系统标识,获取所述第三方系统标识对应的资源获取方式信息;
写入模块:用于根据所述资源获取方式信息、所述资源数据属性信息,填写预设配置表,以使第三方系统根据填写后的预设配置表进行资源数据的筛选;发送填写后的预设配置表到所述第三方系统标识对应的第三方系统;
处理模块:用于接收所述第三方系统发送的资源数据,对所述资源数据进行处理,以使处理后的资源数据匹配所述资源内容管理系统的需求;发送处理后的资源数据到所述资源内容管理系统。
本发明提供的第三方系统数据获取方法和装置,通过接收资源内容管理系统发送的数据获取请求,并根据请求中的第三方系统标识,获取第三方系统标识对应的资源获取方式信息;并根据该资源获取方式信息,以及请求中的资源数据属性信息,填写预设配置表,发送填写后的预设配置表到第三方系统,使第三方系统根据该预设配置表发送相应的资源数据;随后,再对接收到的资源数据进行处理,将处理后的资源数据发送到资源内容管理系统。从而实现有效适配第三方系统和资源内容管理系统,解决了第三方系统和资源内容管理系统间的兼容性问题,实现了资源数据的快速传输、且保证所传输资源数据的完整性、可靠性。
附图说明
图1为本发明第三方系统数据获取方法的实施例一的流程图;
图2为本发明第三方系统数据获取方法的实施例二的流程图;
图3为本发明第三方系统数据获取方法的实施例三的流程图;
图4为本发明第三方系统数据获取装置的实施例一的结构示意图;
图5为本发明第三方系统数据获取装置的实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是,在附图或说明书中,相似或相同的元件皆使用相同的附图标记。
图1为本发明第三方系统数据获取方法的实施例一的流程图,如图1所示,第三方系统数据获取方法,包括:
步骤101、接收资源内容管理系统发送的数据获取请求,该数据获取请求包含第三方系统标识、资源数据属性信息。
在本步骤中,资源内容管理系统向第三方系统数据获取装置发送数据获取请求,该请求中包含:资源内容管理系统预获取资源数据的第三方系统的标识,该标识可以为第三方系统的IP地址、用户名等可以用来区分不同第三方系统的标识;资源数据属性信息,用来指示第三方系统数据获取装置预获取的资源数据的类型、名称、内容、筛选条件等信息;类型信息,如图书类别、期刊类别、视频类别等等;在每个大分类中还可以细化众多小类别,如在图书类别中还可以根据图书所涉及领域的不同进行细分类,并给每个细分类一种标识。名称信息,如针对某些具体资源数据的获取,可以通过提供其名称进行获取。内容信息,可以根据预获取资源数据的内容描述、关键字描述进行获取。筛选条件,周期条件、起止时间、主键条件等;具体的,周期条件,可以设定资源数据的获取周期,如每周固定日期或每月固定日期获取预设天数范围内的第三方系统的数据;起止时间条件,可以设定获取某具体时间范围内的资源数据;主键条件,可以根据某第三方系统的资源数据条目数量,设定主键值进行资源数据批量获取,如设定主键值为0~1000,则获取第0条到第1000条资源数据内容,下次设定主键值为2500,则获取第1001条~第2500条资源数据。
步骤102、根据第三方系统标识,获取第三方系统标识对应的资源获取方式信息。
在本步骤中,第三方系统数据获取装置根据第三方系统标识,获取第三方系统标识对应的资源获取方式信息。通常资源获取方式是由第三方系统的系统属性决定的,其可以是对资源内容管理系统完全开放的底层数据库的获取方式;也可以是配置了统一资源定位符(Uniform Resource Locator,简称:“URL”)的服务接口获取方式,该方式使第三方系统数据获取装置可以通过互联网根据URL得到资源数据的访问位置,其依赖于第三方系统提供的URL服务接口,通常由第三方系统来控制数据同步;还可以是文件交换获取方式,由第三方系统提供文件路径,并将文件导出到该文件路径的某个目录下,供第三方系统数据获取装置扫描该目录,获取资源数据。由于获取方式的不同,其各自所需的资源获取方式信息不同,因此,第三方系统数据获取装置需要根据第三方系统标识获取到该标识对应的资源获取方式信息,进而获取到所需的资源数据。
步骤103、根据资源获取方式信息、资源数据属性信息,填写预设配置表,以使第三方系统根据填写后的预设配置表进行资源数据的筛选;发送填写后的预设配置表到第三方系统标识对应的第三方系统。
在本步骤中,根据已经获取到的资源获取方式信息以及资源数据属性信息等,填写预设配置表(表1所示),并发送填写后的预设配置表到第三方系统,以使第三方系统根据该预设配置表提供相应的资源数据。
表1为预设配置表
步骤104、接收第三方系统发送的资源数据,对资源数据进行处理,以使处理后的资源数据匹配资源内容管理系统的需求;发送处理后的资源数据到资源内容管理系统。
在本步骤中,第三方系统数据获取装置接收到第三方系统发送的资源数据后,由于第三方系统的个体差异,其所发送资源数据存在数据格式、数据内容无序、数据类别信息不统一等诸多问题,这些都需要由第三方系统数据获取装置对资源数据进行处理后,将归一化的资源数据发送给资源内容管理系统统一管理。统一标准后的资源数据可以有效保证所传输资源数据的完整性及准确性。
本实施例提供的第三方系统数据获取方法,通过接收资源内容管理系统发送的数据获取请求,并根据请求中的第三方系统标识,获取第三方系统标识对应的资源获取方式信息;并根据该资源获取方式信息,以及请求中的资源数据属性信息,填写预设配置表,发送填写后的预设配置表到第三方系统,使第三方系统根据该预设配置表发送相应的资源数据;随后,再对接收到的资源数据进行处理,将处理后的资源数据发送到资源内容管理系统。从而实现有效适配第三方系统和资源内容管理系统,解决了第三方系统和资源内容管理系统间的兼容性问题,实现了资源数据的快速传输、且保证所传输资源数据的完整性、可靠性。
图2为本发明第三方系统数据获取方法的实施例二的流程图,如图2所示,在上述实施例一的基础上,本实施例的方法包括:
步骤201、接收资源内容管理系统发送的数据获取请求,该数据获取请求包含第三方系统标识、资源数据属性信息。
步骤201的具体实现过程参见实施例一中的步骤101,此处不再赘述。
步骤202、根据第三方系统标识,在用户数据库中查找与第三方系统标识对应的资源获取方式信息,判断该资源获取方式信息是否存在,若存在执行步骤203、若不存在,执行步骤204。
步骤203、从用户数据库中调取该资源获取方式信息。
步骤204、发送信息获取请求到第三方系统标识对应的第三方系统,接收并存储第三方系统返回的资源获取方式信息。
具体的,资源获取方式信息包含该第三方系统的资源获取方式,资源获取方式包括:数据库获取方式、网络服务Webservice获取方式、文件交换方式等;还包括:该资源获取方式对应的参数信息,如路径、配置文件、协议参数等。例如表1中,若资源获取方式为数据库获取方式,则参数信息包括数据源名称、表名、字段名等参数;若资源获取方式为网路服务Webservice获取方式,则参数信息包括Webservice地址、Webservie密码等参数;若资源获取方式为文件交换方式,则参数信息包括文件地址(本地路径、共享路径、FTP路径等)、获取文件路径的用户名、密码等参数。步骤202中,若该第三方系统标识对应的上述资源获取方式信息已经存储在用户数据库中,则直接通过第三方系统标识进行查找;若用户数据库中没有存储该第三方系统标识所对应的资源获取方式信息,则如步骤204所述,发送信息获取请求到第三方系统标识对应的第三方系统,接收第三方系统返回的资源获取方式信息并存储在用户数据库中。此外,Webservice获取方式基于简单对象访问协议(Simple ObjectAccess Protocol,简称“SOAP”)或表述性状态传递(Representational State Transfer,简称“REST”)模式,通过使用HTTP协议来传输资源数据。
步骤205、根据资源获取方式信息,获取第三方系统标识对应的登录信息;将登录信息对应填写到预设配置表中。
具体的,如上述资源获取方式信息包含该第三方系统的资源获取方式,还包括:该资源获取方式对应的参数信息,如路径、配置文件、协议参数等。其中,登录信息为第三方系统数据获取装置登录该第三方系统所需的必要信息,如路径、用户名、密码等信息,将这些登录必要信息填写到预设配置表的对应项目中,如表1所示。
步骤206、根据获取时间范围信息在预设配置表中填写数据过滤起止时间条件;根据获取条目数量条件在预设配置表中填写数据过滤主键值;以使第三方系统根据填写后的预设配置表进行资源数据的筛选;发送填写后的预设配置表到第三方系统。
具体的,资源数据属性信息包括:获取时间范围信息、和/或获取条目数量条件;还包括:预获取的资源数据类型,如图书类别、期刊类别、视频类别等等;在每个大分类中还可以细化众多小类别,如在图书类别中还可以根据图书所涉及领域的不同进行细分类,并给每个细分类一种类型标识。获取时间范围信息可以为周期条件或起止时间,具体的,若以周期条件给出获取时间范围信息,可以设定资源数据的获取周期,如每周固定日期或每月固定日期获取预设天数范围内的第三方系统的数据;若以起止时间给出获取时间范围信息,可以设定获取某具体时间范围内的资源数据;和/或,资源数据属性信息包括获取条目数量条件,这种方式将不采用时间作为资源数据的过滤条件,而采用每次预获取资源数据的数量值作为过滤条件,具体通过在预设配置表中填写数据过滤主键值,主键值可以根据某第三方系统的资源数据条目数量,设定主键值进行资源数据批量获取,如设定主键值为0~1000,则获取第0条到第1000条资源数据内容,下次设定主键值为2500,则获取第1001条~第2500条资源数据。填写后的预设配置表可以参考表1所示,例如过滤起止时间条件为日期字段时,可以获取从上次数据获取结束日期(该日期存储在预设配置表中)到当前日期的资源数据,获取结束后,将当前日期设置为结束日期,作为下次获取的开始日期。数据过滤为主键值时,可以获取大于上次结束主键值至最大主键值间的资源数据,获取结束后,将当前主键值存储在配置表中,作为下次的起始值。获取时间范围信息、获取条目数量条件两个过滤条件可以单独使用或同时使用作为资源数据筛选条件。
步骤207、接收第三方系统发送的资源数据,对资源数据进行格式转换、和/或文本替换、和/或信息提取归类;格式转换包括:采用XSLT技术将资源数据转换为XML格式数据;文本替换包括:对资源数据进行关键字检索,将关键字替换为预设文本内容;信息提取归类包括:根据预设信息归类类别,对资源数据进行语义分析,从资源数据中提取出与预设信息归类类别相对应的数据内容;以使处理后的资源数据匹配资源内容管理系统的需求。
具体的,格式转换基于可自定义的XSLT文件,对获取到的资源数据进行转换,转换为统一标准的XML数据。此时转换成的XML已经是标准格式了,但是不一定能够满足资源内容管理系统的要求,比如第三方系统中一本图书的版权信息是一个大字段来存储,但是资源内容管理系统中要求将其中包含的信息细化到版权时间、期限、类型等。这时就需要根据预设信息归类类别(如版权时间、期限等),对资源数据进行语义分析,从资源数据中提取出与预设信息归类类别相对应的数据内容。此外,各个第三方系统中对于资源数据的描述方式、描述语言可能存在个体差异,为提高资源内容管理系统中资源数据的标准化,便于资源检索效率的提高,可以通过第三方系统数据获取装置对资源数据进行关键字检索,将关键字替换为预设文本内容,从而标准化资源数据的描述方式。
步骤208、发送处理后的资源数据到资源内容管理系统。
本实施例提供的第三方系统数据获取方法,通过接收资源内容管理系统发送的数据获取请求,并根据请求中的第三方系统标识,获取第三方系统标识对应的资源获取方式信息;并根据该资源获取方式信息,以及请求中的资源数据属性信息,填写预设配置表,发送填写后的预设配置表到第三方系统,使第三方系统根据该预设配置表发送相应的资源数据;随后,再对接收到的资源数据进行处理,将处理后的资源数据发送到资源内容管理系统。从而实现有效适配第三方系统和资源内容管理系统,解决了第三方系统和资源内容管理系统间的兼容性问题,实现了资源数据的快速传输、且保证所传输资源数据的完整性、可靠性。
图3为本发明第三方系统数据获取方法的实施例三的流程图,如图3所示,在上述实施例的基础上,本实施例的方法包括:
步骤301、接收资源内容管理系统发送的数据获取请求,该数据获取请求包含第三方系统标识、资源数据属性信息。
步骤302、根据第三方系统标识,获取第三方系统标识对应的资源获取方式信息。
步骤303、根据资源获取方式信息、资源数据属性信息,填写预设配置表,以使第三方系统根据填写后的预设配置表进行资源数据的筛选;发送填写后的预设配置表到第三方系统标识对应的第三方系统。
步骤304、接收第三方系统发送的资源数据,对资源数据进行处理,以使处理后的资源数据匹配资源内容管理系统的需求。
步骤301~步骤304的具体实现过程参见实施例一中的步骤101~步骤104,此处不再赘述。
步骤305、根据映射类别,配置处理后的资源数据与资源内容管理系统间的映射关系。
步骤306、根据映射关系,发送处理后的资源数据到资源内容管理系统。
具体的,资源数据属性信息还包括:映射类别;映射类别包括:元数据映射、文件映射、大文本映射。元数据映射指例如图书的书名、书号、价格、开本等属性信息;文件映射指文件类型映射,如pdf文件、图片格式文件、文本格式文件等;大文本映射指书籍前言、序、正文等大段落文本。不同的映射可以方便各类资源数据在资源内容管理系统中的查找和检索工作,根据不同的元数据方便设定不同的查询条件。映射配置文件如下所示:
在上述配置文件中,name是指标准文档中的元数据名称,colName对应资源内容管理系统中的元数据名称,xpath是指标准文档中的路径,attrType对应资源内容管理系统中文件的业务类型,根据业务类型可以知道文件的存储方式、存储路径信息。
图4为本发明第三方系统数据获取装置的实施例一的结构示意图;
如图4所示,本实施例的装置包括:接收模块1:用于接收资源内容管理系统发送的数据获取请求,数据获取请求包含第三方系统标识、资源数据属性信息;获取模块2:用于根据第三方系统标识,获取第三方系统标识对应的资源获取方式信息;写入模块3:用于根据资源获取方式信息、资源数据属性信息,填写预设配置表,以使第三方系统根据填写后的预设配置表进行资源数据的筛选;发送填写后的预设配置表到第三方系统标识对应的第三方系统;处理模块4:用于接收第三方系统发送的资源数据,对资源数据进行处理,以使处理后的资源数据匹配所述资源内容管理系统的需求;发送处理后的资源数据到资源内容管理系统。
本实施例的装置,可以用于执行图1所示方法实施例一的技术方案,其实现原理和技术效果类似,此处不再赘述。
本实施例提供的第三方系统数据获取装置,通过接收资源内容管理系统发送的数据获取请求,并根据请求中的第三方系统标识,获取第三方系统标识对应的资源获取方式信息;并根据该资源获取方式信息,以及请求中的资源数据属性信息,填写预设配置表,发送填写后的预设配置表到第三方系统,使第三方系统根据该预设配置表发送相应的资源数据;随后,再对接收到的资源数据进行处理,将处理后的资源数据发送到资源内容管理系统。从而实现有效适配第三方系统和资源内容管理系统,解决了第三方系统和资源内容管理系统间的兼容性问题,实现了资源数据的快速传输、且保证所传输资源数据的完整性、可靠性。
图5为本发明第三方系统数据获取装置的实施例二的结构示意图,如图5所示,本实施例的系统装置在图4所示装置的基础上,进一步地,获取模块2:具体用于根据第三方系统标识,在用户数据库中查找与第三方系统标识对应的资源获取方式信息,若不存在,发送信息获取请求到第三方系统标识对应的第三方系统,接收并存储第三方系统返回的资源获取方式信息。写入模块3:具体用于根据资源获取方式信息,获取第三方系统标识对应的登录信息;将登录信息对应填写到预设配置表中;资源数据属性信息包括:获取时间范围信息、和/或获取条目数量条件;根据获取时间范围信息在预设配置表中填写数据过滤起止时间条件;根据获取条目数量条件在预设配置表中填写数据过滤主键值;以使第三方系统根据填写后的预设配置表进行资源数据的筛选。处理模块4:具体用于采用XSLT技术将资源数据转换为XML格式数据;对资源数据进行关键字检索,将关键字替换为预设文本内容;根据预设信息归类类别,对资源数据进行语义分析,从资源数据中提取出与预设信息归类类别相对应的数据内容。进一步地,资源数据属性信息还包括:映射类别;映射类别包括:元数据映射、文件映射、大文本映射;该装置还包括:配置模块5:用于根据映射类别,配置处理后的资源数据与资源内容管理系统间的映射关系;相应的,处理模块4,具体用于根据映射关系,发送处理后的资源数据到资源内容管理系统。
本实施例的装置,可以用于执行图2、图3所示方法实施例二、三的技术方案,其实现原理和技术效果类似,此处不再赘述。
本实施例提供的第三方系统数据获取装置,通过接收资源内容管理系统发送的数据获取请求,并根据请求中的第三方系统标识,获取第三方系统标识对应的资源获取方式信息;并根据该资源获取方式信息,以及请求中的资源数据属性信息,填写预设配置表,发送填写后的预设配置表到第三方系统,使第三方系统根据该预设配置表发送相应的资源数据;随后,再对接收到的资源数据进行处理,将处理后的资源数据发送到资源内容管理系统。从而实现有效适配第三方系统和资源内容管理系统,解决了第三方系统和资源内容管理系统间的兼容性问题,实现了资源数据的快速传输、且保证所传输资源数据的完整性、可靠性。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。