CN111859077A - 数据处理方法、装置、系统、计算机可读存储介质 - Google Patents

数据处理方法、装置、系统、计算机可读存储介质 Download PDF

Info

Publication number
CN111859077A
CN111859077A CN201910337805.8A CN201910337805A CN111859077A CN 111859077 A CN111859077 A CN 111859077A CN 201910337805 A CN201910337805 A CN 201910337805A CN 111859077 A CN111859077 A CN 111859077A
Authority
CN
China
Prior art keywords
data
processing
user
processing mode
link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910337805.8A
Other languages
English (en)
Inventor
王洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Wodong Tianjun Information Technology Co Ltd
Priority to CN201910337805.8A priority Critical patent/CN111859077A/zh
Publication of CN111859077A publication Critical patent/CN111859077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供一种数据处理方法,包括:获取多个链接数据,其中,所述多个链接数据与至少一个应用相关联,且指示了获取能够通过相关联的应用进行展示的目标数据;确定与所述多个链接数据中的每一个链接数据对应的处理模式;基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据;以及存储所述目标数据以便响应于用户请求提供给用户。本公开还提供了一种数据处理装置、一种数据处理系统以及一种计算机可读存储介质。

Description

数据处理方法、装置、系统、计算机可读存储介质
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种数据处理方法、一种数据处理装置、一种数据处理系统、以及一种计算机可读存储介质。
背景技术
当用户在访问相关应用(例如网页)时,服务器通常基于用户的请求从底层数据库中查询相关的目标数据,并将查询到的目标数据通过相关应用进行展示(例如展示在网页的页面上)。但是,通常情况下,服务器一般是在接收到用户请求后,再基于用户请求从底层数据库中查询相关的目标数据,由于数据查询过程速度较慢,导致用户需要等待较长时间才能得到目标数据,使得用户访问相关应用的过程中体验较差。因此,如何减少用户访问相关应用的等待时间,以提高用户体验成为目前亟需解决的问题。
在实现本公开构思的过程中,发明人发现现有技术中至少存在如下问题,现有技术的服务器一般是在接收到用户请求后,再基于用户请求从底层数据库中查询相关的目标数据,由于数据查询过程速度较慢,导致用户需要等待较长时间才能得到目标数据,使得用户访问相关应用的过程中体验较差。
发明内容
有鉴于此,本公开提供了一种优化的数据处理方法、数据处理装置、数据处理系统和计算机可读存储介质。
本公开的一个方面提供了一种数据处理方法,包括:获取多个链接数据,其中,所述多个链接数据与至少一个应用相关联,且指示了获取能够通过相关联的应用进行展示的目标数据,确定与所述多个链接数据中的每一个链接数据对应的处理模式,基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,存储所述目标数据以便响应于用户请求提供给用户。
根据本公开实施例,上述链接数据包括:地址数据和脚本数据中的至少一个。所述确定与所述多个链接数据中的每一个链接数据对应的处理模式,包括:确定与所述地址数据对应的处理模式为第一处理模式和确定与所述脚本数据对应的处理模式为第二处理模式。
根据本公开实施例,上述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:获取与所述第一处理模式对应的第一操作数据,所述第一操作数据为用户通过所述地址数据获取相应目标数据的操作,基于所述第一操作数据,处理对应的地址数据以获得与所述地址数据对应的目标数据。
根据本公开实施例,上述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:基于所述第二处理模式,运行所述脚本数据以获得与所述脚本数据对应的目标数据。
根据本公开实施例,上述方法还包括:获取与链接数据对应的用户标识。所述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:基于所述处理模式和所述用户标识,处理对应的链接数据以获得与所述链接数据对应的目标数据。
根据本公开实施例,上述方法还包括:接收用户针对相关应用的第二操作数据,所述第二操作数据包括与所述相关应用对应的链接数据,响应所述用户的第二操作数据,从所存储的目标数据中确定与所述相关应用对应的目标数据,通过所述相关应用展示所述目标数据。
本公开的另一个方面提供了一种数据处理装置,包括:第一获取模块、第一确定模块、处理模块以及存储模块。其中,第一获取模块获取多个链接数据,其中,所述多个链接数据与至少一个应用相关联,且指示了获取能够通过相关联的应用进行展示的目标数据,第一确定模块确定与所述多个链接数据中的每一个链接数据对应的处理模式,处理模块基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,存储模块存储所述目标数据以便响应于用户请求提供给用户。
根据本公开实施例,上述链接数据包括:地址数据和脚本数据中的至少一个。所述确定与所述多个链接数据中的每一个链接数据对应的处理模式,包括:确定与所述地址数据对应的处理模式为第一处理模式和确定与所述脚本数据对应的处理模式为第二处理模式。
根据本公开实施例,上述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:获取与所述第一处理模式对应的第一操作数据,所述第一操作数据为用户通过所述地址数据获取相应目标数据的操作,基于所述第一操作数据,处理对应的地址数据以获得与所述地址数据对应的目标数据。
根据本公开实施例,上述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:基于所述第二处理模式,运行所述脚本数据以获得与所述脚本数据对应的目标数据。
根据本公开实施例,上述装置还包括:第二获取模块,获取与链接数据对应的用户标识。所述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:基于所述处理模式和所述用户标识,处理对应的链接数据以获得与所述链接数据对应的目标数据。
根据本公开实施例,上述装置还包括:接收模块、第二确定模块以及展示模块。其中,接收模块接收用户针对相关应用的第二操作数据,所述第二操作数据包括与所述相关应用对应的链接数据,第二确定模块响应所述用户的第二操作数据,从所存储的目标数据中确定与所述相关应用对应的目标数据,展示模块,通过所述相关应用展示所述目标数据。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例,可以至少部分地解决现有技术的服务器一般是在接收到用户请求后,再基于用户请求从底层数据库中查询相关的目标数据,由于数据查询过程速度较慢,导致用户需要等待较长时间才能得到目标数据,使得用户访问相关应用的过程中体验较差的问题,并因此可以实现减少用户访问相关应用的等待时间,以提高用户体验的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的数据处理方法和数据处理系统的系统架构;
图2示意性示出了根据本公开实施例的数据处理方法的流程图;
图3示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图4示意性示出了根据本公开实施例的缓存预加载平台的示意图;
图5示意性示出了根据本公开实施例的数据处理装置的框图;
图6示意性示出了根据本公开另一实施例的数据处理装置的框图;以及
图7示意性示出了根据本公开实施例的适于数据处理的计算机系统的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种数据处理方法,包括:获取多个链接数据,其中,多个链接数据与至少一个应用相关联,且指示了获取能够通过相关联的应用进行展示的目标数据,确定与多个链接数据中的每一个链接数据对应的处理模式,基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据,存储目标数据以便响应于用户请求提供给用户。
图1示意性示出了根据本公开实施例的数据处理方法和数据处理系统的系统架构。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的数据处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
例如,本公开实施例所获取的多个链接数据可以存储在终端设备101、102、103中,通过终端设备101、102、103将多个链接数据发送至服务器105中,服务器105可以基于多个链接数据确定对应的处理模式,并基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据,或者,终端设备101、102、103也可以直接基于多个链接数据确定对应的处理模式,并基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据。另外,多个链接数据还可以直接存储在服务器105中,由服务器105直接基于多个链接数据确定对应的处理模式,并基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示,该方法包括操作S210~S240。
在操作S210,获取多个链接数据,其中,多个链接数据与至少一个应用相关联,且指示了获取能够通过相关联的应用进行展示的目标数据。
根据本公开实施例,通过链接数据能够获取相应的目标数据,其中,通过与应用1相关的链接数据所获取的目标数据可以通过应用1进行展示。例如,多个链接数据包括链接数据A,链接数据B、链接数据C。其中,链接数据A,链接数据B例如与应用1相关联,链接数据C例如与应用2相关联。通过链接数据A所获取的目标数据a例如能够通过应用1展示,通过链接数据B所获取的目标数据b例如能够通过应用1展示,通过链接数据C所获取的目标数据c例如能够通过应用2展示。
例如,以应用1为某单位的“人力资源管理系统”为例,该人力资源管理系统例如包括员工的基本信息数据、教育经历数据等等,该些数据例如存储于底层数据库中。
通常情况下,用户在使用人力资源管理系统时,例如当用户需要查看基本信息数据时,用户可以点击显示在页面上的“基本信息数据”标识,系统接收到用户的点击操作后,会响应点击操作生成基本信息数据的相关地址数据,系统自动基于该地址数据从数据库中索引到相应的目标数据(例如包括具体的基本信息数据,例如包括姓名、性别、年龄等等数据),并将索引到的目标数据展示给用户。
如上述所举例的,一般来说,用户在访问一个应用时,该应用通过实时接收用户的访问请求,并响应用户的请求从数据库中索引相关的目标数据以提供给用户。由于基于用户请求实时从数据库中索引相关目标数据的过程一般比较耗时,因此,本公开实施例的目的在于,在用户使用人力资源管理系统之前,预先从数据库中获取并缓存目标数据,以便在用户之后使用人力资源管理系统时从提前缓存的目标数据中快速提供用户所需的目标数据。
继续以人力资源管理系统为例,本公开实施例例如可以通过相关的链接数据从数据库中获取员工的基本信息数据(目标数据),该员工的基本信息数据例如能够提前缓存起来,在之后有用户访问人力资源管理系统时,该提前缓存好的基本信息数据能够快速展示在人力资源管理系统的页面上。
根据本公开实施例,链接数据例如包括地址数据或者脚本数据。
其中,地址数据可以是相应目标数据所在数据库中的存储位置,通过该地址数据例如可以从数据库中索引得到相应的目标数据。
其中,脚本数据可以包括用户直接编写的的脚本代码,该脚本代码例如包括相关地址以及与用户操作行为相关的数据。例如,人力资源管理系统的页面上包括相关区域,用户通过点击该相关区域可以获取相应的目标数据。具体地,例如人力资源管理系统的页面上包括“基本信息数据”的相关区域,用户在访问该人力资源管理系统时,可以点击该“基本信息数据”的相关区域,人力资源管理系统会响应用户的点击生成基本信息数据的相关地址,并基于该相关地址从数据库中索引到目标数据(例如包括姓名、性别、年龄等等),并将目标数据展示给用户。因此,本公开实施例的脚本数据例如包括用户点击“基本信息数据”的点击操作,以及基于点击操作生成的相关地址。
在操作S220,确定与多个链接数据中的每一个链接数据对应的处理模式。
根据本公开实施例,多个链接数据中可以包括地址数据和脚本数据,其中,地址数据和脚本数据对应不同的处理模式。基于每个链接数据与其对应的处理模式例如可以获取相应的目标数据。
其中,当链接数据为地址数据时,确定与地址数据对应的处理模式为第一处理模式。当链接数据为脚本数据时,确定与脚本数据对应的处理模式为第二处理模式。
在操作S230,基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据。
根据本公开实施例,当链接数据为地址数据时,基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据,包括:获取与第一处理模式对应的第一操作数据,第一操作数据为用户通过地址数据获取相应目标数据的操作,以及基于第一操作数据,处理对应的地址数据以获得与地址数据对应的目标数据。
例如,本公开实施例可以在用户使用人力资源管理系统之前,预先缓存目标数据,以便在用户之后使用人力资源管理系统时快速提供相关的目标数据。可以理解,在缓存目标数据的过程中,并没有用户的点击操作,因此,通过获取第一操作数据来模拟用户的点击操作,并基于第一操作数据和相应的地址数据从数据库中索引到目标数据。
根据本公开实施例,当链接数据为脚本数据时,基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据,包括:基于第二处理模式,运行脚本数据以获得与脚本数据对应的目标数据。即,当链接数据为脚本数据时,可以直接运行脚本数据来从数据库中索引到相应的目标数据。
在操作S240,存储目标数据以便响应于用户请求提供给用户。
根据本公开实施例,用户请求例如可以是用户在应用中请求获取相应目标数据的请求。例如,本公开实施例通过提前缓存得到的目标数据,当用户之后在使用人力资源管理系统搜索相应目标数据时,可以将提前缓存好的目标数据提供给用户,减少用户访问应用过程中的等待时间。
图3示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图3所示,该方法包括操作S210~S240以及操作S310~S340。
在操作S310,获取与链接数据对应的用户标识。
根据本公开实施例,每个链接数据可以对应有相应的用户标识。用户标识能够表征用户身份,该用户标识可以是用户ID。例如,人力资源管理系统可以被不同的用户访问,当不同的用户访问人力资源管理系统的基本信息数据时,不同的用户所需的基本信息数据例如不同。例如,当用户1访问人力资源管理系统的基本信息数据时,该用户1所需的基本信息数据一般是自身(用户1)的基本信息数据。当用户2访问人力资源管理系统的基本信息数据时,该用户2所需的基本信息数据一般是自身(用户2)的基本信息数据。
根据本公开实施例,基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据,包括:基于处理模式和用户标识,处理对应的链接数据以获得与链接数据对应的目标数据。
在本公开实施例中,由于不同的用户所需的目标数据不同,例如以人力资源管理系统为例,不同的用户访问人力资源管理系统以获得的基本信息数据例如不同。因此,在提前缓存目标数据时,可以根据用户标识缓存与不同用户对应的目标数据,以便之后响应不同用户的请求将提前缓存好的相应目标数据提供给对应的用户。
在操作S320,接收用户针对相关应用的第二操作数据,第二操作数据包括与相关应用对应的链接数据。
在操作S330,响应用户的第二操作数据,从所存储的目标数据中确定与相关应用对应的目标数据。
在操作S340,通过相关应用展示目标数据。
根据本公开实施例,在提前缓存目标数据之后,当接收到用户针对相关应用的第二操作数据(第二操作数据例如可以是点击操作)后,可以响应该第二操作从提前缓存的目标数据中获取对应的目标数据,并将对应的目标数据通过相关应用展示给用户。通过提前缓存应用相关的目标数据,便于在用户访问应用时将提前缓存的目标数据展示给用户,减少用户等待的时间。
图4示意性示出了根据本公开实施例的缓存预加载平台的示意图。
如图4所示,本公开实施例的缓存预加载平台400例如是一种完全模拟用户操作行为的平台。本公开实施例可对应用的所有接口一次性预加载,以实现有效解决预加载接口数量膨胀、不同用户权限、额外代码开发、定时任务难以维护等问题。其中,本公开实施例中的接口例如可以是与服务器连接的接口,一个应用例如具有多个接口,用户通过访问相应的接口来获取应用的相关目标数据。例如,服务器通过接口获取用户的请求数据,并从数据库中获取与请求数据相关的目标数据,将目标数据通过相应的接口返回给用户。
为了便于理解,本公开实施例以应用为网页为例,例如应用可以是百度新闻、百度贴吧等等。
根据本公开实施例,缓存预加载平台400例如由四大模块组成,例如包括分布式任务调度平台410、任务执行平台420、用户行为模拟平台430以及具体应用运行平台440。以下对每个模块的功能进行介绍。
1、关于分布式任务调度平台410
其中,可以在分布式任务调度平台410中配置缓存预加载的定时任务,一个应用(包含所有需要缓存预加载的接口)只需配置一个缓存预加载的调度任务。
其中,配置调度任务时例如可以设置以下参数:
(1)应用标识,例如一个应用对应有一个应用标识,该应用标识例如可以是应用ID。例如百度新闻的应用标识可以是001,百度贴吧的应用标识可以是002。
(2)用户权限标识,每个用户例如对应有一个用户权限标识,该用户权限标识例如可以是用户ID,用于表征用户的身份。在该分布式任务调度平台上可以添加多个用户ID。
(3)用户组权限标识,例如包括用户组ID,每个用户组中例如包括多个用户。其中,在需要将多个用户添加至分布式任务调度平台410时,以用户组的方式添加更加方便。在配置参数过程中,该用户组权限标识可以为空,表示没有用户组(即不需要通过用户组的方式添加用户)。
根据本公开实施例,在分布式任务调度平台410中配置缓存预加载的定时任务时,例如定时任务可以为早上6点至7点之间,每5分钟运行一次,以提前加载并缓存目标数据,便于用户在7点之后访问网页时,可以快速将提前缓存好的目标数据提供给用户。避免在用户访问网页时,当底层数据源是大数据查询引擎这种应用时,因为接口太多而导致部分接口查询超时,造成部分接口加载失败。当时间为调度设定时间时,执行器(在任务执行平台420中)接受配置参数开始执行任务。
2、关于任务执行平台420
其中,任务执行平台420包括执行器部分,在这里我们可以添加应用。添加应用有两种模式,例如分别是普通模式(对应的链接数据为地址数据)和脚本模式(对应的链接数据为脚本数据)。
例如,以普通模式添加应用时,可以直接添加缓存预加载页面(网页)的html地址,例如添加多个html地址。例如,以应用为百度新闻为例,百度新闻具有多个菜单,该多个菜单例如包括国内新闻、国外新闻等等,通过点击菜单,可以将与菜单相应的目标数据显示在页面上。例如,点击国内新闻菜单时,关于国内新闻的文字、图片显示在页面上。
其中,一个应用ID对应一个或者多个html地址。例如,一个应用例如对应有多个菜单,每个菜单例如对应有相应的html地址。
例如,以脚本模式添加应用时,则直接编写访问应用的网址以及页面打开后用户操作行为的js脚本,例如切换tab页,更改日期等。该功能主要面向开发人员,精确到用户的具体操作行为以及行为时间间隔,该模式适用于定制化的交互缓存预加载方案。
其中,添加应用时,可设置该应用单点登录验证的ticket(自定义字符串),非必填。例如,当需要提前缓存的目标数据与用户的身份相关时,则需要用户账户和密码才能登陆网页,但是,考虑到用户的密码较为私密,因此,可以通过设置登录验证的ticket,实现在不需要用户密码的情况下,可以提前缓存与用户相关的目标数据。其中,关于该ticket的具体使用在具体应用运行平台440中说明。
在本公开实施例中,任务执行平台420可以通过获取相关的配置参数(例如包括应用标识、用户权限标识、用户组权限标识、登录验证的ticket等等),通过应用标识(例如应用ID)获取应用访问的html地址列表(列表中例如包括多个html地址)或脚本,通过应用标识或者用户权限标识获取用户标识列表,循环执行用户标识列表和html地址列表,依次访问用户行为模拟平台430。其中,访问用户行为模拟平台430的请求参数例如包含执行模式(该执行模式在用户行为模拟平台430中描述)及其对应html地址或者脚本、用户ID(可为空,为空时表示所需缓存的目标数据并不针对特定用户,而是针对所有访问网页的用户)和登录验证的ticket(可为空)。
3、关于用户行为模拟平台430
用户行为模拟平台430例如是node运行环境(node运行环境例如是基于Chrome V8引擎的JavaScript运行环境),便于执行js脚本以及模拟交互,以为执行器(位于任务执行平台420中)提供http访问接口。当任务执行器访问用户行为模拟平台430时,获取的请求参数例如包含执行模式及其对应html地址或者脚本、用户ID和登录验证的ticket。
执行模式例如可以是普通模式,当为普通模式时,携带请求参数,利用puppeteer(一种可以模拟用户操作html页面行为的工具,可以在node运行环境中打开html页面,模拟用户操作行为),模拟Chrome浏览器,打开浏览器同时将用户ID和登录验证的ticket设置在cookie中,然后访问html地址,待所有接口加载完毕,关闭页面。
执行模式例如可以是脚本模式,用户行为模拟平台430直接执行js脚本,按照开发人员的设计逻辑,访问页面并进行交互,从而进行缓存预加载。
4、关于具体应用运行平台440
具体应用运行平台440可以是用户访问具体应用的平台,该平台需要用到用户行为模拟平台430传递的用户ID和登录验证的ticket值,单点登录拦截器验证ticket是否正确,如果正确,则跳过用户登录验证,直接获取用户标识(用户ID)信息。具体应用运行平台440可以模拟用户行为并提前获取相关的目标数据,以便在之后用户访问网页时,可以快速地将提前缓存的目标数据提供给用户,提高用户访问网页的体验。
后续接口加载则基于用户标识信息设定数据权限进行查询,缓存方案根据各自应用场景自行设计,例如推荐的缓存策略是动态获取当时间与次日零点时间间隔设置缓存过期时间,自此完成缓存数据的预加载整体实现流程。
图5示意性示出了根据本公开实施例的数据处理装置的框图。
如图5所示,数据处理装置500包括第一获取模块510、第一确定模块520、处理模块530以及存储模块540。
第一获取模块510可以用于获取多个链接数据,其中,多个链接数据与至少一个应用相关联,且指示了获取能够通过相关联的应用进行展示的目标数据。根据本公开实施例,第一获取模块510例如可以执行上文参考图2描述的操作S210,在此不再赘述。
第一确定模块520可以用于确定与多个链接数据中的每一个链接数据对应的处理模式。
根据本公开实施例,链接数据包括:地址数据和脚本数据中的至少一个。确定与多个链接数据中的每一个链接数据对应的处理模式,包括:确定与地址数据对应的处理模式为第一处理模式和确定与脚本数据对应的处理模式为第二处理模式。
根据本公开实施例,第一确定模块520例如可以执行上文参考图2描述的操作S220,在此不再赘述。
处理模块530可以用于基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据。
根据本公开实施例,基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据,包括:获取与第一处理模式对应的第一操作数据,第一操作数据为用户通过地址数据获取相应目标数据的操作,基于第一操作数据,处理对应的地址数据以获得与地址数据对应的目标数据。
根据本公开实施例,基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据,包括:基于第二处理模式,运行脚本数据以获得与脚本数据对应的目标数据。
根据本公开实施例,处理模块530例如可以执行上文参考图2描述的操作S230,在此不再赘述。
存储模块540可以用于存储目标数据以便响应于用户请求提供给用户。根据本公开实施例,存储模块540例如可以执行上文参考图2描述的操作S240,在此不再赘述。
图6示意性示出了根据本公开另一实施例的数据处理装置的框图。
如图6所示,数据处理装置600包括第一获取模块510、第一确定模块520、处理模块530、存储模块540、第二获取模块610、接收模块620、第二确定模块630以及展示模块640。其中,第一获取模块510、第一确定模块520、处理模块530以及存储模块540与上参考图5中描述的模块相同或类似,在此不再赘述。
第二获取模块610可以用于获取与链接数据对应的用户标识。
根据本公开实施例,基于处理模式,处理对应的链接数据以获得与链接数据对应的目标数据,包括:基于处理模式和用户标识,处理对应的链接数据以获得与链接数据对应的目标数据。
根据本公开实施例,第二获取模块610例如可以执行上文参考图3描述的操作S310,在此不再赘述。
接收模块620可以用于接收用户针对相关应用的第二操作数据,第二操作数据包括与相关应用对应的链接数据。根据本公开实施例,接收模块620例如可以执行上文参考图3描述的操作S320,在此不再赘述。
第二确定模块630可以用于响应用户的第二操作数据,从所存储的目标数据中确定与相关应用对应的目标数据。根据本公开实施例,第二确定模块630例如可以执行上文参考图3描述的操作S330,在此不再赘述。
展示模块640可以用于通过相关应用展示目标数据。根据本公开实施例,展示模块640例如可以执行上文参考图3描述的操作S340,在此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块510、第一确定模块520、处理模块530、存储模块540、第二获取模块610、接收模块620、第二确定模块630以及展示模块640中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一获取模块510、第一确定模块520、处理模块530、存储模块540、第二获取模块610、接收模块620、第二确定模块630以及展示模块640中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块510、第一确定模块520、处理模块530、存储模块540、第二获取模块610、接收模块620、第二确定模块630以及展示模块640中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图7示意性示出了根据本公开实施例的适于数据处理的计算机系统的方框图。图7示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,根据本公开实施例的计算机系统700包括处理器701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中,存储有系统700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,系统700还可以包括输入/输出(I/O)接口705,输入/输出(I/O)接口705也连接至总线704。系统700还可以包括连接至I/O接口705的以下部件中的一项或多项:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是计算机非易失性的计算机可读存储介质,例如可以可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (14)

1.一种数据处理方法,包括:
获取多个链接数据,其中,所述多个链接数据与至少一个应用相关联,且指示了获取能够通过相关联的应用进行展示的目标数据;
确定与所述多个链接数据中的每一个链接数据对应的处理模式;
基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据;以及
存储所述目标数据以便响应于用户请求提供给用户。
2.根据权利要求1所述的方法,其中:
所述链接数据包括:地址数据和脚本数据中的至少一个;
所述确定与所述多个链接数据中的每一个链接数据对应的处理模式,包括:
确定与所述地址数据对应的处理模式为第一处理模式;和
确定与所述脚本数据对应的处理模式为第二处理模式。
3.根据权利要求2所述的方法,其中,所述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:
获取与所述第一处理模式对应的第一操作数据,所述第一操作数据为用户通过所述地址数据获取相应目标数据的操作;以及
基于所述第一操作数据,处理对应的地址数据以获得与所述地址数据对应的目标数据。
4.根据权利要求2所述的方法,其中,所述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:
基于所述第二处理模式,运行所述脚本数据以获得与所述脚本数据对应的目标数据。
5.根据权利要求1所述的方法,其中:
所述方法还包括:获取与链接数据对应的用户标识;
所述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:基于所述处理模式和所述用户标识,处理对应的链接数据以获得与所述链接数据对应的目标数据。
6.根据权利要求1所述的方法,还包括:
接收用户针对相关应用的第二操作数据,所述第二操作数据包括与所述相关应用对应的链接数据;
响应所述用户的第二操作数据,从所存储的目标数据中确定与所述相关应用对应的目标数据;以及
通过所述相关应用展示所述目标数据。
7.一种数据处理装置,包括:
第一获取模块,获取多个链接数据,其中,所述多个链接数据与至少一个应用相关联,且指示了获取能够通过相关联的应用进行展示的目标数据;
第一确定模块,确定与所述多个链接数据中的每一个链接数据对应的处理模式;
处理模块,基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据;以及
存储模块,存储所述目标数据以便响应于用户请求提供给用户。
8.根据权利要求7所述的装置,其中:
所述链接数据包括:地址数据和脚本数据中的至少一个;
所述确定与所述多个链接数据中的每一个链接数据对应的处理模式,包括:
确定与所述地址数据对应的处理模式为第一处理模式;和
确定与所述脚本数据对应的处理模式为第二处理模式。
9.根据权利要求8所述的装置,其中,所述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:
获取与所述第一处理模式对应的第一操作数据,所述第一操作数据为用户通过所述地址数据获取相应目标数据的操作;以及
基于所述第一操作数据,处理对应的地址数据以获得与所述地址数据对应的目标数据。
10.根据权利要求8所述的装置,其中,所述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:
基于所述第二处理模式,运行所述脚本数据以获得与所述脚本数据对应的目标数据。
11.根据权利要求7所述的装置,其中:
所述装置还包括:第二获取模块,获取与链接数据对应的用户标识;
所述基于所述处理模式,处理对应的链接数据以获得与所述链接数据对应的目标数据,包括:基于所述处理模式和所述用户标识,处理对应的链接数据以获得与所述链接数据对应的目标数据。
12.根据权利要求7所述的装置,还包括:
接收模块,接收用户针对相关应用的第二操作数据,所述第二操作数据包括与所述相关应用对应的链接数据;
第二确定模块,响应所述用户的第二操作数据,从所存储的目标数据中确定与所述相关应用对应的目标数据;以及
展示模块,通过所述相关应用展示所述目标数据。
13.一种数据处理系统,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~6中任一项所述的方法。
14.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~6中任一项所述的方法。
CN201910337805.8A 2019-04-24 2019-04-24 数据处理方法、装置、系统、计算机可读存储介质 Pending CN111859077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910337805.8A CN111859077A (zh) 2019-04-24 2019-04-24 数据处理方法、装置、系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910337805.8A CN111859077A (zh) 2019-04-24 2019-04-24 数据处理方法、装置、系统、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111859077A true CN111859077A (zh) 2020-10-30

Family

ID=72952339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910337805.8A Pending CN111859077A (zh) 2019-04-24 2019-04-24 数据处理方法、装置、系统、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111859077A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672187A (zh) * 2020-12-18 2021-04-16 平安银行股份有限公司 页面生成方法、装置及计算机设备
CN113590913A (zh) * 2021-06-17 2021-11-02 青岛海尔科技有限公司 数据资源的显示方法及装置、存储介质及电子装置
CN114020992A (zh) * 2021-11-09 2022-02-08 北京百度网讯科技有限公司 页面封禁方法、装置、系统、客户端和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991916A (zh) * 2015-06-24 2015-10-21 小米科技有限责任公司 网页的加载方法及装置
CN105335139A (zh) * 2014-07-24 2016-02-17 广州市动景计算机科技有限公司 网页显示方法和装置
CN105701113A (zh) * 2014-11-27 2016-06-22 国际商业机器公司 用于优化网页预加载的方法和设备
CN106611032A (zh) * 2015-10-27 2017-05-03 广州市动景计算机科技有限公司 一种网页预加载的方法及装置
CN107391664A (zh) * 2017-07-19 2017-11-24 广州华多网络科技有限公司 基于web的页面数据处理方法和系统
CN108549673A (zh) * 2018-03-29 2018-09-18 优视科技有限公司 网页资源的预加载方法、客户端、服务器及网络系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335139A (zh) * 2014-07-24 2016-02-17 广州市动景计算机科技有限公司 网页显示方法和装置
CN105701113A (zh) * 2014-11-27 2016-06-22 国际商业机器公司 用于优化网页预加载的方法和设备
CN104991916A (zh) * 2015-06-24 2015-10-21 小米科技有限责任公司 网页的加载方法及装置
CN106611032A (zh) * 2015-10-27 2017-05-03 广州市动景计算机科技有限公司 一种网页预加载的方法及装置
CN107391664A (zh) * 2017-07-19 2017-11-24 广州华多网络科技有限公司 基于web的页面数据处理方法和系统
CN108549673A (zh) * 2018-03-29 2018-09-18 优视科技有限公司 网页资源的预加载方法、客户端、服务器及网络系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672187A (zh) * 2020-12-18 2021-04-16 平安银行股份有限公司 页面生成方法、装置及计算机设备
CN113590913A (zh) * 2021-06-17 2021-11-02 青岛海尔科技有限公司 数据资源的显示方法及装置、存储介质及电子装置
CN113590913B (zh) * 2021-06-17 2023-06-16 青岛海尔科技有限公司 数据资源的显示方法及装置、存储介质及电子装置
CN114020992A (zh) * 2021-11-09 2022-02-08 北京百度网讯科技有限公司 页面封禁方法、装置、系统、客户端和存储介质

Similar Documents

Publication Publication Date Title
US10642904B2 (en) Infrastructure enabling intelligent execution and crawling of a web application
US9411782B2 (en) Real time web development testing and reporting system
US9135445B2 (en) Providing information about a web application or extension offered by website based on information about the application or extension gathered from a trusted site
US8751925B1 (en) Phased generation and delivery of structured documents
US8868637B2 (en) Page rendering for dynamic web pages
US8935755B1 (en) Managing permissions and capabilities of web applications and browser extensions based on install location
US9934310B2 (en) Determining repeat website users via browser uniqueness tracking
US9842133B2 (en) Auditing of web-based video
CN107408065B (zh) 监视应用加载
US10382313B2 (en) Test building for testing server operation
US10031971B2 (en) System and methods for optimizing the response to a request for dynamic web content
US11195202B2 (en) Dynamic monitoring and control of web page experiences based upon user activity of associated applications
US20160359989A1 (en) Recording And Triggering Web And Native Mobile Application Events With Mapped Data Fields
US11361149B2 (en) Techniques for web framework detection
CN111859077A (zh) 数据处理方法、装置、系统、计算机可读存储介质
US9645983B1 (en) Modifying a document at a script processing server using a client device's state information
US10826802B2 (en) Managing network communication protocols
US10079738B1 (en) Using a network crawler to test objects of a network document
CN114237651A (zh) 云原生应用的安装方法、装置、电子设备和介质
CN111597102A (zh) 一种页面性能的测试方法、终端及存储介质
CN113362173A (zh) 防重机制验证方法、验证系统、电子设备及存储介质
CN115982491A (zh) 页面更新方法及装置、电子设备和计算机可读存储介质
CN112988604B (zh) 对象测试方法、测试系统、电子设备及可读存储介质
Wang et al. A software quality framework for mobile application testing
US20240152356A1 (en) Automated developer configuration tool

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination