CN116431319A - 任务处理方法及装置 - Google Patents

任务处理方法及装置 Download PDF

Info

Publication number
CN116431319A
CN116431319A CN202310702178.XA CN202310702178A CN116431319A CN 116431319 A CN116431319 A CN 116431319A CN 202310702178 A CN202310702178 A CN 202310702178A CN 116431319 A CN116431319 A CN 116431319A
Authority
CN
China
Prior art keywords
task
data
target object
object attribute
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310702178.XA
Other languages
English (en)
Other versions
CN116431319B (zh
Inventor
朱勤佳
郑政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloud Array Hangzhou Internet Technology Co ltd
Original Assignee
Cloud Array Hangzhou Internet Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloud Array Hangzhou Internet Technology Co ltd filed Critical Cloud Array Hangzhou Internet Technology Co ltd
Priority to CN202310702178.XA priority Critical patent/CN116431319B/zh
Publication of CN116431319A publication Critical patent/CN116431319A/zh
Application granted granted Critical
Publication of CN116431319B publication Critical patent/CN116431319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/542Event management; Broadcasting; Multicasting; Notifications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/541Client-server
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书提供任务处理方法及装置,其中所述任务处理方法包括:接收第一处理方发送的任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性;根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图;从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图。通过根据第一处理方发送的任务处理请求进行任务处理,无需第二处理方理解、处理任务,从而避免第一处理方和第二处理方沟通过程信息损耗导致的返工现象,提高了任务处理效率,并利用置信度确定目标任务视图,提高任务处理结果的准确性。

Description

任务处理方法及装置
技术领域
本说明书涉及计算机技术领域,特别涉及任务处理方法及装置。
背景技术
开源数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,开源数据具有海量的数据规模、快速的数据流转、多样的数据类型和低密度的数据价值。对于很多行业而言,如何利用这些大规模开源数据,发掘其潜在价值,逐渐成为赢得核心竞争力的关键。
目前,通常由数据开发人员在理解任务的基础上进行数据清洗、组织、融合等处理,并将处理结果反馈给业务分析人员。然而这种方式不仅耗时耗力,而且在数据开发人员和业务分析人员的沟通过程中容易出现信息损耗导致返工现象,进而需要更高效更准确的任务处理方案。
发明内容
有鉴于此,本说明书实施例提供了一种任务处理方法。本说明书同时涉及一种任务处理装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种任务处理方法,包括:
接收第一处理方发送的任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性;
根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图;
从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;
根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图。
根据本说明书实施例的第二方面,提供了一种任务处理装置,包括:
接收模块,被配置为接收第一处理方发送的任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性;
筛选模块,被配置为根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图;
提取模块,被配置为从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;
确定模块,被配置为根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述第一方面所提供的任务处理方法的步骤。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述第一方面所提供的任务处理方法的步骤。
本说明书提供的任务处理方法,接收第一处理方发送的任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性;根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图;从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图。通过根据第一处理方发送的目标任务的任务对象和任务属性进行任务处理,无需第二处理方理解、处理任务,从而避免第一处理方和第二处理方沟通过程信息损耗导致的返工现象,提高了任务处理效率,并且,通过利用各目标对象属性对的置信度,确定目标任务视图,提高了任务处理结果的准确性。
附图说明
图1是本说明书一实施例提供的一种任务处理系统的架构图;
图2是本说明书一实施例提供的另一种任务处理系统的架构图;
图3是本说明书一实施例提供的一种任务处理方法的流程图;
图4是本说明书一实施例提供的一种任务处理方法中的置信度架构示意图;
图5是本说明书一实施例提供的一种任务处理方法的处理过程流程图;
图6是本说明书一实施例提供的另一种任务处理方法的处理过程流程图;
图7是本说明书一实施例提供的另一种任务处理方法的流程图;
图8是本说明书一实施例提供的一种任务处理界面的界面示意图;
图9是本说明书一实施例提供的一种任务处理装置的结构示意图;
图10是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
此外,需要说明的是,本说明书一个或多个实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
列式存储:数据是按照列为基础逻辑存储单元进行存储的,一列中的数据在存储介质中以连续存储形式存在。
置信度:在抽样对总体参数作出估计时,由于样本的随机性,其结论总是不确定的。因此,采用一种概率的陈述方法,也就是数理统计中的区间估计法,即估计值与总体参数在一定允许的误差范围以内,其相应的概率有多大,这个相应的概率称作置信度。
自助建模:指通过自助配置的方式从多个基础数据源中抽取关键信息并基于特定规则对抽取到的数据进行过滤、组织、融合,经过多轮迭代,最终产出的视图数据满足业务需求,而中间的处理逻辑即业务建模。
随着计算机技术的发展,如何利用大规模的开源数据,发掘其潜在价值,逐渐成为企业赢得核心竞争力的关键,而关键的核心又在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
目前,传统的任务处理方法是以业务分析人员、数据开发人员协同配合为主,让数据开发人员在理解业务的基础上进行针对性开发,覆盖数据处理全过程,包括清洗、组织、融合,以此满足特定业务场景,但是这种方式不仅耗时耗力而且在沟通过程中容易出现信息损耗导致返工现象。
为了解决上述问题,本说明书实施例从提效、角色能力聚焦角度出发,将任务处理过程进行解耦,由第一处理方负责数据清洗、数据浅组织,第二处理方负责数据深组织、数据融合,并以自助平台为媒介,让第一处理方在平台上进行自助建模,也即通过配置的方式实现自动抽取关键信息并汇聚成统一的数据视图,第一处理方以视图的方式对业务模型进行开发、迭代、验证。
具体地,本说明书实施例提供了一种任务处理方案,接收第一处理方发送的任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性;根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图;从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图。通过根据第一处理方发送的目标任务的任务对象和任务属性进行任务处理,无需第二处理方理解、处理任务,从而避免第一处理方和第二处理方沟通过程信息损耗导致的返工现象,提高了任务处理效率,并且,通过利用各目标对象属性对的置信度,确定目标任务视图,提高了任务处理结果的准确性。
在本说明书中,提供了一种任务处理方法,本说明书同时涉及一种任务处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了本说明书一个实施例提供的一种任务处理系统的架构图,任务处理系统可以包括客户端100和服务端200;
客户端100,用于向服务端200发送第一处理方输入的任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性;
服务端200,用于根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图;从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图;向客户端100发送目标任务对应的目标任务视图;
客户端100,还用于接收并展示服务端200发送的目标任务视图。
应用本说明书实施例的方案,通过根据第一处理方发送的目标任务的任务对象和任务属性进行任务处理,无需第二处理方理解、处理任务,从而避免第一处理方和第二处理方沟通过程信息损耗导致的返工现象,提高了任务处理效率,并且,通过利用各目标对象属性对的置信度,确定目标任务视图,提高了任务处理结果的准确性。
参见图2,图2示出了本说明书一个实施例提供的另一种任务处理系统的架构图,任务处理系统可以包括多个客户端100以及服务端200。多个客户端100之间通过服务端200可以建立通信连接,在任务处理场景中,服务端200即用来在多个客户端100之间提供任务处理服务,多个客户端100可以分别作为发送端或接收端,通过服务端200实现通信。
用户通过客户端100可与服务端200进行交互以接收其它客户端100发送的数据,或将数据发送至其它客户端100等。在任务处理场景中,可以是用户通过客户端100向服务端200发布数据流,服务端200根据该数据流进行任务处理,并将任务处理结果推送至其他建立通信的客户端中。
其中,客户端100与服务端200之间通过网络建立连接。网络为客户端100与服务端200之间提供了通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。客户端100所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至服务端200。
客户端100可以为浏览器、APP(Application,应用程序)、或网页应用如H5(HyperText Markup Language5,超文本标记语言第5版)应用、或轻应用(也被称为小程序,一种轻量级应用程序)或云应用等,客户端100可以基于服务端200提供的相应服务的软件开发工具包(SDK,Software Development Kit),如基于实时通信(RTC,Real TimeCommunication)SDK开发获得等。客户端100可以部署在电子设备中,需要依赖设备运行或者设备中的某些APP而运行等。电子设备例如可以具有显示屏并支持信息浏览等,如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用,例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
服务端200可以包括提供各种服务的服务器,例如为多个客户端提供通信服务的服务器,又如为客户端上使用的模型提供支持的用于后台训练的服务器,又如对客户端发送的数据进行处理的服务器等。需要说明的是,服务端200可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,Content DeliveryNetwork)以及大数据和人工智能平台等基础云计算服务的云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。
值得说明的是,本说明书实施例中提供的任务处理方法一般由服务端执行,但是,在本说明书的其它实施例中,客户端也可以与服务端具有相似的功能,从而执行本说明书实施例所提供的任务处理方法。在其它实施例中,本说明书实施例所提供的任务处理方法还可以是由客户端与服务端共同执行。
参见图3,图3示出了根据本说明书一实施例提供的一种任务处理方法的流程图,具体包括以下步骤:
步骤302:接收第一处理方发送的任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性。
本说明书一个或多个实施例中,响应于第一处理方发送的任务处理请求,由于任务处理请求中携带了目标任务的任务对象,因此,可以根据任务对象有针对性地生成目标任务视图,从而使得目标任务视图更加符合第一处理方的需求。
具体地,第一处理方是指目标任务对应的处理方,例如业务分析人员。任务处理请求的请求对象即为目标任务。目标任务对应的任务场景可以有多种,包括但不限于金融场景、电商场景、教育场景等等。目标任务的任务类型可以有多种,包括但不限于数据查询任务、数据分类任务,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。目标任务的任务对象可以理解为目标任务视图中的实体,任务对象的任务属性可以理解为实体的实体属性。
示例性地,假设第一处理方为业务分析人员,业务分析人员发送的任务处理请求为“请求构建一张以证件号为实体,手机、邮箱、姓名为属性的视图表供业务查询”。任务处理请求携带的目标任务即为“业务查询任务”,任务对象为“证件号”,任务对象的任务属性即为“手机、邮箱、姓名”。
实际应用中,接收第一处理方发送的任务处理请求的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
本说明书一种可能的实现方式中,可以向第一处理方提供任务处理请求输入框,直接接收第一处理方在任务处理请求输入框中输入的任务处理请求。
本说明书另一种可能的实现方式中,可以向第一处理方提供任务候选项,第一处理方可以直接在任务候选项中选择目标任务的任务对象和任务对象的任务属性,无需输入任务处理请求。响应于第一处理方的选择操作,根据第一处理方选择的任务候选项获取任务处理请求。
步骤304:根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图。
本说明书一个或多个实施例中,接收第一处理方发送的任务处理请求之后,进一步地,可以根据任务处理请求中携带的任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图。
具体地,视图也被称作虚表,即虚拟的表,是一组数据的逻辑表示,视图隐藏了底层的表结构,简化了数据访问操作。初始任务视图是指包括任务对象和任务属性的数据视图。数据视图中可以包括多个数据源中的数据。第二处理方是指基于多个数据源中的数据构建数据视图的处理方,例如数据开发人员。
实际应用中,根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。本说明书一种可能的实现方式中,可以直接根据任务对象和任务属性对数据视图进行裁剪,获得初始任务视图,其中,初始任务视图的视图形式与数据视图相同。本说明书另一种可能的实现方式中,根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出任务相关数据,从而基于任务相关数据配置初始任务视图,其中,初始任务视图的视图形式可以与数据视图不同。
需要说明的是,目标任务对应的初始任务视图之前,可以确定任务属性对应的属性编码,从而根据属性编码从第二处理方预先构建的数据视图中筛选初始任务视图,从而提高筛选效率。其中,属性编码具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
示例性地,假设任务处理请求携带的任务对象为“证件号”,任务对象的任务属性即为“手机、邮箱、姓名”,根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图如下表1所示:
表1初始任务视图
Figure SMS_1
本说明书一种可选的实施例中,任务处理请求还携带任务需求信息;上述根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图之后,还可以包括以下步骤:
根据任务需求信息,对初始任务视图进行裁剪,获得更新后的初始任务视图。
具体地,任务需求信息表征第一处理方在任务处理过程的实际需求,任务处理需求信息用于引导任务处理过程。任务需求信息包括但不限于数据源需求、内容格式需求(如中文描述)、数据质量需求,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
示例性地,假设初始任务视图中包括来自数据源1和数据源2的任务对象和任务对象的任务属性。获取任务处理请求中的任务需求信息为“不需要数据源2中的数据”,则可以裁剪初始任务视图中与数据源2相关的数据,从而获得更新后的初始任务视图。
应用本说明书实施例的方案,根据任务需求信息,对初始任务视图进行裁剪,获得更新后的初始任务视图,从而减少了初始任务视图中的数据量,提高了任务处理效率,并且,由于更新后的初始任务视图是根据第一处理方的任务需求信息裁剪得到的,使得更新后的初始任务视图更加符合第一处理方的实际需求,提高了任务处理准确性以及第一处理方的体验度。
实际应用中,数据视图的构建方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。本说明书一种可能的实现方式中,可以接收第二处理方构建完成的数据视图。
本说明书另一种可能的实现方式中,可以响应于第二处理方发送的视图构建请求,构建数据视图,也即,上述数据视图通过以下方式构建:
响应于第二处理方发送的视图构建请求,从多个数据源中确定待存储数据;
根据预设数据处理策略对待存储数据进行处理,获得初始存储数据;
对初始存储数据进行分析,确定初始存储数据的主键和主键对应的主键属性;
根据主键和主键对应的主键属性,构建数据视图。
具体地,视图构建请求的请求对象即为数据视图。视图构建请求中可以携带指定数据源,也可以不携带指定数据源。若视图构建请求中携带指定数据源,则从指定数据源中确定待存储数据;若视图构建请求中不携带指定数据源,则从所有数据源中确定待存储数据。进一步地,视图构建请求中还可以携带预设数据处理策略,预设数据处理策略用于对待存储数据进行处理。
数据源是指待存储数据的来源,如数据库1、数据库2。待存储数据可以是不同格式的数据,包括但不限于结构化数据、半结构化数据、非结构化数据。初始存储数据的主键也可以理解为初始存储数据中的实体,也可以称为数据唯一ID(身份标识,IdentityDocument),主键属性也可以理解为实体属性,如身份证、姓名、手机号、出生日期、邮箱等。
需要说明的是,对初始存储数据进行分析,确定初始存储数据的主键和主键对应的主键属性的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
本说明书一种可能的实现方式中,可以直接根据数据源内的记录行为单位构建主键。例如,记录行为单位为行列数,可以将行列数“1行3列”作为主键。
本说明书另一种可能的实现方式中,可以通过数据识别模型、预设主键识别模板确定初始存储数据的主键和主键对应的主键属性。其中,数据识别模型为机器学习模型,机器学习模型可以理解为经过训练的程序,可以在新数据中发现模式并进行预测。这些模型表示为一个数学函数,它以输入数据的形式接收请求,对输入数据进行预测,然后提供输出作为响应。例如,身份证为主键,则姓名、出生日期等为主键属性,身份证内容也为其主键属性。
应用本说明书实施例的方案,响应于第二处理方发送的视图构建请求,从多个数据源中确定待存储数据;根据预设数据处理策略对待存储数据进行处理,获得初始存储数据;对初始存储数据进行分析,确定初始存储数据的主键和主键对应的主键属性;根据主键和主键对应的主键属性,构建数据视图。通过响应于第二处理方发送的视图构建请求构建数据视图,从而减少了第二处理方的压力。
本说明书一种可选的实施例中,预设数据处理策略包括数据筛选策略和/或数据归一化策略;上述根据预设数据处理策略对待存储数据进行处理,获得初始存储数据,可以包括以下步骤:
根据数据筛选策略,对待存储数据进行筛选,获得初始存储数据;和/或,
根据数据归一化策略对待存储数据进行归一化处理,获得初始存储数据。
具体地,数据筛选策略用于筛选出符合数据规范的待存储数据,针对不符合数据规范的待存储数据进行舍弃或修订后保留。数据规范如身份证号码为18位,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。由于不同数据源对相同的属性可能会有不同的描述,因此,可以利用数据归一化策略对待存储数据的数据表现形式进行归一化。
示例性地,假设待存储数据为“张三,出生日期1998-2-31,性别男;李四性别MALE;王五性别FEMALE”。根据数据筛选策略,对待存储数据进行筛选,确定出生日期1998-2-31不符合数据规范,因此舍弃出生日期1998-2-31。由于“MALE、FEMALE、男”均表示性别,因此,可以利用数据归一化策略对待存储数据中的性别进行归一化处理,利用1表示男,用2表示女,用-1表示未知,则根据数据筛选策略对待存储数据进行处理,获得的初始存储数据为“张三,性别1;李四性别1;王五性别2”。
应用本说明书实施例的方案,根据数据筛选策略,对待存储数据进行筛选,获得初始存储数据;和/或,根据数据归一化策略对待存储数据进行归一化处理,获得初始存储数据。通过对各数据源中的待存储数据进行规范化和归一化,提高了待存储数据的规范性,避免后续任务处理时因数据不规范而出现数据遗漏、错误,提高了任务处理效率。
实际应用中,对初始存储数据进行分析,确定初始存储数据的主键和主键对应的主键属性之后,根据主键和主键对应的主键属性,构建数据视图的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
本说明书一种可能的实现方式中,可以通过二维表格的方式构建数据视图,二维表格的存储内容可以包括数据源、主键、主键属性。参见下表2,下述表2示出了二维表格式数据视图:
表2二维表格式数据视图
Figure SMS_2
本说明书另一种可选的实施例中,上述根据主键和主键对应的主键属性,构建数据视图,可以包括以下步骤:
根据主键和主键对应的主键属性,以列式存储的方式构建数据视图。
示例性地,下述表3示出了列式存储数据视图:
表3列式存储数据视图
Figure SMS_3
应用本说明书实施例的方案,根据主键和主键对应的主键属性,以列式存储的方式构建数据视图,避免不同数据源因数据不一样无法汇聚的问题,同时,列式存储的方式可以支持数据视图的动态扩展。
步骤306:从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度。
本说明书一个或多个实施例中,接收第一处理方发送的任务处理请求,根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图之后,进一步地,可以从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度。
具体地,目标对象属性对是指由任务对象-任务属性构成的数据对。置信度也可以称为可靠度、置信水平、置信系数。
示例性地,以表1为例,从初始任务视图中提取的目标对象属性对为P1-P3、P1-P5、P1-P6。
实际应用中,确定各目标对象属性对的置信度的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。本说明书一种可能的实现方式中,可以直接根据数据视图中的数据属性信息,确定各目标对象属性对的对象属性置信度,经对象属性置信度确定为各目标对象属性对的置信度。本说明书另一种可能的实现方式中,可以在对象属性置信度的基础上,融合数据源置信度,从而确定各目标对象属性对的置信度。
本说明书一种可选的实施例中,由于各目标对象属性对的数据源不一定准确,因此,可以对各目标对象属性对的数据源进行评估,从而确定数据源置信度,并且,由于数据视图中包括大量数据,基于各目标对象属性对的随机性,可以确定对象属性置信度,也即,上述确定各目标对象属性对的置信度,可以包括以下步骤:
对各目标对象属性对的数据源进行评估,获得各目标对象属性对的数据源置信度;
根据数据视图中的数据属性信息,确定各目标对象属性对的对象属性置信度;
根据各目标对象属性对的数据源置信度和各目标对象属性对的对象属性置信度,确定各目标对象属性对的置信度。
具体地,数据源置信度表征目标对象属性对数据来源的准确性。对象属性置信度用于表征目标对象属性对在数据视图中置信度。对象属性置信度包括时间置信度、频次置信度和数据源类型置信度中的至少一种。数据视图中的数据属性信息包括但不限于数据采集时间、主键属性对、数据源类型。实际应用中,由于任务对象的选择不同,各目标对象属性对的置信度也不同,因此,各目标对象属性对的置信度可以称为动态置信度。
需要说明的是,根据各目标对象属性对的数据源置信度和各目标对象属性对的对象属性置信度,确定各目标对象属性对的置信度时,可以为数据源置信度和对象属性置信度设置不同的权重,进一步根据数据源置信度和对象属性置信度各自对应的权重进行加权,获得各目标对象属性对的置信度。
示例性地,可以通过下述公式(1)确定各目标对象属性对的置信度:
置信度=0.4*数据源置信度+0.3*时间置信度+0.3*(0.4*频次置信度+0.6*数据源类型置信度)(1)
应用本说明书实施例的方案,根据各目标对象属性对的数据源置信度和各目标对象属性对的对象属性置信度,确定各目标对象属性对的置信度,使得各目标对象属性对的置信度更加全面,提高了各目标对象属性对的置信度的准确性。
实际应用中,对各目标对象属性对的数据源进行评估,获得各目标对象属性对的数据源置信度的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
本说明书第一种可能的实现方式中,可以通过专家评审的方式对数据源进行评估。具体地,由多个专家对各目标对象属性对的数据源进行评估,获得各专家的评估值,并对各专家的评估值求平均,将评估平均值转换为百分比作为数据源置信度。通过专家评审得到的数据源置信度可以称为专家评审置信度。
本说明书第二种可能的实现方式中,可以基于现有的底数数据估算各目标对象属性对的数据源置信度,也即,上述对各目标对象属性对的数据源进行评估,获得各目标对象属性对的数据源置信度,可以包括以下步骤:
根据各目标对象属性对、评估参考数据和评估参考数据的数据源,对各目标对象属性对的数据源进行评估,获得各目标对象属性对的数据源置信度。
具体地,评估参考数据是指携带标签的数据,标签也即评估参考数据的真实数据源,也就是说评估参考数据的数据源是真实、准确的。评估参考数据也可以理解为现有的底数数据。通过评估参考数据确定的数据源置信度可以称为数据源准确率。
根据各目标对象属性对、评估参考数据和评估参考数据的数据源,对各目标对象属性对的数据源进行评估时,可以在评估参考数据中查找与目标对象属性对相同的目标评估参考数据,对比目标评估参考数据的数据源与目标对象属性对的数据源是否相同,从而确定各目标对象属性对的数据源置信度。进一步地,若评估参考数据中没有与目标对象属性对相同的目标评估参考数据,则可以通过相似度计算的方式,将与目标对象属性对相似度最高的评估参考数据作为目标评估参考数据。
应用本说明书实施例的方案,根据各目标对象属性对、评估参考数据和评估参考数据的数据源,对各目标对象属性对的数据源进行评估,获得各目标对象属性对的数据源置信度,通过引入评估参考数据,从而提高了数据源置信度的准确性。
本说明书第三种可能的实现方式中,可以结合专家评审的方式和底数数据估算的方式,确定各目标对象属性对的数据源置信度。
示例性地,可以通过下述公式(2)确定各目标对象属性对的数据源置信度,其中,权重具体根据实际情况进行选择,本说明书实施例对此不作任何限定:
数据源置信度=0.5*专家评审置信度+0.5*数据源准确率(2)
本说明书第一种可选的实施例中,数据属性信息包括数据采集时间;上述根据数据视图中的数据属性信息,确定各目标对象属性对的对象属性置信度,可以包括以下步骤:
根据数据视图中的数据采集时间和各目标对象属性对的采集时间,确定各目标对象属性对的时间置信度。
具体地,数据采集时间表征数据的鲜活程度。数据采集时间可以是具体的采集日期,如2020-1-1,还可以是采集日期距当前日期的时长信息,如2年。
实际应用中,根据数据视图中的数据采集时间和各目标对象属性对的采集时间,确定各目标对象属性对的时间置信度的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
本说明书第一种可能的实现方式中,可以通过牛顿冷却定律计算目标对象属性对的时间置信度,其中,牛顿冷却定律如下述公式(3)所示:
Figure SMS_4
(3)
其中,T(t)表示目标对象属性对在采集时间t的置信度;H表示目标对象属性对周围的置信度,可以根据数据视图中的数据采集时间确定;
Figure SMS_5
表示冷却系数,T'(t)为T(t)的导数,表示置信度变化速率。
本说明书第二种可能的实现方式中,可以根据数据视图中的数据采集时间确定时间置信度参考值,如720天,置信度从1衰减至0.8。根据各目标对象属性对的采集时间和时间置信度参考值确定各目标对象属性对的时间置信度。
本说明书第三种可能的实现方式中,可以获取数据视图中各数据的数据采集时间,根据各数据采集时间确定数据视图中的采集时间范围,从而根据采集时间范围和目标对象属性对的采集时间,确定时间置信度。
例如,数据视图中的数据采集时间有1年、2年、3年、4年,可以确定采集时间范围为1年-4年,进一步可以确定采集时间范围(0,1]对应的时间置信度为0.8,采集时间范围(1,2]对应的时间置信度为0.6,采集时间范围(2,3]对应的时间置信度为0.4,采集时间范围(3,4]对应的时间置信度为0.2,假设目标对象属性对的采集时间为2.5年,则确定目标对象属性对的时间置信度为0.4。
应用本说明书实施例的方案,根据数据视图中的数据采集时间和各目标对象属性对的采集时间,确定各目标对象属性对的时间置信度。通过从时间维度确定目标对象属性对的置信度,考虑了目标对象属性对的鲜活程度,提高了目标任务视图的时效性。
本说明书第二种可选的实施例中,数据属性信息包括主键属性对;上述根据数据视图中的数据属性信息,确定各目标对象属性对的对象属性置信度,可以包括以下步骤:
针对任一目标对象属性对,对比该目标对象属性对和数据视图中的主键属性对,获得该目标对象属性对的频次对比结果;
根据各目标对象属性对的频次对比结果,确定各目标对象属性对的频次置信度。
具体地,主键属性对是指由数据视图中主键-主键属性构成的数据对。频次对比结果表征目标对象属性对命中主键属性对的频次,频次与频次置信度成正比。
实际应用中,对比目标对象属性对和数据视图中的主键属性对,若目标对象属性对命中主键属性对一次,则频次加一,在遍历完目标视图中的各主键属性对之后,可以获得各目标对象属性对的频次对比结果。
进一步地,获得各目标对象属性对的频次对比结果之后,可以获取频次置信度取值范围,根据频次对比结果和频次置信度取值范围确定各目标对象属性对的频次置信度。
示例性地,假设目标对象属性对的频次对比结果为命中8个主键属性对,频次置信度取值范围为频次(0,10]对应的频次置信度为0.7,频次(10,100]对应的频次置信度为0.8,频次(100,+∞)对应的频次置信度为0.9。根据频次对比结果和频次置信度取值范围确定目标对象属性对的频次置信度为0.7。
应用本说明书实施例的方案,针对任一目标对象属性对,对比该目标对象属性对和数据视图中的主键属性对,获得该目标对象属性对的频次对比结果;根据各目标对象属性对的频次对比结果,确定各目标对象属性对的频次置信度。通过从出现频次维度确定目标对象属性对的置信度,考虑了目标对象属性对的活跃程度,提高了目标任务视图的准确性。
本说明书第三种可选的实施例中,数据属性信息包括数据源类型;上述根据数据视图中的数据属性信息,确定各目标对象属性对的对象属性置信度,可以包括以下步骤:
识别各目标对象属性对的数据源类型;
针对任一目标对象属性对,对比该目标对象属性对的数据源类型和数据视图中的数据源类型,获得该目标对象属性对的类型对比结果;
根据各目标对象属性对的类型对比结果,确定各目标对象属性对的数据源类型置信度。
具体地,类型对比结果表征目标对象属性对的数据类型在数据视图中的数据源类型中所占的比例,也即占比,占比与数据源类型置信度成正比。数据源类型可以通过多种划分方式获得,如数据源类型可以是结构化数据源、非结构化数据源,还可以是数据源1、数据源2、数据源3等,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
实际应用中,识别各目标对象属性对的数据源类型的方式有多种,可以通过类型识别模型识别各目标对象属性对的数据源类型,还可以通过类型识别模板识别各目标对象属性对的数据源类型,数据源类型的识别方式具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
进一步地,获得各目标对象属性对的类型对比结果之后,可以获取数据源类型置信度取值范围,根据类型对比结果和数据源类型置信度取值范围确定各目标对象属性对的数据源类型置信度。
示例性地,假设目标对象属性对的类型对比结果为目标对象属性对的数据源类型占数据视图中的数据源类型的30%,数据源类型置信度取值范围为占比(0%-10%)对应的频次置信度为0.7,占比(10%-70%)对应的频次置信度为0.8,占比(70%100%)对应的频次置信度为0.9。根据类型对比结果和数据源类型置信度取值范围确定目标对象属性对的数据源类型置信度为0.8。
应用本说明书实施例的方案,识别各目标对象属性对的数据源类型;针对任一目标对象属性对,对比该目标对象属性对的数据源类型和数据视图中的数据源类型,获得该目标对象属性对的类型对比结果;根据各目标对象属性对的类型对比结果,确定各目标对象属性对的数据源类型置信度。通过从覆盖数据源类型维度确定目标对象属性对的置信度,考虑了目标对象属性对的覆盖范围,提高了目标任务视图的准确性。
参见图4,图4示出了根据本说明书一实施例提供的一种任务处理方法中的置信度架构示意图,各目标对象属性对的置信度可以包括数据源置信度和对象属性置信度,对象属性置信度包括时间置信度、频次置信度和数据源类型置信度。目标对象属性对的置信度=0.4*数据源置信度+0.3*时间置信度+0.3*(0.4*频次置信度+0.6*数据源类型置信度)。其中,权重具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
步骤308:根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图。
本说明书一种可能的实现方式中,接收第一处理方发送的任务处理请求,根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度之后,进一步地,可以根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图。
应用本说明书实施例的方案,通过根据第一处理方发送的目标任务的任务对象和任务属性进行任务处理,无需第二处理方理解、处理任务,从而避免第一处理方和第二处理方沟通过程信息损耗导致的返工现象,提高了任务处理效率,并且,通过利用各目标对象属性对的置信度,确定目标任务视图,提高了任务处理结果的准确性。
实际应用中,根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
本说明书一种可能的实现方式中,确定各目标对象属性对的置信度之后,可以在初始任务视图中添加各目标对象属性对的置信度,从而获得目标任务视图。
示例性地,下述表4示出了目标任务视图:
表4目标任务视图
Figure SMS_6
本说明书另一种可能的实现方式中,上述根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图,可以包括以下步骤:
根据各目标对象属性对的置信度,对初始任务视图进行裁剪,获得目标任务对应的目标任务视图。
实际应用中,根据各目标对象属性对的置信度,对初始任务视图进行裁剪的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
本说明书一种可能的实现方式中,可以获取置信度阈值,从初始任务视图中删除置信度小于置信度阈值的目标对象属性对,获得目标任务对应的目标任务视图。
本说明书另一种可能的实现方式中,可以对各目标对象属性对的置信度进行排序,删除排序靠后的M个目标对象属性对,获得目标任务对应的目标任务视图,其中,M具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
应用本说明书实施例的方案,根据各目标对象属性对的置信度,对初始任务视图进行裁剪,获得目标任务对应的目标任务视图,提高了目标任务视图的准确性。
下述结合附图5,对所述任务处理方法进行进一步说明。其中,图5示出了本说明书一个实施例提供的一种任务处理方法的处理过程流程图,具体包括以下步骤:
步骤502:接收第一处理方发送的任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性。
步骤504:根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图,并从初始任务视图中提取至少一个目标对象属性对。
步骤506:根据各目标对象属性对、评估参考数据和评估参考数据的数据源,对各目标对象属性对的数据源进行评估,获得各目标对象属性对的数据源置信度。
步骤508:根据数据视图中的数据采集时间和各目标对象属性对的采集时间,确定各目标对象属性对的时间置信度。
步骤510:针对任一目标对象属性对,对比该目标对象属性对和数据视图中的主键属性对,获得该目标对象属性对的频次对比结果;根据各目标对象属性对的频次对比结果,确定各目标对象属性对的频次置信度。
步骤512:识别各目标对象属性对的数据源类型;针对任一目标对象属性对,对比该目标对象属性对的数据源类型和数据视图中的数据源类型,获得该目标对象属性对的类型对比结果;根据各目标对象属性对的类型对比结果,确定各目标对象属性对的数据源类型置信度。
步骤514:根据各目标对象属性对的数据源置信度、时间置信度、频次置信度以及数据源类型置信度,确定目标任务对应的目标任务视图。
需要说明的是,步骤502至步骤514的具体实现方式与上述步骤302至步骤308的实现方式相同,本说明书实施例便不再进行赘述。
应用本说明书实施例的方案,通过根据第一处理方发送的目标任务的任务对象和任务属性进行任务处理,无需第二处理方理解、处理任务,从而避免第一处理方和第二处理方沟通过程信息损耗导致的返工现象,提高了任务处理效率,并且,通过利用各目标对象属性对的置信度,确定目标任务视图,提高了任务处理结果的准确性。
参见图6,图6示出了根据本说明书一实施例提供的另一种任务处理方法的处理过程流程图,包括:
数据标准化(规范化和归一化):
从数据源1、数据源2至数据源N中获取待存储数据,对待存储数据进行标准化处理,获得初始存储数据。具体地,检查出符合规范的属性值,如身份证、姓名、手机号、出生日期、邮箱等,针对不符合规范的数据进行修订后保留或舍弃,并对数据源中相同属性值的描述进行归一化处理。进一步地,可以根据初始存储数据以二维表格的方式构建数据视图。
数据清洗、浅组织:
获得初始存储数据之后,可以直接进行数据浅组织,还可以对初始存储数据进行数据清洗,利用清洗后的初始存储数据进行数据浅组织。在进行数据浅组织时,可以对初始存储数据进行分析,确定初始存储数据的主键和主键对应的主键属性,并将主键和属性的关系以列式存储方式进行数据汇聚,获得数据视图。
数据深组织(数据融合):
在自助建模框架的取数引擎中,根据任务处理请求中携带的目标任务的任务对象和任务属性进行属性聚合,从以二维表格的方式构建的数据视图中筛选出目标任务对应的初始任务视图。从初始任务视图中提取至少一个目标对象属性对,并从数据源维度、采集时间维度、出现频次维度、数据源类型维度确定各目标对象属性对的置信度。
需要说明的是,在筛选出初始任务视图时,还可以引入任务需求信息(先验知识),如数据质量需求和数据源需求,从而根据任务需求信息,对初始任务视图进行裁剪,获得更新后的初始任务视图。
业务视图查询:
可以直接将列式存储的数据视图作为业务视图,还可以根据各目标对象属性对的置信度,确定目标任务对应的业务视图。业务分析人员可以根据任务属性从业务视图中查询到具体的任务对象,任务对象如人或设备;还可以根据任务对象,从业务视图中查询出任务对象对应的任务属性及其置信度;通过反复查询,业务分析人员可以抽取出关注的任务对象及其之间关系网络。
应用本说明书实施例的方案,引入任务需求信息,业务分析人员通过自助配置的方式,从数据视图中抽取出关键信息并生成业务视图,实现了以人工耦合的方式适配不同的业务场景,经过多轮迭代后,完成业务模型开发,提升数据融合质量。引入层级置信度计算框架,实现数据置信度打分,保证业务视图的准确性。
参见图7,图7示出了根据本说明书一实施例提供的另一种任务处理方法的流程图,包括:
初始任务视图配置:接收第一处理方发送的任务处理请求,其中,任务处理请求携带目标任务的任务需求信息、任务对象和任务对象的任务属性;根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图。
初始任务视图裁剪:根据任务需求信息,对初始任务视图进行裁剪,获得更新后的初始任务视图。
提取目标对象属性对:从更新后的初始任务视图中提取至少一个目标对象属性对。
确定数据源置信度:对各目标对象属性对的数据源进行评估,获得各目标对象属性对的数据源置信度。
确定对象属性置信度:根据数据视图中的数据属性信息,确定各目标对象属性对的对象属性置信度。
确定目标对象属性对的置信度:根据各目标对象属性对的数据源置信度和各目标对象属性对的对象属性置信度,确定各目标对象属性对的置信度。
根据置信度确定目标任务视图:根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图。
参见图8,图8示出了本说明书一个实施例提供的一种任务处理界面的界面示意图。任务处理界面分为任务处理请求输入界面和任务处理结果展示界面。任务处理请求输入界面中包括任务处理请求输入框、“确定”控件以及“取消”控件。任务处理结果展示界面中包括任务处理结果展示框。
第一处理方通过客户端显示的任务处理请求输入框输入任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性,点选“确定”控件,服务端接收客户端发送的任务处理请求,根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图;从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图,并将目标任务视图发送至客户端。客户端在任务处理结果展示框中显示目标任务视图。
实际应用中,用户对控件进行操作的方式包括点击、双击、触控、鼠标悬停、滑动、长按、语音控制或摇一摇等任一方式,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
与上述方法实施例相对应,本说明书还提供了任务处理装置实施例,图9示出了本说明书一实施例提供的一种任务处理装置的结构示意图。如图9所示,该装置包括:
接收模块902,被配置为接收第一处理方发送的任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性;
筛选模块904,被配置为根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图;
提取模块906,被配置为从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;
确定模块908,被配置为根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图。
可选地,提取模块906,进一步被配置为对各目标对象属性对的数据源进行评估,获得各目标对象属性对的数据源置信度;根据数据视图中的数据属性信息,确定各目标对象属性对的对象属性置信度;根据各目标对象属性对的数据源置信度和各目标对象属性对的对象属性置信度,确定各目标对象属性对的置信度。
可选地,提取模块906,进一步被配置为根据各目标对象属性对、评估参考数据和评估参考数据的数据源,对各目标对象属性对的数据源进行评估,获得各目标对象属性对的数据源置信度。
可选地,数据属性信息包括数据采集时间;提取模块906,进一步被配置为根据数据视图中的数据采集时间和各目标对象属性对的采集时间,确定各目标对象属性对的时间置信度。
可选地,数据属性信息包括主键属性对;提取模块906,进一步被配置为针对任一目标对象属性对,对比该目标对象属性对和数据视图中的主键属性对,获得该目标对象属性对的频次对比结果;根据各目标对象属性对的频次对比结果,确定各目标对象属性对的频次置信度。
可选地,数据属性信息包括数据源类型;提取模块906,进一步被配置为识别各目标对象属性对的数据源类型;针对任一目标对象属性对,对比该目标对象属性对的数据源类型和数据视图中的数据源类型,获得该目标对象属性对的类型对比结果;根据各目标对象属性对的类型对比结果,确定各目标对象属性对的数据源类型置信度。
可选地,还装置还包括:数据视图构建模块,被配置为响应于第二处理方发送的视图构建请求,从多个数据源中确定待存储数据;根据预设数据处理策略对待存储数据进行处理,获得初始存储数据;对初始存储数据进行分析,确定初始存储数据的主键和主键对应的主键属性;根据主键和主键对应的主键属性,构建数据视图。
应用本说明书实施例的方案,通过根据第一处理方发送的目标任务的任务对象和任务属性进行任务处理,无需第二处理方理解、处理任务,从而避免第一处理方和第二处理方沟通过程信息损耗导致的返工现象,提高了任务处理效率,并且,通过利用各目标对象属性对的置信度,确定目标任务视图,提高了任务处理结果的准确性。
上述为本实施例的一种任务处理装置的示意性方案。需要说明的是,该任务处理装置的技术方案与上述的任务处理方法的技术方案属于同一构思,任务处理装置的技术方案未详细描述的细节内容,均可以参见上述任务处理方法的技术方案的描述。
图10示出了根据本说明书一实施例提供的一种计算设备的结构框图。该计算设备1000的部件包括但不限于存储器1010和处理器1020。处理器1020与存储器1010通过总线1030相连接,数据库1050用于保存数据。
计算设备1000还包括接入设备1040,接入设备1040使得计算设备1000能够经由一个或多个网络1060通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备1040可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,NetworkInterface Card))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,Wireless LocalArea Networks)无线接口、全球微波互联接入(Wi-MAX,World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near Field Communication)接口,等等。
在本说明书的一个实施例中,计算设备1000的上述部件以及图10中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图10所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1000可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备1000还可以是移动式或静止式的服务器。
其中,处理器1020用于执行如下计算机可执行指令:
接收第一处理方发送的任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性;
根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图;
从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;
根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的任务处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述任务处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
接收第一处理方发送的任务处理请求,其中,任务处理请求携带目标任务的任务对象和任务对象的任务属性;
根据任务对象和任务属性,从第二处理方预先构建的数据视图中筛选出目标任务对应的初始任务视图;
从初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;
根据各目标对象属性对的置信度,确定目标任务对应的目标任务视图。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的任务处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述任务处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种任务处理方法,其特征在于,包括:
接收第一处理方发送的任务处理请求,其中,所述任务处理请求携带目标任务的任务对象和所述任务对象的任务属性;
根据所述任务对象和所述任务属性,从第二处理方预先构建的数据视图中筛选出所述目标任务对应的初始任务视图;
从所述初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;
根据所述各目标对象属性对的置信度,确定所述目标任务对应的目标任务视图。
2.根据权利要求1所述的方法,其特征在于,所述确定各目标对象属性对的置信度,包括:
对所述各目标对象属性对的数据源进行评估,获得所述各目标对象属性对的数据源置信度;
根据所述数据视图中的数据属性信息,确定所述各目标对象属性对的对象属性置信度;
根据所述各目标对象属性对的数据源置信度和所述各目标对象属性对的对象属性置信度,确定所述各目标对象属性对的置信度。
3.根据权利要求2所述的方法,其特征在于,所述对所述各目标对象属性对的数据源进行评估,获得所述各目标对象属性对的数据源置信度,包括:
根据所述各目标对象属性对、评估参考数据和所述评估参考数据的数据源,对所述各目标对象属性对的数据源进行评估,获得所述各目标对象属性对的数据源置信度。
4.根据权利要求2所述的方法,其特征在于,所述数据属性信息包括数据采集时间;
所述根据所述数据视图中的数据属性信息,确定所述各目标对象属性对的对象属性置信度,包括:
根据所述数据视图中的数据采集时间和所述各目标对象属性对的采集时间,确定所述各目标对象属性对的时间置信度。
5.根据权利要求2所述的方法,其特征在于,所述数据属性信息包括主键属性对;
所述根据所述数据视图中的数据属性信息,确定所述各目标对象属性对的对象属性置信度,包括:
针对任一目标对象属性对,对比该目标对象属性对和所述数据视图中的主键属性对,获得该目标对象属性对的频次对比结果;
根据所述各目标对象属性对的频次对比结果,确定所述各目标对象属性对的频次置信度。
6.根据权利要求2所述的方法,其特征在于,所述数据属性信息包括数据源类型;
所述根据所述数据视图中的数据属性信息,确定所述各目标对象属性对的对象属性置信度,包括:
识别所述各目标对象属性对的数据源类型;
针对任一目标对象属性对,对比该目标对象属性对的数据源类型和所述数据视图中的数据源类型,获得该目标对象属性对的类型对比结果;
根据所述各目标对象属性对的类型对比结果,确定所述各目标对象属性对的数据源类型置信度。
7.根据权利要求1所述的方法,其特征在于,所述数据视图通过以下方式构建:
响应于所述第二处理方发送的视图构建请求,从多个数据源中确定待存储数据;
根据预设数据处理策略对所述待存储数据进行处理,获得初始存储数据;
对所述初始存储数据进行分析,确定所述初始存储数据的主键和所述主键对应的主键属性;
根据所述主键和所述主键对应的主键属性,构建所述数据视图。
8.一种任务处理装置,其特征在于,包括:
接收模块,被配置为接收第一处理方发送的任务处理请求,其中,所述任务处理请求携带目标任务的任务对象和所述任务对象的任务属性;
筛选模块,被配置为根据所述任务对象和所述任务属性,从第二处理方预先构建的数据视图中筛选出所述目标任务对应的初始任务视图;
提取模块,被配置为从所述初始任务视图中提取至少一个目标对象属性对,并确定各目标对象属性对的置信度;
确定模块,被配置为根据所述各目标对象属性对的置信度,确定所述目标任务对应的目标任务视图。
9.一种计算设备,其特征在于,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,其存储有计算机指令,该指令被处理器执行时实现权利要求1至7任意一项所述方法的步骤。
CN202310702178.XA 2023-06-14 2023-06-14 任务处理方法及装置 Active CN116431319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310702178.XA CN116431319B (zh) 2023-06-14 2023-06-14 任务处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310702178.XA CN116431319B (zh) 2023-06-14 2023-06-14 任务处理方法及装置

Publications (2)

Publication Number Publication Date
CN116431319A true CN116431319A (zh) 2023-07-14
CN116431319B CN116431319B (zh) 2023-09-12

Family

ID=87091187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310702178.XA Active CN116431319B (zh) 2023-06-14 2023-06-14 任务处理方法及装置

Country Status (1)

Country Link
CN (1) CN116431319B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018099275A1 (zh) * 2016-11-29 2018-06-07 阿里巴巴集团控股有限公司 一种业务对象属性标识的生成方法、装置和系统
US10474926B1 (en) * 2017-11-16 2019-11-12 Amazon Technologies, Inc. Generating artificial intelligence image processing services
CN111125438A (zh) * 2019-12-25 2020-05-08 北京百度网讯科技有限公司 实体信息提取方法、装置、电子设备及存储介质
CN112486074A (zh) * 2020-12-03 2021-03-12 上海哔哩哔哩科技有限公司 数据处理系统、方法及装置
CN113296912A (zh) * 2021-05-25 2021-08-24 北京京东振世信息技术有限公司 任务处理方法及装置、系统、存储介质、电子设备
CN113342518A (zh) * 2021-05-31 2021-09-03 中国工商银行股份有限公司 任务处理方法和装置
CN113935616A (zh) * 2021-10-12 2022-01-14 支付宝(杭州)信息技术有限公司 数据处理方法及装置
CN114004700A (zh) * 2021-10-27 2022-02-01 深圳乐信软件技术有限公司 业务数据处理方法、装置、电子设备及存储介质
CN114461358A (zh) * 2021-12-22 2022-05-10 阿里巴巴(中国)有限公司 服务处理方法及系统
CN115269228A (zh) * 2022-07-29 2022-11-01 广州惠侨计算机科技有限公司 一种数据适配传输方法、装置、设备和介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018099275A1 (zh) * 2016-11-29 2018-06-07 阿里巴巴集团控股有限公司 一种业务对象属性标识的生成方法、装置和系统
US10474926B1 (en) * 2017-11-16 2019-11-12 Amazon Technologies, Inc. Generating artificial intelligence image processing services
CN111125438A (zh) * 2019-12-25 2020-05-08 北京百度网讯科技有限公司 实体信息提取方法、装置、电子设备及存储介质
CN112486074A (zh) * 2020-12-03 2021-03-12 上海哔哩哔哩科技有限公司 数据处理系统、方法及装置
CN113296912A (zh) * 2021-05-25 2021-08-24 北京京东振世信息技术有限公司 任务处理方法及装置、系统、存储介质、电子设备
CN113342518A (zh) * 2021-05-31 2021-09-03 中国工商银行股份有限公司 任务处理方法和装置
CN113935616A (zh) * 2021-10-12 2022-01-14 支付宝(杭州)信息技术有限公司 数据处理方法及装置
CN114004700A (zh) * 2021-10-27 2022-02-01 深圳乐信软件技术有限公司 业务数据处理方法、装置、电子设备及存储介质
CN114461358A (zh) * 2021-12-22 2022-05-10 阿里巴巴(中国)有限公司 服务处理方法及系统
CN115269228A (zh) * 2022-07-29 2022-11-01 广州惠侨计算机科技有限公司 一种数据适配传输方法、装置、设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EZBAKHE, FATINE.ET: "Embracing data uncertainty in water decision-making: an application to evaluate water supply and sewerage in Spain", 《WATER SUPPLY》 *
张翔熙: "基于多任务学习的查询向量表示算法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
王翠娥;: "基于分簇能耗聚集的云计算多目标任务调度算法", 石家庄学院学报, no. 03 *

Also Published As

Publication number Publication date
CN116431319B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
JP7343568B2 (ja) 機械学習のためのハイパーパラメータの識別および適用
CN110956547B (zh) 一种基于搜索引擎的实时识别欺诈团伙的方法及系统
CN108776844B (zh) 基于上下文感知张量分解的社交网络用户行为预测方法
US20200034419A1 (en) Text classification using automatically generated seed data
JP2018085116A (ja) 知識グラフを完成させるための方法および装置
US20140143332A1 (en) Discovering signature of electronic social networks
US20180137150A1 (en) Automatic entity resolution with rules detection and generation system
CN109189937B (zh) 一种特征关系推荐方法及装置、一种计算设备及存储介质
CN110162717A (zh) 一种推荐好友的方法和设备
CN110287316A (zh) 一种告警分类方法、装置、电子设备及存储介质
CN109189935B (zh) 一种基于知识图谱的app传播分析方法及系统
CN111198897B (zh) 科研热点主题分析方法、装置与电子设备
CN109522399B (zh) 用于生成信息的方法和装置
CN112085087A (zh) 业务规则生成的方法、装置、计算机设备及存储介质
CN107256231B (zh) 一种团队成员识别设备、方法及系统
CN110348516B (zh) 数据处理方法、装置、存储介质及电子设备
CN111159559A (zh) 根据用户需求和用户行为构建推荐引擎的方法
CN116431319B (zh) 任务处理方法及装置
CN114969018B (zh) 一种数据监控方法及系统
CN111027771A (zh) 景区客流量预估方法、系统、装置及可存储介质
CN114048294B (zh) 相似人群扩展模型训练方法、相似人群扩展方法和装置
CN115660695A (zh) 客服人员标签画像构建方法、装置、电子设备及存储介质
CN113095084B (zh) 一种物联网中语义服务匹配方法、装置及存储介质
CN115712511A (zh) 基于双线性图神经网络的Web服务分类方法
CN115470361A (zh) 数据检测方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant