CN108897772B - 数据源补充方法、装置、计算机设备和存储介质 - Google Patents
数据源补充方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN108897772B CN108897772B CN201810546833.6A CN201810546833A CN108897772B CN 108897772 B CN108897772 B CN 108897772B CN 201810546833 A CN201810546833 A CN 201810546833A CN 108897772 B CN108897772 B CN 108897772B
- Authority
- CN
- China
- Prior art keywords
- data
- data source
- source
- query
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据源补充方法、装置、计算机设备和存储介质。所述方法包括:接收数据源补充指令,该数据源补充指令中携带有数据源标识;根据该数据源标识确定待更新数据的数据源,并从存储有源数据的数据库中获取对应该源数据的数据源中间数据;通过不同类型数据源参数将该数据源中间数据转换成用于更新该数据源中数据的数据源补充数据;根据该数据源补充数据更新该数据源中的数据。采用本方法能够,避免了花费大量时间在获取数据源中间数据上,从而减少了补充数据源数据所花费的时间,进而提高了数据源补充的效率。
Description
技术领域
本申请涉及数据库技术领域,特别是涉及一种数据源补充方法、装置、计算机设备和存储介质。
背景技术
随着数据库技术的发展,出现了海量数据查询平台,海量数据平台可以在不同的业务场景下进行数据分析。通过海量数据查询平台即可以满足海量数据的查询,又可以根据当下场景的需求实时、自助地进行数据查询。
然而,发明人发现目前的海量数据查询平台,是建立在数据源包括丰富的数据的前提下,这也就需要数据源能够快速更新内容,而且为了满足不同场景下的数据查询,也需要不同类型的数据源提供数据。而使用目前的数据源提供方法,无法保证海量数据查询平台的数据源能够快速进行更新,在保证数据查询的准确率的前提下,难以很快地得到查询结果,使得海量数据查询的效率降低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高海量数据查询的效率的数据源补充方法、装置、计算机设备和存储介质。
一种数据源补充方法,该方法包括:
接收数据源补充指令,该数据源补充指令中携带有数据源标识;
根据该数据源标识确定待更新数据的数据源,并从存储有源数据的数据库中获取对应该源数据的数据源中间数据;
通过不同类型数据源参数将该数据源中间数据转换成用于更新该数据源中数据的数据源补充数据;
根据该数据源补充数据更新该数据源中的数据。
在其中一个实施例中,还包括:
从该存储有源数据的数据库中获取该源数据;
从该源数据中查询页面文件和带参数事件信息;
根据该页面文件和带参数事件信息相应的路径获取一级事件编码;
将该一级事件编码嵌入该源数据中,得到数据源中间数据。
在其中一个实施例中,还包括:
从该源数据中查询页面文件和事件信息;
根据该页面文件和事件信息相应的路径获取二级事件编码;
根据该一级事件编码选取相应的二级事件编码;
将选取的二级事件编码添加在该数据源中间数据中,得到数据源补充数据。
在其中一个实施例中,还包括:
当接收到数据查询指令时,则
检测该数据查询指令中是否存在事件参数;
当检测出事件参数时,则根据该数据查询指令获取一级事件编码;
当未检测出事件参数时,则根据该数据查询指令获取二级事件编码。
在其中一个实施例中,还包括:
对查询条件和相应的查询结果添加画像标签,得到基础画像模型;
根据获取的查询条件、获取到查询条件的顺序和相应的查询结果,对该基础画像模型进行再训练,得到用户画像模型;
根据该用户画像模型生成该数据源补充数据。
在其中一个实施例中,还包括:
接收到数据查询指令时,则
根据该数据查询指令中的查询条件和该用户画像模型,获取推荐查询条件和查询结果;
反馈该推荐查询条件和查询结果,该推荐查询条件用于指示进行后续的数据查询。
在其中一个实施例中,该数据源包括漏斗数据源和画像数据源;该漏斗数据源相应的数据源补充数据根据该数据源中间数据和二级事件编码生成,该画像数据源相应的数据源补充数据根据该数据源中间数据和用户画像模型生成。
一种数据源补充装置,该装置包括:
指令接收模块,用于接收数据源补充指令,该数据源补充指令中携带有数据源标识;
数据获取模块,用于根据该数据源标识确定待更新数据的数据源,并从存储有源数据的数据库中获取对应该源数据的数据源中间数据;
数据转换模块,用于通过不同类型数据源参数将该数据源中间数据转换成用于更新该数据源中数据的数据源补充数据;
数据源补充模块,用于根据该数据源补充数据更新该数据源中的数据。
一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行该计算机程序时实现以下步骤:
接收数据源补充指令,该数据源补充指令中携带有数据源标识;
根据该数据源标识确定待更新数据的数据源,并从存储有源数据的数据库中获取对应该源数据的数据源中间数据;
通过不同类型数据源参数将该数据源中间数据转换成用于更新该数据源中数据的数据源补充数据;
根据该数据源补充数据更新该数据源中的数据。
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以下步骤:
接收数据源补充指令,该数据源补充指令中携带有数据源标识;
根据该数据源标识确定待更新数据的数据源,并从存储有源数据的数据库中获取对应该源数据的数据源中间数据;
通过不同类型数据源参数将该数据源中间数据转换成用于更新该数据源中数据的数据源补充数据;
根据该数据源补充数据更新该数据源中的数据。
上述数据源补充方法、装置、计算机设备和存储介质,根据接收到的数据源补充指令从源数据中获取数据源中间数据,而通过不同类型的数据源参数将数据源中间数据转换成数据源补充数据,可以将相同的数据源中间数据转换成多种数据源的数据源补充数据,再根据数据源补充数据补充数据源就可以补充数据源的数据。这样使用相同的数据源中间数据,仅根据不同类型的数据源参数就可以满足不同的数据源的数据补充,避免了花费大量时间在获取数据源中间数据上,从而减少了补充数据源数据所花费的时间,进而提高了数据源补充的效率。
附图说明
图1为一个实施例中数据源补充方法的应用场景图;
图2为一个实施例中数据源补充方法的流程示意图;
图3为一个实施例中数据源补充方法的步骤的流程示意图;
图4为另一个实施例中数据源补充方法的流程示意图;
图5为一个实施例中数据源补充装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据源补充方法,可以应用于如图1所示的应用环境中。其中,终端110、服务器120与数据库130通过网络进行通信。服务器120接收终端110发送的数据源补充指令,该数据源补充指令中携带有数据源标识,根据该数据源标识确定待更新数据的数据源,从存储有源数据的数据库130中获取对应该源数据的数据源中间数据,通过不同类型数据源参数将该数据源中间数据转换成用于更新该数据源中数据的数据源补充数据,根据该数据源补充数据更新该数据源中的数据。
其中,终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器120和数据库130可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在其中一个实施例中,如图2所示,提供了一种数据源补充方法,以该方法应用于图1中的服务器120为例进行说明,包括以下步骤:
S202,接收数据源补充指令,该数据源补充指令中携带有数据源标识。
其中,数据源补充指令是指定补充海量数据查询平台的数据源的指令。数据源标识是区分不同类型数据源的标识。数据源标识具体可以用于区分漏斗数据源和画像数据源。
在其中一个实施例中,服务器接收到数据源补充指令时,解析该数据源补充指令,得到数据源标识,根据数据源标识确定需要补充数据的数据源。
S204,根据该数据源标识确定待更新数据的数据源,并从存储有源数据的数据库中获取对应该源数据的数据源中间数据。
其中,源数据是存储在数据库中,且不能直接转成成数据源补充数据的数据。源数据具体可以存储在数据库的数据源层和轻度汇总层中。数据源中间数据是可以转换成不同类型数据源的数据源补充数据的中间数据。数据源中间数据具体可以是用户日志行为中间表,且数据源中间数据具体可以存储在数据库的中间层中。数据源是用于指向数据库中数据的路径的集合,针对不同类型的查询方式,相应有不同类型的数据源。相同的源数据采用不同的查询方式,得到的查询结果也会不相同,将源数据按照数据的规律进行整理,可以得到数据源中间数据,而数据源中间数据在根据不同类型的数据源参数进行转换,得到不同类型数据源的数据源补充数据,这样就可以在得到数据源中间数据后,再转换成不同类型数据源,减少了直接从源数据转换成数据源的部分步骤。
在其中一个实施例中,服务器定时从数据库的数据源层和轻度汇总层中选取源数据,并将源数据转换成数据源中间数据后写入数据库的中间层。在服务器接收到数据源补充指令时,直接从数据库的中间层中选取数据源中间数据。
S206,通过不同类型数据源参数将该数据源中间数据转换成用于更新该数据源中数据的数据源补充数据。
其中,不同类型数据源参数是不同类型的数据源参数。具体可以是漏斗数据源和画像数据源的数据源参数。数据源补充数据是将数据源中数据补充为最新数据的修补数据。
在其中一个实施例中,服务器根据数据源补充指令确定数据源的类型,并根据数据源的类型选取相应的数据源参数,再通过选取的数据源参数将数据源中间数据转换成数据源补充数据。
S208,根据该数据源补充数据更新该数据源中的数据。
其中,数据源是存储了与数据库建立连接的指示信息的数据集合。具体的,根据该数据源补充数据更新该数据源中的数据,可以是根据数据源补充数据修改、删除或增加数据源中的数据。
在其中一个实施例中,服务器在生成了数据源补充数据后,对比数据源补充数据和相应的数据源。服务器将数据源中不存在的数据直接写入数据源中。服务器将数据源中与数据源补充数据具有相同数据标签的数据修改为旧版本数据,再将数据源补充数据中相应的数据写入数据源中,标识为新版本数据。服务器根据数据源补充数据将数据源中的无效数据删除。
上述数据源补充方法中,根据接收到的数据源补充指令从源数据中获取数据源中间数据,而通过不同类型的数据源参数将数据源中间数据转换成数据源补充数据,可以将相同的数据源中间数据转换成多种数据源的数据源补充数据,再根据数据源补充数据补充数据源就可以补充数据源的数据。这样使用相同的数据源中间数据,仅根据不同类型的数据源参数就可以满足不同的数据源的数据补充,避免了花费大量时间在获取数据源中间数据上,从而减少了补充数据源数据所花费的时间,进而提高了数据源补充的效率。
在其中一个实施例中,还包括:从该存储有源数据的数据库中获取该源数据;从该源数据中查询页面文件和带参数事件信息;根据该页面文件和带参数事件信息相应的路径获取一级事件编码;将该一级事件编码嵌入该源数据中,得到数据源中间数据。
其中,页面文件是向用户展示的页面相应的页面文件。带参数事件信息是附带参数的事件信息。参数具体可以是用户在终端上的操作信息,例如滑动信息和点击信息等。事件信息具体用户对页面上的组件进行操作所触发的信息。带参数事件信息相应的路径是带参数事件信息在数据库中的存储路径。一级事件编码是带参数事件信息相应的编码。一级事件编码具体可以用lv1_event_code表示。
在其中一个实施例中,服务器获取到页面文件和带参数事件信息后,解析该页面文件,得到页面文件中所包含的事件发生组件,通过事件发生组件校验该带参数事件信息后,生成该带参数事件信息的路径。服务器根据带参数事件信息相应的路径进行加密计算,得到带参数事件信息相应的一级事件编码。
本实施例中,通过页面文件和带参数事件信息相应的路径获取一级事件编码,由于带参数事件信息中包含参数,可以使得根据一级事件编码获取到的数据源中间数据也包含相应的参数,从而丰富了数据源中间数据。
在其中一个实施例中,还包括:从该源数据中查询页面文件和事件信息;根据该页面文件和事件信息相应的路径获取二级事件编码;根据该一级事件编码选取相应的二级事件编码;将选取的二级事件编码添加在该数据源中间数据中,得到数据源补充数据。
其中,事件信息具体可以是不带参数的事件信息。二级事件编码是不带参数的事件信息的编码。二级事件编码具体可以用lv2_event_code表示。
在其中一个实施例中,服务器根据带参数事件信息相应的路径生成一级事件编码后,将该带参数事件信息去除参数,得到相应的事件信息,并生成相应的事件编码中转标识。在服务器根据事件信息的路径生成二级事件编码时,根据与该事件信息相匹配的事件编码中转标识,将一级事件编码和二级事件编码相关联。
在其中一个实施例中,服务器获取到页面文件和事件信息后,解析该页面文件,得到页面文件中所包含的事件发生组件,通过事件发生组件校验该事件信息后,生成该事件信息的路径。服务器根据事件信息相应的路径进行加密计算,得到事件信息相应的二级事件编码。
本实施例中,通过页面文件和事件信息相应的路径获取二级事件编码,再根据一级事件编码选取二级事件编码,可以保证选取到的二级事件编码和数据源中间数据匹配,从而使得根据与一级事件编码相匹配的二级事件编码和数据源中间数据获取到的数据源补充数据,可以保证数据源补充数据包含事件信息相应的参数,进而使得数据源补充数据更加丰富。
在其中一个实施例中,还包括:当接收到数据查询指令时,则检测该数据查询指令中是否存在事件参数;当检测出事件参数时,则根据该数据查询指令获取一级事件编码;当未检测出事件参数时,则根据该数据查询指令获取二级事件编码。
其中,数据查询指令是用于查询海量数据查询平台的数据的指令。事件参数可以是带参数事件信息中附带的参数。具体的,检测该数据查询指令中是否存在事件参数,可以是服务器接收到数据查询指令后,解析该数据查询指令,获取查询条件,并检测该数据查询指令中是否附带事件参数。
在其中一个实施例中,服务器接收到数据查询指令后,解析该数据查询指令,得到查询条件和事件参数,根据查询条件和事件参数获取二级事件编码,并根据查询条件和一级事件编码从数据源中进行数据查询,得到事件信息。
在其中一个实施例中,服务器接收到数据查询指令后,解析该数据查询指令,得到查询条件,根据查询条件获取二级事件编码,并根据查询条件和二级事件编码从数据源中进行数据查询,得到相应的事件信息。
本实施例中,在接收到数据查询指令时,检测数据查询指令中是否存在事件参数,可以针对数据查询指令中存在事件参数和不存在事件参数两种情况获取不同的事件编码,从而获取到准确的查询结果,使得使用相同的数据源可以获取到更多类型的查询结果。
如图3所示,在其中一个实施例中,还包括:S302,对查询条件和相应的查询结果添加画像标签,得到基础画像模型;S304,根据获取的查询条件、获取到查询条件的顺序和相应的查询结果,对该基础画像模型进行再训练,得到用户画像模型;S306,根据该用户画像模型生成该数据源补充数据。
其中,查询条件是进行海量数据查询所需要的条件。查询结果是进行海量数据查询后得到的结果。画像标签是对查询条件和查询结果的组合所定义的标签。画像标签具体是构成用户画像的一种属性。用户画像是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。基础画像模型是对查询条件、查询结果和画像标签的组合所定义的基础模型。基础画像模型具体可以人为进行定义,也可以由计算机程序自动进行定义。查询条件的顺序是在进行海量数据查询时,选取查询条件的顺序。再训练是对基础画像模型或用户画像模型进行持续不断的机器学习的训练。
在其中一个实施例中,服务器在得到基础画像模型后,从数据库中获取用户的用户行为信息,每次在获取到针对该用户的查询条件、查询条件的顺序和查询结果后,根据查询条件、查询条件的顺序和查询结果从用户行为信息筛选出训练数据,根据筛选出的训练数据对基础画像模型进行再训练,在经过五十次训练后,得到用户画像模型。
本实施例中,通过查询条件和查询结果获取基础画像模型,再通过查询条件、获取到查询条件的顺序和相应的查询结果,对基础画像模型进行再训练得到用户画像模型,从而可以根据用户画像模型生成数据源补充数据,将用户画像模型作为数据源参数来获取数据源补充数据,可以获取到更具有针对性和多样化的数据源,丰富了海量数据查询平台的数据。
在其中一个实施例中,还包括:接收到数据查询指令时,则根据该数据查询指令中的查询条件和该用户画像模型,获取推荐查询条件和查询结果;反馈该推荐查询条件和查询结果,该推荐查询条件用于指示进行后续的数据查询。
具体的,该推荐查询条件用于指示进行后续的数据查询,可以是终端接收到推荐查询条件后,将推荐查询条件选取为查询条件发送给发服务器,进行后续的数据查询。
在其中一个实施例中,服务器接收到数据查询指令时,解析数据查询指令得到查询条件和用户标识,根据用户标识选取相应的用户画像模型。服务器根据查询条件生成查询结果,并将查询条件输入用户画像模型中,得到用户在根据该查询条件进行数据查询后,在后续的数据查询中最大概率会选取的查询条件,并将最大概率会选取的查询条件作为推荐查询条件和查询结果反馈给终端。
本实施例中,在接收到数据查询指令时,根据查询条件和用户画像模型来获取查询结果和推荐查询条件,不仅可以直接提供查询结果,还可以根据不同的用户画像来推荐进一步的查询条件,使得用户可以更加快速地查询到结果,提高了查询的效率。
在其中一个实施例中,该数据源包括漏斗数据源和画像数据源;该漏斗数据源相应的数据源补充数据根据该数据源中间数据和二级事件编码生成,该画像数据源相应的数据源补充数据根据该数据源中间数据和用户画像模型生成。
其中,漏斗数据源是漏斗分析查询所需要的数据源。漏斗分析查询是一套流程式数据分析,它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。画像数据源是用户自助查询所需要的数据源。用户自助查询是一种根据目标的行为观点的差异区分为不同类型,迅速组织在一起,然后把新得出的类型提炼出来,进行分类并查询的查询方式。
在其中一个实施例中,服务器从数据库中获取到源数据,并根据源数据得到数据源中间数据,在接收到数据源补充指令,且分析出该数据源补充指令所指定补充的数据源是漏斗数据源时,则选取相应的数据源参数,并根据数据源参数将数据源中间数据转换成漏斗数据源相应的数据源补充数据,对漏斗数据源进行数据补充。
本实施例中,通过根据二级事件编码和数据源中间数据生成漏斗数据源相应的数据源补充数据,根据用户画像模型和数据源中间数据生成画像数据源相应的数据源补充数,使得漏斗数据源和画像数据源两种不同类型的数据源共用相同的数据源中间数据,避免了花费大量时间在获取数据源中间数据上,从而减少了补充数据源数据所花费的时间,进而提高了数据源补充的效率。
如图4所示,在其中一个实施例中,还提供了一种数据源补充方法,该方法具体包括以下的步骤:
S402,接收到数据源补充指令。
S404,解析该数据源补充指令,确定数据源的类型。
S406,从该源数据中查询页面文件和带参数事件信息。
S408,根据该页面文件和带参数事件信息相应的路径获取一级事件编码。
S410,将该一级事件编码嵌入源数据中,得到数据源中间数据。
当数据源的类型是漏斗数据源时,则执行步骤S412。
S412,从该源数据中查询页面文件和事件信息。
S414,根据该页面文件和事件信息相应的路径获取二级事件编码。
S416,根据该一级事件编码选取相应的二级事件编码。
S418,将选取的二级事件编码添加在数据源中间数据中,得到数据源补充数据。
当数据源的类型是画像数据源时,则执行步骤S420。
S420,对查询条件和相应的查询结果添加画像标签,得到基础画像模型。
S422,根据获取的查询条件、获取到查询条件的顺序和相应的查询结果,对该基础画像模型进行再训练,得到用户画像模型。
S424,根据该用户画像模型生成该数据源补充数据。
S426,根据不同类型的数据源补充数据补充相应的数据源。
上述数据源补充方法,根据接收到的数据源补充指令从源数据中获取数据源中间数据,而通过不同类型的数据源参数将数据源中间数据转换成数据源补充数据,可以将相同的数据源中间数据转换成多种数据源的数据源补充数据,再根据数据源补充数据补充数据源就可以补充数据源的数据。这样使用相同的数据源中间数据,仅根据不同类型的数据源参数就可以满足不同的数据源的数据补充,避免了花费大量时间在获取数据源中间数据上,从而减少了补充数据源数据所花费的时间,进而提高了数据源补充的效率。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中,如图5所示,提供了一种数据源补充装置500,包括:指令接收模块502、数据获取模块504、数据转换模块506和数据源补充模块508,其中:指令接收模块502,用于接收数据源补充指令,该数据源补充指令中携带有数据源标识;数据获取模块504,用于根据该数据源标识确定待更新数据的数据源,并从存储有源数据的数据库中获取对应该源数据的数据源中间数据;数据转换模块506,用于通过不同类型数据源参数将该数据源中间数据转换成用于更新该数据源中数据的数据源补充数据;数据源补充模块508,用于根据该数据源补充数据更新该数据源中的数据。
在其中一个实施例中,该数据获取模块504,还用于从该存储有源数据的数据库中获取该源数据;该装置还包括:信息查询模块,用于从该源数据中查询页面文件和带参数事件信息;事件编码获取模块,用于根据该页面文件和带参数事件信息相应的路径获取一级事件编码;数据嵌入模块,用于将该一级事件编码嵌入源数据中,得到数据源中间数据。
在其中一个实施例中,该信息查询模块,还用于从该源数据中查询页面文件和事件信息;该事件编码获取模块,还用于根据该页面文件和事件信息相应的路径获取二级事件编码;该装置还包括:事件编码选取模块,用于根据该一级事件编码选取相应的二级事件编码;该数据嵌入模块,还用于将选取的二级事件编码添加在该数据源中间数据中,得到数据源补充数据。
在其中一个实施例中,该装置还包括:事件参数检测模块,用于当接收到数据查询指令时,则检测该数据查询指令中是否存在事件参数;该事件编码获取模块,还用于当检测出事件参数时,则根据该数据查询指令获取一级事件编码;当未检测出事件参数时,则根据该数据查询指令获取二级事件编码。
在其中一个实施例中,该装置还包括:画像模型获取模块,用于对查询条件和相应的查询结果添加画像标签,得到基础画像模型;画像模型训练模块,用于根据获取的查询条件、获取到查询条件的顺序和相应的查询结果,对该基础画像模型进行再训练,得到用户画像模型;画像模型转换模块,用于根据该用户画像模型生成该数据源补充数据。
在其中一个实施例中,该装置还包括:画像查询模块,用于接收到数据查询指令时,则根据该数据查询指令中的查询条件和该用户画像模型,获取推荐查询条件和查询结果;信息反馈模块,用于反馈该推荐查询条件和查询结果,该推荐查询条件用于指示进行后续的数据查询。
在其中一个实施例中,该数据源包括漏斗数据源和画像数据源;该漏斗数据源相应的数据源补充数据根据该数据源中间数据和二级事件编码生成,该画像数据源相应的数据源补充数据根据该数据源中间数据和用户画像模型生成。
关于数据源补充装置的具体限定可以参见上文中对于数据源补充方法的限定,在此不再赘述。上述数据源补充装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据源中间数据和数据源补充数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据源补充方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在其中一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收数据源补充指令,该数据源补充指令中携带有数据源标识;根据该数据源标识确定待更新数据的数据源,并从存储有源数据的数据库中获取对应该源数据的数据源中间数据;通过不同类型数据源参数将该数据源中间数据转换成用于更新该数据源中数据的数据源补充数据;根据该数据源补充数据更新该数据源中的数据。
上述计算机设备,根据接收到的数据源补充指令从源数据中获取数据源中间数据,而通过不同类型的数据源参数将数据源中间数据转换成数据源补充数据,可以将相同的数据源中间数据转换成多种数据源的数据源补充数据,再根据数据源补充数据补充数据源就可以补充数据源的数据。这样使用相同的数据源中间数据,仅根据不同类型的数据源参数就可以满足不同的数据源的数据补充,避免了花费大量时间在获取数据源中间数据上,从而减少了补充数据源数据所花费的时间,进而提高了数据源补充的效率。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:从该存储有源数据的数据库中获取该源数据;从该源数据中查询页面文件和带参数事件信息;根据该页面文件和带参数事件信息相应的路径获取一级事件编码;将该一级事件编码嵌入源数据中,得到数据源中间数据。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:从该源数据中查询页面文件和事件信息;根据该页面文件和事件信息相应的路径获取二级事件编码;根据该一级事件编码选取相应的二级事件编码;将选取的二级事件编码添加在该数据源中间数据中,得到数据源补充数据。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:当接收到数据查询指令时,则检测该数据查询指令中是否存在事件参数;当检测出事件参数时,则根据该数据查询指令获取一级事件编码;当未检测出事件参数时,则根据该数据查询指令获取二级事件编码。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:对查询条件和相应的查询结果添加画像标签,得到基础画像模型;根据获取的查询条件、获取到查询条件的顺序和相应的查询结果,对该基础画像模型进行再训练,得到用户画像模型;根据该用户画像模型生成该数据源补充数据。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:接收到数据查询指令时,则根据该数据查询指令中的查询条件和该用户画像模型,获取推荐查询条件和查询结果;反馈该推荐查询条件和查询结果,该推荐查询条件用于指示进行后续的数据查询。
在其中一个实施例中,该数据源包括漏斗数据源和画像数据源;该漏斗数据源相应的数据源补充数据根据该数据源中间数据和二级事件编码生成,该画像数据源相应的数据源补充数据根据该数据源中间数据和用户画像模型生成。
在其中一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收数据源补充指令,该数据源补充指令中携带有数据源标识;根据该数据源标识确定待更新数据的数据源,并从存储有源数据的数据库中获取对应该源数据的数据源中间数据;通过不同类型数据源参数将该数据源中间数据转换成用于更新该数据源中数据的数据源补充数据;根据该数据源补充数据更新该数据源中的数据。
上述计算机可读存储介质,根据接收到的数据源补充指令从源数据中获取数据源中间数据,而通过不同类型的数据源参数将数据源中间数据转换成数据源补充数据,可以将相同的数据源中间数据转换成多种数据源的数据源补充数据,再根据数据源补充数据补充数据源就可以补充数据源的数据。这样使用相同的数据源中间数据,仅根据不同类型的数据源参数就可以满足不同的数据源的数据补充,避免了花费大量时间在获取数据源中间数据上,从而减少了补充数据源数据所花费的时间,进而提高了数据源补充的效率。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:从该存储有源数据的数据库中获取该源数据;从该源数据中查询页面文件和带参数事件信息;根据该页面文件和带参数事件信息相应的路径获取一级事件编码;将该一级事件编码嵌入源数据中,得到数据源中间数据。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:从该源数据中查询页面文件和事件信息;根据该页面文件和事件信息相应的路径获取二级事件编码;根据该一级事件编码选取相应的二级事件编码;将选取的二级事件编码添加在该数据源中间数据中,得到数据源补充数据。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:当接收到数据查询指令时,则检测该数据查询指令中是否存在事件参数;当检测出事件参数时,则根据该数据查询指令获取一级事件编码;当未检测出事件参数时,则根据该数据查询指令获取二级事件编码。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:对查询条件和相应的查询结果添加画像标签,得到基础画像模型;根据获取的查询条件、获取到查询条件的顺序和相应的查询结果,对该基础画像模型进行再训练,得到用户画像模型;根据该用户画像模型生成该数据源补充数据。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:接收到数据查询指令时,则根据该数据查询指令中的查询条件和该用户画像模型,获取推荐查询条件和查询结果;反馈该推荐查询条件和查询结果,该推荐查询条件用于指示进行后续的数据查询。
在其中一个实施例中,该数据源包括漏斗数据源和画像数据源;该漏斗数据源相应的数据源补充数据根据该数据源中间数据和二级事件编码生成,该画像数据源相应的数据源补充数据根据该数据源中间数据和用户画像模型生成。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据源补充方法,所述方法包括:
接收数据源补充指令,所述数据源补充指令中携带有数据源标识;
根据所述数据源标识确定待更新数据的数据源,并从存储有源数据的数据库中获取对应所述源数据的数据源中间数据;
通过不同类型数据源参数将所述数据源中间数据转换成用于更新所述数据源中数据的数据源补充数据;
根据所述数据源补充数据更新所述数据源中的数据;
所述从存储有源数据的数据库中获取对应所述源数据的数据源中间数据,包括:
从所述存储有源数据的数据库中获取所述源数据;
从所述源数据中查询页面文件和带参数事件信息;
根据所述页面文件和带参数事件信息相应的路径获取一级事件编码;
将所述一级事件编码嵌入所述源数据中,得到数据源中间数据;
所述不同类型数据源参数是二级事件编码,所述通过不同类型数据源参数将所述数据源中间数据转换成用于更新所述数据源中数据的数据源补充数据,包括:
从所述源数据中查询页面文件和事件信息;
根据所述页面文件和事件信息相应的路径获取二级事件编码;
根据所述一级事件编码选取相应的二级事件编码;
将选取的二级事件编码添加在所述数据源中间数据中,得到数据源补充数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到数据查询指令时,则
检测所述数据查询指令中是否存在事件参数;
当检测出事件参数时,则根据所述数据查询指令获取一级事件编码;
当未检测出事件参数时,则根据所述数据查询指令获取二级事件编码。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对查询条件和相应的查询结果添加画像标签,得到基础画像模型;
根据获取的查询条件、获取到查询条件的顺序和相应的查询结果,对所述基础画像模型进行再训练,得到用户画像模型;
根据所述用户画像模型生成所述数据源补充数据。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
接收到数据查询指令时,则
根据所述数据查询指令中的查询条件和所述用户画像模型,获取推荐查询条件和查询结果;
反馈所述推荐查询条件和查询结果,所述推荐查询条件用于指示进行后续的数据查询。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述数据源包括漏斗数据源和画像数据源;所述漏斗数据源相应的数据源补充数据根据所述数据源中间数据和二级事件编码生成,所述画像数据源相应的数据源补充数据根据所述数据源中间数据和用户画像模型生成。
6.一种数据源补充装置,其特征在于,所述装置包括:
指令接收模块,用于接收数据源补充指令,所述数据源补充指令中携带有数据源标识;
数据获取模块,用于根据所述数据源标识确定待更新数据的数据源,并从存储有源数据的数据库中获取对应所述源数据的数据源中间数据;还用于从所述存储有源数据的数据库中获取所述源数据;
数据转换模块,用于通过不同类型数据源参数将所述数据源中间数据转换成用于更新所述数据源中数据的数据源补充数据,所述不同类型数据源参数是二级事件编码;
数据源补充模块,用于根据所述数据源补充数据更新所述数据源中的数据;
信息查询模块,用于从所述源数据中查询页面文件和带参数事件信息;还用于从所述源数据中查询页面文件和事件信息;
事件编码获取模块,用于根据所述页面文件和带参数事件信息相应的路径获取一级事件编码;还用于根据所述页面文件和事件信息相应的路径获取二级事件编码;
事件编码选取模块,用于根据所述一级事件编码选取相应的二级事件编码;
数据嵌入模块,用于将所述一级事件编码嵌入所述源数据中,得到数据源中间数据;还用于将选取的二级事件编码添加在所述数据源中间数据中,得到数据源补充数据。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
事件参数检测模块,用于当接收到数据查询指令时,则检测所述数据查询指令中是否存在事件参数;
所述事件编码获取模块,用于当检测出事件参数时,则根据所述数据查询指令获取一级事件编码;当未检测出事件参数时,则根据所述数据查询指令获取二级事件编码。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
画像模型获取模块,用于对查询条件和相应的查询结果添加画像标签,得到基础画像模型;
画像模型训练模块,用于根据获取的查询条件、获取到查询条件的顺序和相应的查询结果,对所述基础画像模型进行再训练,得到用户画像模型;
画像模型转换模块,用于根据所述用户画像模型生成所述数据源补充数据。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810546833.6A CN108897772B (zh) | 2018-05-31 | 2018-05-31 | 数据源补充方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810546833.6A CN108897772B (zh) | 2018-05-31 | 2018-05-31 | 数据源补充方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108897772A CN108897772A (zh) | 2018-11-27 |
CN108897772B true CN108897772B (zh) | 2023-04-07 |
Family
ID=64343885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810546833.6A Active CN108897772B (zh) | 2018-05-31 | 2018-05-31 | 数据源补充方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108897772B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111797290A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 数据处理方法、装置、存储介质及电子设备 |
CN117114728B (zh) * | 2023-08-18 | 2024-01-30 | 广东数鼎科技有限公司 | 一种车辆版型特征补充方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550325A (zh) * | 2015-12-16 | 2016-05-04 | 北京奇虎科技有限公司 | 一种数据管理方法和装置 |
CN106997393A (zh) * | 2017-04-10 | 2017-08-01 | 深圳乐信软件技术有限公司 | 数据查询方法、装置、服务器及存储介质 |
CN107122365A (zh) * | 2016-02-25 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 异构数据库的访问方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8881121B2 (en) * | 2009-02-18 | 2014-11-04 | International Business Machines Corporation | Processing an object-oriented query to retrieve data from a data source |
US8356026B2 (en) * | 2009-08-31 | 2013-01-15 | Microsoft Corporation | Predictive data caching |
-
2018
- 2018-05-31 CN CN201810546833.6A patent/CN108897772B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550325A (zh) * | 2015-12-16 | 2016-05-04 | 北京奇虎科技有限公司 | 一种数据管理方法和装置 |
CN107122365A (zh) * | 2016-02-25 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 异构数据库的访问方法及装置 |
CN106997393A (zh) * | 2017-04-10 | 2017-08-01 | 深圳乐信软件技术有限公司 | 数据查询方法、装置、服务器及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108897772A (zh) | 2018-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108446116B (zh) | 应用程序页面的生成方法、装置、计算机设备和存储介质 | |
WO2020186786A1 (zh) | 文件处理方法、装置、计算机设备和存储介质 | |
CN109474578B (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
CN109814854B (zh) | 项目框架生成方法、装置、计算机设备和存储介质 | |
WO2021036618A1 (zh) | 云测试配置方法、装置、计算机设备及存储介质 | |
CN110135129B (zh) | 代码段保护方法、装置、计算机设备和存储介质 | |
CN110232187B (zh) | 企业名称相似度识别方法、装置、计算机设备和存储介质 | |
CN111079841A (zh) | 目标识别的训练方法、装置、计算机设备和存储介质 | |
CN109285105A (zh) | 水印检测方法、装置、计算机设备和存储介质 | |
CN110321284B (zh) | 测试数据录入方法、装置、计算机设备和存储介质 | |
CN108874661B (zh) | 测试映射关系库生成方法、装置、计算机设备和存储介质 | |
CN110362479B (zh) | 系统升级测试方法和系统 | |
CN109766483B (zh) | 正则表达式生成方法、装置、计算机设备和存储介质 | |
CN109542962B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN110727526B (zh) | 大数据计算任务的处理方法和系统 | |
CN108897772B (zh) | 数据源补充方法、装置、计算机设备和存储介质 | |
CN110837956A (zh) | 地下电缆巡检任务分配方法和装置 | |
CN110109712A (zh) | 业务组件加载方法、装置、计算机设备和存储介质 | |
CN110362478B (zh) | 应用升级测试方法、装置、计算机设备和存储介质 | |
CN111083054B (zh) | 路由配置处理方法、装置、计算机设备和存储介质 | |
CN111723097A (zh) | 应用程序接口配置方法、装置、计算机设备和存储介质 | |
CN109462661B (zh) | 数据同步方法、装置、计算机设备和存储介质 | |
CN111708971A (zh) | 页面配置方法、装置、计算机设备和存储介质 | |
CN111209061A (zh) | 用户信息的填写方法、装置、计算机设备和存储介质 | |
CN108389124B (zh) | 数据处理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |