CN111930823A - 一种数据查询方法、装置、数据中台和存储介质 - Google Patents

一种数据查询方法、装置、数据中台和存储介质 Download PDF

Info

Publication number
CN111930823A
CN111930823A CN202011034118.8A CN202011034118A CN111930823A CN 111930823 A CN111930823 A CN 111930823A CN 202011034118 A CN202011034118 A CN 202011034118A CN 111930823 A CN111930823 A CN 111930823A
Authority
CN
China
Prior art keywords
data
query
interface
standard
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011034118.8A
Other languages
English (en)
Inventor
王祖祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongke Tongda High New Technology Co Ltd
Original Assignee
Wuhan Zhongke Tongda High New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongke Tongda High New Technology Co Ltd filed Critical Wuhan Zhongke Tongda High New Technology Co Ltd
Priority to CN202011034118.8A priority Critical patent/CN111930823A/zh
Publication of CN111930823A publication Critical patent/CN111930823A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Abstract

本发明实施例提供一种数据查询方法、装置、数据中台和存储介质，能够提高数据查询效率。方法包括：确定数据中台接入的源数据以及所述源数据的分类编码；将所述源数据转换为标准数据，所述标准数据包括多个标准字段；根据所述分类编码调用并显示预设的配置界面；接收从所述配置界面显示的所述多个标准字段中选择关键字段的选择请求；根据所述选择请求确定所述关键字段，并关联保存所述关键字段和所述标准数据；根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面；接收在所述全文查询界面输入的目标字段的查询请求；根据所述查询请求查询与所述目标字段匹配的关键字段对应的标准数据。

Description

一种数据查询方法、装置、数据中台和存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据查询方法、装置、数据中台和存储介质。
背景技术
数据中台的作用是通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。
在现有技术中，数据中台的数据查询界面，一般会提供多个查询条件，针对表中的每个字段，都会提供一个选择框或输入框，给用户进行查询。另外针对不同类型的数据，通常会用不同的表来存储，用户查询时需要通过不同的查询界面进行查询。
但是，用户需要在选择框中进行选择，并且在输入框中输入查询字段进行查询，操作比较繁琐，比如用户需要在某个选择框中先选择对应的厂家和对应的数据分类，然后在另一个输入框中输入某个字段的关键字，再由数据中台进行模糊查询，甚至有时候需要用户在不同的查询界面进行查询，导致查询效率低下。
发明内容
本发明实施例提供一种数据查询方法、装置、数据中台和存储介质，用以解决现有技术中数据查询效率低下的问题。
第一方面，本发明实施例提供一种数据查询方法，应用于数据中台，包括：
确定数据中台接入的源数据以及所述源数据的分类编码；
将所述源数据转换为标准数据，所述标准数据包括多个标准字段；
根据所述分类编码调用并显示预设的配置界面；
接收从所述配置界面显示的所述多个标准字段中选择关键字段的选择请求；
根据所述选择请求确定所述关键字段，并关联保存所述关键字段和所述标准数据；
根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面；
接收在所述全文查询界面输入的目标字段的查询请求；
根据所述查询请求查询与所述目标字段匹配的关键字段对应的标准数据。
可选地，所述方法还包括：
在待配置界面配置第一模板，得到所述预设的配置界面，所述第一模板用于数据配置；
其中，所述第一模板包括模板类型设置区域、数据分类设置区域、标题设置区域、内容设置区域以及字段选择设置区域，所述模板类型设置区域包括配置选项和查询选项，所述配置选项对应所述配置界面，所述查询选项对应所述全文查询界面。
可选地，所述方法还包括：
在所述待配置界面配置第二模板，得到所述预设的全文查询界面，所述第二模板用于全文搜索；
其中，所述第二模板包括所述模板类型设置区域、平台名称设置区域、得分设置区域、多词搜索设置区域以及输出平台设置区域。
可选地，所述根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面，包括：
接收对所述查询选项的选择请求；
根据所述选择请求触发配置界面进行界面转换，得到预设的全文查询界面。
可选地，所述根据所述选择请求确定所述关键字段，包括：
根据所述选择请求在所述标题设置区域中确定标题关键字段，以及根据所述选择请求在所述内容设置区域中确定内容关键字段。
可选地，所述关联保存所述关键字段、所述分类编码和所述源数据，之后还包括：
接收对所述关键字段的操作指令；
根据所述操作指令对所述关键字段进行如下操作：增加、删除、修改或查找。
可选地，所述将所述源数据转换为标准数据，包括：
设置所述源数据的各个字段的字段编码及字段名称；
设置所述字段编码及字段名称分别对应的标准字段编码和标准字段名称的映射关系；
基于所述映射关系将所述源数据转换为标准数据。
第二方面，本发明实施例提供一种数据查询装置，包括：
确定单元，用于确定数据中台的接入消息中的源数据以及所述源数据的分类编码；
转换单元，用于将所述源数据转换为标准数据，所述标准数据包括多个标准字段；
显示单元，用于根据所述分类编码调用并显示预设的配置界面；
第一接收单元，用于接收从所述配置界面显示的所述多个标准字段中选择关键字段的选择请求；
关联保存单元，用于根据所述选择请求确定所述关键字段，并关联保存所述关键字段和所述标准数据；
界面转换单元，用于根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面；
第二接收单元，用于接收在所述全文查询界面输入的目标字段的查询请求；
查询单元，用于根据所述查询请求查询与所述目标字段匹配的关键字段对应的标准数据。
第三方面，本发明实施例提供一种数据中台，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。
本发明实施例提供的数据查询方法、装置、数据中台和存储介质，首先在查询的时候，只需要输入目标字段（需要查询的关键字），而无需选择对应的厂家和对应的数据分类，即可实现全文查询；其次，通过一个全文查询界面即可实现查询，相对于现有技术中通过多个查询界面进行查询的方式，方便了用户的查询。综上，本发明实施例能够提高数据查询效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据查询方法流程图；
图2为本发明实施例提供的一种第一模板的示意图；
图3为本发明实施例提供的一种第一模板中标题和内容的字段配置完成的界面示意图；
图4为本发明实施例提供的一种第一模板中标题和内容的字段配置完成的结果示意图；
图5为本发明实施例提供的一种第二模板的示意图；
图6为本发明实施例提供的一种查询结果示意图；
图7为本发明实施例提供的一种数据查询装置结构示意图；
图8为本发明实施例提供的一种数据中台的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
数据中台中的数据来源（源数据）包含很多厂家的数据，每个厂家又会分为很多种数据分类（比如人脸、WIFI、机动车等），一般情况下用户要查询哪个厂家、哪个分类的数据时，数据中台会提供相应的选择框，让用户去选择对应的厂家和对应的分类，然后再提供数据框，让用户输入某个字段的关键字，数据中台再依据关键字进行模糊查询。申请人发现这种查询方式无形之中会增加很多繁琐的操作，查询效率低下。由此，申请人想到采用界面动态配置的方式来实现用户想要的查询，在查询的时候只需要输入查询的关键字，就能在所有厂家、所有分类的数据中进行匹配查询，大大简化了用户的操作，提高了数据查询效率。下面通过具体实施例对本发明提供的数据查询方法进行说明：
请参阅图1，本发明实施例提供了一种数据查询方法，包括：
101、确定数据中台接入的源数据以及所述源数据的分类编码；
本实施例中，源数据通常指的是外部数据，如外部厂家的数据。又由于每个外部数据通常具有不同的数据分类，所以每个外部数据具有相应的分类编码，分类编码用于表示数据类型，数据类型如人脸、机动车等，此处不做限定。
102、将所述源数据转换为标准数据，所述标准数据包括多个标准字段；
源数据可以通过HTTP推模式，消息订阅模式，拉模式（HTTP，FTP，数据库）等方式统一存入到KAFKA消息队列中，在KAFKA消息队列中将源数据转换为标准数据。针对不同的数据来源，如mysql数据库，oracle数据库，libra数据库，rabbitMQ消息，restful api接口返回的数据，EXCEL文件，elasticsearch数据，hbase数据，ftp连接数据及其他厂商来源的数据等。不同的数据类型（如：人像，人员，机动车，机动车结构化，机动车告警，电围，人像告警，非机动车结构化，人员结构化，WIFI，手台等）分配数据名称及数据分类名称（分类编码），即实现了将源数据转换为标准数据。
标准数据的具体格式可以由数据中台进行配置，即数据中台对标准数据中的标准字段的格式进行配置，以机动车的标准字段为例，标准字段可以为：“车辆标识motorVehicleID”、“关联卡口编号 tollgateID”、“设备编码 deviceID”、“设备编号deviceNo”、“设备名称 deviceName”、“近景照片 storageUrl1”、“车牌照片storageUrl2”、“远景照片 storageUrl3”、“合成图 storageUrl4”、“缩略图storageUrl5”、“左上角X坐标 leftTopX”、“左上角Y坐标 leftTopY”、“右下角X坐标rightBtmX”、“右下角Y坐标 rightBtmY”、“位置标记时间 markTime”、“车辆出现时间appear Time”、“车辆消失时间 disappear Time”等。
通常，在将源数据转换为标准数据前，还需要对源数据进行质检，质检的目的在于筛选源数据。在实际应用中，可以采用如下任意一种方式或任意几种方式结合进行质检：非空检查、值的区间检查、时间格式检查以及正则表达式检查。若质检到不合格的数据源，比如检查到源数据的时间字段格式不正确，则可以采用数据治理的方式补充为正确的时间字段格式，并对该源数据通过标签进行标记，以便后续针对这种数据，能够正常转换为标准数据。
KAFKA消息队列中的消息是以key-value形式存在的，可以通过key值为数据分类，来获取数据分类对应的具体分类，如人像数据分类等。
在一些可能的实施例中，所述将所述源数据转换为标准数据，包括：
设置所述源数据的各个字段的字段编码及字段名称；
设置所述字段编码及字段名称分别对应的标准字段编码和标准字段名称的映射关系；
基于所述映射关系将所述源数据转换为标准数据。
具体地，数据中台会定义好源数据的各个字段的字段编码及字段名称（通常是根据源数据中各个字段的含义来定义的），标准字段也会定义对应的字段编码及字段名称，字段编码是方便数据中台进行映射关系处理的。比如某机动车车牌号plateNo（车牌号），标准字段也会定义一个机动车车牌号plateNo（车牌号），其中车牌号编码可以不保持一致。二者建立映射关系后，方便数据中台在后续数据标准化转换的时候将识别到的机动车车牌号转换为标准字段的机动车车牌号。
通过字段的映射关系对外部的源数据进行转换，若源数据中的某个字段转换失败，则通过标签进行标记，并将转换失败的源数据发送到KAFKA，进行转换错误数据的二次处理。在二次处理过程中，通过标签判定什么类型字段转换错误，如时间字段，则可以用配置的备选时间字段格式来转换，若所有备选时间字段格式均无法正常转换，则判定该源数据为无效数据，直接丢弃。
KAFKA是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作(例如：网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。KAFKA具有高性能、持久化、多副本备份、横向扩展能力。
103、根据所述分类编码调用并显示预设的配置界面；
通常，预设的配置界面即在界面上新增预配置的接入模板后形成了界面。接入模板通常保存在redis数据库中，即接入模板在界面上新增完成后，会通过redis数据库进行保存。数据中台可以根据分类编码进行配置界面的调用，并将配置界面显示出来，供用户在配置界面对接入模板进行编辑。
104、接收从所述配置界面显示的所述多个标准字段中选择关键字段的选择请求；
在显示配置界面后，配置界面上会提供上述多个标准字段供用户进行关键字段的选择，用户可以按照自己意愿从多个标准字段中选择想要的关键字段。可以理解的是，数据分类不同，标准字段也会不同，例如，数据类型为机动车的标准字段和数据类型为人像的标准字段是不一样的。
105、根据所述选择请求确定所述关键字段，并关联保存所述关键字段和所述标准数据；
用户选择好想要的关键字段后，系统对用户选择的关键字段进行确定，并对所选择的关键字段以及上述标准数据进行关联保存，比如通过数据表进行关联保存。在实际应用中，可以将关键字段和标准数据关联保存在ES索引中，当然，还可以加入其它信息一并关联保存，比如分类编码和采集时间等。采集时间指的是源数据的接入时间，通常在源数据接入数据中台时，数据中台可以直接读取并记录。
106、根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面；
在完成关键字段、分类编码和源数据的关联保存后，若在当前配置界面接收到界面转换指令，则根据该界面转换指令将当前配置界面进行转换，得到预设的全文查询界面。在一种场景下，当前配置界面上设置有转换触发虚拟按钮，用户通过点击该转换触发虚拟按钮，则由当前配置界面转换为全文查询界面。
107、接收在所述全文查询界面输入的目标字段的查询请求；
在由配置界面转换到全文查询界面后，在该全文查询界面，用户可以输入目标字段的查询请求，即数据中台接收到用户输入的目标字段的查询请求。
108、根据所述查询请求查询与所述目标字段匹配的关键字段对应的标准数据。
数据中台基于接收到的查询请求，判断是否存在与目标字段匹配的关键字段，若存在，则可以将该关键字段对应的标准数据查找出来。应理解，由于数据中台关联保存关键字段和标准数据，所述可以将与目标字段匹配的关键字段对应的标准数据查找出来。
本发明实施例提供的数据查询方法，首先在查询的时候，只需要输入目标字段（需要查询的关键字），而无需选择对应的厂家和对应的数据分类，即可实现全文查询；其次，通过一个全文查询界面即可实现查询，相对于现有技术中通过多个查询界面进行查询的方式，方便了用户的查询。综上，本发明实施例能够提高数据查询效率。
在进行数据查询前，本发明实施例的数据中台会预先创建用于数据配置的模板以及创建用于数据查询的模板，例如，在一些可能的实施例中，还包括：
在待配置界面配置第一模板，得到所述预设的配置界面，所述第一模板用于数据配置；
其中，所述第一模板包括模板类型设置区域、数据分类设置区域、标题设置区域、内容设置区域以及字段选择设置区域，所述模板类型设置区域包括配置选项和查询选项，所述配置选项对应所述配置界面，所述查询选项对应所述全文查询界面。
具体地，第一模板（用于数据配置的模板）的示意图可以参见图2，图2为本发明实施例提供的一种第一模板的示意图，图中模板所示的设置区域包括模板类型设置区域、数据分类设置区域、标题设置区域、内容设置区域、标题和内容选择字段设置区域，其中，标题和内容选择字段设置区域图中未示意，模板类型设置区域提供配置选项和查询选项，配置选项对应配置界面，查询选项对应全文查询界面。需要说明的是，当模板类型设置区域为配置选项时，则当前界面为配置界面，当模板类型设置区域为查询选项时，则当前界面为全文查询界面。在实际场景中，设置区域可以为输入框或选择框。
标题和内容选择字段设置区域提供多个字段供用户选择，标题设置区域和内容设置区域所具有的字段可以由用户决定，如用户可以为标题设置区域选择一个或几个字段，然后为内容设置区域选择所有的字段，此处不做限定。由此，在本发明的一些实施例中，所述根据所述选择请求确定所述关键字段，包括：
根据所述选择请求在所述标题设置区域中确定标题关键字段，以及根据所述选择请求在所述内容设置区域中确定内容关键字段。
具体地，如图3所示，图3为本发明实施例提供的一种第一模板中标题和内容的字段配置完成的界面示意图，图3以机动车数据为例进行说明，其中模板类型设置区域输入的内容为：配置（数据接入），数据分类设置区域输入的内容为：机动车，标题设置区域输入的内容为：“车辆标识 motorVehicleID”、“关联卡口编号 tollgateID”、“设备编码deviceID”，内容设置区域输入的内容为：“车辆标识 motorVehicleID”、“关联卡口编号tollgateID”、“设备编码 deviceID”、“设备编号 deviceNo”、“设备名称 deviceName”、“近景照片 storageUrl1”、“车牌照片 storageUrl2”、“远景照片 storageUrl3”、“合成图storageUrl4”、“缩略图 storageUrl5”、“左上角X坐标 leftTopX”、“左上角Y坐标leftTopY”、“右下角X坐标 rightBtmX”、“右下角Y坐标 rightBtmY”。在配置完成后，可参见图4，图4为本发明实施例提供的一种第一模板中标题和内容的字段配置完成的结果示意图，图中是以机动车数据和人像数据为例进行说明的，在实际应用场景中，其他类型数据也是按照这种方式完成配置并进行存储的。
上面对创建用于数据配置的模板进行了说明，下面对创建用于数据查询的模板，例如，在一些可能的实施例中，还包括：
在所述待配置界面配置第二模板，得到所述预设的全文查询界面，所述第二模板用于全文搜索；
其中，所述第二模板包括所述模板类型设置区域、平台名称设置区域、得分设置区域、多词搜索设置区域以及输出平台设置区域。
具体地，第二模板（用于数据查询的模板）的示意图可以参见图5，图5为本发明实施例提供的一种第二模板的示意图，图中模板所示的设置区域包括模板类型设置区域、平台名称设置区域、得分设置区域、多词搜索设置区域以及输出平台设置区域。
第二模板是配置可以查询的厂家的数据，还可以通过配置得分，来查询精确度更高的数据，其中得分越高，说明精确度越高，匹配程度越高。多词搜索设置区域提供多词搜索功能，多词搜索有“and”和“or”选项，其中“and”表示输入多个词，多个词之间采用“and”连接，在查询时候，只有这多个词全部匹配才能查询出来，“or”表示输入多个词，多个词之间采用“or”连接，在查询时候，只要其中有一个词匹配就能得到查询结果。在实际应用场景下，用户可以根据实际查询请求选择“and”或“or”。当然，用户也可以仅输入一个词进行查询，此处不做限定。
图中可见，第二模板未提供厂家选择框，也未提供数据分类选择框，即用户无需选择对应的厂家和对应的数据分类，仅需在多词搜索输入框中输入想要查询的字段即可实现全文查询，相对于现有技术方案，显然提高了数据查询效率。
如图6所示，图6为本发明实施例提供的一种查询结果示意图，图中显示了当用户输入“大字段”后，数据中台进行全文查询，输出的查询结果，图中展示了多个查询结果，每个查询结果对应着不同的得分，得分越高，精确度越高，反之，得分越低，精确度越低。应理解，查询结果为标准数据的查询结果。
需要说明的是，第二模板的模板类型设置区域和第一模板的模板类型设置区域可以为同一个，即在全文查询界面下，通过模板类型设置区域提供的配置（数据接入）选项，可以切换至配置界面，同理，在配置界面下，通过模板类型设置区域提供的查询（全文搜索）选项，可以切换至全文查询界面。例如，用户在全文查询界面下，将模板类型当前显示的“全文搜索”替换为“数据接入”，则当前全文查询界面转换为配置界面。又例如，用户在配置界面下，将模板类型当前显示的“数据接入”替换为“全文搜索”，则当前配置界面转换为全文查询界面。从而，在本发明的一些实施例中，所述根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面，包括：
接收对所述查询选项的选择请求；
根据所述选择请求触发配置界面进行界面转换，得到预设的全文查询界面。
可见，配置界面和全文查询界面可以自由切换，在一种场景下，当用户在全文查询界面进行数据查询时，若对查询结果不满意，则可以选择切换至配置界面，对配置界面的标题字段和内容字段进行重新选择，比如增加、删除、修改或查找等，然后再重新配置完成后，返回全文查询界面进行重新查询。由此，方便了用户动态对配置界面进行配置，也方便了用户进行数据的查询。从而，在本发明的一些实施例中，所述关联保存所述关键字段、所述分类编码和所述源数据，之后还包括：
接收对所述关键字段的操作指令；
根据所述操作指令对所述关键字段进行如下操作：增加、删除、修改或查找。
由此，通过对关键字段的增加、删除、修改或查找等操作，实现了界面的动态配置。
基于上述实施例的内容，本发明实施例提供了一种数据查询装置，该数据查询装置用于执行上述方法实施例中提供的数据查询方法。参见图7，该装置包括：
确定单元701，用于确定数据中台的接入消息中的源数据以及所述源数据的分类编码；
转换单元702，用于将所述源数据转换为标准数据，所述标准数据包括多个标准字段；
显示单元703，用于根据所述分类编码调用并显示预设的配置界面；
第一接收单元704，用于接收从所述配置界面显示的所述多个标准字段中选择关键字段的选择请求；
关联保存单元705，用于根据所述选择请求确定所述关键字段，并关联保存所述关键字段和所述标准数据；
界面转换单元706，用于根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面；
第二接收单元707，用于接收在所述全文查询界面输入的目标字段的查询请求；
查询单元708，用于根据所述查询请求查询与所述目标字段匹配的关键字段对应的标准数据。
本发明实施例提供的数据查询装置，首先在查询的时候，只需要输入目标字段（需要查询的关键字），而无需选择对应的厂家和对应的数据分类，即可实现全文查询；其次，通过一个全文查询界面即可实现查询，相对于现有技术中通过多个查询界面进行查询的方式，方便了用户的查询。综上，本发明实施例能够提高数据查询效率。
本发明实施例的数据查询装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8示例了一种数据中台的实体结构示意图，如图8所示，该数据中台可以包括：处理器(processor)801、通信接口(Communications Interface)802、存储器(memory)803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。处理器801可以调用存储器803中的逻辑指令，以执行如下方法：确定数据中台接入的源数据以及所述源数据的分类编码；将所述源数据转换为标准数据，所述标准数据包括多个标准字段；根据所述分类编码调用并显示预设的配置界面；接收从所述配置界面显示的所述多个标准字段中选择关键字段的选择请求；根据所述选择请求确定所述关键字段，并关联保存所述关键字段和所述标准数据；根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面；接收在所述全文查询界面输入的目标字段的查询请求；根据所述查询请求查询与所述目标字段匹配的关键字段对应的标准数据。
此外，上述的存储器803中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定数据中台接入的源数据以及所述源数据的分类编码；将所述源数据转换为标准数据，所述标准数据包括多个标准字段；根据所述分类编码调用并显示预设的配置界面；接收从所述配置界面显示的所述多个标准字段中选择关键字段的选择请求；根据所述选择请求确定所述关键字段，并关联保存所述关键字段和所述标准数据；根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面；接收在所述全文查询界面输入的目标字段的查询请求；根据所述查询请求查询与所述目标字段匹配的关键字段对应的标准数据。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据查询方法，应用于数据中台，其特征在于，所述方法包括：
确定数据中台接入的源数据以及所述源数据的分类编码；
将所述源数据转换为标准数据，所述标准数据包括多个标准字段；
根据所述分类编码调用并显示预设的配置界面；
接收从所述配置界面显示的所述多个标准字段中选择关键字段的选择请求；
根据所述选择请求确定所述关键字段，并关联保存所述关键字段和所述标准数据；
根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面；
接收在所述全文查询界面输入的目标字段的查询请求；
根据所述查询请求查询与所述目标字段匹配的关键字段对应的标准数据。
2.根据权利要求1所述的数据查询方法，其特征在于，所述方法还包括：
在待配置界面配置第一模板，得到所述预设的配置界面，所述第一模板用于数据配置；
其中，所述第一模板包括模板类型设置区域、数据分类设置区域、标题设置区域、内容设置区域以及字段选择设置区域，所述模板类型设置区域包括配置选项和查询选项，所述配置选项对应所述配置界面，所述查询选项对应所述全文查询界面。
3.根据权利要求1所述的数据查询方法，其特征在于，所述方法还包括：
在所述待配置界面配置第二模板，得到所述预设的全文查询界面，所述第二模板用于全文搜索；
其中，所述第二模板包括所述模板类型设置区域、平台名称设置区域、得分设置区域、多词搜索设置区域以及输出平台设置区域。
4.根据权利要求2所述数据查询方法，其特征在于，所述根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面，包括：
接收对所述查询选项的选择请求；
根据所述选择请求触发配置界面进行界面转换，得到预设的全文查询界面。
5.根据权利要求2所述的数据查询方法，其特征在于，所述根据所述选择请求确定所述关键字段，包括：
根据所述选择请求在所述标题设置区域中确定标题关键字段，以及根据所述选择请求在所述内容设置区域中确定内容关键字段。
6.根据权利要求1所述的数据查询方法，其特征在于，所述关联保存所述关键字段、所述分类编码和所述源数据，之后还包括：
接收对所述关键字段的操作指令；
根据所述操作指令对所述关键字段进行如下操作：增加、删除、修改或查找。
7.根据权利要求1-6任一项所述的数据查询方法，其特征在于，所述将所述源数据转换为标准数据，包括：
设置所述源数据的各个字段的字段编码及字段名称；
设置所述字段编码及字段名称分别对应的标准字段编码和标准字段名称的映射关系；
基于所述映射关系将所述源数据转换为标准数据。
8.一种数据查询装置，其特征在于，所述装置包括：
确定单元，用于确定数据中台的接入消息中的源数据以及所述源数据的分类编码；
转换单元，用于将所述源数据转换为标准数据，所述标准数据包括多个标准字段；
显示单元，用于根据所述分类编码调用并显示预设的配置界面；
第一接收单元，用于接收从所述配置界面显示的所述多个标准字段中选择关键字段的选择请求；
关联保存单元，用于根据所述选择请求确定所述关键字段，并关联保存所述关键字段和所述标准数据；
界面转换单元，用于根据接收到的对所述配置界面进行转换的界面转换指令，得到预设的全文查询界面；
第二接收单元，用于接收在所述全文查询界面输入的目标字段的查询请求；
查询单元，用于根据所述查询请求查询与所述目标字段匹配的关键字段对应的标准数据。
9.一种数据中台，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述数据查询方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述数据查询方法的步骤。
CN202011034118.8A 2020-09-27 2020-09-27 一种数据查询方法、装置、数据中台和存储介质 Pending CN111930823A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011034118.8A CN111930823A (zh) 2020-09-27 2020-09-27 一种数据查询方法、装置、数据中台和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011034118.8A CN111930823A (zh) 2020-09-27 2020-09-27 一种数据查询方法、装置、数据中台和存储介质

Publications (1)

Publication Number Publication Date
CN111930823A true CN111930823A (zh) 2020-11-13

Family

ID=73334829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011034118.8A Pending CN111930823A (zh) 2020-09-27 2020-09-27 一种数据查询方法、装置、数据中台和存储介质

Country Status (1)

Country Link
CN (1) CN111930823A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732763A (zh) * 2021-01-20 2021-04-30 北京千方科技股份有限公司 数据的聚合方法、装置、电子设备及介质
CN113326316A (zh) * 2021-04-14 2021-08-31 深圳新贝奥数字科技有限公司 一种异构系统数据快捷同步方法
CN113590577A (zh) * 2021-06-01 2021-11-02 中国电子科技集团公司第十五研究所 一种数据管理方法、系统及可读存储介质
CN113886538A (zh) * 2021-09-28 2022-01-04 北京华彬立成科技有限公司 医保报销信息查询方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070011175A1 (en) * 2005-07-05 2007-01-11 Justin Langseth Schema and ETL tools for structured and unstructured data
CN102567418A (zh) * 2010-12-23 2012-07-11 北大方正集团有限公司 一种数据整合、搜索的方法及装置
CN104298685A (zh) * 2013-07-18 2015-01-21 北大方正集团有限公司 实现异构系统统一检索的方法及装置
CN107515882A (zh) * 2016-06-17 2017-12-26 阿里巴巴集团控股有限公司 数据查询方法及装置
CN109213782A (zh) * 2018-10-31 2019-01-15 新华三大数据技术有限公司 搜索界面的配置、显示方法、装置及通信设备
CN110309174A (zh) * 2018-03-02 2019-10-08 阿里巴巴集团控股有限公司 一种数据查询方法、装置和服务器
CN111026710A (zh) * 2019-12-11 2020-04-17 华南师范大学 一种数据集的检索方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070011175A1 (en) * 2005-07-05 2007-01-11 Justin Langseth Schema and ETL tools for structured and unstructured data
CN102567418A (zh) * 2010-12-23 2012-07-11 北大方正集团有限公司 一种数据整合、搜索的方法及装置
CN104298685A (zh) * 2013-07-18 2015-01-21 北大方正集团有限公司 实现异构系统统一检索的方法及装置
CN107515882A (zh) * 2016-06-17 2017-12-26 阿里巴巴集团控股有限公司 数据查询方法及装置
CN110309174A (zh) * 2018-03-02 2019-10-08 阿里巴巴集团控股有限公司 一种数据查询方法、装置和服务器
CN109213782A (zh) * 2018-10-31 2019-01-15 新华三大数据技术有限公司 搜索界面的配置、显示方法、装置及通信设备
CN111026710A (zh) * 2019-12-11 2020-04-17 华南师范大学 一种数据集的检索方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732763A (zh) * 2021-01-20 2021-04-30 北京千方科技股份有限公司 数据的聚合方法、装置、电子设备及介质
CN113326316A (zh) * 2021-04-14 2021-08-31 深圳新贝奥数字科技有限公司 一种异构系统数据快捷同步方法
CN113590577A (zh) * 2021-06-01 2021-11-02 中国电子科技集团公司第十五研究所 一种数据管理方法、系统及可读存储介质
CN113886538A (zh) * 2021-09-28 2022-01-04 北京华彬立成科技有限公司 医保报销信息查询方法、装置、电子设备和存储介质
CN113886538B (zh) * 2021-09-28 2022-05-10 北京华彬立成科技有限公司 医保报销信息查询方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111930823A (zh) 一种数据查询方法、装置、数据中台和存储介质
CN108920716B (zh) 基于知识图谱的数据检索与可视化系统及方法
US8560525B2 (en) Query translation for searching complex structures of objects
CN112487150B (zh) 档案管理方法、系统、存储介质及电子设备
CN112269816B (zh) 一种政务预约事项相关性检索方法
WO2009031759A1 (en) Method and system for generating search collection of query
CN111026775A (zh) 关联指标的确定方法、装置、服务器和存储介质
CN113268502A (zh) 一种用于提供信息的方法与设备
CN112015918A (zh) 数据处理方法及装置
CN112416755A (zh) 人工智能模型评测方法、装置、电子设备及存储介质
CN114722036A (zh) 数据处理方法、装置、电子设备及可读存储介质
EP2138971B1 (en) Method for searching a product, a system for searching a product, a related product semantics determining device and a related product searching device
CN112084199A (zh) 一种基于场景的通用参数维护方法及装置
CN105512260A (zh) 电子书多段节选分享方法及装置
CN109697234B (zh) 实体的多属性信息查询方法、装置、服务器和介质
CN110336731B (zh) 一种群组中的用户匹配方法及设备
CN111708961A (zh) 页面数据获取方法、装置、设备及可读存储介质
CN111930891A (zh) 基于知识图谱的检索文本扩展方法及相关装置
CN111582798A (zh) 追踪物流的方法、设备和计算机可读存储介质
CN111124714A (zh) 地址信息填写方法、设备及计算机可读存储介质
CN111538796A (zh) 地址规范化处理方法、装置、设备及存储介质
CN106372121B (zh) 服务器及数据处理方法
CN104679808A (zh) 用于使用和建立块级别索引进行搜索询问的方法和系统
CN116263770A (zh) 基于数据库的业务数据存储方法、装置、终端设备及介质
CN112182054A (zh) 一种车辆竞品数据处理方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201113