CN110134712B - 实体信息标记的处理方法及装置、存储介质、终端 - Google Patents
实体信息标记的处理方法及装置、存储介质、终端 Download PDFInfo
- Publication number
- CN110134712B CN110134712B CN201910281566.9A CN201910281566A CN110134712B CN 110134712 B CN110134712 B CN 110134712B CN 201910281566 A CN201910281566 A CN 201910281566A CN 110134712 B CN110134712 B CN 110134712B
- Authority
- CN
- China
- Prior art keywords
- information
- entity information
- rule
- entity
- time interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
- G06F16/24556—Aggregation; Duplicate elimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种实体信息标记的处理方法及装置、存储介质、终端，涉及数据处理技术领域，主要目的在于解决现有由于实体信息及设定的规则数量较大，频繁的读取实体信息也增大了数据库的压力，占用系统资源，且只能针对请求标记的实体信息进行读取及规则匹配，降低实体信息标记的处理效率的问题。主要包括：按照第一预设时间间隔从离线数据库中聚合实体信息，以及按照第二预设时间间隔从第一在线数据库中获取规则信息，所述规则信息用于筛选实体信息；从所述实体信息中查找与所述规则信息匹配的实体信息，并标记查找后的实体信息；将标记后带有标识的实体信息存储至第二在线数据库中。
Description
技术领域
本发明涉及一种数据处理技术领域，特别是涉及一种实体信息标记的处理方法及装置、存储介质、终端。
背景技术
实体是指具体事物，例如，商品、人群、店铺等，为了更好的对符合一定规则特征的实体进行筛选，需要对此类实体进行标记。例如，以人群为一类实体，卖家在设置营销活动或交易商品时，可以设定特定规则的人群，如男性人群、女性人群等，营销活动或交易商品只展现给符合特定规则的人群，以达到精准营销的目的。
目前，现有的标记是通过用户触发标记操作后读取实体信息及设定的规则进行匹配，将匹配规则的信息进行标记，但是，由于实体信息及设定的规则数量较大，每请求一次规则匹配，需要大量时间，频繁的读取实体信息也增大了数据库的压力，占用系统资源，且只能针对请求标记的实体信息进行读取及规则匹配，无法获取全部标记的实体信息，降低实体信息标记的处理效率。
发明内容
有鉴于此，本发明提供一种实体信息标记的处理方法及装置、存储介质、终端，主要目的在于解决现有由于实体信息及设定的规则数量较大，每请求一次规则匹配，需要大量时间，频繁的读取实体信息也增大了数据库的压力，占用系统资源，且只能针对请求标记的实体信息进行读取及规则匹配，无法获取全部标记的实体信息，降低实体信息标记的处理效率的问题。
依据本发明一个方面，提供了一种实体信息标记的处理方法，包括：
按照第一预设时间间隔从离线数据库中聚合实体信息，以及按照第二预设时间间隔从第一在线数据库中获取规则信息，所述规则信息用于筛选实体信息；
从所述实体信息中查找与所述规则信息匹配的实体信息，并标记查找后的实体信息；
将标记后带有标识的实体信息存储至第二在线数据库中。
进一步地，所述按照第一预设时间间隔从离线数据库中聚合实体信息包括：
按照第一预设时间间隔利用实体特征信息从离线数据库中提取实体信息，并将所述实体信息组合为字段形式的实体信息。
进一步地，所述按照第二预设时间间隔从第一在线数据库中获取规则信息包括：
按照第二预设时间间隔向第一在线数据库中发送规则信息同步请求；
接收规则信息同步请求响应，所述规则信息同步请求响应中携带有待同步的规则信息及所述规则信息对应的规则标识。
进一步地，将标记后带有标识的实体信息存储至第二在线数据库中：
将标记后的实体信息按照所述规则标识为列存至第二在线数据库HBase中。
进一步地，所述从所述实体信息中查找与所述规则信息匹配的实体信息，并标记查找后的实体信息包括：
按照实体类型对所述实体信息进行分类，根据所述规则信息中的规则标识筛选分类后的实体信息，并从筛选后的所述实体信息中查找与所述规则信息匹配的实体信息，将查找到的实体信息进行标记。
进一步地，所述的方法还包括：
当接收实体信息标记结果查询请求后，向所述第二在线数据库中发送数据查询请求，所述数据查询请求中携带有待查询标记结果对应的规则信息；
当接收所述第二在线数据库发送的数据查询请求响应后，输出所述数据查询请求响应中携带有所述规则信息对应的实体信息。
进一步地，所述输出所述数据查询请求响应中携带有所述规则信息对应的实体信息包括：
解析所述数据查询请求响应中携带的规则信息对应的规则标识，按照不同的规则标识将被标记的实体信息进行展示。
进一步地，所述方法还包括：
按照第三预设时间间隔指示所述第二在线数据库更新不同规则标识对应的被标记的实体信息。
依据本发明另一个方面，提供了一种实体信息标记的处理装置，包括：
获取模块，用于按照第一预设时间间隔从离线数据库中聚合实体信息，以及按照第二预设时间间隔从第一在线数据库中获取规则信息，所述规则信息用于筛选实体信息；
标记模块，用于从所述实体信息中查找与所述规则信息匹配的实体信息，并标记查找后的实体信息；
存储模块，用于将标记后带有标识的实体信息存储至第二在线数据库中。
进一步地，所述获取模块，具体用于按照第一预设时间间隔利用实体特征信息从离线数据库中提取实体信息，并将所述实体信息组合为字段形式的实体信息。
进一步地，所述获取模块，具体还用于按照第二预设时间间隔向第一在线数据库中发送规则信息同步请求；
所述获取模块，具体还用于接收规则信息同步请求响应，所述规则信息同步请求响应中携带有待同步的规则信息及所述规则信息对应的规则标识。
进一步地，所述存储模块，具体用于将标记后的实体信息按照所述规则标识为列存至第二在线数据库HBase中。
进一步地，所述标记模块，具体用于按照实体类型对所述实体信息进行分类，根据所述规则信息中的规则标识筛选分类后的实体信息，并从筛选后的所述实体信息中查找与所述规则信息匹配的实体信息，将查找到的实体信息进行标记。
进一步地，所述的装置还包括：
发送模块，用于当接收实体信息标记结果查询请求后，向所述第二在线数据库中发送数据查询请求，所述数据查询请求中携带有待查询标记结果对应的规则信息；
输出模块，用于当接收所述第二在线数据库发送的数据查询请求响应后，输出所述数据查询请求响应中携带有所述规则信息对应的实体信息。
进一步地，所述输出模块，用于解析所述数据查询请求响应中携带的规则信息对应的规则标识，按照不同的规则标识将被标记的实体信息进行展示。
进一步地，所述装置还包括：
更新模块，用于按照第三预设时间间隔指示所述第二在线数据库更新不同规则标识对应的被标记的实体信息。
根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述实体信息标记的处理方法对应的操作。
根据本发明的再一方面，提供了一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述实体信息标记的处理方法对应的操作。
借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：
本发明提供了一种实体信息标记的处理方法及装置、存储介质、终端，与现有技术通过用户触发标记操作后读取实体信息及设定的规则进行匹配，将匹配规则的信息进行标记相比，本发明实施例通过按照时间间隔从离线数据库中聚合实体信息并从第一在线数据库中获取规则信息，查找出与规则信息匹配的实体信息，从而根据规则信息对实体信息进行标记，并将标记后的结果存储至第二在线数据库中，以便用户请求查询数据时，直接从第二在线数据库中提取已经进行标记处理后的实体信息，实现动态的对数据库中的实体信息进行标记，使得实体信息的标记过程预处理化，节省了服务器的系统资源，提高了实体信息标记及查询的效率，从而提高实体信息标记的处理效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种实体信息标记的处理方法流程图；
图2示出了本发明实施例提供的另一种实体信息标记的处理方法流程图；
图3示出了本发明实施例提供的一种动态标记处理示意图；
图4示出了本发明实施例提供的一种实体信息标记的处理装置组成框图；
图5示出了本发明实施例提供的另一种实体信息标记的处理装置组成框图；
图6示出了本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种实体信息标记的处理方法，如图1所示，该方法包括：
101、按照第一预设时间间隔从离线数据库中聚合实体信息，以及按照第二预设时间间隔从第一在线数据库中获取规则信息。
本发明实施例中，由于离线数据库存储有大量实体信息，且不同的实体信息在进行存储时，按照不同的时间或者特征等类别存储至不同的列表中，因此，按照第一预设时间间隔聚合出实体信息。其中，所述聚合是指从存储实体信息的列表长将实体信息组合成一个字段形式的数据的过程，以便根据规则信息查找出与规则信息匹配的实体信息。另外，由于第一在线数据库实时更新在线业务对应的规则信息，所述规则信息用于筛选实体信息，因此，按照第二预设时间间隔从第一在线数据库中获取规则信息。其中，所述第一预设时间间隔、第二预设时间间隔可以根据实体信息的数量大小及打标效率设置为每天中的固定时间点，或者每周中的固定时间点，或者每小时等，第一预设时间间隔与第二预设时间间隔可以相同，也可以不同，本发明实施例不做具体限定。
需要说明的是，当前服务端为离线数据库对应的离线集群服务端，离线数据库由多个离线数据库组成，如开放数据处理服务(Open Data Processing Service，ODPS)的离线数据库，以便根据第一预设时间间隔存储不同业务交易对应的实体信息，本发明实施例不做具体限定。另外，第一在线数据库可以为MySQL数据库，以便记录第二预设时间间隔存储的规则信息。
102、从所述实体信息中查找与所述规则信息匹配的实体信息，并标记查找后的实体信息。
其中，所述实体信息中包括了所有从离线数据库提取的实体信息，如人群实体信息、商品实体信息、店铺实体信息等，规则信息可以包括从第一在线数据库中同步获取到的一个规则信息，或者多个规则信息，本发明实施例步骤具体限定。本发明实施例中，按照规则信息从所有的实体信息中查找匹配的实体信息，例如，实体信息包括有大量的用户性别的信息，商品名称信息，如用户a为男性34岁、用户b为男性45岁、用户c为女性20岁，用户d为女性45岁等，商品1、商品2、商品3，规则信息为男性用户，则从上述实体信息中查找出男性信息，为用户a、用户b，并对匹配的用户a、用户b进行标记为用户a*、用户b*。
需要说明的是，本发明实施例中，由于不同的规则信息可以从全部的实体信息中查找出匹配的实体信息，因此，在进行标记时，按照不同的规则信息标记不同的标识，以区别不同的规则信息标记处不同的实体信息。另外，由于相同的实体信息可以被不同的多个规则信息匹配出来，因此，实体信息可以携带的标识可以为1个，或多个，本发明实施例不做具体限定。
103、将标记后带有标识的实体信息存储至第二在线数据库中。
本发明实施例中，为了为用户进行实体信息查询时做准备，将预先标记好的实体信息按照不同的标识存储至第二在线数据库中，所述第二在线数据库可以为HBase数据库，本发明实施例不做具体限定。
本发明提供了一种实体信息标记的处理方法，与现有技术通过用户触发标记操作后读取实体信息及设定的规则进行匹配，将匹配规则的信息进行标记相比，本发明实施例通过按照时间间隔从离线数据库中聚合实体信息并从第一在线数据库中获取规则信息，查找出与规则信息匹配的实体信息，从而根据规则信息对实体信息进行标记，并将标记后的结果存储至第二在线数据库中，以便用户请求查询数据时，直接从第二在线数据库中提取已经进行标记处理后的实体信息，实现动态的对数据库中的实体信息进行标记，使得实体信息的标记过程预处理化，节省了服务器的系统资源，提高了实体信息标记及查询的效率，从而提高实体信息标记的处理效率。
本发明实施例提供了另一种实体信息标记的处理方法，如图2所示，该方法包括：
201、按照第一预设时间间隔从离线数据库中聚合实体信息，以及按照第二预设时间间隔从第一在线数据库中获取规则信息。
本步骤与图1所示的步骤101方法相同，在此不再赘述。
对于本发明实施例，步骤201中的按照第一预设时间间隔从离线数据库中聚合实体信息包括：按照第一预设时间间隔利用实体特征信息从离线数据库中提取实体信息，并将所述实体信息组合为字段形式的实体信息。
对于本发明实施例，为了预先将实体信息提取出来，并为匹配规则信息做准备，按照第一预设时间间隔利用实体特征信息从离线数据库中提取实体信息，并将实体信息组合为字段形式的实体信息。其中，所述实体特征信息为标识实体特征的信息，例如，实体信息人群，则实体特征可以为性别特征、年龄特征等信息，本发明实施例不做具体限定。另外，由于实体信息是从众多存储实体数据的列表中提取出来的，为了便于根据规则信息查找实体信息，将从各个数据列表中提取的数据以字段形式进行组合，以便进行标记。
对于本发明实施例，步骤201中的按照第二预设时间间隔从第一在线数据库中获取规则信息包括：按照第二预设时间间隔向第一在线数据库中发送规则信息同步请求；接收规则信息同步请求响应，所述规则信息同步请求响应中携带有待同步的规则信息及所述规则信息对应的规则标识。
对于本发明实施例，为了可以预先以动态、自动的形式对全部的实体信息进行标记，按照第二预设时间间隔向第一在线数据库中发送规则信息请求同步请求，以便从第一在线数据库中同步对实体信息进行筛选打标的规则。当接收到规则信息同步请求响应后，即可以提取出规则信息同步请求响应中携带的规则信息及规则信息对应的规则标识，所述规则标识用于标记规则信息的配置来源，例如规则信息2431sda是由交易用户的卖家a配置的，本发明实施例不做具体限定。
202、按照实体类型对所述实体信息进行分类，根据所述规则信息中的规则标识筛选分类后的实体信息，并从筛选后的所述实体信息中查找与所述规则信息匹配的实体信息，将查找到的实体信息进行标记。
对于本发明实施例，为了便于从大量实体信息中查找出与规则信息匹配的实体信息，首先按照实体类型对实体信息进行分类，所述实体类型包括人群类型、商品类型、店铺类型，分类后的实体信息减少，由于规则信息中的规则标识唯一标记规则信息，并标识出规则信息对应实体信息的分类，例如，规则标识2431sda中的第一位“2”对应查找的实体信息的分类为商品类型，本发明实施例不做具体限定。因此，可以通过规则信息中的规则标识筛选出分类的实体信息，然后通过规则信息对应的内容查找出对应的实体信息，并对查找出的实体信息进行标记。另外，若根据规则信息从大量实体信息中查找不到匹配的实体信息，则说明按照第一预设时间间隔获取的实体信息中没有可以与按照第二预设时间间隔获取的规则信息匹配的内容。
203、将标记后的实体信息按照所述规则标识为列存至第二在线数据库HBase中。
对于本发明实施例，为了便于用户从第二在线数据库中查询出标记的实体信息，在进行存储时，将带有不同标记的实体信息按照规则标识为列进行存储，其中，第二在线数据库为HBase，HBase是一个分布式的、面向列的开源数据库。HBase中存储的格式为-主键-列族-列-值，主键包含用户信息，列族为固定值，列为该用户所匹配的规则id，值为该规则的版本号，其中，一个主键可以对应多个列族，一个列族可以对应多个列，在本发明实施例中，由于列族是固定的，所以一个主键可以对应多个列。
例如，尾数相同的规则id对应一个用户，HBase存储数据时，每一列为一个规则id，每一行为相同尾数的规则id，id值可以为版本号，从而实现不同实体信息根据规则标识进行存储时，写入同一个用户的实体信息不会被覆盖。
204、当接收实体信息标记结果查询请求后，向所述第二在线数据库中发送数据查询请求。
对于本发明实施例，为了便于用户在查询实体信息的标记结果，以实现动态直接提出标记实体信息的目的，当接收到实体信息标记结果查询请求后，向第二在线数据库HBase发送数据查询请求。所述数据查询请求中携带有待查询标记结果对应的规则信息，所述实体信息标记结果查询请求可以为交易系统服务端发出的、也可以为客户端发出的。
205、当接收所述第二在线数据库发送的数据查询请求响应后，输出所述数据查询请求响应中携带有所述规则信息对应的实体信息。
其中，第二在线数据库HBase在接收到数据查询请求后，根据数据查询请求中携带的待查询标记对应的规则信息提取实体信息，并将提取的实体信息进行输出，输出的形式可以为图片展示、数据显示等，本发明实施例不做具体限定。如图3所示的动态标记处理示意图，客户端通过发送数据查询请求从HBase中获取标记后的实体信息。
对于本发明实施例，步骤205具体包括：解析所述数据查询请求响应中携带的规则信息对应的规则标识，按照不同的规则标识将被标记的实体信息进行展示。
例如，商家1有规则1，规则2，商家2有规则11，用户id为1001的符合规则1，2，11；Hbase的存储有1001#01，固定列族，1，规则1的版本号；1001#01，固定列族，11，规则11的版本号；1001#02，固定列族，2，规则2的版本号。主键包含用户id和规则id，当规则标识为11时，将对应的规则11对应的用户id进行展示。
206、按照第三预设时间间隔指示所述第二在线数据库更新不同规则标识对应的被标记的实体信息。
对于本发明实施例，为了避免第二在线数据库中大量实体数据存储出现资源冗余，按照第三时间间隔指示第二在线数据库HBase更新实体信息，具体可以为删除已被查询的规则标识对应的被标记的实体信息，或者将带有相同规则标识不同标记的实体信息进行整合为相同标记等，第三预设间隔可以为1周、1月等，本发明实施例不做具体限定。
本发明提供了另一种实体信息标记的处理方法，本发明实施例通过按照时间间隔从离线数据库中聚合实体信息并从第一在线数据库中获取规则信息，查找出与规则信息匹配的实体信息，从而根据规则信息对实体信息进行标记，并将标记后的结果存储至第二在线数据库中，以便用户请求查询数据时，直接从第二在线数据库中提取已经进行标记处理后的实体信息，实现动态的对数据库中的实体信息进行标记，使得实体信息的标记过程预处理化，节省了服务器的系统资源，提高了实体信息标记及查询的效率，从而提高实体信息标记的处理效率。
进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种实体信息标记的处理装置，如图4所示，该装置包括：获取模块31、标记模块32、存储模块33。
获取模块31，用于按照第一预设时间间隔从离线数据库中聚合实体信息，以及按照第二预设时间间隔从第一在线数据库中获取规则信息，所述规则信息用于筛选实体信息；
标记模块32，用于从所述实体信息中查找与所述规则信息匹配的实体信息，并标记查找后的实体信息；
存储模块33，用于将标记后带有标识的实体信息存储至第二在线数据库中。
本发明提供了一种实体信息标记的处理装置，与现有技术通过用户触发标记操作后读取实体信息及设定的规则进行匹配，将匹配规则的信息进行标记相比，本发明实施例通过按照时间间隔从离线数据库中聚合实体信息并从第一在线数据库中获取规则信息，查找出与规则信息匹配的实体信息，从而根据规则信息对实体信息进行标记，并将标记后的结果存储至第二在线数据库中，以便用户请求查询数据时，直接从第二在线数据库中提取已经进行标记处理后的实体信息，实现动态的对数据库中的实体信息进行标记，使得实体信息的标记过程预处理化，节省了服务器的系统资源，提高了实体信息标记及查询的效率，从而提高实体信息标记的处理效率。
进一步的，作为对上述图2所示方法的实现，本发明实施例提供了另一种实体信息标记的处理装置，如图5所示，该装置包括：获取模块41、标记模块42、存储模块43、发送模块44、输出模块45、更新模块46。
获取模块41，用于按照第一预设时间间隔从离线数据库中聚合实体信息，以及按照第二预设时间间隔从第一在线数据库中获取规则信息，所述规则信息用于筛选实体信息；
标记模块42，用于从所述实体信息中查找与所述规则信息匹配的实体信息，并标记查找后的实体信息；
存储模块43，用于将标记后带有标识的实体信息存储至第二在线数据库中。
进一步地，所述获取模块41，具体用于按照第一预设时间间隔利用实体特征信息从离线数据库中提取实体信息，并将所述实体信息组合为字段形式的实体信息。
进一步地，所述获取模块41，具体还用于按照第二预设时间间隔向第一在线数据库中发送规则信息同步请求；
所述获取模块41，具体还用于接收规则信息同步请求响应，所述规则信息同步请求响应中携带有待同步的规则信息及所述规则信息对应的规则标识。
进一步地，所述存储模块43，具体用于将标记后的实体信息按照所述规则标识为列存至第二在线数据库HBase中。
进一步地，所述标记模块42，具体用于按照实体类型对所述实体信息进行分类，根据所述规则信息中的规则标识筛选分类后的实体信息，并从筛选后的所述实体信息中查找与所述规则信息匹配的实体信息，将查找到的实体信息进行标记。
进一步地，所述的装置还包括：
发送模块44，用于当接收实体信息标记结果查询请求后，向所述第二在线数据库中发送数据查询请求，所述数据查询请求中携带有待查询标记结果对应的规则信息；
输出模块45，用于当接收所述第二在线数据库发送的数据查询请求响应后，输出所述数据查询请求响应中携带有所述规则信息对应的实体信息。
进一步地，所述输出模块45，用于解析所述数据查询请求响应中携带的规则信息对应的规则标识，按照不同的规则标识将被标记的实体信息进行展示。
进一步地，所述装置还包括：
更新模块46，用于按照第三预设时间间隔指示所述第二在线数据库更新不同规则标识对应的被标记的实体信息。
本发明提供了另一种实体信息标记的处理装置，本发明实施例通过按照时间间隔从离线数据库中聚合实体信息并从第一在线数据库中获取规则信息，查找出与规则信息匹配的实体信息，从而根据规则信息对实体信息进行标记，并将标记后的结果存储至第二在线数据库中，以便用户请求查询数据时，直接从第二在线数据库中提取已经进行标记处理后的实体信息，实现动态的对数据库中的实体信息进行标记，使得实体信息的标记过程预处理化，节省了服务器的系统资源，提高了实体信息标记及查询的效率，从而提高实体信息标记的处理效率。
根据本发明一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的实体信息标记的处理方法。
图6示出了根据本发明一个实施例提供的一种终端的结构示意图，本发明具体实施例并不对终端的具体实现做限定。
如图6所示，该终端可以包括：处理器(processor)502、通信接口(CommunicationsInterface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述实体信息标记的处理方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。终端包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作：
按照第一预设时间间隔从离线数据库中聚合实体信息，以及按照第二预设时间间隔从第一在线数据库中获取规则信息，所述规则信息用于筛选实体信息；
从所述实体信息中查找与所述规则信息匹配的实体信息，并标记查找后的实体信息；
将标记后带有标识的实体信息存储至第二在线数据库中。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (16)
1.一种实体信息标记的处理方法，其特征在于，包括：
按照第一预设时间间隔从离线数据库中聚合实体信息，以及按照第二预设时间间隔从第一在线数据库中获取规则信息，所述规则信息用于筛选实体信息；
从所述实体信息中查找与所述规则信息匹配的实体信息，并标记查找后的实体信息；
将标记后带有标识的实体信息存储至第二在线数据库中；
其中，所述从所述实体信息中查找与所述规则信息匹配的实体信息，并标记查找后的实体信息，包括：
按照实体类型对所述实体信息进行分类，根据所述规则信息中的规则标识筛选分类后的实体信息，并从筛选后的所述实体信息中查找与所述规则信息匹配的实体信息，将查找到的实体信息进行标记。
2.根据权利要求1所述的方法，其特征在于，所述按照第一预设时间间隔从离线数据库中聚合实体信息包括：
按照第一预设时间间隔利用实体特征信息从离线数据库中提取实体信息，并将所述实体信息组合为字段形式的实体信息。
3.根据权利要求1所述的方法，其特征在于，所述按照第二预设时间间隔从第一在线数据库中获取规则信息包括：
按照第二预设时间间隔向第一在线数据库中发送规则信息同步请求；
接收规则信息同步请求响应，所述规则信息同步请求响应中携带有待同步的规则信息及所述规则信息对应的规则标识。
4.根据权利要求3所述的方法，其特征在于，将标记后带有标识的实体信息存储至第二在线数据库中：
将标记后的实体信息按照所述规则标识为列存至第二在线数据库HBase中。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述的方法还包括：
当接收实体信息标记结果查询请求后，向所述第二在线数据库中发送数据查询请求，所述数据查询请求中携带有待查询标记结果对应的规则信息；
当接收所述第二在线数据库发送的数据查询请求响应后，输出所述数据查询请求响应中携带有所述规则信息对应的实体信息。
6.根据权利要求5所述的方法，其特征在于，所述输出所述数据查询请求响应中携带有所述规则信息对应的实体信息包括：
解析所述数据查询请求响应中携带的规则信息对应的规则标识，按照不同的规则标识将被标记的实体信息进行展示。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
按照第三预设时间间隔指示所述第二在线数据库更新不同规则标识对应的被标记的实体信息。
8.一种实体信息标记的处理装置，其特征在于，包括：
获取模块，用于按照第一预设时间间隔从离线数据库中聚合实体信息，以及按照第二预设时间间隔从第一在线数据库中获取规则信息，所述规则信息用于筛选实体信息；
标记模块，用于从所述实体信息中查找与所述规则信息匹配的实体信息，并标记查找后的实体信息；
存储模块，用于将标记后带有标识的实体信息存储至第二在线数据库中；
其中，所述标记模块，具体用于按照实体类型对所述实体信息进行分类，根据所述规则信息中的规则标识筛选分类后的实体信息，并从筛选后的所述实体信息中查找与所述规则信息匹配的实体信息，将查找到的实体信息进行标记。
9.根据权利要求8所述的装置，其特征在于，
所述获取模块，具体用于按照第一预设时间间隔利用实体特征信息从离线数据库中提取实体信息，并将所述实体信息组合为字段形式的实体信息。
10.根据权利要求8所述的装置，其特征在于，
所述获取模块，具体还用于按照第二预设时间间隔向第一在线数据库中发送规则信息同步请求；
所述获取模块，具体还用于接收规则信息同步请求响应，所述规则信息同步请求响应中携带有待同步的规则信息及所述规则信息对应的规则标识。
11.根据权利要求10所述的装置，其特征在于，
所述存储模块，具体用于将标记后的实体信息按照所述规则标识为列存至第二在线数据库HBase中。
12.根据权利要求8-11任一项所述的装置，其特征在于，所述的装置还包括：
发送模块，用于当接收实体信息标记结果查询请求后，向所述第二在线数据库中发送数据查询请求，所述数据查询请求中携带有待查询标记结果对应的规则信息；
输出模块，用于当接收所述第二在线数据库发送的数据查询请求响应后，输出所述数据查询请求响应中携带有所述规则信息对应的实体信息。
13.根据权利要求12所述的装置，其特征在于，
所述输出模块，用于解析所述数据查询请求响应中携带的规则信息对应的规则标识，按照不同的规则标识将被标记的实体信息进行展示。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：
更新模块，用于按照第三预设时间间隔指示所述第二在线数据库更新不同规则标识对应的被标记的实体信息。
15.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的实体信息标记的处理方法对应的操作。
16.一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的实体信息标记的处理方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910281566.9A CN110134712B (zh) | 2019-04-09 | 2019-04-09 | 实体信息标记的处理方法及装置、存储介质、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910281566.9A CN110134712B (zh) | 2019-04-09 | 2019-04-09 | 实体信息标记的处理方法及装置、存储介质、终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110134712A CN110134712A (zh) | 2019-08-16 |
| CN110134712B true CN110134712B (zh) | 2021-07-06 |
Family
ID=67569471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910281566.9A Active CN110134712B (zh) | 2019-04-09 | 2019-04-09 | 实体信息标记的处理方法及装置、存储介质、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110134712B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738340B (zh) * | 2019-09-06 | 2022-04-19 | 口碑(上海)信息技术有限公司 | 预约产品的库存管理方法及装置 |
| CN110955752A (zh) * | 2019-11-25 | 2020-04-03 | 三角兽（北京）科技有限公司 | 信息的展示方法、装置、电子设备及计算机存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273384A (zh) * | 2016-04-08 | 2017-10-20 | 百度在线网络技术（北京）有限公司 | 人群属性的确定方法和装置 |
| CN107294956A (zh) * | 2017-05-24 | 2017-10-24 | 北京奇安信科技有限公司 | 数据标记化的冲突处理方法及装置 |
| CN107317688A (zh) * | 2017-07-25 | 2017-11-03 | 薛江炜 | 基于分类标签创建通信群组的装置及方法 |
| CN108510309A (zh) * | 2018-02-27 | 2018-09-07 | 阿里巴巴集团控股有限公司 | 广告召回的方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9900371B2 (en) * | 2014-08-18 | 2018-02-20 | InfoTrust, LLC | Systems and methods for tag inspection |
-
2019
- 2019-04-09 CN CN201910281566.9A patent/CN110134712B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273384A (zh) * | 2016-04-08 | 2017-10-20 | 百度在线网络技术（北京）有限公司 | 人群属性的确定方法和装置 |
| CN107294956A (zh) * | 2017-05-24 | 2017-10-24 | 北京奇安信科技有限公司 | 数据标记化的冲突处理方法及装置 |
| CN107317688A (zh) * | 2017-07-25 | 2017-11-03 | 薛江炜 | 基于分类标签创建通信群组的装置及方法 |
| CN108510309A (zh) * | 2018-02-27 | 2018-09-07 | 阿里巴巴集团控股有限公司 | 广告召回的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110134712A (zh) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4634685B2 (ja) | トークンを使用したデータ・リンキング・システムおよび方法 | |
| US9256686B2 (en) | Using a bloom filter in a web analytics application | |
| CN111915366B (zh) | 一种用户画像构建方法、装置、计算机设备及存储介质 | |
| CN111459985B (zh) | 标识信息处理方法及装置 | |
| CN110442791B (zh) | 数据推送方法和系统 | |
| CN110134712B (zh) | 实体信息标记的处理方法及装置、存储介质、终端 | |
| KR20200121744A (ko) | 사용자 페르소나를 처리하는 방법, 장치, 서버 및 저장 매체 | |
| CN112925973A (zh) | 数据处理方法和装置 | |
| US20170004527A1 (en) | Systems, methods, and devices for scalable data processing | |
| CN112699160B (zh) | 元数据模板升级方法、装置及可读存储介质 | |
| CN112836124A (zh) | 一种画像数据获取方法、装置、电子设备及存储介质 | |
| US11531706B2 (en) | Graph search using index vertices | |
| CN110120918B (zh) | 一种标识解析方法及装置 | |
| CN111046077A (zh) | 数据的获取方法及装置、存储介质、终端 | |
| CN111415168A (zh) | 一种交易告警的方法和装置 | |
| CN116186286A (zh) | 基于企业知识图谱的国际物流信息推荐方法、系统及介质 | |
| CN110827101A (zh) | 一种店铺推荐的方法和装置 | |
| CN110781375A (zh) | 一种用户状态标识确定方法及装置 | |
| CN115422123A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN114860806A (zh) | 区块链的数据查询方法、装置、计算机设备和存储介质 | |
| CN111382343B (zh) | 一种标签体系生成方法及装置 | |
| JP2002063363A (ja) | 保険契約情報管理システム及び顧客インデックス作成方法 | |
| CN109885710B (zh) | 基于差分演化算法的用户画像刻画方法及服务器 | |
| CN113127574A (zh) | 基于知识图谱的业务数据展示方法、系统、设备及介质 | |
| CN111400510A (zh) | 数据归档处理方法、装置、设备以及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |