发明内容
本发明的主要目的在于提供一种用于互联网实体分析的数据处理方法和装置,以解决相关技术中互联网实体的指标数据不能对应到互联网实体的所有历史状态的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种用于互联网实体分析的数据处理方法。该方法包括:获取实体状态,实体状态为互联网实体的实体状态,实体状态包括第一实体状态和第二实体状态,第一实体状态为互联网实体在第一时间的实体状态,第二实体状态为互联网实体在第二时间的实体状态;获取指标数据,指标数据包括第一指标数据和第二指标数据,第一指标数据为第一实体状态的指标数据,第二指标数据为第二实体状态的指标数据;获取实体状态和指标数据的对应关系,对应关系包括第一对应关系和第二对应关系,第一对应关系为第一实体状态和第一指标数据的对应关系,第二对应关系为第二实体状态和第二指标数据的对应关系。
进一步地,获取实体状态包括:检测实体状态是否发生变化;在检测到实体状态发生变化时,获取互联网实体的最新实体状态。
进一步地,一个实体状态对应一个或多个指标数据,获取第一指标数据包括:获取第一实体状态对应的一个或多个指标数据,获取第二指标数据包括:获取第二实体状态对应的一个或多个指标数据。
进一步地,获取指标数据包括:周期性地获取实体状态的指标数据。
进一步地,实体状态存储在实体状态表中,指标数据存储在指标表中,实体状态表和指标表为数据库表,获取第一实体状态和第一指标数据的对应关系包括:获取第一实体状态外键,第一实体状态外键为存储在指标表中的字段,字段为预先设定的第一指标数据与第一实体状态产生关联的相同字段,第一实体状态外键指向实体状态表中的第一实体状态,通过第一实体状态外键获取第一实体状态和第一指标数据的对应关系。获取第二实体状态和第二指标数据的对应关系包括:获取第二实体状态外键,第二实体状态外键为存储在指标表中的字段,字段为预先设定的第二指标数据与第二实体状态产生关联的相同字段,第二实体状态外键指向实体状态表中的第二实体状态,通过第二实体状态外键获取第二实体状态与第二指标数据的对应关系。
进一步地,互联网实体包括第一实体和第二实体,数据处理方法还包括:获取第一实体和第一实体的实体状态的对应关系;获取第二实体和第二实体的实体状态的对应关系。
进一步地,互联网实体存储在实体表中,实体状态存储在实体状态表中,实体表和实体状态表为数据库表,其中,获取第一实体和第一实体的实体状态的对应关系包括获取从第一实体到第一实体的实体状态的对应关系和获取从第一实体的实体状态到第一实体的对应关系,获取从第一实体到第一实体的实体状态的对应关系为获取从第一实体到第一实体的当前状态的对应关系。获取从第一实体到第一实体的当前状态的对应关系包括:获取第一实体状态外键,第一实体状态外键为存储在实体表中的字段,字段为预先设定的第一实体与第一实体的当前状态产生关联的相同字段,第一实体状态外键指向实体状态表中的第一实体状态,通过第一实体状态外键获取从第一实体到第一实体的实体状态的对应关系。获取从第一实体的实体状态到第一实体的对应关系包括:获取第一实体外键,第一实体外键为存储在实体状态表中的字段,字段为预先设定的第一实体的实体状态与第一实体产生关联的相同字段,第一实体外键包括一个或者多个,第一实体外键指向实体表中的第一实体,通过第一实体外键获取从第一实体的实体状态到第一实体的对应关系,其中,获取第二实体及其实体状态的对应关系包括获取从第二实体到第二实体的实体状态的对应关系和获取从第二实体的实体状态到第二实体的对应关系,获取从第二实体到第二实体的实体状态的对应关系为获取从第二实体到第二实体的当前状态的对应关系。获取从第二实体到第二实体的当前状态的对应关系包括:获取第二实体状态外键,第二实体状态外键为存储在实体表中的字段,字段为预先设定的第二实体与第二实体的当前状态产生关联的相同字段,第二实体状态外键指向实体状态中的第二实体状态,通过第二实体状态外键获取从第二实体到第二实体的实体状态的对应关系。获取从第二实体的实体状态到第二实体的对应关系包括:获取第二实体外键,第二实体外键为存储在实体状态表中的字段,字段为预先设定的第二实体的实体状态与第二实体产生关联的相同字段,第二实体外键包括一个或者多个,第二实体外键指向实体表中的第二实体,通过第二实体外键获取从第二实体的实体状态到第二实体的对应关系。
进一步地,互联网实体存储在实体表中,实体表和实体状态表为数据库表,还包括:获取从指标数据到指标数据对应的互联网实体的对应关系。
进一步地,获取从指标数据到指标数据对应的互联网实体的对应关系包括:获取实体外键,实体外键为存储在指标表中的字段,字段为预先设定的指标数据与其对应的互联网实体的当前状态产生关联的相同字段,实体外键指向实体表中的实体;通过获取实体外键获取从指标数据到指标数据对应的互联网实体的对应关系。
为了实现上述目的,根据本发明的另一个方面,提供了一种用于互联网实体分析的数据处理装置。该装置包括:实体状态获取单元,用于获取实体状态,实体状态为互联网实体的实体状态,实体状态包括第一实体状态和第二实体状态,第一实体状态为互联网实体在第一时间的实体状态,第二实体状态为互联网实体在第二时间的实体状态;指标数据获取单元,用于获取指标数据,指标数据包括第一指标数据和第二指标数据,第一指标数据为第一实体状态的指标数据,第二指标数据为第二实体状态的指标数据;以及第一对应关系获取单元,用于获取实体状态和指标数据的对应关系,对应关系包括第一对应关系和第二对应关系,第一对应关系为第一实体状态和第一指标数据的对应关系,第二对应关系为第二实体状态和第二指标数据的对应关系。
进一步地,实体状态获取单元包括:实体状态检测模块,用于检测实体状态是否发生变化;实体状态获取模块,当检测到实体状态发生变化时,获取模块用于获取互联网实体的最新实体状态。
进一步地,一个实体状态对应一个或多个指标数据,指标数据获取单元包括:第一指标数据获取模块,用于获取第一实体状态对应的一个或多个指标数据,第二指标数据获取模块,用于获取第二实体状态对应的一个或多个指标数据。
进一步地,指标数据获取单元采用以下方式获取指标数据:周期性地获取实体状态的指标数据。
进一步地,实体状态存储在实体状态表中,指标数据存储在指标表中,实体状态表和指标表为数据库表,第一对应关系获取单元包括:第一获取模块,采用以下方式获取第一实体状态和第一指标数据的对应关系:获取第一实体状态外键,第一实体状态外键为存储在指标表中的字段,字段为预先设定的第一指标数据与第一实体状态产生关联的相同字段,第一实体状态外键指向实体状态表中的第一实体状态,通过第一实体状态外键获取第一实体状态和第一指标数据的对应关系,第二获取模块,采用以下方式获取第二实体状态和第二指标数据的对应关系包括:获取第二实体状态外键,第二实体状态外键为存储在指标表中的字段,字段为预先设定的第二指标数据与第二实体状态产生关联的相同字段,第二实体状态外键指向实体状态表中的第二实体状态,通过第二实体状态外键获取第二实体状态与第二指标数据的对应关系。
进一步地,互联网实体包括第一实体和第二实体,该装置还包括第二对应关系获取单元,第二对应关系获取单元包括:第三获取模块,用于获取第一实体和第一实体的实体状态的对应关系;第四获取模块,用于获取第二实体和第二实体的实体状态的对应关系。
进一步地,互联网实体存储在实体表中,实体状态存储在实体状态表中,实体表和实体状态表为数据库表,其中,第三获取模块采用以下方式获取第一实体和第一实体的实体状态的对应关系包括:获取从第一实体到第一实体的实体状态的对应关系和获取从第一实体的实体状态到第一实体的对应关系,获取从第一实体到第一实体的实体状态的对应关系为获取从第一实体到第一实体的当前状态的对应关系,第三获取模块获取从第一实体到第一实体的当前状态的对应关系包括:获取第一实体状态外键,第一实体状态外键为存储在实体表中的字段,字段为预先设定的第一实体与第一实体的当前状态产生关联的相同字段,第一实体状态外键指向实体状态表中的第一实体状态,通过第一实体状态外键获取从第一实体到第一实体的实体状态的对应关系,第三获取模块获取从第一实体的实体状态到第一实体的对应关系包括:获取第一实体外键,第一实体外键为存储在实体状态表中的字段,字段为预先设定的第一实体的实体状态与第一实体产生关联的相同字段,第一实体外键包括一个或者多个,第一实体外键指向实体表中的第一实体,通过第一实体外键获取从第一实体的实体状态到第一实体的对应关系,其中,第四获取模块采用以下方式获取获取第二实体及其实体状态的对应关系包括:获取从第二实体到第二实体的实体状态的对应关系和获取从第二实体的实体状态到第二实体的对应关系,获取从第二实体到第二实体的实体状态的对应关系为获取从第二实体到第二实体的当前状态的对应关系,第四获取模块获取从第二实体到第二实体的当前状态的对应关系包括:获取第二实体状态外键,第二实体状态外键为存储在实体表中的字段,字段为预先设定的第二实体与第二实体的当前状态产生关联的相同字段,第二实体状态外键指向实体状态中的第二实体状态,通过第二实体状态外键获取从第二实体到第二实体的实体状态的对应关系,第四获取模块获取从第二实体的实体状态到第二实体的对应关系包括:获取第二实体外键,第二实体外键为存储在实体状态表中的字段,字段为预先设定的第二实体的实体状态与第二实体产生关联的相同字段,第二实体外键包括一个或者多个,第二实体外键指向实体表中的第二实体,通过第二实体外键获取从第二实体的实体状态到第二实体的对应关系。
进一步地,装置还包括:第三对应关系获取单元,用于获取从指标数据到指标数据对应的互联网实体的对应关系。
进一步地,第三对应关系获取单元采用以下方式获取从指标数据到指标数据对应的互联网实体的对应关系:获取实体外键,实体外键为存储在指标表中的字段,字段为预先设定的指标数据与其对应的互联网实体的当前状态产生关联的相同字段,实体外键指向实体表中的实体;通过获取实体外键获取从指标数据到指标数据对应的互联网实体的对应关系。
通过本发明,采用获取互联网实体的实体状态、指标数据以及实体状态和指标数据的对应关系,解决了相关技术中互联网实体的指标数据不能对应到互联网实体的所有历史状态的问题,实现了互联网实体的指标数据与互联网实体的所有历史状态的相互对应,这样,客户端在做指标数据分析时,由于每条指标数据都能通过实体状态和指标数据的对应关系对应到当时的实体状态,从而得到了最为准确的数据分析结果。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
根据本发明的实施例,提供了一种用于互联网实体分析的数据处理方法。该方法可以运行在计算机处理设备上。
图1是根据本发明实施例的用于互联网实体分析的数据处理方法的流程图。
如图1所示,该用于互联网实体分析的数据处理方法包括如下步骤:
步骤S102:获取实体状态。
该实体状态为互联网实体的状态,需要说明的是,本发明实施例所提到的互联网实体可以是互联网广告和网络监控实体等,网络监控实体可以是网络监控的图像、声音、视频等,诸如能在历史上经历一个或者多个状态的互联网实体,在对其进行分析时,都可以应用本发明实施例所提供的数据处理方法。
实体状态可以为互联网实体的历史状态和当前状态。互联网实体10可以包括一个或多个互联网实体,如图2所示,互联网实体10可以包括第一互联网实体11和第一互联网实体12,获取互联网实体10的实体状态可以是获取第一互联网实体11的第一实体状态111和第二实体状态112,可以是获取第二互联网实体12的第一实体状态121和第二实体状态122,也可以是获取第一互联网实体11的第一实体状态111和第二互联网实体12的第一实体状态121。第一互联网实体11和第一互联网实体12为不同的互联网实体,第一实体状态和第二实体状态为不同的实体状态,例如,不同时间的实体状态。第一互联网实体11的第一实体状态111和第二互联网实体12的第一实体状态121可以分别为第一互联网实体11和第二互联网实体12在第一时间的实体状态,第一互联网实体11的第二实体状态112和第二互联网实体12的第二实体状态122可以分别为第一互联网实体11和第二互联网实体12在第二时间的实体状态。
如图3所示,在获取到互联网实体的实体状态后,可以将该互联网实体的实体状态存储到实体表T1和实体状态表T2中,该实体表T1和实体状态表T2可以为数据库表。
存储到实体表T1的实体状态可以为当前状态,优选地,在存储当前状态时可以将存储的之前状态删除,这样,实体表T1中存储的只是所有互联网实体的最新当前状态,可以减小实体表T1的大小。
需要说明的是,本发明所提到的第一实体状态和第二实体状态只是用作举例,并不特指两个实体状态,可以是多个实体状态。同理,互联网实体11和互联网实体12也只是用作举例,并不特指两个互联网实体,可以是多个互联网实体。
例如,互联网实体可以是互联网广告,互联网广告可以是一个或者多个互联网广告,获取互联网广告的实体状态可以是获取一个或者多个互联网广告的实体状态。互联网广告的实体状态可以是互联网广告的状态快照,获取互联网广告的实体状态可以是获取互联网广告的状态快照。互联网广告的状态快照可以是互联网广告的历史快照和当前快照,获取互联网广告的状态快照可以是获取互联网广告的历史快照和当前快照。
如图4所示,在获取到互联网广告的当前快照后,可以将其存储到广告实体表T11实体快照表T22中,该广告实体表T11和实体快照表T22可以是数据库表。其中,在将当前快照存储到广告实体表T11中之前,现将该当前快照对应的互联网广告的之前的当前快照删除,这样,广告实体表T11中存储的只是所有互联网广告的最新当前快照,可以减少广告实体表T11的大小,从而节约存储空间。
在本发明的实施例中,优选地,在步骤S102获取实体状态之前可以包括检测互联网实体的实体状态是否发生变化的步骤。在检测到互联网实体的实体状态发生变化时,获取其当前状态。在获取到当前状态后,先将该当前状态对应的互联网实体的之前的当前状态从实体表T1中删除,再将该互联网实体的最新当前状态存储到实体表T1中,同时将该互联网实体的当前状态存储到实体状态表T2中。检测实体状态是否发生变化可以是检测已经存在的互联网实体的实体状态是否发生变化,也可以是检测是否有新增加的互联网实体的实体状态。在检测到有新增加的互联网实体的实体状态后,获取该新增加的互联网实体的当前状态。在获取到该新增加的互联网实体的当前状态后,将该新增加的互联网实体的当前状态存储到实体表T1和实体状态表T2中。
这样,通过在互联网实体的实体状态发生改变时获取其当前状态并将获取到互联网实体的当前状态存储到实体状态表T2中可以减小实体状态表T2的大小,从而节省了存储空间。又通过将互联网实体最新当前状态存储实体表T1之前,将其之前的当前状态从实体表T1中删除,减小了实体表T1的大小,从而节省了存储空间。
进一步优选地,在获取实体状态之前,可以先检测互联网实体的实体状态是否发生变化,在检测到互联网实体的实体状态发生变化时,再获取互联网实体的当前状态,如果是检测多个互联网实体状态是否发生变化,在检测到多个互联网实体状态发生变化时,标记出发生状态变化的所有互联网实体。在获取到发生状态变化的互联网实体的当前状态后,将标记出的发生状态变化的互联网实体的之前的当前状态从实体表中删除,同时,将标记出的所有发生状态变化的互联网实体的最新当前状态批量存储到实体表T1中,并且将标记出的所有发生状态变化的互联网实体的最新当前状态存储到实体状态表T2中。
优选地,在获取实体状态之前,也可以检测是否有新增加的互联网实体的实体状态,在检测到有新增加的互联网实体的实体状态时,获取新增加的互联网实体的当前状态,如果检测到有多个新增加的互联网实体的实体状态,则获取所有新增加的互联网实体的当前状态,并且标记出所有新增加的互联网实体。在获取到所有新增加的互联网实体的当前状态后,将标记出的所有新增加的互联网实体的当前状态批量存储到实体表T1和实体状态表T2中。
这样,通过批量获取并存储所有发生状态变化的或者新增的互联网实体的当前状态可以减少对时间的消耗,提高工作效率。
当互联网实体为互联网广告时,获取互联网实体的状态可以是获取互联网广告的当前状态,在获取到互联网广告的当前状态后,可以检测互联网广告的当前状态是否发生变化,在检测到互联网广告的当前状态发生变化时,获取互联网广告的最新当前快照。在获取到互联网广告的最新当前快照后,将该互联网广告之前的当前快照从广告实体表T11中删除,并将该互联网广告的最新当前快照存储到广告实体表T11中,同时将该互联网广告的最新当前快照存储到实体快照表T22中。如果检测到有新增加的互联网广告的实体状态,则获取该新增加的互联网广告的当前快照。在获取到该新增加的互联网广告的当前快照后,将该新增加的互联网广告的当前快照存储到广告实体表T11和实体快照表T22中。
这样,通过在互联网广告的当前快照发生改变时,获取其最新当前快照,并将获取到的互联网广告的最新当前快照存储到实体快照表T22中,可以减小实体快照表T22的大小,从而节省存储空间。
如果在检测到多个互联网广告的当前状态发生变化时,获取所有发生状态变化的互联网广告的对应的最新当前快照,并且标记出所有发生状态变化的互联网广告。在获取到所有发生变化的互联网广告的最新当前快照后,将标记出的所有发生状态变化的互联网广告的当前快照从广告实体表T11中删除,并将标记出的所有发生状态变化的互联网广告的最新当前快照批量存储到广告实体表T11中,同时将标记出的所有发生状态变化的互联网广告的最新当前快照批量存储到实体快照表T22中。如果检测到有多个新增加的互联网广告的当前快照时,获取所有新增加的互联网广告的当前快照,并且标记出所有新增加的互联网广告。在获取到所有新增加的互联网广告的当前快照后,将且标记出的所有新增加的互联网广告的当前快照批量存储到广告实体表T11和实体快照表T22中。
这样,通过批量获取并存储所有发生状态变化的或者新增的互联网广告的最新当前快照可以减少对时间的消耗,提高工作效率。
步骤S104:获取指标数据。
指标数据为实体状态的指标数据,如图2所示,获取指标数据可以是获取第一指标数据1111和第一指标数据1211以及获取第二指标数据1121和第二指标数据1221。第一指标数据1111和第一指标数据1211可以分别为第一互联网实体11的第一实体状态111的指标数据和第二互联网实体12的第一实体状态121的指标数据,第二指标数据1121和第二指标数据1221可以分别为第一互联网实体11的第二实体状态112的指标数据和第二互联网实体12的第二实体状态122的指标数据。如图3所示,在获取到指标数据后,可以将其存储到指标表T3中,指标表T3可以是数据库表。
在本发明实施例中,一个实体状态可以对应一个或多个指标的指标数据,获取第一指标数据可以是获取第一实体状态对应的一个或多个指标的指标数据,获取第二指标数据可以是获取第二实体状态对应的一个或多个指标的指标数据。
这样,客户端在对互联网实体的不同状态对应的一个或多个指标数据进行分析时,可以分别获知该互联网实体的不同方面的发展趋势。
例如,互联网实体10为互联网广告时,第一实体状态为互联网广告的历史快照,第二实体状态为互联网广告的当前快照,历史快照和当前快照对应的指标数据都可以是互联网广告的展示数量、花费额度和点击数量等指标的指标数据,获取历史快照和当前快照的指标数据可以是获取历史快照和当前快照所分别对应的互联网广告的展示数量、花费额度和点击数量等指标数据。如图4所示,在获取到指标数据后,可以将其存储到广告指标表T33中,广告指标表T33可以是数据库表。
这样,客户端在投放互联网广告时,对该互联网广告的历史快照和当前快照对应的展示、花费和点击等指标的指标数据进行分析时,可以分别获知该互联网广告在展示、花费和点击等不同方面的发展趋势。
优选地,在本发明实施例中,获取指标数据可以是周期性地获取实体状态的指标数据。
例如,互联网实体为互联网广告时,互联网广告的当前快照对应的互联网广告的展示数量、花费额度和点击数量等指标数据,获取互联网广告的当前快照可以是每隔12个小时获取一次该互联网广告的当前快照所对应的互联网广告的展示数量、花费额度和点击数量等指标数据。
这样,客户端在对互联网实体的指标数据进行分析时,可以获取比较均匀的指标数据,从而避免了偶然性对数据分析造成的影响。
步骤S106:获取实体状态和指标数据的对应关系。
获取实体状态和指标数据的对应关系可以是获取第一对应关系和获取第二对应关系。第一对应关系可以为第一实体状态和第一指标数据的对应关系,第二对应关系可以为第二实体状态和第二指标数据的对应关系。在获取到实体状态和指标数据的对应关系后,可以将该对应关系存储到相应的数据库表(如实体表T1,实体状态表T2和指标表T3)中。
在本发明实施例中,获取第一实体状态和第一指标数据的对应关系可以是获取第一实体状态外键。第一实体状态外键可以是预先设定的第一指标数据与第一实体状态产生关联的相同字段。获取第二实体状态和第二指标数据的对应关系可以是获取第二实体状态外键。第二实体状态外键可以是预先设定的第二指标数据与第二实体状态产生关联的相同字段。在获取到第一实体状态外键和第二实体状态外键后,可以将其存储到指标表T3中。通过第一实体状态外键可以获取第一实体状态和第一指标数据的对应关系,通过第二实体状态外键可以获取第二实体状态和第二指标数据的对应关系。如图3所示,通过获取实体状态外键并存储到指标表T3中,可以建立从指标表T3到实体状态表T2的关联。
这样,通过获取不同的外键可以获取不同的实体状态及其对应的指标数据的对应关系。客户端在进行指标数据分析时,可以将各指标数据对应到其相应的实体状态,从而克服了指标数据只能对应到当前状态的弊端,进而达到了分析结果比较准确的效果。
例如,互联网实体为互联网广告时,获取互联网广告的状态快照和指标数据的对应关系可以是获取互联网广告的历史快照及其对应的指标数据的对应关系以及当前快照及其对应的指标数据的对应关系。如图4所示,在获取到状态快照和指标数据的对应关系后,可以将该对应关系存储到广告指标表T33中。获取历史快照及其对应的指标数据的对应关系可以是获取不同历史快照外键。在获取到不同历史快照外键后,将其全部存储到广告指标表T33中。
这样,客户端在投放互联网广告前,当其获取到所有的指标数据进行分析时,可以将各指标数据对应到其相应的历史快照和当前快照上,从而即能获得以往投放互联网广告的经验又能预测该互联网广告未来的发展趋势,进而做出正确的投放策略。
在本发明实施例中,在步骤S102获取实体状态之后可以包括获取互联网实体及其实体状态的对应关系的步骤。当互联网实体为多个时,获取互联网实体及其实体状态的对应关系可以是获取第一互联网实体和第一实体状态的对应关系以及获取第二互联网实体和第二实体状态的对应关系。
获取第一互联实体和第一实体状态的对应关系可以是获取从第一互联实体到第一实体状态的对应关系以及获取从第一实体状态到第一互联网实体的对应关系。获取从第一互联网实体到第一实体状态的对应关系为获取从第一互联网实体到第一实体的当前状态的对应关系,其可以是获取第一实体状态外键。获取第一实体状态外键可以是获取预先设定的第一互联网实体与第一实体状态产生关联的相同字段。获取从第一互联网实体的实体状态到第一互联网实体的对应关系可以是获取第一实体外键,获取第一实体外键可以是获取预先设定的第一互联网实体和第一实体状态产生关联的相同字段,其中,第一实体外键包括一个或者多个。在获取到第一互联网实体的第一实体状态外键后,可以将其存储到实体表T1中。在获取到第一实体外键后,可以将其存储到实体状态表T2中。
同理,获取第二互联网实体和第二实体状态的对应关系可以是获取从第二互联网实体到第二实体状态的对应关系以及获取从第二实体状态到第二互联网实体的对应关系。获取从第二互联网实体到第二实体状态的对应关系为获取从第二互联网实体到第二实体的当前状态的对应关系,其可以是获取第二实体状态外键。获取第二实体状态外键可以是获取预先设定的第二互联网实体与第二实体状态产生关联的相同字段。获取从第二实体状态到第二互联网实体的对应关系可以是获取第二实体外键。获取第二实体外键可以是获取预先设定的第二互联网实体与第二实体状态产生关联的相同字段,第二实体外键包括一个或者多个。在获取到第二实体状态外键后,可以将其存储到实体表T1中。在获取到第二实体外键后,可以将其存储到实体状态表T2中。
这样,通过获取第一实体状态外键获取从第一互联网实体到第一实体状态的对应关系;通过获取第一实体外键获取从第一实体状态到第一互联网实体的对应关系;通过获取第二实体状态外键获取从第二互联网实体到第二实体状态的对应关系;通过第二实体外键获取从第二实体状态到第二互联网实体的对应关系。通过获取并存储外键,实体表T1和实体状态表T2就会建立相应的关联。在实体表T1中存储实体状态外键,能够直接对接到实体状态表T2,而实体状态表T2又可以通过指标表T3中存储的实体状态外键与指标表T3相对接,从而提高了对接查询的效率。如图3所示,箭头方向表示各关联关系。
例如,互联网实体为互联网广告时,获取互联网广告及其状态快照的对应关系可以是获取互联网广告及其历史快照的对应关系以及获取互联网广告及其当前快照的对应关系。获取互联网广告及其历史快照的对应关系可以是获取从历史快照到互联网广告的对应关系。获取从历史快照到互联网广告的对应关系可以是获取实体外键,获取实体外键可以是获取预先设定的历史快照与互联网广告产生关联的相同字段,其中实体外键包含一个或者多个。获取互联网广告及其当前快照的对应关系可以是获取从互联网广告到其当前快照的对应关系以及获取从互联网广告的当前快照到互联网广告的对应关系。获取从互联网广告到其当前快照的对应关系可以是获取快照外键,获取快照外键可以是获取预先设定的当前快照与互联网广告产生关联的相同字段。获取从互联网广告的当前快照到互联网广告的对应关系可以是获取实体外键,获取实体外键可以是获取预先设定的互联网广告与其当前快照产生关联的相同字段。在获取到快照外键后,将其存储到广告实体表T11中。在获取到实体外键后,将其存储到实体快照表T22中。而实体快照表T22又可以通过广告指标表T33中存储的快照外键与广告指标表T33相对接,从而提高了对接查询的效率。如图4所示,箭头方向表示各关联关系。
这样,通过获取并存储各快照外键以及各实体外键,广告实体表T11和实体快照表T22可以建立相应的关联。
在本发明实施例中,在步骤S104之后和步骤S106之前可以包括获取从指标数据到其对应的互联网实体的对应关系的步骤。
由于互联网实体存储在实体表T1中,并且实体表T1中存储的时互联网实体的最新当前状态,因此,获取从指标数据到其对应的互联网实体的对应关系为获取从指标数据到其对应的互联网实体的最新当前状态的对应关系,其可以是获取实体外键。获取实体外键可以是获取预先设定的指标数据及其对应的互联网实体的最新当前状态产生关联的相同字段。在获取到实体外键后,将该实体外键存储到指标表T3中,如图3所示,通过获取并将实体外键存储到指标表T3中,建立指标表T3到实体表T1的关联。
这样,通过获取实体外键可以获取从指标数据到其所对应的互联网实体的对应关系。另外,结合实体表T1中存储实体状态外键,指标表T3可以一次同时关联上实体表T1和实体状态表T2。在进行数据分析时,通过上述关联,指标表T3通过实体外键可以先关联上实体表T1,实体表T1再通过实体状态外键关联上实体状态表T2,由于实体表T1在获取到互联网实体的当前状态后,将该互联网实体的实体状态从实体表T1中删除,并将该互联网实体的最新当前状态存储到实体表T1中,同时将该互联网实体的最新当前状态直接存储到实体状态表T2中,实体状态表T2与实体表T1相比,其数据量明显大很多,因此,通过上述关联可以避免与数据量相对较大的实体状态表T2的直接关联查询。
在本发明实施例中,优选地,对同一实体状态而言,步骤获取从指标数据到其对应的互联网实体的对应关系和步骤S106中所指的获取或者存储的实体状态外键为同一外键。例如,互联网实体为互联网广告时,对同一当前快照而言,步骤获取从指标数据到其对应的互联网实体的对应关系和步骤S106中所指的获取或者存储的快照外键为同一外键。
这样,通过该实体状态外键,指标表T3可以同时关联上实体表T1和实体状态表T2,由于实体表T1存储的是当前状态,实体状态表T2存储的是历史状态和当前状态,因此本发明实施例能够同时支持针对常规的基于当前状态的数据查询和历史状态的数据分析,无需存储冗余数据。
在本发明实施例中,通过上述步骤,实现了实体状态和指标数据的对应。当客户端投放实体(如广告和网络监控等)数据时,例如投放互联网广告时,获取到的互联网广告的相关指标(如展示、花费、点击等)数据就可以对应到互联网广告的所有状态快照,通过分析相关指标在一段时间内累积的历史数据,客户端可以准确的获知之前广告在展示数目、花费额度和点击率等表现情况,在总结经验并预测发展趋势之后,客户端可以准确地调整之后的广告投放与出价等策略。
图5是根据本发明实施例的用于互联网广告分析的数据处理方法的流程图。
在本发明的一个实施例中,如图5所示,该用于互联网广告分析的数据处理方法包括如下步骤:
步骤S10,获取数据。
获取数据可以包括获取实体状态数据和获取指标数据。如果获取的是实体状态数据,则执行步骤S20,如果获取的是指标数据,则执行步骤S30。
步骤S20,获取实体状态数据。
获取实体状态数据可以是获取不同主机共享的数据库中的实体状态数据。实体状态数据可以是多个互联网实体在同一时间的状态数据,也可以是获取一个或多个互联网实体在不同时间的状态数据。
步骤S21,判断当前实体状态是否发生改变,
例如,将获取到的实体状态数据与存储在广告实体表中的实体状态数据逐条作比较,判断广告状态是否发生改变,具体地,可以是将获取到的实体状态数据与存储在广告实体表中的当前快照进行比较并作出判断。实体状态的变化可以包括原来的广告实体自身的状态发生改变,也可以包括原来的广告实体自身的状态被其他的广告实体的状态替换,还可以包括新的广告实体的状态增添。
如果发生改变,执行步骤S22,如果未发生改变,执行步骤S23。
步骤S22,将广告实体表中的条目做标记。
如果步骤S21中的广告的当前实体状态发生改变,则将广告实体表中的当前实体状态发生改变的互联网实体,例如互联网广告做标记。
步骤S23,进行下一条比较。
如果步骤S21中的广告的当前实体状态未发生改变,则获取下一条互联网实体,例如互联网广告的当前实体状态,重复步骤S21。
步骤S24,将广告实体表中做过标记的条目的最新状态,例如最新快照批量存储到实体快照表中。
步骤S25,将广告实体表中做过标记的条目的最新状态,例如最新快照批量存储到广告实体表中。
将广告实体表中做过标记的条目的最新快照批量存储到广告实体表中之前,将该做过标记的条目的当前快照从广告实体表中批量删除。
步骤S30,获取指标数据。
在预先设定的时刻获取指标数据,如果是周期性的获取指标数据则在预先设定的周期时刻获取指标数据。
步骤S31,存储指标数据。
在获取到指标数据后,可以将该指标数据存储到预先设定的广告指标表中,同时,还可以在该广告指标表存储与该指标数据对应的互联网广告的实体外键以及与其对应的快照外键。
步骤S32,通过实体外键将指标数据对应到广告实体表。
在步骤S31中存储获取到的指标数据的同时,在广告指标表中存储与其对应的实体外键。
这样,通过广告实体外键可以将指标数据对应到广告实体表中相应的互联网广告上,建立了指标数据与对应的互联网广告的关联,从而可以实现基于最新当前快照的数据查询。
步骤S33,通过广告实体表中的快照外键对应到实体快照表。
在步骤S31中存储获取到的指标数据的同时,在广告指标表中存储与其对应的快照外键,该快照外键与广告实体表中存储的相应的快照外键为同一外键。
这样,先通过广告指标表中存储的实体外键对应到广告实体表中相应的互联网广告,再通过存储在广告实体表中存储的快照外键对应到实体快照表中相应的快照,从而最终建立起指标数据与对应的快照的关联。与另一种建立指标数据与对应的快照的关联相对比,即与通过广告指标表中存储的相应的快照外键直接对应到其相应的快照的关联相对比,前者减少了一次与数据量相对较大的实体快照表的直接关联查询,从而减少了对时间的消耗,提高了查询速度。
在本发明实施例中,由于实体状态表可以作为维度表,指标表可以作为事实表,因此实体状态表和指标表可以建立星型模式关联,实现使用数据仓库技术进行数据的多维度剖析的目的,从而可以为客户端提供更为详尽的交叉剖析的数据分析结果。
本发明实施例还提供了一种用于互联网实体分析的数据处理装置,需要说明的是,本发明实施例的用于互联网实体分析的数据处理装置可以用于执行本发明实施例的用于互联网实体分析的数据处理方法,本发明实施例的用于互联网实体分析的数据处理方法也可以在本发明实施例的用于互联网实体分析的数据处理装置上执行。
根据本发明的实施例,提供了一种用于互联网实体分析的数据处理装置。
图6是根据本发明实施例的用于互联网实体分析的数据处理装置的示意图。
如图6所示,该装置包括:实体状态获取单元10、指标数据获取单元20和第一对应关系获取单元30。
实体状态获取单元10可以用于获取实体状态。实体状态可以为互联网实体的实体状态,该实体状态可以包括第一实体状态和第二实体状态。第一实体状态可以为互联网实体在第一时间的实体状态,第二实体状态可以为互联网实体在第二时间的实体状态。
指标数据获取单元20可以用于获取指标数据。指标数据可以包括第一指标数据和第二指标数据。该第一指标数据可以为第一实体状态的指标数据,第二指标数据可以为所述第二实体状态的指标数据。
第一对应关系获取单元30可以用于获取实体状态和指标数据的对应关系。对应关系可以包括第一对应关系和第二对应关系。第一对应关系可以为第一实体状态和第一指标数据的对应关系,第二对应关系可以为第二实体状态和第二指标数据的对应关系。
在本发明实施例中,实体状态获取单元10可以包括:实体状态检测模块和实体状态获取模块。实体状态检测模块可以用于检测实体状态是否发生变化。当检测到所述实体状态发生变化时,实体状态获取模块可以用于获取互联网实体的最新实体状态。
在本发明实施例中,一个实体状态可以对应一个或多个指标数据。指标数据获取单元可以包括:第一指标数据获取模块和第二指标数据获取模块。第一指标数据获取模块可以用于获取第一实体状态对应的一个或多个指标数据,第二指标数据获取模块可以用于获取第二实体状态对应的一个或多个指标数据。优选地,指标数据获取单元可以周期性地获取实体状态的指标数据。
在本发明实施例中,实体状态可以存储在实体状态表中,指标数据可以存储在指标表中,实体状态表和指标表可以为数据库表,第一对应关系获取单元可以包括:第一获取模块和第二获取模块。
第一获取模块可以采用以下方式获取第一实体状态和第一指标数据的对应关系:获取第一实体状态外键,第一实体状态外键可以为存储在指标表中的字段,该字段为预先设定的第一指标数据与第一实体状态产生关联的相同字段,第一实体状态外键指向实体状态表中的第一实体状态,通过第一实体状态外键获取第一实体状态和第一指标数据的对应关系,
第二获取模块可以采用以下方式获取第二实体状态和第二指标数据的对应关系:获取第二实体状态外键,第二实体状态外键可以为存储在指标表中的字段,该字段为预先设定的第二指标数据与第二实体状态产生关联的相同字段,第二实体状态外键指向实体状态表中的第二实体状态,通过第二实体状态外键获取第二实体状态与第二指标数据的对应关系。
在本发明实施例中,互联网实体可以包括第一实体和第二实体,该装置还可以包括第二对应关系获取单元,该第二对应关系获取单元可以包括:第三获取模块和第四获取模块。第三获取模块可以用于获取第一实体和第一实体的实体状态的对应关系。第四获取模块可以用于获取第二实体和第二实体的实体状态的对应关系。
在本发明实施例中,互联网实体可以存储在实体表中,实体状态可以存储在实体状态表中,实体表和实体状态表可以为数据库表。第三获取模块可以采用以下方式获取第一实体和第一实体的实体状态的对应关系包括:获取从第一实体到第一实体的实体状态的对应关系和获取从第一实体的实体状态到第一实体的对应关系,获取从第一实体到第一实体的实体状态的对应关系为获取从第一实体到第一实体的当前状态的对应关系。
第三获取模块获取从第一实体到第一实体的当前状态的对应关系可以包括:获取第一实体状态外键。第一实体状态外键可以为存储在所述实体表中的字段,该字段可以为预先设定的第一实体与第一实体的当前状态产生关联的相同字段。第一实体状态外键指向实体状态表中的第一实体状态,通过第一实体状态外键获取从第一实体到第一实体的实体状态的对应关系。
第三获取模块获取从第一实体的实体状态到第一实体的对应关系可以包括:获取第一实体外键。该第一实体外键可以为存储在实体状态表中的字段,该字段可以为预先设定的第一实体的实体状态与第一实体产生关联的相同字段,第一实体外键可以包括一个或者多个第一实体外键。第一实体外键指向实体表中的第一实体,通过第一实体外键获取从第一实体的实体状态到第一实体的对应关系。
第四获取模块可以采用以下方式获取第二实体及其实体状态的对应关系:获取从第二实体到第二实体的实体状态的对应关系和获取从第二实体的实体状态到第二实体的对应关系。获取从第二实体到第二实体的实体状态的对应关系可以为获取从第二实体到第二实体的当前状态的对应关系。
第四获取模块获取从第二实体到第二实体的当前状态的对应关系可以包括:获取第二实体状态外键。第二实体状态外键可以为存储在实体表中的字段,该字段可以为预先设定的第二实体与述第二实体的当前状态产生关联的相同字段。第二实体状态外键指向实体状态中的第二实体状态,通过第二实体状态外键获取从第二实体到第二实体的实体状态的对应关系。
第四获取模块获取从第二实体的实体状态到第二实体的对应关系可以包括:获取第二实体外键。第二实体外键可以为存储在实体状态表中的字段,该字段可以为预先设定的第二实体的实体状态与第二实体产生关联的相同字段。第二实体外键包括一个或者多个第二实体外键,第二实体外键指向实体表中的第二实体,通过第二实体外键获取从第二实体的实体状态到第二实体的对应关系。
在本发明实施例中,该装置还可以包括第三对应关系获取单元。该第三对应关系获取单元可以用于获取从指标数据到指标数据对应的互联网实体的对应关系。第三对应关系获取单元可以采用以下方式获取从指标数据到指标数据对应的互联网实体的对应关系:获取实体外键,该实体外键可以为存储在指标表中的字段。该字段可以为预先设定的指标数据与其对应的互联网实体的当前状态产生关联的相同字段,实体外键指向实体表中的实体。通过获取实体外键可以获取从指标数据到指标数据对应的互联网实体的对应关系。
从以上的描述中,可以看出,本发明实现了如下技术效果:
客户端在做指标数据分析时,能够获得指标数据及其对应的实体以及对应的所有实体状态的关联,从而克服了指标数据只能与实体的当前状态相关联的缺点,达到了数据分析结果比较准确的效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。