CN110209874B - 信息处理方法、装置、电子设备及存储介质 - Google Patents

信息处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110209874B
CN110209874B CN201910334683.7A CN201910334683A CN110209874B CN 110209874 B CN110209874 B CN 110209874B CN 201910334683 A CN201910334683 A CN 201910334683A CN 110209874 B CN110209874 B CN 110209874B
Authority
CN
China
Prior art keywords
video
identifier
bloom filter
hash
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910334683.7A
Other languages
English (en)
Other versions
CN110209874A (zh
Inventor
王杨
周正
王平
段光磊
张大虎
徐婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910334683.7A priority Critical patent/CN110209874B/zh
Publication of CN110209874A publication Critical patent/CN110209874A/zh
Application granted granted Critical
Publication of CN110209874B publication Critical patent/CN110209874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种信息处理方法、装置、电子设备及存储介质。其中方法包括:监听视频删除消息;所述视频删除消息携带第一用户标识和第一视频标识;在监听到所述视频删除消息后,查询第一布隆过滤器中是否存储有所述第一用户标识;所述第一布隆过滤器用于存储已注册的用户标识;在所述第一布隆过滤器中存储有所述第一用户标识时,查询第二布隆过滤器中是否存储有所述第一视频标识;所述第二布隆过滤器用于存储具有视频指数信息的视频标识;在所述第二布隆过滤器中存储有所述第一视频标识时,从记录有视频指数信息的数据库中删除所述第一视频标识对应的视频指数信息。本发明能够降低数据库的处理负担,降低缓存视频删除消息时对空间的占用。

Description

信息处理方法、装置、电子设备及存储介质
技术领域
本发明涉及互联网技术领域,特别是涉及一种信息处理方法、装置、电子设备及存储介质。
背景技术
自媒体又称公民媒体或个人媒体,是指私人化、平民化、普泛化、自主化的传播者,以现代化、电子化的手段,向不特定的大多数或者特定的单个人传递规范性及非规范性信息的新媒体的总称。论坛、博客、微博、微信以及视频网站等,构成了自媒体的主要表达渠道。
在视频网站中,用户可以注册为自媒体用户。自媒体用户可以上传个人录制的视频,视频网站基于自媒体用户上传视频的质量、播放数、点赞数、评论数等,计算该自媒体用户上传的视频对应的指数得分,并将用户标识、指数得分等记录到数据库中,为评价自媒体用户提供依据。
视频由统一的平台进行管理,该平台管理自媒体用户及非自媒体用户的视频。由于某些原因,比如自媒体用户主动删除视频、视频违规等,平台中该自媒体用户的视频会被删除。视频网站在得知视频删除后,会判断针对删除视频是否记录有对应的指数得分,如果有则将删除视频对应的指数得分也删除。
但是,由于视频数量很大,因此可能会出现大量的删除视频,视频网站针对每个删除视频都要访问数据库进行相关判断,包括访问数据库获取数据库中记录的删除视频对应的用户标识,并判断获取的用户标识是否为自媒体用户的标识,以及访问数据库判断数据库中是否记录有删除视频对应的指数得分,从而导致数据库的处理压力大,处理效率低。
发明内容
本发明实施例提供一种信息处理方法、装置、电子设备及存储介质,以解决处理压力大,处理效率低的问题。
第一方面,本发明实施例提供了一种信息处理方法,所述方法包括:
监听视频删除消息;所述视频删除消息携带第一用户标识和第一视频标识;
在监听到所述视频删除消息后,查询第一布隆过滤器中是否存储有所述第一用户标识;所述第一布隆过滤器用于存储已注册的用户标识;
在所述第一布隆过滤器中存储有所述第一用户标识时,查询第二布隆过滤器中是否存储有所述第一视频标识;所述第二布隆过滤器用于存储具有视频指数信息的视频标识;
在所述第二布隆过滤器中存储有所述第一视频标识时,从记录有视频指数信息的数据库中删除所述第一视频标识对应的视频指数信息。
可选地,所述查询第一布隆过滤器中是否存储有所述第一用户标识,包括:利用预设的第一哈希函数计算所述第一用户标识对应的第一哈希值;利用预设的多个不同的第一预设参数分别对所述第一哈希值进行取模运算,得到多个第一模值;从所述第一布隆过滤器中分别获取偏移位置为所述第一哈希值的元素对应的数值,以及偏移位置分别为每个所述第一模值的元素对应的数值;在获取的数值全部为第一数值时,确定所述第一布隆过滤器中存储有所述第一用户标识;所述第一数值表示元素被占用。
可选地,在所述利用预设的第一哈希函数计算所述第一用户标识对应的第一哈希值的步骤之前,还包括:对所述第一用户标识进行字符串反转处理,得到处理后的第一用户标识;所述利用预设的第一哈希函数计算所述第一用户标识对应的第一哈希值,包括:利用所述第一哈希函数计算所述处理后的第一用户标识对应的第一哈希值。
可选地,所述查询第二布隆过滤器中是否存储有所述第一视频标识,包括:利用预设的第二哈希函数计算所述第一视频标识对应的第二哈希值;利用预设的多个不同的第二预设参数分别对所述第二哈希值进行取模运算,得到多个第二模值;从所述第二布隆过滤器中分别获取偏移位置为所述第二哈希值的元素对应的数值,以及偏移位置分别为每个所述第二模值的元素对应的数值;在获取的数值全部为第一数值时,确定所述第二布隆过滤器中存储有所述第一视频标识;所述第一数值表示元素被占用。
可选地,在所述利用预设的第二哈希函数计算所述第一视频标识对应的第二哈希值的步骤之前,还包括:对所述第一视频标识进行字符串反转处理,得到处理后的第一视频标识;所述利用预设的第二哈希函数计算所述第一视频标识对应的第二哈希值,包括:利用所述第二哈希函数计算所述处理后的第一视频标识对应的第二哈希值。
可选地,所述方法还包括:在所述具有视频指数信息的视频标识被存储至所述第二布隆过滤器后,为所述视频标识设置过期时间;在检测到到达所述视频标识的过期时间时,将所述第二布隆过滤器中存储所述视频标识占用的元素赋值为第二数值;所述第二数值表示元素未被占用。
可选地,所述方法还包括:在首次注册用户成功注册后,将所述首次注册用户的用户标识存储至所述第一布隆过滤器。
可选地,所述方法还包括:在基于视频生成对应的视频指数信息后,将所述视频的视频标识存储至所述第二布隆过滤器,以及将所述视频对应的视频指数信息记录至所述数据库。
第二方面,本发明实施例提供了一种信息处理装置,所述装置包括:
监听模块,用于监听视频删除消息;所述视频删除消息携带第一用户标识和第一视频标识;
第一查询模块,用于在监听到所述视频删除消息后,查询第一布隆过滤器中是否存储有所述第一用户标识;所述第一布隆过滤器用于存储已注册的用户标识;
第二查询模块,用于在所述第一布隆过滤器中存储有所述第一用户标识时,查询第二布隆过滤器中是否存储有所述第一视频标识;所述第二布隆过滤器用于存储具有视频指数信息的视频标识;
删除模块,用于在所述第二布隆过滤器中存储有所述第一视频标识时,从记录有视频指数信息的数据库中删除所述第一视频标识对应的视频指数信息。
可选地,所述第一查询模块包括:第一哈希计算单元,用于利用预设的第一哈希函数计算所述第一用户标识对应的第一哈希值;第一取模计算单元,用于利用预设的多个不同的第一预设参数分别对所述第一哈希值进行取模运算,得到多个第一模值;第一获取单元,用于从所述第一布隆过滤器中分别获取偏移位置为所述第一哈希值的元素对应的数值,以及偏移位置分别为每个所述第一模值的元素对应的数值;第一确定单元,用于在获取的数值全部为第一数值时,确定所述第一布隆过滤器中存储有所述第一用户标识;所述第一数值表示元素被占用。
可选地,所述第一查询模块还包括:第一反转单元,用于对所述第一用户标识进行字符串反转处理,得到处理后的第一用户标识;所述第一哈希计算单元,具体用于利用所述第一哈希函数计算所述处理后的第一用户标识对应的第一哈希值。
可选地,所述第二查询模块包括:第二哈希计算单元,用于利用预设的第二哈希函数计算所述第一视频标识对应的第二哈希值;第二取模计算单元,用于利用预设的多个不同的第二预设参数分别对所述第二哈希值进行取模运算,得到多个第二模值;第二获取单元,用于从所述第二布隆过滤器中分别获取偏移位置为所述第二哈希值的元素对应的数值,以及偏移位置分别为每个所述第二模值的元素对应的数值;第二确定单元,用于在获取的数值全部为第一数值时,确定所述第二布隆过滤器中存储有所述第一视频标识;所述第一数值表示元素被占用。
可选地,所述第二查询模块还包括:第二反转单元,对所述第一视频标识进行字符串反转处理,得到处理后的第一视频标识;所述第二哈希计算单元,具体用于利用所述第二哈希函数计算所述处理后的第一视频标识对应的第二哈希值。
可选地,所述装置还包括:时间设置模块,用于在所述具有视频指数信息的视频标识被存储至所述第二布隆过滤器后,为所述视频标识设置过期时间;数值设置模块,用于在检测到到达所述视频标识的过期时间时,将所述第二布隆过滤器中存储所述视频标识占用的元素赋值为第二数值;所述第二数值表示元素未被占用。
可选地,所述装置还包括:第一存储模块,用于在首次注册用户成功注册后,将所述首次注册用户的用户标识存储至所述第一布隆过滤器。
可选地,所述装置还包括:第二存储模块,用于在基于视频生成对应的视频指数信息后,将所述视频的视频标识存储至所述第二布隆过滤器,以及将所述视频对应的视频指数信息记录至所述数据库。
第三方面,本发明实施例提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行如上任一项所述的信息处理方法。
第四方面,本发明实施例提供了一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如上任一项所述的信息处理方法。
在本发明实施例中,监听视频删除消息,视频删除消息携带第一用户标识和第一视频标识;在监听到视频删除消息后,查询第一布隆过滤器中是否存储有第一用户标识,第一布隆过滤器用于存储已注册的用户标识;在存储有第一用户标识时,查询第二布隆过滤器中是否存储有第一视频标识,第二布隆过滤器用于存储具有视频指数信息的视频标识;在存储有第一视频标识时,从记录有视频指数信息的数据库中删除第一视频标识对应的视频指数信息。
由此可知,本发明实施例中将已注册的用户标识存储在第一布隆过滤器中,已注册的用户标识为自媒体用户的标识,通过查询第一布隆过滤器可以判断上传被删除视频的第一用户标识是否为自媒体用户的标识;将具有视频指数信息的视频标识存储在第二布隆过滤器中,通过查询第二布隆过滤器可以判断数据库中是否记录有第一视频标识对应的视频指数信息。因此,一方面,上述两个判断过程均不再需要访问数据库进行查询,减少由于两个判断过程导致的对数据库的查询压力。另一方面,只有当第一布隆过滤器中存储有第一用户标识,且第二布隆过滤器中存储有第一视频标识时,才会访问数据库查询第一视频标识对应的视频指数信息;当第一布隆过滤器中未存储第一用户标识时,无需再查询第二布隆过滤器中是否存储有第一视频标识,可以确定数据库中未记录第一视频标识对应的视频指数信息,因此无需再访问数据库查询第一视频标识对应的视频指数信息;当第一布隆过滤器中存储有第一用户标识,但第二布隆过滤器中未存储第一视频标识时,可以确定数据库中未记录第一视频标识对应的视频指数信息,也无需再访问数据库查询第一视频标识对应的视频指数信息。因此能够避免在数据库中未记录第一视频标识对应的视频指数信息时,仍然访问数据库进行视频指数信息的查询的问题,降低了数据库的处理负担。再一方面,基于布隆过滤器的判断过程更加简便,能够提高对视频删除消息的处理效率,降低缓存视频删除消息时对空间的占用。
附图说明
图1是本发明实施例的一种信息处理方法的步骤流程图;
图2是本发明实施例的另一种信息处理方法的步骤流程图;
图3是本发明实施例的一种信息处理装置的结构框图;
图4是本发明实施例的另一种信息处理装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,示出了本发明实施例的一种信息处理方法的步骤流程图。
本发明实施例的信息处理方法包括以下步骤:
步骤101,监听视频删除消息。
视频由统一的平台进行管理。该平台可以管理自媒体用户及非自媒体用户上传的视频,可以进行视频是否违规的判断、增加视频、删除视频,等等。当平台确定删除某个视频后,比如平台检测到用户主动删除视频,或者检测到视频违规后,可以确定删除该视频。该种情况下平台将会向服务器(比如视频网站的服务器)发送视频删除消息。
服务器可以实时监听视频删除消息。视频删除消息中携带第一用户标识和第一视频标识等信息。第一用户标识即为删除的视频对应的用户标识,第一视频标识即为删除的视频对应的视频标识。
步骤102,在监听到所述视频删除消息后,查询第一布隆过滤器中是否存储有所述第一用户标识。
对于在服务器中已注册的用户标识,将其存储至第一布隆过滤器中。已注册的用户标识为自媒体用户的标识。服务器在监听到视频删除消息后,可以查询第一布隆过滤器中是否存储有视频删除消息携带的第一用户标识,以便确定第一用户标识是否为已注册的用户标识。
如果第一布隆过滤器中存储有第一用户标识,则表示第一用户标识为已注册的用户标识,因此继续执行步骤103。如果第一布隆过滤器中未存储第一用户标识,则表示第一用户标识为未注册的用户标识,因此可以忽略本次的视频删除消息,不作后续处理。
步骤103,在所述第一布隆过滤器中存储有所述第一用户标识时,查询第二布隆过滤器中是否存储有所述第一视频标识。
对于自媒体用户上传的视频,服务器可以对该视频进行分析,比如分析视频的质量、播放数、点赞数、评论数等。分析之后生成该视频对应的视频指数信息,比如视频指数信息可以为视频加分信息等。如果基于某个视频生成了对应的视频指数信息,则可以将该视频的视频标识存储至第二布隆过滤器,以及将该视频对应的视频指数信息记录至数据库,当然数据库中还可以记录该视频对应的用户标识、该视频的视频标识等信息。
在监听到视频删除消息后,如果数据库中记录有第一视频标识对应的视频指数信息,则还应从数据库中删除第一视频标识对应的视频指数信息。本发明实施例中,服务器可以通过查询第二布隆过滤器中是否存储有第一视频标识,以便确定数据库中是否记录有第一视频标识对应的视频指数信息。
如果第二布隆过滤器中存储有第一视频标识,则表示数据库中记录有第一视频标识对应的视频指数信息,因此继续执行步骤104。如果第二布隆过滤器中未存储第一视频标识,则表示数据库中未记录第一视频标识对应的视频指数信息,因此可以忽略本次的视频删除消息,不作后续处理。
步骤104,在所述第二布隆过滤器中存储有所述第一视频标识时,从记录有视频指数信息的数据库中删除所述第一视频标识对应的视频指数信息。
在第二布隆过滤器中存储有第一视频标识时,对于删除的视频对应的视频指数信息(也即第一视频标识对应的视频指数信息)也应从数据库中删除。比如,可以根据第一视频标识从数据库中查询第一视频标识对应的视频指数信息,并将查询到的视频指数信息删除。
本发明实施例中将已注册的用户标识存储在第一布隆过滤器中,已注册的用户标识为自媒体用户的标识,通过查询第一布隆过滤器可以判断上传被删除视频的第一用户标识是否为自媒体用户的标识;将具有视频指数信息的视频标识存储在第二布隆过滤器中,通过查询第二布隆过滤器可以判断数据库中是否记录有第一视频标识对应的视频指数信息。因此,一方面,上述两个判断过程均不再需要访问数据库进行查询,减少由于两个判断过程导致的对数据库的查询压力。另一方面,只有当第一布隆过滤器中存储有第一用户标识,且第二布隆过滤器中存储有第一视频标识时,才会访问数据库查询第一视频标识对应的视频指数信息;当第一布隆过滤器中未存储第一用户标识时,无需再查询第二布隆过滤器中是否存储有第一视频标识,可以确定数据库中未记录第一视频标识对应的视频指数信息,因此无需再访问数据库查询第一视频标识对应的视频指数信息;当第一布隆过滤器中存储有第一用户标识,但第二布隆过滤器中未存储第一视频标识时,可以确定数据库中未记录第一视频标识对应的视频指数信息,也无需再访问数据库查询第一视频标识对应的视频指数信息。因此能够避免在数据库中未记录第一视频标识对应的视频指数信息时,仍然访问数据库进行视频指数信息的查询的问题,降低了数据库的处理负担。再一方面,基于布隆过滤器的判断过程更加简便,能够提高对视频删除消息的处理效率,降低缓存视频删除消息时对空间的占用。
参照图2,示出了本发明实施例的另一种信息处理方法的步骤流程图。
本发明实施例的信息处理方法包括以下步骤:
步骤201,在首次注册用户成功注册后,将所述首次注册用户的用户标识存储至所述第一布隆过滤器。
自媒体用户想要上传个人视频,首先要进行注册。在自媒体用户首次注册成功后,服务器可以将首次注册用户的用户标识存储至第一布隆过滤器,以便后续判定用户是否属于已注册的用户。
布隆过滤器中可以保存一长度为M的位数组,M为正整数。该位数组中每个元素占用1bit(比特)的位置,元素为第一数值或者第二数值,第一数值表示元素被占用,第二数值表示元素未被占用。初始时该位数组中每个元素可以均为第二数值,表明还未存储数据。其中第一数值和第二数值可以为任意适用的数值,比如第一数值为1,第二数值为0等。布隆过滤器可以利用该位数组存储标识值。比如,可以利用K个预设的哈希函数,其中K为正整数,将标识值映射为一组取值范围均为1到M的正整数组{X1,X2,…,XK},该正整数组中的各个元素互不相同,将位数组中第X1,X2,…,XK个元素的值均设置为第一数值,从而完成对标识值的保存。
考虑到哈希计算的过程较为复杂,耗时较长,因此如果采用K个哈希函数进行K次哈希计算则所需时间很长。因此,本发明实施例中为了减少计算时间,采用了一次哈希计算多次取模(mod)计算代替多次哈希计算,将标识值映射为一组正整数组。由于取模计算所需的时间相比于哈希计算所需的时间更短,因此该种方式能够降低计算的复杂度,减少计算时间,提高处理效率。
本发明实施例中,采用一次哈希计算多次取模计算的方式,将首次注册用户的用户标识存储至第一布隆过滤器,具体可以包括A1~A3:
A1,利用预设的第一哈希函数计算所述首次注册用户的用户标识对应的第三哈希值。
第一哈希函数是为第一布隆过滤器设置的哈希函数。利用第一哈希函数对首次注册用户的用户标识进行哈希计算,可以得到首次注册用户的用户标识对应的哈希值,也即第三哈希值。
A2,利用预设的多个不同的第一预设参数分别对所述第三哈希值进行取模运算,得到多个第三模值。
第一预设参数是为第一布隆过滤器设置的预设参数。得到第三哈希值后,利用多个不同的第一预设参数分别对第三哈希值进行取模运算,也即利用每个第一预设参数对第三哈希值进行一次取模运算,可以得到首次注册用户的用户标识对应的多个取模结果,也即第三模值。
A3,将所述第一布隆过滤器中偏移位置为所述第三哈希值的元素赋值为第一数值,以及将所述第一布隆过滤器中偏移位置分别为每个第三模值的元素均赋值为第一数值。
将第一布隆过滤器中偏移位置为第三哈希值的元素赋值为第一数值,以及将第一布隆过滤器中偏移位置分别为每个第三模值的元素均赋值为第一数值,即可实现对首次注册用户的用户标识的存储。
比如,首次注册用户的用户标识为1234,利用第一哈希函数对首次注册用户的用户标识进行哈希计算,得到第三哈希值为15。利用多个不同的第一预设参数分别对第三哈希值进行取模运算,多个不同的第一预设参数分别为4,7,10,利用第一预设参数4对第三哈希值15进行取模运算,得到第三模值3;利用第一预设参数7对第三哈希值15进行取模运算,得到第三模值1;利用第一预设参数10对第三哈希值15进行取模运算,得到第三模值5。因此,将第一布隆过滤器中偏移位置为1,3,5,15的元素均赋值为1,完成对首次注册用户的用户标识1234的存储。
考虑到用户标识之间可能相差较小,比如3个用户标识分别为1234,1235,1236,这样根据这3个用户标识计算出的第三哈希值和第三模值之间也会相差较小,从而导致第一布隆过滤器中存储这3个用户标识的位置较为集中。因此,本发明实施例中为了使第一布隆过滤器中存储的数据更加均匀,在利用第一哈希函数计算首次注册用户的用户标识对应的第三哈希值之前,还可以对该首次注册用户的用户标识进行字符串反转处理,得到处理后的首次注册用户的用户标识,然后再利用第一哈希函数计算处理后的首次注册用户的用户标识对应的第三哈希值。比如,对于用户标识1234进行字符串反转处理后得到的结果为4321,对于用户标识1235进行字符串反转处理后得到的结果为5321,对于用户标识1236进行字符串反转处理后得到的结果为6321,这样进行字符串反转处理后的3个用户标识之间相差较大,使得在存储至第一布隆过滤器时分布更加均匀。
需要说明的是,由于第一布隆过滤器用于存储已注册的用户标识,用户标识的数量增加相对较慢,因此第一布隆过滤器中位数组的长度可以根据实际情况设置为相对较小的数值。
步骤202,在基于视频生成对应的视频指数信息后,将所述视频的视频标识存储至所述第二布隆过滤器,以及将所述视频对应的视频指数信息记录至所述数据库。
服务器可以按照设定周期对自媒体用户上传的视频进行分析,比如分析视频的质量、播放数、点赞数、评论数等,得到视频对应的视频指数信息。其中对于设定周期的具体数值,本领域技术人员根据实际经验设置任意适用的值均可,比如设定周期为一天、两天,等等。
在基于视频生成对应的视频指数信息后,将该视频的视频标识存储至第二布隆过滤器,将该视频对应的视频指数信息记录至数据库。
由于第二布隆过滤器用于存储具有对应的视频指数信息的视频标识,自媒体用户上传的视频数量很大,因此第二布隆过滤器可以采用redis数据库支持的bitmap(位图)数据结构,bitmap基于String(字符串)类型定义的一系列面向位操作的方法,可以达到512MB,所以位数最大是2^32,因此位数足够大,可以满足对视频标识的存储。
本发明实施例中,采用一次哈希计算多次取模计算的方式,将所述视频的视频标识存储至所述第二布隆过滤器,具体可以包括B1~B3:
B1,利用预设的第二哈希函数计算所述视频的视频标识对应的第四哈希值。
第二哈希函数是为第二布隆过滤器设置的哈希函数。利用第二哈希函数对视频标识进行哈希计算,可以得到视频标识对应的哈希值,也即第四哈希值。
B2,利用预设的多个不同的第二预设参数分别对所述第四哈希值进行取模运算,得到多个第四模值。
第二预设参数是为第二布隆过滤器设置的预设参数。得到第四哈希值后,利用多个不同的第二预设参数分别对第四哈希值进行取模运算,也即利用每个第二预设参数对第四哈希值进行一次取模运算,可以得到视频标识对应的多个取模结果,也即第四模值。
B3,将所述第二布隆过滤器中偏移位置为所述第四哈希值的元素赋值为第一数值,以及将所述第二布隆过滤器中偏移位置分别为每个第四模值的元素均赋值为第一数值。
将第二布隆过滤器中偏移位置为第四哈希值的元素赋值为第一数值,以及将第二布隆过滤器中偏移位置分别为每个第四模值的元素均赋值为第一数值,即可实现对视频标识的存储。对于redis数据库支持的bitmap数据结构来说,可以利用setbit指令将第二布隆过滤器中偏移位置为第四哈希值和第四模值的元素均赋值为第一数值。
比如,视频标识为4567,利用第二哈希函数对视频标识进行哈希计算,得到第四哈希值为37。利用多个不同的第二预设参数分别对第四哈希值进行取模运算,多个不同的第二预设参数分别为5,8,11,利用第二预设参数5对第四哈希值37进行取模运算,得到第四模值2;利用第二预设参数8对第四哈希值37进行取模运算,得到第四模值5;利用第二预设参数11对第四哈希值37进行取模运算,得到第四模值4。因此,将第二布隆过滤器中偏移位置为2,4,5,37的元素均赋值为1,完成对视频标识4567的存储。
考虑到视频标识之间可能相差较小,比如3个视频标识分别为4567,4568,4569,这样根据这3个视频标识计算出的第四哈希值和第四模值之间也会相差较小,从而导致第二布隆过滤器中存储这3个视频标识的位置较为集中。因此,本发明实施例中为了使第二布隆过滤器中存储的数据更加均匀,可以在利用第二哈希函数计算视频标识对应的第四哈希值之前,还可以对该视频标识进行字符串反转处理,得到处理后的视频标识,然后再利用第二哈希函数计算处理后的视频标识对应的第四哈希值。比如,对于视频标识4567进行字符串反转处理后得到的结果为7654,对于视频标识4568进行字符串反转处理后得到的结果为8654,对于视频标识4569进行字符串反转处理后得到的结果为9654,这样进行字符串反转处理后的3个视频标识之间相差较大,使得在存储至第二布隆过滤器时分布更加均匀。
步骤203,在所述具有视频指数信息的视频标识被存储至所述第二布隆过滤器后,为所述视频标识设置过期时间。
步骤204,在检测到到达所述视频标识的过期时间时,将所述第二布隆过滤器中存储所述视频标识占用的元素赋值为第二数值。
考虑到布隆过滤器中的数据不能删除,而自媒体用户上传的视频可能会被删除,比如用户主动删除视频、视频违规等,因此虽然视频被删除了,但是如果第二布隆过滤器中存储有删除视频的视频标识,该视频标识是不能被删除的,这样就会浪费布隆过滤器的空间。
因此,本发明实施例中为了充分利用第二布隆过滤器的空间,可以在具有视频指数信息的视频标识被存储至第二布隆过滤器后,为该视频标识设置过期时间。针对第二布隆过滤器中的每个视频标识,可以实时检测是否到达该视频标识的过期时间,并在检测到到达该视频标识的过期时间时,将第二布隆过滤器中该视频标识占用的元素赋值为第二数值,第二数值表示元素未被占用,因此后续可以利用该元素继续存储其他视频标识。对于redis数据库支持的bitmap数据结构来说,可以利用setbit指令将第二布隆过滤器中该视频标识标记所在的位置赋值为第二数值。
步骤205,监听视频删除消息。
比如,对于平台管理的视频,比如平台的00字段可以对应PGC(Professionally-generated Content,专业生产内容)类型的视频,09字段可以对应UGC(User-generatedContent,用户生产内容)类型的视频,等等。当平台确定删除某个视频后,将会向视频网站的服务器发送视频删除消息。服务器可以监听视频删除消息,比如可以监听平台的00字段对应的PGC视频删除消息,监听平台的09字段对应的UGC视频删除消息,等等。
步骤206,在监听到所述视频删除消息后,查询第一布隆过滤器中是否存储有所述第一用户标识。
视频删除消息携带第一用户标识和第一视频标识。
服务器在监听到视频删除消息后,首先可以查询第一布隆过滤器中是否存储有第一用户标识。对应于上述步骤201中将已注册的用户标识存储至第一布隆过滤器中的过程,在查询第一布隆过滤器中是否存储有第一用户标识时,也采用一次哈希计算多次取模计算的方式。
因此,查询第一布隆过滤器中是否存储有第一用户标识的过程可以包括C1~C4:
C1,利用预设的第一哈希函数计算所述第一用户标识对应的第一哈希值。
此处的第一哈希函数与步骤201中的第一哈希函数相同。利用第一哈希函数对第一用户标识进行哈希计算,可以得到第一用户标识对应的哈希值,也即第一哈希值。
C2,利用预设的多个不同的第一预设参数分别对所述第一哈希值进行取模运算,得到多个第一模值。
此处的第一预设参数与步骤201中的第一预设参数相同。得到第一哈希值后,利用多个不同的第一预设参数分别对第一哈希值进行取模运算,也即利用每个第一预设参数对第一哈希值进行一次取模运算,可以得到第一用户标识对应的多个取模结果,也即第一模值。
C3,从所述第一布隆过滤器中分别获取偏移位置为所述第一哈希值的元素对应的数值,以及偏移位置分别为每个所述第一模值的元素对应的数值。
C4,在获取的数值全部为第一数值时,确定所述第一布隆过滤器中存储有所述第一用户标识;否则,确定所述第一布隆过滤器中未存储所述第一用户标识。
比如,第一用户标识为1234,利用第一哈希函数对第一用户标识进行哈希计算,得到第一哈希值为15。利用多个不同的第一预设参数分别对第一哈希值进行取模运算,多个不同的第一预设参数分别为4,7,10,利用第一预设参数4对第一哈希值15进行取模运算,得到第一模值3;利用第一预设参数7对第一哈希值15进行取模运算,得到第一模值1;利用第一预设参数10对第一哈希值15进行取模运算,得到第一模值5。因此,从第一布隆过滤器中获取偏移位置为1,3,5,15的元素对应的数值,如果偏移位置为1,3,5,15的元素对应的数值全部为1,则确定第一布隆过滤器中存储有第一用户标识1234;否则,确定第一布隆过滤器中未存储第一用户标识1234。
对应于上述步骤201中将用户标识进行字符串反转处理的方式,此处在利用预设的第一哈希函数计算所述第一用户标识对应的第一哈希值的步骤之前,对所述第一用户标识进行字符串反转处理,得到处理后的第一用户标识。然后再利用预设的第一哈希函数计算处理后的第一用户标识对应的第一哈希值。
步骤207,在所述第一布隆过滤器中存储有所述第一用户标识时,查询第二布隆过滤器中是否存储有所述第一视频标识。
如果第一布隆过滤器中存储有第一用户标识,则进一步查询第二布隆过滤器中是否存储有第一视频标识。对应于上述步骤202中将视频标识存储至第二布隆过滤器中的过程,在查询第二布隆过滤器中是否存储有第一视频标识时,也采用一次哈希计算多次取模计算的方式。
因此,查询第二布隆过滤器中是否存储有第一视频标识的过程可以包括D1~D4:
D1,利用预设的第二哈希函数计算所述第一视频标识对应的第二哈希值。
此处的第二哈希函数与步骤202中的第二哈希函数相同。利用第二哈希函数对第一视频标识进行哈希计算,可以得到第一视频标识对应的哈希值,也即第二哈希值。
D2,利用预设的多个不同的第二预设参数分别对所述第二哈希值进行取模运算,得到多个第二模值。
此处的第二预设参数与步骤202中的第二预设参数相同。得到第二哈希值后,利用多个不同的第二预设参数分别对第二哈希值进行取模运算,也即利用每个第二预设参数对第二哈希值进行一次取模运算,可以得到第一视频标识对应的多个取模结果,也即第二模值。
D3,从所述第二布隆过滤器中分别获取偏移位置为所述第二哈希值的元素对应的数值,以及偏移位置分别为每个所述第二模值的元素对应的数值。
对于redis数据库支持的bitmap数据结构来说,可以利用getbit指令从第二布隆过滤器中获取偏移位置分别为第二哈希值和每个第二模值的元素对应的数值。
D4,在获取的数值全部为第一数值时,确定所述第二布隆过滤器中存储有所述第一视频标识;否则,确定所述第二布隆过滤器中未存储所述第一视频标识。
比如,第一视频标识为4567,利用第二哈希函数对第一视频标识进行哈希计算,得到第二哈希值为37。利用多个不同的第二预设参数分别对第二哈希值进行取模运算,多个不同的第二预设参数分别为5,8,11,利用第二预设参数5对第二哈希值37进行取模运算,得到第二模值2;利用第二预设参数8对第二哈希值37进行取模运算,得到第二模值5;利用第二预设参数11对第二哈希值37进行取模运算,得到第二模值4。因此,从第二布隆过滤器中获取偏移位置为2,4,5,37的元素对应的数值,如果偏移位置为2,4,5,37的元素对应的数值全部为1,则确定第二布隆过滤器中存储有第一视频标识4567;否则,确定第二布隆过滤器中未存储第一视频标识4567。
对应于上述步骤202中将视频标识进行字符串反转处理的方式,此处在利用预设的第二哈希函数计算所述第一视频标识对应的第二哈希值的步骤之前,对所述第一视频标识进行字符串反转处理,得到处理后的第一视频标识。然后再利用预设的第二哈希函数计算处理后的第一视频标识对应的第二哈希值。
步骤208,在所述第二布隆过滤器中存储有所述第一视频标识时,从记录有视频指数信息的数据库中删除所述第一视频标识对应的视频指数信息。
在第二布隆过滤器中存储有第一视频标识时,说明数据库中存储有第一视频标识对应的视频指数信息,因此对于第一视频标识对应的视频指数信息也应从数据库中删除。
比如,数据库中可以对应存储用户标识、视频标识、视频指数信息,因此根据第一视频标识可以从数据库中查询该第一视频标识对应的视频指数信息,并删除查询到的视频指数信息。
本发明实施例中,通过增加布隆过滤器的方式,可以加速对视频删除消息的处理,减少缓存空间;通过一次哈希计算多次取模计算的方式,可以减少对标识的计算时间;通过字符串反转处理的方式,可以使布隆过滤器中存储的数据更加均匀。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图3,示出了本发明实施例的一种信息处理装置的结构框图。
本发明实施例的信息处理装置包括以下模块:监听模块301、第一查询模块302、第二查询模303和删除模块304。
监听模块301,用于监听视频删除消息。所述视频删除消息携带第一用户标识和第一视频标识。
第一查询模块302,用于在监听到所述视频删除消息后,查询第一布隆过滤器中是否存储有所述第一用户标识。所述第一布隆过滤器用于存储已注册的用户标识。
第二查询模块303,用于在所述第一布隆过滤器中存储有所述第一用户标识时,查询第二布隆过滤器中是否存储有所述第一视频标识。所述第二布隆过滤器用于存储具有视频指数信息的视频标识。
删除模块304,用于在所述第二布隆过滤器中存储有所述第一视频标识时,从记录有视频指数信息的数据库中删除所述第一视频标识对应的视频指数信息。
本发明实施例中将已注册的用户标识存储在第一布隆过滤器中,已注册的用户标识为自媒体用户的标识,通过查询第一布隆过滤器可以判断上传被删除视频的第一用户标识是否为自媒体用户的标识;将具有视频指数信息的视频标识存储在第二布隆过滤器中,通过查询第二布隆过滤器可以判断数据库中是否记录有第一视频标识对应的视频指数信息。因此,一方面,上述两个判断过程均不再需要访问数据库进行查询,减少由于两个判断过程导致的对数据库的查询压力。另一方面,只有当第一布隆过滤器中存储有第一用户标识,且第二布隆过滤器中存储有第一视频标识时,才会访问数据库查询第一视频标识对应的视频指数信息;当第一布隆过滤器中未存储第一用户标识时,无需再查询第二布隆过滤器中是否存储有第一视频标识,可以确定数据库中未记录第一视频标识对应的视频指数信息,因此无需再访问数据库查询第一视频标识对应的视频指数信息;当第一布隆过滤器中存储有第一用户标识,但第二布隆过滤器中未存储第一视频标识时,可以确定数据库中未记录第一视频标识对应的视频指数信息,也无需再访问数据库查询第一视频标识对应的视频指数信息。因此能够避免在数据库中未记录第一视频标识对应的视频指数信息时,仍然访问数据库进行视频指数信息的查询的问题,降低了数据库的处理负担。再一方面,基于布隆过滤器的判断过程更加简便,能够提高对视频删除消息的处理效率,降低缓存视频删除消息时对空间的占用。
图4是本发明实施例的另一种信息处理装置的结构框图。
本发明实施例的信息处理装置包括以下模块:监听模块401、第一查询模块402、第二查询模403、删除模块404、第一存储模块405、第二存储模块406、时间设置模块407和数值设置模块408。
监听模块401,用于监听视频删除消息;所述视频删除消息携带第一用户标识和第一视频标识。
第一查询模块402,用于在监听到所述视频删除消息后,查询第一布隆过滤器中是否存储有所述第一用户标识。所述第一布隆过滤器用于存储已注册的用户标识。
第二查询模块403,用于在所述第一布隆过滤器中存储有所述第一用户标识时,查询第二布隆过滤器中是否存储有所述第一视频标识。所述第二布隆过滤器用于存储具有视频指数信息的视频标识。
删除模块404,用于在所述第二布隆过滤器中存储有所述第一视频标识时,从记录有视频指数信息的数据库中删除所述第一视频标识对应的视频指数信息。
第一存储模块405,用于在首次注册用户成功注册后,将所述首次注册用户的用户标识存储至所述第一布隆过滤器。
第二存储模块406,用于在基于视频生成对应的视频指数信息后,将所述视频的视频标识存储至所述第二布隆过滤器,以及将所述视频对应的视频指数信息记录至所述数据库。
时间设置模块407,用于在所述具有视频指数信息的视频标识被存储至所述第二布隆过滤器后,为所述视频标识设置过期时间;
数值设置模块408,用于在检测到到达所述视频标识的过期时间时,将所述第二布隆过滤器中存储所述视频标识占用的元素赋值为第二数值;所述第二数值表示元素未被占用。
可选地,所述第一查询模块402包括:第一哈希计算单元,用于利用预设的第一哈希函数计算所述第一用户标识对应的第一哈希值;第一取模计算单元,用于利用预设的多个不同的第一预设参数分别对所述第一哈希值进行取模运算,得到多个第一模值;第一获取单元,用于从所述第一布隆过滤器中分别获取偏移位置为所述第一哈希值的元素对应的数值,以及偏移位置分别为每个所述第一模值的元素对应的数值;第一确定单元,用于在获取的数值全部为第一数值时,确定所述第一布隆过滤器中存储有所述第一用户标识;所述第一数值表示元素被占用。
可选地,所述第一查询模块402还包括:第一反转单元,用于对所述第一用户标识进行字符串反转处理,得到处理后的第一用户标识。所述第一哈希计算单元,具体用于利用所述第一哈希函数计算处理后的第一用户标识对应的第一哈希值。
可选地,所述第二查询模块403包括:第二哈希计算单元,用于利用预设的第二哈希函数计算所述第一视频标识对应的第二哈希值;第二取模计算单元,用于利用预设的多个不同的第二预设参数分别对所述第二哈希值进行取模运算,得到多个第二模值;第二获取单元,用于从所述第二布隆过滤器中分别获取偏移位置为所述第二哈希值的元素对应的数值,以及偏移位置分别为每个所述第二模值的元素对应的数值;第二确定单元,用于在获取的数值全部为第一数值时,确定所述第二布隆过滤器中存储有所述第一视频标识。
可选地,所述第二查询模块403还包括:第二反转单元,对所述第一视频标识进行字符串反转处理,得到处理后的第一视频标识。所述第二哈希计算单元,具体用于利用所述第二哈希函数计算处理后的第一视频标识对应的第二哈希值。
可选地,所第一存储模块405包括:第三哈希计算单元,用于利用预设的第一哈希函数计算所述首次注册用户的用户标识对应的第三哈希值;第三取模计算单元,用于利用预设的多个不同的第一预设参数分别对所述第三哈希值进行取模运算,得到多个第三模值;第一赋值单元,用于将所述第一布隆过滤器中偏移位置为所述第三哈希值的元素赋值为第一数值,以及将所述第一布隆过滤器中偏移位置分别为每个所述第三模值的元素均赋值为第一数值。
可选地,所第一存储模块405还包括:第三反转单元,用于对所述首次注册用户的用户标识进行字符串反转处理,得到处理后的首次注册用户的用户标识。所述第三哈希计算单元,用于利用所述第一哈希函数计算处理后的首次注册用户的用户标识对应的第三哈希值。
可选地,所述第二存储模块406包括:第四哈希计算单元,用于利用预设的第二哈希函数计算所述视频的视频标识对应的第四哈希值;第四取模计算单元,用于利用预设的多个不同的第二预设参数分别对所述第四哈希值进行取模运算,得到多个第四模值;第二赋值单元,用于将所述第二布隆过滤器中偏移位置为所述第四哈希值的元素赋值为第一数值,以及将所述第二布隆过滤器中偏移位置分别为每个所述第四模值的元素均赋值为第一数值。
可选地,所述第二存储模块406还包括:第四反转单元,用于对所述视频的视频标识进行字符串反转处理,得到处理后的视频标识。所述第四哈希计算单元,用于利用所述第二哈希函数计算处理后的视频标识对应的第四哈希值。
本发明实施例中,通过增加布隆过滤器的方式,可以加速对视频删除消息的处理,减少缓存空间;通过一次哈希计算多次取模计算的方式,可以减少对标识的计算时间;通过字符串反转处理的方式,可以使布隆过滤器中存储的数据更加均匀。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本发明的实施例中,还提供了一种用于信息处理的电子设备。例如,电子设备可以被提供为一服务器。该电子设备可以包括一个或多个处理器,以及用于存储处理器可执行指令的存储器,可执行指令例如应用程序。处理器被配置为执行上述的信息处理方法。
在本发明的实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由电子设备的处理器执行,以完成上述的信息处理方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存储有任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存储有另外的相同要素。
以上对本发明所提供的一种信息处理方法、装置、电子设备及存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种信息处理方法,其特征在于,所述方法包括:
监听视频删除消息;所述视频删除消息携带第一用户标识和第一视频标识;
在监听到所述视频删除消息后,查询第一布隆过滤器中是否存储有所述第一用户标识;所述第一布隆过滤器用于存储已注册的用户标识,所述已注册的用户标识为自媒体用户的标识;
在所述第一布隆过滤器中存储有所述第一用户标识时,查询第二布隆过滤器中是否存储有所述第一视频标识;所述第二布隆过滤器用于存储具有视频指数信息的视频标识;
在所述第二布隆过滤器中存储有所述第一视频标识时,从记录有视频指数信息的数据库中删除所述第一视频标识对应的视频指数信息。
2.根据权利要求1所述的方法,其特征在于,所述查询第一布隆过滤器中是否存储有所述第一用户标识,包括:
利用预设的第一哈希函数计算所述第一用户标识对应的第一哈希值;
利用预设的多个不同的第一预设参数分别对所述第一哈希值进行取模运算,得到多个第一模值;
从所述第一布隆过滤器中分别获取偏移位置为所述第一哈希值的元素对应的数值,以及偏移位置分别为每个所述第一模值的元素对应的数值;
在获取的数值全部为第一数值时,确定所述第一布隆过滤器中存储有所述第一用户标识;所述第一数值表示元素被占用。
3.根据权利要求2所述的方法,其特征在于,
在所述利用预设的第一哈希函数计算所述第一用户标识对应的第一哈希值的步骤之前,还包括:对所述第一用户标识进行字符串反转处理,得到处理后的第一用户标识;
所述利用预设的第一哈希函数计算所述第一用户标识对应的第一哈希值,包括:利用所述第一哈希函数计算所述处理后的第一用户标识对应的第一哈希值。
4.根据权利要求1所述的方法,其特征在于,所述查询第二布隆过滤器中是否存储有所述第一视频标识,包括:
利用预设的第二哈希函数计算所述第一视频标识对应的第二哈希值;
利用预设的多个不同的第二预设参数分别对所述第二哈希值进行取模运算,得到多个第二模值;
从所述第二布隆过滤器中分别获取偏移位置为所述第二哈希值的元素对应的数值,以及偏移位置分别为每个所述第二模值的元素对应的数值;
在获取的数值全部为第一数值时,确定所述第二布隆过滤器中存储有所述第一视频标识;所述第一数值表示元素被占用。
5.根据权利要求4所述的方法,其特征在于,
在所述利用预设的第二哈希函数计算所述第一视频标识对应的第二哈希值的步骤之前,还包括:对所述第一视频标识进行字符串反转处理,得到处理后的第一视频标识;
所述利用预设的第二哈希函数计算所述第一视频标识对应的第二哈希值,包括:利用所述第二哈希函数计算所述处理后的第一视频标识对应的第二哈希值。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述具有视频指数信息的视频标识被存储至所述第二布隆过滤器后,为所述视频标识设置过期时间;
在检测到到达所述视频标识的过期时间时,将所述第二布隆过滤器中存储所述视频标识占用的元素赋值为第二数值;所述第二数值表示元素未被占用。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在首次注册用户成功注册后,将所述首次注册用户的用户标识存储至所述第一布隆过滤器。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在基于视频生成对应的视频指数信息后,将所述视频的视频标识存储至所述第二布隆过滤器,以及将所述视频对应的视频指数信息记录至所述数据库。
9.一种信息处理装置,其特征在于,所述装置包括:
监听模块,用于监听视频删除消息;所述视频删除消息携带第一用户标识和第一视频标识;
第一查询模块,用于在监听到所述视频删除消息后,查询第一布隆过滤器中是否存储有所述第一用户标识;所述第一布隆过滤器用于存储已注册的用户标识,所述已注册的用户标识为自媒体用户的标识;
第二查询模块,用于在所述第一布隆过滤器中存储有所述第一用户标识时,查询第二布隆过滤器中是否存储有所述第一视频标识;所述第二布隆过滤器用于存储具有视频指数信息的视频标识;
删除模块,用于在所述第二布隆过滤器中存储有所述第一视频标识时,从记录有视频指数信息的数据库中删除所述第一视频标识对应的视频指数信息。
10.根据权利要求9所述的装置,其特征在于,所述第一查询模块包括:
第一哈希计算单元,用于利用预设的第一哈希函数计算所述第一用户标识对应的第一哈希值;
第一取模计算单元,用于利用预设的多个不同的第一预设参数分别对所述第一哈希值进行取模运算,得到多个第一模值;
第一获取单元,用于从所述第一布隆过滤器中分别获取偏移位置为所述第一哈希值的元素对应的数值,以及偏移位置分别为每个所述第一模值的元素对应的数值;
第一确定单元,用于在获取的数值全部为第一数值时,确定所述第一布隆过滤器中存储有所述第一用户标识;所述第一数值表示元素被占用。
11.根据权利要求10所述的装置,其特征在于,
所述第一查询模块还包括:第一反转单元,用于对所述第一用户标识进行字符串反转处理,得到处理后的第一用户标识;
所述第一哈希计算单元,具体用于利用所述第一哈希函数计算所述处理后的第一用户标识对应的第一哈希值。
12.根据权利要求9所述的装置,其特征在于,所述第二查询模块包括:
第二哈希计算单元,用于利用预设的第二哈希函数计算所述第一视频标识对应的第二哈希值;
第二取模计算单元,用于利用预设的多个不同的第二预设参数分别对所述第二哈希值进行取模运算,得到多个第二模值;
第二获取单元,用于从所述第二布隆过滤器中分别获取偏移位置为所述第二哈希值的元素对应的数值,以及偏移位置分别为每个所述第二模值的元素对应的数值;
第二确定单元,用于在获取的数值全部为第一数值时,确定所述第二布隆过滤器中存储有所述第一视频标识;所述第一数值表示元素被占用。
13.根据权利要求12所述的装置,其特征在于,
所述第二查询模块还包括:第二反转单元,对所述第一视频标识进行字符串反转处理,得到处理后的第一视频标识;
所述第二哈希计算单元,具体用于利用所述第二哈希函数计算所述处理后的第一视频标识对应的第二哈希值。
14.根据权利要求9所述的装置,其特征在于,所述装置还包括:
时间设置模块,用于在所述具有视频指数信息的视频标识被存储至所述第二布隆过滤器后,为所述视频标识设置过期时间;
数值设置模块,用于在检测到到达所述视频标识的过期时间时,将所述第二布隆过滤器中存储所述视频标识占用的元素赋值为第二数值;所述第二数值表示元素未被占用。
15.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第一存储模块,用于在首次注册用户成功注册后,将所述首次注册用户的用户标识存储至所述第一布隆过滤器。
16.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第二存储模块,用于在基于视频生成对应的视频指数信息后,将所述视频的视频标识存储至所述第二布隆过滤器,以及将所述视频对应的视频指数信息记录至所述数据库。
17.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行如权利要求1-8任一项所述的信息处理方法。
18.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1-8任一项所述的信息处理方法。
CN201910334683.7A 2019-04-24 2019-04-24 信息处理方法、装置、电子设备及存储介质 Active CN110209874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910334683.7A CN110209874B (zh) 2019-04-24 2019-04-24 信息处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910334683.7A CN110209874B (zh) 2019-04-24 2019-04-24 信息处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110209874A CN110209874A (zh) 2019-09-06
CN110209874B true CN110209874B (zh) 2021-08-20

Family

ID=67786236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910334683.7A Active CN110209874B (zh) 2019-04-24 2019-04-24 信息处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110209874B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711684A (zh) * 2019-10-24 2021-04-27 北京国双科技有限公司 重复数据检测方法及装置
CN110941670B (zh) * 2019-11-21 2023-03-14 北京达佳互联信息技术有限公司 标记状态检测方法、装置、设备及存储介质
KR102503028B1 (ko) * 2020-11-27 2023-02-23 (주)유미테크 블룸필터를 이용한 분산식별자 검색 방법
CN112527433A (zh) * 2020-12-08 2021-03-19 平安科技(深圳)有限公司 页面弹窗控制方法、装置、计算机设备和存储介质
CN112989398B (zh) * 2021-05-18 2021-07-30 腾讯科技(深圳)有限公司 区块链网络的数据处理方法、装置、计算机设备和介质
CN113625603B (zh) * 2021-07-27 2023-06-23 金鹏电子信息机器有限公司 基于大数据的安防监控管理系统及管理方法
CN115225697B (zh) * 2022-06-16 2024-04-09 阿里云计算有限公司 状态同步方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718455A (zh) * 2014-12-01 2016-06-29 阿里巴巴集团控股有限公司 一种数据查询方法及装置
CN105843951A (zh) * 2016-04-12 2016-08-10 北京小米移动软件有限公司 数据查询方法和装置
CN107368596A (zh) * 2017-07-26 2017-11-21 郑州云海信息技术有限公司 一种布隆过滤器查询集合元素的方法及装置
CN107888659A (zh) * 2017-10-12 2018-04-06 北京京东尚科信息技术有限公司 用户请求的处理方法及系统
CN109522315A (zh) * 2018-10-26 2019-03-26 苏宁易购集团股份有限公司 一种数据库处理方法及系统
CN109614407A (zh) * 2018-12-10 2019-04-12 北京奇艺世纪科技有限公司 一种请求处理方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685458B (zh) * 2008-09-27 2012-09-19 华为技术有限公司 一种基于协同过滤的推荐方法和系统
JP6034754B2 (ja) * 2013-06-12 2016-11-30 株式会社東芝 サーバ装置、通信システム、およびデータ発行方法
CN107516046B (zh) * 2017-06-26 2019-11-12 江苏通付盾科技有限公司 数据保护方法及装置、电子设备、计算机存储介质
CN108133031B (zh) * 2017-12-29 2021-01-29 北京搜狐新媒体信息技术有限公司 一种过滤推荐视频候选结果的方法及装置
CN109271408B (zh) * 2018-08-31 2020-07-28 阿里巴巴集团控股有限公司 一种分布式数据连接处理方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718455A (zh) * 2014-12-01 2016-06-29 阿里巴巴集团控股有限公司 一种数据查询方法及装置
CN105843951A (zh) * 2016-04-12 2016-08-10 北京小米移动软件有限公司 数据查询方法和装置
CN107368596A (zh) * 2017-07-26 2017-11-21 郑州云海信息技术有限公司 一种布隆过滤器查询集合元素的方法及装置
CN107888659A (zh) * 2017-10-12 2018-04-06 北京京东尚科信息技术有限公司 用户请求的处理方法及系统
CN109522315A (zh) * 2018-10-26 2019-03-26 苏宁易购集团股份有限公司 一种数据库处理方法及系统
CN109614407A (zh) * 2018-12-10 2019-04-12 北京奇艺世纪科技有限公司 一种请求处理方法及设备

Also Published As

Publication number Publication date
CN110209874A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110209874B (zh) 信息处理方法、装置、电子设备及存储介质
CN104735164B (zh) 一种保存文件信息的方法和装置
CN106100902B (zh) 云端指标监控方法和装置
CN103475637B (zh) 基于ip访问行为的网络访问控制方法及系统
US20140304180A1 (en) Method, system and computer-readable storage medium for dividing a user's social network relationship circle
CN105099729B (zh) 一种识别用户身份标识的方法和装置
CN109800270B (zh) 一种数据存储和查询的方法及物联网系统
CN106302104B (zh) 一种用户关系识别方法及装置
WO2019041738A1 (zh) 客户资源获取方法、装置、终端设备及存储介质
CN108197181A (zh) 一种时序数据的压缩存储方法、电子设备及存储介质
CN111083179B (zh) 物联网云平台、基于物联网云平台的设备交互方法及装置
CN109241084B (zh) 数据的查询方法、终端设备及介质
CN108876644B (zh) 一种基于社交网络的相似账号计算方法及装置
CN107515807B (zh) 一种存储监控数据的方法及装置
CN111586001A (zh) 异常用户识别方法、装置、电子设备及存储介质
CN107092650B (zh) 一种网络日志分析方法及装置
CN107545039B (zh) 关键词的指数获取方法和装置、计算机设备和存储介质
CN112148920B (zh) 数据管理方法
JP6618875B2 (ja) 評価装置、評価方法及び評価プログラム
CN112307297A (zh) 一种基于优先级规则的用户标识统一方法及系统
CN110188081B (zh) 基于cassandra数据库的日志数据存储方法、装置和计算机设备
TWI420333B (zh) 分散式的重複數據刪除系統及其處理方法
CN113793119B (zh) 档案建立方法、装置及存储介质
CN110188887B (zh) 面向机器学习的数据管理方法及装置
CN113238919A (zh) 一种用户访问数的统计方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant