CN105488208B - 数据查找方法与装置 - Google Patents

数据查找方法与装置 Download PDF

Info

Publication number
CN105488208B
CN105488208B CN201510921166.1A CN201510921166A CN105488208B CN 105488208 B CN105488208 B CN 105488208B CN 201510921166 A CN201510921166 A CN 201510921166A CN 105488208 B CN105488208 B CN 105488208B
Authority
CN
China
Prior art keywords
data
caching
token
correspondence database
requested data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510921166.1A
Other languages
English (en)
Other versions
CN105488208A (zh
Inventor
郭军
梁敬彪
曾志海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 360 Zhiling Technology Co ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201510921166.1A priority Critical patent/CN105488208B/zh
Publication of CN105488208A publication Critical patent/CN105488208A/zh
Priority to PCT/CN2016/103252 priority patent/WO2017097048A1/zh
Application granted granted Critical
Publication of CN105488208B publication Critical patent/CN105488208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据查找方法与装置。其中数据查找方法包括:接收数据获取请求,从对应数据库的缓存中查找数据获取请求所请求的数据;在从对应数据库的缓存中没有查找到所请求的数据的情况下,从对应数据库的缓存中获取所请求的数据对应的令牌;在获取到所述令牌的情况下,访问对应数据库以查找所请求的数据。本发明的技术方案,可以解决由于并发请求太多而导致数据库访问压力过大的问题。

Description

数据查找方法与装置
技术领域
本发明涉及一种计算机技术及互联网领域,特别涉及一种数据查找方法与装置。
背景技术
相关技术中,为了提高网站访问速度,一些大型的、需要频繁访问数据库的网站通常采用分布式的高速缓存系统。
相关技术中,分布式的高速缓存系统的工作流程为:先检查客户端的请求数据是否在内存缓存中,如有,直接把请求数据返回,不再对数据库进行任何操作;如果请求的数据不在内存缓存中,则到数据库中查找请求的数据,在数据库中查找到请求的数据后,从数据库中获取该数据,并将从数据库中获取的数据返回给客户端,同时将数据缓存一份到内存中;每次更新数据库的同时更新内存缓存中的数据,保证一致性。
根据上述工作流程中可知,在相关技术中,当请求的数据不在内存时,转而到数据库中查找,假设当前查找到数据是热门数据,同时有多个并发请求,则处理该多个请求的进程同时都将到数据库查找请求的数据,如果并发请求过多,例如,对于当前的热门消息,可能同时有上万甚至上十万、百万的获取请求,这将导致数据库的访问压力过大,进而导致拥塞。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据存储方案。
根据本发明的一个方面,本发明提供了一种数据查找方法包括:接收数据获取请求,从对应数据库的缓存中查找所述数据获取请求所请求的数据;在从所述对应数据库的缓存中没有查找到所请求的数据的情况下,从所述对应数据库的缓存中获取所请求的数据对应的令牌;在获取到所述令牌的情况下,访问所述对应数据库以查找所请求的数据。
可选地,还包括:在获取到所述令牌后,锁定所述令牌,以使所述令牌无法再被获取。
可选地,还包括:从所述对应数据库获取所请求的数据,将所请求的数据返回给请求方并将所请求的数据存储在所述对应数据库的缓存中。
可选地,在将所请求的数据存储在所述对应数据库的缓存中之后,所述方法还包括:释放所述令牌,使所述令牌能够再被获取。
可选地,还包括:在没有获取到所述令牌的情况下,等待预定时长t1后,再次从所述对应数据库的缓存中查找所请求的数据。
可选地,在等待所述预定时长t1后,再次从所述对应数据库的缓存中查找所请求的数据时,若仍未查找到所请求的数据,所述方法还包括:步骤1,判断等待的次数是否达到预设阈值或者等待的总时长是否超过预设阈值,如果是,则执行步骤4,否则,执行步骤2;步骤2,设置新的预定时长t2=前次预定时长t1+Δt,其中,Δt为有理数;步骤3,等待新的预定时长t2后,再次从所述对应数据库的缓存中查找所请求的数据,如果查找到所述所请求的数据,则返回给所述数据的请求方,如果仍未查找到,则返回执行步骤1;步骤4,向所述数据的请求方返回未查询到所请求的数据的信息。
可选地,在等待所述预定时长后,再次从所述对应数据库的缓存中查找所请求的数据时,若查找到所请求的数据,所述方法还包括:将查找到的所请求的数据返回给所述数据的请求方。
根据本发明的另一个方面,提供了一种数据查找装置,包括:接收模块,用于接收数据获取请求;第一查找模块,用于从对应数据库的缓存中查找所述数据获取请求所请求的数据;第一获取模块,用于在所述第一查找模块从所述对应数据库的缓存中没有查找到所述数据获取请求所请求的数据的情况下,从所述对应数据库的缓存中获取所请求的数据的令牌;第二查找模块,用于在所述第一获取模块从所述对应数据库的缓存中获取到所述所请求的数据的令牌的情况下,访问所述对应数据库以查找所述所请求的数据。
可选地,还包括:执行模块,用于在所述第一获取模块从所述对应数据库的缓存中获取到所述所请求的数据的令牌的情况下,锁定所述令牌,使所述令牌不会再被获取;
可选地,还包括:缓存模块,用于将所述第二查找模块查找到的数据缓存到所述对应数据库的缓存中;发送模块,用于将所述第二查找模块查找到的数据返回给所述数据的请求方。
可选地,还包括:释放模块,用于在所述缓存模块将查找到的数据缓存到所述对应数据库的缓存中之后,释放所述令牌,使所述令牌能够被获取。
可选地,还包括:休眠模块,用于在所述第一获取模块没有从所述对应数据库的缓存中获取到所述所请求的数据的令牌的情况下,等待预定时长,并在预定时长到达时触发所述第一查找模块;判断模块,用于在所述第一查找模块在所述休眠模块触发下没有从所述对应数据库的缓存中查找所请求的数据的情况下,判断所述休眠模块当前休眠的次数是否达到预设阈值或者所述休眠模块休眠的总时长是否超过预设阈值,如果是,则触发发送模块向所述数据的请求方返回未查询到所请求的数据的指示,如果否,则置新的预定时长t2=前次预定时长t1+Δt,再触发所述休眠模块,其中,Δt为有理数。
本发明的数据查找方案,在接收到数据获取请求时,如果请求的数据没有存储在对应数据库的缓存中,则试图从对应数据库的缓存中获取请求的数据的令牌,只有在获取到该数据的令牌的情况下,才访问对应数据库以查找所请求的数据,从而可以通过控制缓存中存储的数据的令牌的数量,避免并发情况下所有进程都去数据库中查找数据而导致数据库的访问压力过大的问题,进而可以提高数据的查找效率。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。在附图中:
图1是根据本发明实施例一的数据查找方法的流程示意图;
图2是根据本发明实施例二的数据查找方法的流程示意图;
图3是根据本发明实施例三的数据查找装置的结构示意图;以及
图4是根据本发明实施例三的可选数据查找装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
实施例一
图1是根据本发明实施例一的数据查找方法的流程示意图,如图1所示,本实施例提供的数据查找方法主要包括以下步骤:
步骤S102,接收到数据获取请求,从对应数据库的缓存中查找所述数据获取请求所请求的数据;
在本实施例中,为了提高数据库的访问速度,将数据库中部分数据备份在缓存中,在接收到查询请求时,首先从对应数据库的缓存中查找请求的数据,如果从对应数据库的缓存中查找到请求的数据,则将查找到的数据返回给数据的请求方,如果在对应数据库的缓存中没有查找到所请求的数据,则执行步骤S104。
步骤S104,在从所述对应数据库的缓存中没有查找到所请求的数据的情况下,从所述对应数据库的缓存中获取所请求的数据对应的令牌;
在相关技术中,如果在对应数据库的缓存中没有查找到所请求的数据,则从对应数据库中查找,如果并发请求较多,会造成数据库的访问压力过大,因此,在本实施例中,在对应数据库的缓存中存储了数据库中各个数据对应的令牌,在没有从对应数据库的缓存中查找到所请求的数据的情况下,从对应数据库的缓存中获取所请求的数据的令牌。
在本发明实施例的一个可选实施方案中,可以在对应数据库的缓存中存储各个数据的关键字与令牌的对应关系,根据所请求的数据的关键字,可以获取到对应的令牌。
在本实施例中,一个令牌只能同时被一个进程获取,在一个进程获取到该令牌之后,该令牌即被锁定,其余进程不能再获取该令牌,除非该令牌被释放。
在本发明实施例的一个可选实施方案中,每个数据可以对应一个令牌,也可以对应多个令牌,具体可以根据数据库的读写速度以及并发的处理速度等来设置每个数据对应的令牌。
步骤S106,在获取到所述令牌的情况下,访问所述对应数据库以查找所请求的数据。
在本实施例提供的数据查找方法中,在接收到数据获取请求时,如果请求的数据没有存储在对应数据库的缓存中,则试图从对应数据库的缓存中获取请求的数据的令牌,只有在获取到该数据的令牌的情况下,才访问对应数据库以查找所请求的数据,从而可以通过控制缓存中存储的数据的令牌的数量,避免并发情况下所有进程都去数据库中查找数据而导致数据库的访问压力过大的问题,进而可以提高数据的查找效率
在本发明实施例的一个可选实施方案中,如果步骤S104中没有获取到所述令牌,则等待预定时长,在预定时长到达时,从所述对应数据库的缓存中查找所请求的数据。
在本实施例中,没有获取到令牌的情况下,说明已经有进程获取到该令牌了,该令牌已经被锁定了。本实施例中,为了避免并发请求过多,对于没有获取令牌的进程,不允许该进程去访问数据库,而是等待一定时间后,再使该进程继续到对应数据库的缓存中查找所请求的数据。在具体应用中,可以使没有拿到令牌的进程进入休眠(sleep)状态,休眠预定时间后,例如,3ms,醒来,再去对应数据库的缓存中查找所请求的数据。
在本实施例中,如果没有获取到令牌的进程在休眠一定时间后醒来,从对应数据库的缓存中查找所请求的数据,如果查找到所请求的数据,则将查找到的数据返回给数据的请求方。
在本发明实施例的一个可选实施方案中,如果没有获取到令牌的进程在休眠一定时间后醒来,从对应数据库的缓存中没有查找所请求的数据,则该进程可以继续进入休眠状态,直到醒来从对应数据库的缓存中查找所请求的数据,或者是休眠的次数达到阈值,或者是休眠的总时间达到阈值。因此,在该可选实施方式中,在等待预定时长后,从对应数据库的缓存中没有查找到所请求的数据的情况下,本实施例提供的方法还可以包括以下步骤:
步骤1,判断等待的次数是否达到预设阈值或者等待的总时长是否超过预设阈值,如果是,则执行步骤4,否则,执行步骤2;
步骤2,置新的预定时长t2=上一次的预定时长t1+Δt,其中,Δt为有理数;
步骤3,等待预定时长t2后,从对应数据库的缓存中查找所请求的数据,如果查找到所述所请求的数据,则返回给所述数据的请求方,如果没有查找到,则返回步骤1;
步骤4,向所述数据的请求方返回未查询到所请求的数据的指示。
在本实施例中,Δt可以大于等于0,即本实施例中,进程休眠的时间可以递增,即如果休眠一个短时间后,对应数据库的缓存中还是没有请求的数据,则可以再休眠一个稍长的时间再查找。例如,第一次可以休眠0.3毫秒,第二次可以休眠0.5毫秒。或者,Δt也可以小于等于0,即进程休眠的时间可以递减,即如果休眠一个稍长时间后,对应数据库的缓存中还是没有请求的数据,则可以再休眠一个稍短的时间再查找。例如,第一次可以休眠0.5毫秒,第二次可以休眠0.3毫秒。在具体应用中,Δt怎么取值,数据库中可以根据一个进程大概需要多长时间才能从数据库中取得数据,并将数据写入到对应数据库的缓存确定。
在本发明实施例的一个可选实施方案中,如果在步骤S104中,进程从对应数据库的缓存中获取到了所请求的数据的令牌,则为了防止别的进程使用该令牌,先锁定该令牌,使该令牌不会被其它进程获取,从而可以控制访问数据库的进程。
在本发明实施例的一个可选实施方案中,如果在步骤S106中从对应数据库获取所请求的数据,则可以将查找到的数据返回给数据的请求方,并将查找到的数据缓存到数据库的缓存中。通过该可选实施方式,可以使得一个进程从数据库中获取的数据可以共享给其它进程,避免了所有并发请求都到数据库中查找而导致数据库访问压力过大的问题。
在上述可选实施方式中,由于对应数据库的缓存中存储的数据都有一个有效期,在该有效期到达之后,将会删除对应数据库的缓存中缓存的该数据,因此,为了避免在这种情况下需要到数据库中查找该数据而该数据的令牌没有被释放,从而无法获取到该数据的令牌,进而无法从数据库中查找该数据的问题,在本发明实施例的一个可选实施方案中,在将查找到的数据缓存到对应数据库的缓存中之后,本实施例提供的方法还可以包括:释放该令牌,使该令牌能够被获取。
通过本实施例提供的技术方案,执行数据获取请求的进程在从对应数据库的缓存中没查找到所请求的数据的情况下,并不是直接到数据库中查找该数据,而是从对应数据库的缓存中获取该数据对应的令牌,在获取到该数据的令牌的情况下,才去数据库中查找该数据,在查找到该数据之后,将该数据缓存至对应数据库的缓存中。而没有获取到该数据的令牌的进程则等待一段时间后,再尝试从对应数据库的缓存中获取所请求的数据,如果其它进程已从数据库中查找到该数据,并缓存至对应数据库的缓存中,则可以从对应数据库的缓存中获取到所请求的数据。采用这种方式,可以避免并发的多个请求同时访问数据库而导致数据库访问压力过大的问题,可以提供数据查找的效率。
实施例二
图2为根据本实施例的数据缓存方法的流程示意图,如图2所示,本实施例提供的数据缓存方法主要包括以下步骤:
步骤S201,接收数据获取请求;
步骤S202,从对应数据库的缓存中查找数据获取请求所请求的数据;
步骤S203,是否从对应数据库的缓存中查找到所请求的数据?如果是,则执行步骤S214,否则,执行步骤S204;
步骤S204,从对应数据库的缓存中获取所请求的数据的令牌;
步骤S205,是否获取到令牌?如果是,则执行步骤S206,否则,执行步骤S208;
步骤S206,从数据库中查找所请求的数据,将查找到的数据返回给数据的请求方;
步骤S207,将查找到的数据缓存至对应数据库的缓存;
步骤S208,等待预定时间;
步骤S209,从对应数据库的缓存中查找所请求的数据;
步骤S210,判断是否从对应数据库的缓存中查找到所请求的数据,如果是,则执行步骤S214,否则,执行步骤S211;
步骤S211,判断等待的次数是否达到阈值或等待的总时间达到阈值,如果是,则执行步骤S213,否则,执行步骤S212;
步骤S212,预定时间t=t+Δt,返回步骤S208,其中,Δt为有理数;
步骤S213,向数据的请求方返回没有查找到所请求的数据的指示;
步骤S214,将查找到的数据返回给数据的请求方。
通过本实施例提供的技术方案,执行数据获取请求的进程在从对应数据库的缓存中没查找到所请求的数据的情况下,并不是直接到数据库中查找该数据,而是从对应数据库的缓存中获取该数据对应的令牌,在获取到该数据的令牌的情况下,才去数据库中查找该数据,在查找到该数据之后,将该数据缓存至对应数据库的缓存中。而没有获取到该数据的令牌的进程则等待一段时间后,再尝试从对应数据库的缓存中获取所请求的数据,如果其它进程已从数据库中查找到该数据,并缓存至对应数据库的缓存中,则可以从对应数据库的缓存中获取到所请求的数据。采用这种方式,可以避免并发的多个请求同时访问数据库而导致数据库访问压力过大的问题,可以提供数据查找的效率。
实施例三
本实施例提供了一种数据查找装置,该装置可以用于实现上述任一种实施方式所描述的数据缓存方法。
图3为本实施例提供的数据查找装置的结构示意图,如图3所示,该数据缓存装置主要包括:接收模块310,用于接收数据获取请求;第一查找模块320,用于从对应数据库的缓存中查找数据获取请求所请求的数据;第一获取模块330,用于在第一查找模块320从对应数据库的缓存中没有查找到数据获取请求所请求的数据的情况下,从对应数据库的缓存中获取所请求的数据的令牌;第二查找模块340,用于在第一获取模块330从对应数据库的缓存中获取到所请求的数据的令牌的情况下,从数据库中查找所请求的数据。
通过本实施例提供的上述数据查找装置,接收模块310在接收到数据获取请求时,第一查找模块320从对应数据库的缓存中查找所请求的数据,在第一查找模块320在对应数据库的缓存中没有查找到所请求的数据的情况下,第一获取模块330试图从对应数据库的缓存中获取请求的数据的令牌,只有在第一获取模块330获取到该数据的令牌的情况下,第二查找模块340访问对应数据库以查找所请求的数据,从而可以通过控制缓存中存储的数据的令牌的数量,避免并发情况下所有进程都去数据库中查找数据而导致数据库的访问压力过大的问题,进而可以提高数据的查找效率。
在本发明实施例的一个可选实施方案中,如果没有获取到令牌的进程在休眠一定时间后醒来,从对应数据库的缓存中没有查找所请求的数据,则该进程可以继续进入休眠状态,直到醒来从对应数据库的缓存中查找所请求的数据,或者是休眠的次数达到阈值,或者是休眠的总时间达到阈值。因此,如图4所示,该装置还可以包括:休眠模块350,用于在第一获取模块330从对应数据库的缓存中没有获取到所请求的数据的令牌的情况下,等待预定时长,并在预定时长到达时触发第一查找模块320;判断模块360,用于在第一查找模块320在休眠模块350触发下没有从对应数据库的缓存中查找所请求的数据的情况下,判断休眠模块350当前休眠的次数是否达到预设阈值或者休眠模块350休眠的总时长是否超过预设阈值,如果是,则触发发送模块370向数据的请求方返回未查询到所请求的数据的指示,如果否,则置新的预定时长t2=上次等待的预定时长t1+Δt,再触发休眠模块350,其中,Δt为有理数;发送模块370用于在所述判断模块360的触发下,向数据的请求方返回未查询到所请求的数据的指示。
在本实施例中,Δt可以大于等于0,即本实施例中,进程休眠的时间可以递增,即如果休眠一个短时间后,对应数据库的缓存中还是没有请求的数据,则可以再休眠一个稍长的时间再查找。例如,第一次可以休眠0.3毫秒,第二次可以休眠0.5毫秒。或者,Δt也可以小于等于0,即进程休眠的时间可以递减,即如果休眠一个稍长时间后,对应数据库的缓存中还是没有请求的数据,则可以再休眠一个稍短的时间再查找。例如,第一次可以休眠0.5毫秒,第二次可以休眠0.3毫秒。在具体应用中,Δt怎么取值,数据库中可以根据一个进程大概需要多长时间才能从数据库中取得数据,并将数据写入到对应数据库的缓存确定。
在本发明实施例的一个可选实施方案中,发送模块370还用于在第一查找模块320从对应数据库的缓存中查找到所请求的数据的情况下,将查找到的数据返回给数据的请求方。
在本发明实施例的一个可选实施方案中,如果第一获取模块330从对应数据库的缓存中获取到了所请求的数据的令牌,则为了防止别的进程使用该令牌,先锁定该令牌,使该令牌不会被其它进程获取,因此,如图4所示,在该可选实施方式中,该装置还包括:执行模块380,用于在第一获取模块330从对应数据库的缓存中获取到所请求的数据的令牌的情况下,锁定令牌,使令牌不会再被获取。
在本发明实施例的一个可选实施方案中,在第二查找模块340从数据库中查找所请求的数据,将查找到的数据返回给数据的请求方,并将查找到的数据缓存到对应数据库的缓存中。因此,如图4所示,该装置还可以缓存模块390,用于将第二查找模块340查找到的数据缓存到对应数据库的缓存中;发送模块370,用于将第二查找模块340查找到的数据返回给数据的请求方。通过该可选实施方式,可以使得一个进程从数据库中获取的数据可以共享给其它进程,避免了所有并发请求都到数据库中查找而导致数据库访问压力过大的问题。
在上述可选实施方式中,由于对应数据库的缓存中缓存的数据都有一个有效期,在该有效期到达之后,将会删除对应数据库的缓存中缓存的该数据,因此,为了避免在这种情况下需要到数据库中查找该数据而该数据的令牌没有被释放,从而无法获取到该数据的令牌,进而无法从数据库中查找该数据的问题,在本发明实施例的一个可选实施方案中,该装置还可以包括:释放模块,用于在缓存模块390将查找到的数据缓存到对应数据库的缓存中之后,释放令牌,使令牌能够被获取。
通过本实施例提供的上述数据查找装置,在从对应数据库的缓存中没查找到所请求的数据的情况下,并不是直接到数据库中查找该数据,而是从对应数据库的缓存中获取该数据对应的令牌,在获取到该数据的令牌的情况下,才去数据库中查找该数据,在查找到该数据之后,将该数据缓存至对应数据库的缓存中。而没有获取到该数据的令牌的进程则等待一段时间后,再尝试从对应数据库的缓存中获取所请求的数据,如果其它进程已从数据库中查找到该数据,并缓存至对应数据库的缓存中,则可以从对应数据库的缓存中获取到所请求的数据。采用这种方式,可以避免并发的多个请求同时访问数据库而导致数据库访问压力过大的问题,可以提供数据查找的效率。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
基于本发明的一个方面,还公开了:A1.一种数据查找方法,包括:
接收数据获取请求,从对应数据库的缓存中查找所述数据获取请求所请求的数据;
在从所述对应数据库的缓存中没有查找到所请求的数据的情况下,从所述对应数据库的缓存中获取所请求的数据对应的令牌;
在获取到所述令牌的情况下,访问所述对应数据库以查找所请求的数据。
A2.根据A1所述的方法,还包括:
在获取到所述令牌后,锁定所述令牌,以使所述令牌无法再被获取。
A3.根据A1或A2所述的方法,还包括:
从所述对应数据库获取所请求的数据,将所请求的数据返回给请求方并将所请求的数据存储在所述对应数据库的缓存中。
A4.根据A3所述的方法,其中,在将所请求的数据存储在所述对应数据库的缓存中之后,所述方法还包括:
释放所述令牌,使所述令牌能够再被获取。
A5.根据A1或A2所述的方法,还包括:
在没有获取到所述令牌的情况下,等待预定时长t1后,再次从所述对应数据库的缓存中查找所请求的数据。
A6.根据A5所述的方法,其中,在等待所述预定时长t1后,再次从所述对应数据库的缓存中查找所请求的数据时,若仍未查找到所请求的数据,所述方法还包括:
步骤1,判断等待的次数是否达到预设阈值或者等待的总时长是否超过预设阈值,如果是,则执行步骤4,否则,执行步骤2;
步骤2,设置新的预定时长t2=前次预定时长t1+Δt,其中,Δt为有理数;
步骤3,等待新的预定时长t2后,再次从所述对应数据库的缓存中查找所请求的数据,如果查找到所述所请求的数据,则返回给所述数据的请求方,如果仍未查找到,则返回执行步骤1;
步骤4,向所述数据的请求方返回未查询到所请求的数据的信息。
A7.根据A5所述的方法,其中,在等待所述预定时长后,再次从所述对应数据库的缓存中查找所请求的数据时,若查找到所请求的数据,所述方法还包括:
将查找到的所请求的数据返回给所述数据的请求方。
基于本发明的另一个方面,还公开了:B8.一种数据查找装置,包括:
接收模块,用于接收数据获取请求;
第一查找模块,用于从对应数据库的缓存中查找所述数据获取请求所请求的数据;
第一获取模块,用于在所述第一查找模块从所述对应数据库的缓存中没有查找到所述数据获取请求所请求的数据的情况下,从所述对应数据库的缓存中获取所请求的数据的令牌;
第二查找模块,用于在所述第一获取模块从所述对应数据库的缓存中获取到所述所请求的数据的令牌的情况下,访问所述对应数据库以查找所述所请求的数据。
B9.根据B8所述的装置,还包括:
执行模块,用于在所述第一获取模块从所述对应数据库的缓存中获取到所述所请求的数据的令牌的情况下,锁定所述令牌,使所述令牌不会再被获取。
B10.根据B8或B9所述的装置,还包括:
缓存模块,用于将所述第二查找模块查找到的数据缓存到所述对应数据库的缓存中;
发送模块,用于将所述第二查找模块查找到的数据返回给所述数据的请求方。
B11.根据B10所述的装置,还包括:
释放模块,用于在所述缓存模块将查找到的数据缓存到所述对应数据库的缓存中之后,释放所述令牌,使所述令牌能够被获取。
B12.根据B8或B9所述的装置,还包括:
休眠模块,用于在所述第一获取模块没有从所述对应数据库的缓存中获取到所述所请求的数据的令牌的情况下,等待预定时长,并在预定时长到达时触发所述第一查找模块;
判断模块,用于在所述第一查找模块在所述休眠模块触发下没有从所述对应数据库的缓存中查找所请求的数据的情况下,判断所述休眠模块当前休眠的次数是否达到预设阈值或者所述休眠模块休眠的总时长是否超过预设阈值,如果是,则触发发送模块向所述数据的请求方返回未查询到所请求的数据的指示,如果否,则置新的预定时长t2=前次预定时长t1+Δt,再触发所述休眠模块,其中,Δt为有理数。

Claims (6)

1.一种数据查找方法,包括:
接收数据获取请求,从对应数据库的缓存中查找所述数据获取请求所请求的数据;
在从所述对应数据库的缓存中没有查找到所请求的数据的情况下,从所述对应数据库的缓存中获取所请求的数据对应的令牌;其中,一个数据对应一个令牌或多个令牌,所述令牌的数量根据所述对应数据库的读写速度和/或并发的处理速度设置;
在获取到所述令牌后,锁定所述令牌,以使所述令牌无法再被获取;
在获取到所述令牌的情况下,访问所述对应数据库以查找所请求的数据;
从所述对应数据库获取所请求的数据,将所请求的数据返回给请求方并将所请求的数据存储在所述对应数据库的缓存中;
释放所述令牌,使所述令牌能够再被获取。
2.根据权利要求1所述的方法,还包括:
在没有获取到所述令牌的情况下,等待预定时长t1后,再次从所述对应数据库的缓存中查找所请求的数据。
3.根据权利要求2所述的方法,其中,在等待所述预定时长t1后,再次从所述对应数据库的缓存中查找所请求的数据时,若仍未查找到所请求的数据,所述方法还包括:
步骤1,判断等待的次数是否达到预设阈值或者等待的总时长是否超过预设阈值,如果是,则执行步骤4,否则,执行步骤2;
步骤2,设置新的预定时长t2=前次预定时长t1+Δt,其中,Δt为有理数;
步骤3,等待新的预定时长t2后,再次从所述对应数据库的缓存中查找所请求的数据,如果查找到所述所请求的数据,则返回给所述数据的请求方,如果仍未查找到,则返回执行步骤1;
步骤4,向所述数据的请求方返回未查询到所请求的数据的信息。
4.根据权利要求2所述的方法,其中,在等待所述预定时长后,再次从所述对应数据库的缓存中查找所请求的数据时,若查找到所请求的数据,所述方法还包括:
将查找到的所请求的数据返回给所述数据的请求方。
5.一种数据查找装置,包括:
接收模块,用于接收数据获取请求;
第一查找模块,用于从对应数据库的缓存中查找所述数据获取请求所请求的数据;
第一获取模块,用于在所述第一查找模块从所述对应数据库的缓存中没有查找到所述数据获取请求所请求的数据的情况下,从所述对应数据库的缓存中获取所请求的数据的令牌;
第二查找模块,用于在所述第一获取模块从所述对应数据库的缓存中获取到所述所请求的数据的令牌的情况下,访问所述对应数据库以查找所述所请求的数据;其中,一个数据对应一个令牌或多个令牌,所述令牌的数量根据所述对应数据库的读写速度和/或并发的处理速度设置;
执行模块,用于在所述第一获取模块从所述对应数据库的缓存中获取到所述所请求的数据的令牌的情况下,锁定所述令牌,使所述令牌不会再被获取;
缓存模块,用于将所述第二查找模块查找到的数据缓存到所述对应数据库的缓存中;
发送模块,用于将所述第二查找模块查找到的数据返回给所述数据的请求方;
释放模块,用于在所述缓存模块将查找到的数据缓存到所述对应数据库的缓存中之后,释放所述令牌,使所述令牌能够被获取。
6.根据权利要求5所述的装置,还包括:
休眠模块,用于在所述第一获取模块没有从所述对应数据库的缓存中获取到所述所请求的数据的令牌的情况下,等待预定时长,并在预定时长到达时触发所述第一查找模块;
判断模块,用于在所述第一查找模块在所述休眠模块触发下没有从所述对应数据库的缓存中查找所请求的数据的情况下,判断所述休眠模块当前休眠的次数是否达到预设阈值或者所述休眠模块休眠的总时长是否超过预设阈值,如果是,则触发发送模块向所述数据的请求方返回未查询到所请求的数据的指示,如果否,则置新的预定时长t2=前次预定时长t1+Δt,再触发所述休眠模块,其中,Δt为有理数。
CN201510921166.1A 2015-12-11 2015-12-11 数据查找方法与装置 Active CN105488208B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510921166.1A CN105488208B (zh) 2015-12-11 2015-12-11 数据查找方法与装置
PCT/CN2016/103252 WO2017097048A1 (zh) 2015-12-11 2016-10-25 一种数据查找方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510921166.1A CN105488208B (zh) 2015-12-11 2015-12-11 数据查找方法与装置

Publications (2)

Publication Number Publication Date
CN105488208A CN105488208A (zh) 2016-04-13
CN105488208B true CN105488208B (zh) 2019-03-08

Family

ID=55675183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510921166.1A Active CN105488208B (zh) 2015-12-11 2015-12-11 数据查找方法与装置

Country Status (2)

Country Link
CN (1) CN105488208B (zh)
WO (1) WO2017097048A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488208B (zh) * 2015-12-11 2019-03-08 北京奇虎科技有限公司 数据查找方法与装置
US10169415B2 (en) * 2016-09-14 2019-01-01 Google Llc Query restartability
CN110493291A (zh) * 2018-05-14 2019-11-22 北京京东尚科信息技术有限公司 一种处理http请求的方法和装置
CN109241253A (zh) * 2018-07-31 2019-01-18 平安科技(深圳)有限公司 一种车辆信息查询方法和系统
CN109656939B (zh) * 2018-12-24 2020-08-18 广州虎牙信息科技有限公司 一种缓存更新方法、装置、设备和存储介质
CN110147386A (zh) * 2019-04-16 2019-08-20 平安科技(深圳)有限公司 数据的缓存方法、装置、计算机设备
CN110289965B (zh) * 2019-06-11 2023-06-09 深圳前海微众银行股份有限公司 一种应用程序服务的管理方法及装置
CN112087401B (zh) * 2020-09-10 2024-05-28 北京星辰天合科技股份有限公司 分布式存储中实现服务质量的方法和装置
CN113722362B (zh) * 2021-07-27 2023-08-11 苏州浪潮智能科技有限公司 一种基于远端的缓存数据查询方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6502108B1 (en) * 1999-10-25 2002-12-31 International Business Machines Corporation Cache-failure-tolerant data storage system storing data objects with version code equipped metadata tokens
CN102542034A (zh) * 2011-12-23 2012-07-04 北京人大金仓信息技术股份有限公司 一种数据库接口的结果集缓存方法
CN103729247A (zh) * 2012-10-12 2014-04-16 阿里巴巴集团控股有限公司 数据获取请求的处理方法、系统及服务器
CN104123238A (zh) * 2014-06-30 2014-10-29 海视云(北京)科技有限公司 数据存储方法及装置
CN104598547A (zh) * 2014-12-30 2015-05-06 深圳市兰丁科技有限公司 基于大数据的数据访问处理方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458186B2 (en) * 2009-11-06 2013-06-04 Symantec Corporation Systems and methods for processing and managing object-related data for use by a plurality of applications
CN105488208B (zh) * 2015-12-11 2019-03-08 北京奇虎科技有限公司 数据查找方法与装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6502108B1 (en) * 1999-10-25 2002-12-31 International Business Machines Corporation Cache-failure-tolerant data storage system storing data objects with version code equipped metadata tokens
CN102542034A (zh) * 2011-12-23 2012-07-04 北京人大金仓信息技术股份有限公司 一种数据库接口的结果集缓存方法
CN103729247A (zh) * 2012-10-12 2014-04-16 阿里巴巴集团控股有限公司 数据获取请求的处理方法、系统及服务器
CN104123238A (zh) * 2014-06-30 2014-10-29 海视云(北京)科技有限公司 数据存储方法及装置
CN104598547A (zh) * 2014-12-30 2015-05-06 深圳市兰丁科技有限公司 基于大数据的数据访问处理方法和装置

Also Published As

Publication number Publication date
WO2017097048A1 (zh) 2017-06-15
CN105488208A (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
CN105488208B (zh) 数据查找方法与装置
CN110909025A (zh) 数据库的查询方法、查询装置及终端
CN102479207B (zh) 一种信息搜索的方法、系统及信息搜索设备
RU2615057C2 (ru) Способ и устройство для доступа к web-странице и маршрутизатор
CN111143242B (zh) 一种缓存预取方法和装置
CN105608115A (zh) 数据获取方法与装置
CN105447171A (zh) 数据缓存方法与装置
CN106681990B (zh) 一种移动云存储环境下缓存数据的预取方法
CN109101662B (zh) 区块生成方法、装置、设备及存储介质
CN105653198A (zh) 数据处理方法及装置
CN107665235B (zh) 缓存处理方法、装置、计算机设备和存储介质
CN105335170A (zh) 分布式系统及数据增量更新方法
CN107992271B (zh) 数据预读方法、装置、设备及计算机可读存储介质
CN111225010A (zh) 数据处理方法、数据处理系统以及装置
CN115712583B (zh) 一种提升分布式缓存跨节点访问性能的方法及装置、介质
CN105608159A (zh) 数据缓存的方法和装置
US5502828A (en) Reducing memory access in a multi-cache multiprocessing environment with each cache mapped into different areas of main memory to avoid contention
CN112866339B (zh) 数据传输方法、装置、计算机设备和存储介质
CN118410076A (zh) 指标的查询方法、统计方法、装置、设备和存储介质
CN113868238A (zh) 缓存刷新方法、相关设备及可读存储介质
US11755534B2 (en) Data caching method and node based on hyper-converged infrastructure
CN115344610A (zh) 两级缓存数据获取方法及装置
US20140325160A1 (en) Caching circuit with predetermined hash table arrangement
CN109005465A (zh) 弹幕消息分发方法、装置、设备及存储介质
CN109241362B (zh) 区块生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211203

Address after: 300450 No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science Park, high tech Zone, Binhai New Area, Tianjin

Patentee after: 3600 Technology Group Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230713

Address after: 1765, floor 17, floor 15, building 3, No. 10 Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: Beijing Hongxiang Technical Service Co.,Ltd.

Address before: 300450 No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science Park, high tech Zone, Binhai New Area, Tianjin

Patentee before: 3600 Technology Group Co.,Ltd.

CP03 Change of name, title or address

Address after: 1765, floor 17, floor 15, building 3, No. 10 Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: Beijing 360 Zhiling Technology Co.,Ltd.

Country or region after: China

Address before: 1765, floor 17, floor 15, building 3, No. 10 Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee before: Beijing Hongxiang Technical Service Co.,Ltd.

Country or region before: China