CN113626474B - 数据库随机抽取方法、装置及设备 - Google Patents
数据库随机抽取方法、装置及设备 Download PDFInfo
- Publication number
- CN113626474B CN113626474B CN202111177586.5A CN202111177586A CN113626474B CN 113626474 B CN113626474 B CN 113626474B CN 202111177586 A CN202111177586 A CN 202111177586A CN 113626474 B CN113626474 B CN 113626474B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- individuals
- population
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000002068 genetic effect Effects 0.000 claims abstract description 23
- 238000013075 data extraction Methods 0.000 claims abstract description 19
- 238000011156 evaluation Methods 0.000 claims description 57
- 108090000623 proteins and genes Proteins 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 14
- 238000010353 genetic engineering Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 239000012634 fragment Substances 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims 1
- 230000035772 mutation Effects 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 238000012360 testing method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Genetics & Genomics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Physiology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据库随机抽取方法、装置及设备。所述方法包括根据查询条件在数据库中随机抽取数据，生成初始种群；对当前种群中的个体进行遗传操作，迭代所述遗传操作；若当前种群中存在适应度不小于适应度期望值的个体或种群的迭代次数达到预设最大迭代次数，则将所述当前种群中适应度最大的个体作为全局最优解进行抽取。以此方式，能够根据用户输入的多维度适应度条件，动态调整公式参数；在遗传算法中的交叉和变异阶段加入去重方法；同时制定数据抽取规则，避免在相同的数据中反复抽取而导致的死循环，从而实现获取符合期望值的全局最优解的目的。
Description
技术领域
本发明一般涉及数据库查询领域，并且更具体地，涉及一种数据库随机抽取方法、装置及设备。
背景技术
在有限制条件的状态空间的控制下，常常通过随机抽取策略对数据库中的解集合进行随机抽取。不过由于数据库中数据量庞大，导致随机抽取的范围过大，无法确定在抽取条件下，在数据库的哪些区域内能够抽取到最优解，往往使抽取在一个不存在最优解的区域范围内陷入死循环，导致随机抽取最终失败，或只能抽取到满足条件的局部最优解，无法抽取到满足用户需求的最优解。
发明内容
根据本发明的实施例，提供了一种数据库随机抽取方案。本方案能够避免在相同的数据中反复抽取而导致的死循环，从而实现获取符合期望值的全局最优解的目的。
在本发明的第一方面，提供了一种数据库随机抽取方法。该方法包括：
根据查询条件在数据库中随机抽取数据，生成初始种群；
对当前种群中的个体进行遗传操作，迭代所述遗传操作；
若当前种群中存在适应度不小于适应度期望值的个体或种群的迭代次数达到预设最大迭代次数，则将所述当前种群中适应度最大的个体作为全局最优解进行抽取；
所述遗传操作，包括：
计算所述种群中个体的适应度，选择所述种群中适应度最大的个体作为子代个体，从所述种群的剩余个体中按照适应度由大到小选择父代个体进行交叉操作，生成子代个体，直至所述子代个体的数量达到所述种群的数量，得到下一代种群；其中，若一个所述子代个体中存在两个相同的基因片段，则从所述数据库中抽取一数据替换任一相同的基因片段；若所述子代个体的基因片段满足变异条件，则从所述数据库中抽取一数据替换满足变异条件的基因片段；在从所述数据库中抽取一数据替换任一相同的基因片段，和/或从所述数据库中抽取一数据替换满足变异条件的基因片段中，根据数据抽取规则对数据进行抽取；所述数据抽取规则，包括：
若所述数据库中存在未设置抽取次数评价值的数据，则从所述未设置抽取次数评价值的数据中随机抽取一数据；若所述数据库中不存在未设置抽取次数评价值的数据，则根据所述抽取次数评价值抽取所述数据库中被抽取次数最少的数据。
进一步地，所述查询条件，包括第一查询条件和第二查询条件；
所述第一查询条件，用于从所述数据库中识别出特征符合特征筛选条件的数据；所述第一查询条件为一个或多个；
所述第二查询条件，用于从所述数据库中识别出属性符合评价条件的数据；所述第二查询条件为一个。
进一步地，所述计算所述种群中个体的适应度，包括：
其中，
为数据库中符合第m个所述第一查询条件的个体数量；
为数据库中期望符合第m个所述第一查询条件的个体数量；
为第m个所述第一查询条件的权重；
为所述第一查询条件与第二查询条件的数量和，且
，n≥2，m≥1；
为所述第二查询条件的个体属性的评价期望值；
为符合所述第二查询条件的个体属性的评价实际值。
进一步地，若通过所述交叉操作生成的子代个体中不存在对应父代个体的基因片段，则将所述父代个体的基因片段复制到所述子代个体中。
进一步地，响应于所述数据库中的数据被抽取，判断被抽取的所述数据是否设置抽取次数评价值，如果是，则对被抽取数据的抽取次数评价值进行更新；否则，设置被抽取的所述数据的抽取次数评价值。
进一步地，所述抽取次数评价值用于评价对应数据的被抽取次数。
进一步地，所述变异条件为：子代个体的基因片段的随机概率不大于预设随机变异概率；
所述随机概率为与通过所述交叉操作生成的基因片段对应的随机数。
在本发明的第二方面，提供了一种数据库随机抽取装置。该装置包括：
初始种群生成模块，用于根据查询条件在数据库中随机抽取数据，生成初始种群；
遗传迭代模块，用于对当前种群中的个体进行遗传操作，迭代所述遗传操作；所述遗传操作，包括：
计算所述种群中个体的适应度，选择所述种群中适应度最大的个体作为子代个体，从所述种群的剩余个体中按照适应度由大到小选择父代个体进行交叉操作，生成子代个体，直至所述子代个体的数量达到所述种群的数量，得到下一代种群；其中，若所述子代个体中存在两个相同基因片段，则从所述数据库中抽取一数据替换任一相同的基因片段；若所述子代个体的基因片段满足变异条件，则从所述数据库中抽取一数据替换满足变异条件的基因片段；在从所述数据库中抽取一数据替换任一相同的基因片段，和/或从所述数据库中抽取一数据替换满足变异条件的基因片段中，根据数据抽取规则对数据进行抽取；所述数据抽取规则，包括：
若所述数据库中存在未设置抽取次数评价值的数据，则从所述未设置抽取次数评价值的数据中随机抽取一数据；若所述数据库中不存在未设置抽取次数评价值的数据，则根据所述抽取次数评价值抽取所述数据库中被抽取次数最少的数据；
判断模块，用于判断若当前种群中存在适应度不小于适应度期望值的个体或种群的迭代次数达到预设最大迭代次数，则将所述当前种群中适应度最大的个体作为全局最优解进行抽取。
在本发明的第三方面，提供了一种电子设备。该电子设备至少一个处理器；以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明第一方面的方法。
在本发明的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本发明第一方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了根据本发明的实施例的数据库随机抽取方法的流程图；
图2示出了根据本发明的实施例的数据库随机抽取装置的方框图；
图3示出了能够实施本发明的实施例的示例性电子设备的方框图；
其中，300为电子设备、301为CPU、302为ROM、303为RAM、304为总线、305为I/O接口、306为输入单元、307为输出单元、308为存储单元、309为通信单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本发明中，能够根据用户输入的多维度适应度条件，动态调整公式参数；在遗传算法中的交叉和变异阶段加入去重方法；同时制定数据抽取规则，避免在相同的数据中反复抽取而导致的死循环，从而实现获取符合期望值的全局最优解的目的。
图1示出了本发明实施例的数据库随机抽取方法的流程图。
该方法包括：
S101、根据查询条件在数据库中随机抽取数据，生成初始种群。
所述数据库中存储大量同类数据，例如试题数据库，试题数据库中存储若干试卷，每张试卷作为一个数据个体。定义每次迭代的种群大小H（种群数量）、最大迭代次数和适应度期望值。
作为本发明的一种实施例，所述查询条件为用户输入的查询条件，包括第一查询条件和第二查询条件。
所述第一查询条件，用于从所述数据库中识别出特征符合特征筛选条件的数据；所述第一查询条件为一个或多个。当所述第一查询条件为一个时，例如，特征筛选条件为知识点α，特征为试卷包含有知识点α，即根据所述第一查询条件，需要识别出包含有知识点α的试卷。当所述第一查询条件为多个时，即所述第一查询条件为多维度条件，用α、β、……、Ω表示。例如，多个特征筛选条件为知识点α、β、……、Ω，特征为试卷包含有知识点α、β、……、Ω，即根据所述第一查询条件，需要识别出包含有知识点α、β、……、Ω的试卷。
在本实施例中，用户初始设置还包括数据库中期望符合所述第一查询条件的个体数量，例如，需要查找到5张包含知识点α的试卷。
可见，不一定每个数据个体都具备所述第一查询条件。所述多维度条件可以根据实际需求动态增减。
所述第二查询条件，用于从所述数据库中识别出属性符合评价条件的数据；所述属性是所述数据库中的所有数据个体都具有的属性，例如试题难度。所述评价条件是属性的评价条件，例如通过难度值对试题难度进行评价，难度值随着难度提升而增大。
在本实施例中，用户初始设置还包括所述第二查询条件的个体属性的评价期望值；例如，试题难度的期望值EP。
所述第二查询条件为一个，即用户只能在一次查询中输入一个第二查询条件。可见，所述数据库中的每个数据个体都具备所述第二查询条件涉及的属性，但需要通过所述第二查询条件筛选出属性符合评价条件的数据个体。
根据用户输入的查询条件从数据库中随机抽取到符合查询条件的H个数据个体，以所述H个数据个体作为初始种群。
S102、对当前种群中的个体进行遗传操作，迭代所述遗传操作。
如果当前种群还未进行迭代，则为初始种群；如果当前种群为迭代遗传操作生成的种群，则当前种群为子代种群。
具体的，所述遗传操作，包括：
首先，计算所述种群中个体的适应度。
所述种群中个体的适应度的计算过程，包括：
其中，
为数据库中符合第m个所述第一查询条件的个体数量；
为数据库中期望符合第m个所述第一查询条件的个体数量；
为所述第二查询条件的个体属性的评价期望值； 
为符合所述第二查询条件的个体属性的评价实际值。
为第m个第一查询条件的覆盖率，即数据库中符合第m个所述第一查询条件的个体数量与数据库中期望符合第m个所述第一查询条件的个体数量的比值。例如，从数据库中期望查询到包含知识点1的试卷数量为5张，实际从数据库中查询到包含知识点1的试卷有3张，则满足包含知识点1这个查询条件的覆盖率为60%。所述
为第m个所述第一查询条件的权重；
为所述第一查询条件与第二查询条件的数量和，且
，n≥2，m≥1；当
=0时相当于 
所占的比重退化为0，当
=0时相当于
所占的比重退化为0，以此类推。所述权重是根据不同场景进行参数调整，使最终适应度能够更合理的用于生产。
本实施例中，在通用遗传算法基础上进行了参数的扩展，可以针对业务需求尽可能扩展条件，实现多维度计算，并能够进行参数动态调整，使其更合理运用到生产环境中。
其次，选择所述种群中适应度最大的个体作为子代个体，从所述种群的剩余个体中按照适应度由大到小选择父代个体进行交叉操作，生成子代个体。
作为本发明的一种实施例，根据适应度由大到小将每个个体进行排序，依次选择适应度最大的两个个体作为父代个体。选择到两个父代个体后，将所选择的父代个体进行交叉操作。若通过所述交叉操作生成的子代个体中不存在对应父代个体的基因片段，则将所述父代个体的基因片段复制到所述子代个体中。采用定向遗传，将两个父代个体的随机基因片段遗传到子代中；如果其中有一个父代个体未被子代继承，则会被继续遗传。
作为本发明的一种实施例，若一个所述子代个体中存在两个相同的基因片段，则从所述数据库中抽取一数据替换任一相同的基因片段。
在计算所述种群中个体的适应度的过程中计算出了每个个体的适应度，根据适应度由大到小将每个个体进行排序，依次选择适应度最大的两个个体作为父代个体。选择到两个父代个体后，将所选择的父代个体进行交叉操作。如果两个父代个体均被子代继承，此时如果继承的子代个体中存在两个相同的基因片段，则需要根据初始设置的多维度条件随机从数据库中抽取数据。
作为本发明的一种实施例，若所述子代个体的基因片段满足变异条件，则从所述数据库中抽取一数据替换满足变异条件的基因片段。
所述变异条件为：子代个体的基因片段的随机概率不大于预设随机变异概率；所述随机概率为与通过所述交叉操作生成的基因片段对应的随机数。例如，将所述随机概率设置为0.0085；根据多维度条件随机从数据库中抽取数据，每次抽取时，随机概率取一次随机小数，当子代个体的基因片段的随机概率小于或等于0.0085时，则满足变异条件，进行变异操作，否则进行下一次循环。
作为本发明的一种实施例，在从所述数据库中抽取一数据替换任一相同的基因片段，和/或从所述数据库中抽取一数据替换满足变异条件的基因片段中，根据数据抽取规则对数据进行抽取。
所述数据抽取规则，包括：
若所述数据库中存在未设置抽取次数评价值的数据，则从所述未设置抽取次数评价值的数据中随机抽取一数据；若所述数据库中不存在未设置抽取次数评价值的数据，则根据所述抽取次数评价值抽取所述数据库中被抽取次数最少的数据。
在本实施例中，所述抽取次数评价值用于评价对应数据的被抽取次数。响应于所述数据库中的数据被抽取，判断被抽取的所述数据是否设置抽取次数评价值，如果是，则对被抽取数据的抽取次数评价值进行更新；否则，设置被抽取的所述数据的抽取次数评价值。所述更新包括对抽取次数评价值进行扩大或缩小，例如，设定抽取次数评价值与数据被抽取次数成正相关，即数据每被抽取一次，则抽取次数评价值加1，故当根据数据抽取规则对数据进行抽取时，抽取所述抽取次数评价值最小的数据。又例如，设定抽取次数评价值与数据被抽取次数成负相关，即数据每被抽取一次，则抽取次数评价值减1，故当根据数据抽取规则对数据进行抽取时，抽取所述抽取次数评价值最大的数据。
在上述过程中，实时判断所述子代个体的数量，若所述子代个体的数量达到预设的种群数量H，则将得到的H个子代个体作为下一代种群。重新返回计算所述种群中个体的适应度的步骤，进行迭代处理。
本实施例在基于遗传操作的数据随机抽取过程中设置数据抽取规则，尽量在全局中搜索最优解，避免抽取出现死循环，效率更高，收敛速度更快，能够避免传统随机方法抽取导致的始终抽取不到合适结果或者非随机最优解的问题。
S103、若当前种群中存在适应度不小于适应度期望值的个体或种群的迭代次数达到预设最大迭代次数，则将所述当前种群中适应度最大的个体作为全局最优解进行抽取。
作为本发明的一种实施例，由于在S101中设置了适应度期望值，在计算了当前种群中个体适应度并排序后，将最大的适应度值与设置的适应度期望值进行比较，如果当前种群中最大的适应度值达到或超过了设置的适应度期望值，则将最大的适应度值对应的个体作为全局最优解进行抽取。可以看出，在达到预设的最大迭代次数之前，如果在迭代过程中个体适应度已经达到或超过用户的初始期望的适应度值，后续的迭代便不需要再进行，将此个体作为最终输出即可。
作为本发明的一种实施例，当在迭代过程中个体适应度均未达到或超过用户的初始期望的适应度值时，若此时种群的迭代次数达到预设最大迭代次数，则将所述当前种群中适应度最大的个体作为全局最优解进行抽取。此种情况中，虽然当前种群中没有达到用户期望的适应度的个体，但已经得到全局的最优个体。
根据本发明的实施例，能够根据用户输入的多维度适应度条件，动态调整公式参数；在遗传算法中的交叉和变异阶段加入去重方法；同时制定数据抽取规则，避免在相同的数据中反复抽取而导致的死循环，从而实现获取符合期望值的全局最优解的目的。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
如图2所示，装置200包括：
初始种群生成模块210，用于根据查询条件在数据库中随机抽取数据，生成初始种群；
遗传迭代模块220，用于对当前种群中的个体进行遗传操作，迭代所述遗传操作；所述遗传操作，包括：
计算所述种群中个体的适应度，选择所述种群中适应度最大的个体作为子代个体，从所述种群的剩余个体中按照适应度由大到小选择父代个体进行交叉操作，生成子代个体，直至所述子代个体的数量达到所述种群的数量，得到下一代种群；其中，若所述子代个体中存在两个相同基因片段，则从所述数据库中抽取一数据替换任一相同的基因片段；若所述子代个体的基因片段满足变异条件，则从所述数据库中抽取一数据替换满足变异条件的基因片段；在从所述数据库中抽取一数据替换任一相同的基因片段，和/或从所述数据库中抽取一数据替换满足变异条件的基因片段中，根据数据抽取规则对数据进行抽取；所述数据抽取规则，包括：
若所述数据库中存在未设置抽取次数评价值的数据，则从所述未设置抽取次数评价值的数据中随机抽取一数据；若所述数据库中不存在未设置抽取次数评价值的数据，则根据所述抽取次数评价值抽取所述数据库中被抽取次数最少的数据；
判断模块230，用于判断若当前种群中存在适应度不小于适应度期望值的个体或种群的迭代次数达到预设最大迭代次数，则将所述当前种群中适应度最大的个体作为全局最优解进行抽取。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本发明的实施例，本发明还提供了一种电子设备和一种可读存储介质。
图3示出了可以用来实施本发明的实施例的电子设备300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
设备300包括计算单元301，其可以根据存储在只读存储器（ROM）302中的计算机程序或者从存储单元308加载到随机访问存储器（RAM）303中的计算机程序，来执行各种适当的动作和处理。在RAM 303中，还可存储设备300操作所需的各种程序和数据。计算单元301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出（I/O）接口305也连接至总线304。
设备300中的多个部件连接至I/O接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理，例如方法S101~S103。例如，在一些实施例中，方法S101~S103可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 302和/或通信单元309而被载入和/或安装到设备300上。当计算机程序加载到RAM 303并由计算单元301执行时，可以执行上文描述的方法S101~S103的一个或多个步骤。备选地，在其他实施例中，计算单元301可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行方法S101~S103。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (9)
1.一种数据库随机抽取方法，其特征在于，包括：
根据查询条件在数据库中随机抽取数据，生成初始种群；
对当前种群中的个体进行遗传操作，迭代所述遗传操作；
若当前种群中存在适应度不小于适应度期望值的个体或种群的迭代次数达到预设最大迭代次数，则将所述当前种群中适应度最大的个体作为全局最优解进行抽取；
所述遗传操作，包括：
计算所述种群中个体的适应度，选择所述种群中适应度最大的个体作为子代个体，从所述种群的剩余个体中按照适应度由大到小选择父代个体进行交叉操作，生成子代个体，直至所述子代个体的数量达到所述种群的数量，得到下一代种群；其中，若一个所述子代个体中存在两个相同的基因片段，则从所述数据库中抽取一数据替换任一相同的基因片段；若所述子代个体的基因片段满足变异条件，则从所述数据库中抽取一数据替换满足变异条件的基因片段；在从所述数据库中抽取一数据替换任一相同的基因片段，和/或从所述数据库中抽取一数据替换满足变异条件的基因片段中，根据数据抽取规则对数据进行抽取；所述数据抽取规则，包括：
若所述数据库中存在未设置抽取次数评价值的数据，则从所述未设置抽取次数评价值的数据中随机抽取一数据；若所述数据库中不存在未设置抽取次数评价值的数据，则根据所述抽取次数评价值抽取所述数据库中被抽取次数最少的数据；
响应于所述数据库中的数据被抽取，判断被抽取的所述数据是否设置抽取次数评价值，如果是，则对被抽取数据的抽取次数评价值进行更新；否则，设置被抽取的所述数据的抽取次数评价值。
2.根据权利要求1所述的方法，其特征在于，所述查询条件，包括第一查询条件和第二查询条件；
所述第一查询条件，用于从所述数据库中识别出特征符合特征筛选条件的数据；所述第一查询条件为一个或多个；
所述第二查询条件，用于从所述数据库中识别出属性符合评价条件的数据；所述第二查询条件为一个。
3.根据权利要求2所述的方法，其特征在于，所述计算所述种群中个体的适应度，包括：
其中，
为数据库中符合第m个所述第一查询条件的个体数量；
为数据库中期望符合第m个所述第一查询条件的个体数量；
为第m个所述第一查询条件的权重；
为所述第一查询条件与第二查询条件的数量和，且
，n≥2，m≥1；
为所述第二查询条件的个体属性的评价期望值；
为符合所述第二查询条件的个体属性的评价实际值。
4.根据权利要求1所述的方法，其特征在于，若通过所述交叉操作生成的子代个体中不存在对应父代个体的基因片段，则将所述父代个体的基因片段复制到所述子代个体中。
5.根据权利要求1所述的方法，其特征在于，所述抽取次数评价值用于评价对应数据的被抽取次数。
6.根据权利要求1所述的方法，其特征在于，所述变异条件为：子代个体的基因片段的随机概率不大于预设随机变异概率；
所述随机概率为与通过所述交叉操作生成的基因片段对应的随机数。
7.一种数据库随机抽取装置，其特征在于，包括：
初始种群生成模块，用于根据查询条件在数据库中随机抽取数据，生成初始种群；
遗传迭代模块，用于对当前种群中的个体进行遗传操作，迭代所述遗传操作；所述遗传操作，包括：
计算所述种群中个体的适应度，选择所述种群中适应度最大的个体作为子代个体，从所述种群的剩余个体中按照适应度由大到小选择父代个体进行交叉操作，生成子代个体，直至所述子代个体的数量达到所述种群的数量，得到下一代种群；其中，若所述子代个体中存在两个相同基因片段，则从所述数据库中抽取一数据替换任一相同的基因片段；若所述子代个体的基因片段满足变异条件，则从所述数据库中抽取一数据替换满足变异条件的基因片段；在从所述数据库中抽取一数据替换任一相同的基因片段，和/或从所述数据库中抽取一数据替换满足变异条件的基因片段中，根据数据抽取规则对数据进行抽取；所述数据抽取规则，包括：
若所述数据库中存在未设置抽取次数评价值的数据，则从所述未设置抽取次数评价值的数据中随机抽取一数据；若所述数据库中不存在未设置抽取次数评价值的数据，则根据所述抽取次数评价值抽取所述数据库中被抽取次数最少的数据；响应于所述数据库中的数据被抽取，判断被抽取的所述数据是否设置抽取次数评价值，如果是，则对被抽取数据的抽取次数评价值进行更新；否则，设置被抽取的所述数据的抽取次数评价值；
判断模块，用于判断若当前种群中存在适应度不小于适应度期望值的个体或种群的迭代次数达到预设最大迭代次数，则将所述当前种群中适应度最大的个体作为全局最优解进行抽取。
8.一种电子设备，至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其特征在于，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111177586.5A CN113626474B (zh) | 2021-10-09 | 2021-10-09 | 数据库随机抽取方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111177586.5A CN113626474B (zh) | 2021-10-09 | 2021-10-09 | 数据库随机抽取方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113626474A CN113626474A (zh) | 2021-11-09 |
| CN113626474B true CN113626474B (zh) | 2021-12-24 |
Family
ID=78390971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111177586.5A Active CN113626474B (zh) | 2021-10-09 | 2021-10-09 | 数据库随机抽取方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113626474B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220841A (zh) * | 2016-03-22 | 2017-09-29 | 上海市玻森数据科技有限公司 | 一种基于商业数据的聚类系统 |
| CN112906890A (zh) * | 2021-03-18 | 2021-06-04 | 北京工商大学 | 一种基于互信息和改进遗传算法的用户属性特征选择方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3697446B2 (ja) * | 1993-12-16 | 2005-09-21 | 富士通株式会社 | 状態遷移の概念を導入した問題解決演算装置および方法 |
| US8499001B1 (en) * | 2009-11-25 | 2013-07-30 | Quest Software, Inc. | Systems and methods for index selection in collections of data |
| CN108846472A (zh) * | 2018-06-05 | 2018-11-20 | 北京航空航天大学 | 一种自适应遗传粒子群混合算法的优化方法 |
| CN109241516A (zh) * | 2018-10-30 | 2019-01-18 | 辽宁科技大学 | 一种基于改进遗传算法的智能组卷方法 |
| CN111178625A (zh) * | 2019-12-28 | 2020-05-19 | 中车青岛四方机车车辆股份有限公司 | 一种数据处理方法及装置 |
| CN111369047B (zh) * | 2020-03-02 | 2022-11-15 | 中国科学院软件研究所 | 一种基于微生物遗传算法的旅游路线规划方法和系统 |
-
2021
- 2021-10-09 CN CN202111177586.5A patent/CN113626474B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220841A (zh) * | 2016-03-22 | 2017-09-29 | 上海市玻森数据科技有限公司 | 一种基于商业数据的聚类系统 |
| CN112906890A (zh) * | 2021-03-18 | 2021-06-04 | 北京工商大学 | 一种基于互信息和改进遗传算法的用户属性特征选择方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113626474A (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112561068B (zh) | 模拟方法、计算设备、经典设备、存储设备及产品 | |
| JP5755822B1 (ja) | 類似度算出システム、類似度算出方法およびプログラム | |
| US20160048577A1 (en) | Cluster computation using random subsets of variables | |
| CN114492279B (zh) | 一种模拟集成电路的参数优化方法及系统 | |
| CN114091128B (zh) | 一种排样方案的确定方法、装置及电子设备 | |
| WO2015044777A1 (en) | Systems and methods for distance approximation in graphs | |
| CN116580223A (zh) | 数据处理及模型微调方法、装置、电子设备及存储介质 | |
| CN114580645A (zh) | 随机量子测量的模拟方法、装置、设备及存储介质 | |
| CN112561081A (zh) | 深度学习模型的转换方法、装置、电子设备和存储介质 | |
| US20230206075A1 (en) | Method and apparatus for distributing network layers in neural network model | |
| CN113626474B (zh) | 数据库随机抽取方法、装置及设备 | |
| CN108764586A (zh) | 模糊Petri网参数优化方法、系统及电子设备 | |
| CN113408304B (zh) | 文本翻译方法、装置、电子设备及存储介质 | |
| CN115099875A (zh) | 基于决策树模型的数据分类方法及相关设备 | |
| CN112784967B (zh) | 信息处理方法、装置以及电子设备 | |
| CN114021642A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN114462714A (zh) | 信息确定方法、装置及电子设备 | |
| CN114048863A (zh) | 数据处理方法、装置、电子设备以及存储介质 | |
| CN113112311A (zh) | 训练因果推断模型的方法、信息提示方法以装置 | |
| CN112861034B (zh) | 检测信息的方法、装置、设备和存储介质 | |
| CN113806310B (zh) | 对比方法和相关产品 | |
| CN112507197A (zh) | 模型搜索方法、装置、电子设备、存储介质和程序产品 | |
| CN117744808A (zh) | 一种基于因果效应估计模型的决策方法、装置及相关设备 | |
| CN118643335A (zh) | 文本问答模型的训练方法、装置及电子设备 | |
| CN118677945A (zh) | 数据处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100085 room 703, 7 / F, block C, 8 malianwa North Road, Haidian District, Beijing Patentee after: Beijing daoda Tianji Technology Co.,Ltd. Address before: 100085 room 703, 7 / F, block C, 8 malianwa North Road, Haidian District, Beijing Patentee before: Beijing daoda Tianji Technology Co.,Ltd. |