CN110673994A - 数据库测试方法及装置 - Google Patents

数据库测试方法及装置 Download PDF

Info

Publication number
CN110673994A
CN110673994A CN201910897945.0A CN201910897945A CN110673994A CN 110673994 A CN110673994 A CN 110673994A CN 201910897945 A CN201910897945 A CN 201910897945A CN 110673994 A CN110673994 A CN 110673994A
Authority
CN
China
Prior art keywords
database
data
server cluster
test result
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910897945.0A
Other languages
English (en)
Other versions
CN110673994B (zh
Inventor
杨万浩
郭方园
晋小玲
宋静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910897945.0A priority Critical patent/CN110673994B/zh
Publication of CN110673994A publication Critical patent/CN110673994A/zh
Application granted granted Critical
Publication of CN110673994B publication Critical patent/CN110673994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2205Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2273Test methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据库测试方法及装置,涉及数据库领域。具体实现方案为:对包括异常数据的被测数据库进行测试,得到第一测试结果;在第一测试结果为数据库正常的情况下,根据资源分配状况测试被测数据库的服务器集群的运行状态,得到第二测试结果;在第二测试结果为数据库的服务器集群正常的情况下,监测数据库中数据变化状况,得到第三测试结果。本申请能够提供一个更加全面准确的数据库测试结果,有利于提高数据库的鲁棒性。

Description

数据库测试方法及装置
技术领域
本申请涉及计算机领域,尤其涉及数据库领域。
背景技术
随着知识图谱以及复杂网络等应用的不断发展,图数据库扮演者越来越重要的角色。不同领域的大图数据不仅涉及到节点本身的信息,而且涉及到节点之间的结构关系。当前图数据库系统主要面临4V+C的巨大挑战。4V指以下四点:(1)数据规模大,节点属性多样、节点关系复杂。(2)真实数据难以抽出固定模式。(3)数据动态变化后的一致性问题。(4)图分析难以为不同领域内的数据提供决策支持。C指:大图中任意节点之间存在关联性,计算代价涉及全局数据,计算成本过高。4V+C的问题对图数据库的鲁棒性提出了更高了要求,因此需要更全面有效的数据库测试方法,以被测数据库的鲁棒性,使得使用者或者数据库的建立者能够对数据库的性能有一个更好的了解。
发明内容
有鉴于此,本申请提供一种数据库测试方法及装置。
第一方面,本申请提供一种数据库测试方法,包括:
对包括异常数据的被测数据库进行测试,得到第一测试结果;
在第一测试结果为数据库正常的情况下,根据资源分配状况测试被测数据库的服务器集群的运行状态,得到第二测试结果;
在第二测试结果为数据库的服务器集群正常的情况下,监测数据库中数据变化状况,得到第三测试结果。
在本申请实施例中,对包括异常数据的被测数据库进行测试的操作,能够在建立数据库阶段执行。根据资源分配状况测试被测数据库的服务器集群的运行状态,能够对数据库的硬件进行测试。监测数据库中数据变化状况的操作,能够在数据库运行阶段执行。从而从建立数据库阶段到数据库使用阶段,都能够对数据库进行测试,得到关于数据库的全面准确的测试结果,使得数据库维护者或者建立者能够全面准确了解数据库的状况,针对全面检测结果对数据库进行调整改进,增加数据库的鲁棒性。同时,本申请实施例能够根据资源分配状况测试被测数据库的服务器集群的运行状态,对于关系复杂、需要分析全局数据的图数据库而言,能够被测数据库系统的稳定性。
在一种实施方式中,所述异常数据包括异常节点、异常边和异常数据类型中的至少一种。
图数据库面临着建库规模庞大、边关系复杂的情况,如何保证大规模复杂场景下图数据能成功导入系统而不丢失点、边关系,需要对数据库处理异常数据的能力进行测试。本申请实施例中,异常数据包括了所有可能的数据异常状况,能够在建库阶段对数据库进行全面的测试。
在一种实施方式中,在所述异常数据包括异常节点的情况下,所述异常节点为包含设定字符的节点;
在所述异常数据包括异常边的情况下,所述异常边包括下述至少一种:空节点指向空节点的边、实际节点指向空节点的边、空节点指向实际节点的边、属性相同的重复边和属性不同的重复边。
在本申请实施例中,在被测数据库中加入异常节点,对数据库进行测试,能够得知数据库对异常节点数据的处理能力,进而为数据库的改进和完善提供准确全面的参考。构造的异常边,包含了实际情况中可能遇到的边异常的所有情况,能对结构复杂、数据量大的数据库的建立过程是否正常进行全面的测试。建库者根据测试结果对数据库进行调试,能够提高数据库针对异常数据关系的处理能力。
在一种实施方式中,根据资源分配状况测试被测数据库的服务器集群的运行状态,包括:
根据被测数据库中的服务器集群上所运行的算法对应消耗的资源类型,确定测试任务类型;
根据所述测试任务类型确定所述服务器集群中的待监测任务;
根据资源状态表,确定待监测的任务在服务器集群中的每个服务器上的负荷量;
停止所述服务器集群中设定数量个负荷量最大的服务器;
根据所述服务器集群中剩余服务器执行所述待监测任务的状态,获得所述第二测试结果。
本申请实施例中,根据资源分配状况对数据库的服务器集群进行测试,从而能够测试服务器集群对不同的资源密集型任务的承受能力,从而提高服务器集群测试的针对性和准确性。
在一种实施方式中,所述方法还包括:
通过参照工具生成所述被测数据库中数据的第一图像,通过被测数据库的可视化工具生成第二图像;
将所述第一可视化图像和所述第二可视化图像转换为黑白二值图;
根据所述黑白二值图,检测所述被测数据库的图谱数据构建,得到第四测试结果。
在本申请实施例中,通过生成数据库的数据的图像,能够直观观察到数据库中数据量的变化。通过引入可视化工具和数据库自带可视化工具生成的数据的图像的对比,能够同时得知数据量变化的状况和数据库可视化工具是否能够正常工作。
第二方面,本申请实施例提供一种数据库测试装置,包括:
第一测试模块:用于对包括异常数据的被测数据库进行测试,得到第一测试结果;
第二测试模块:用于在第一测试结果为数据库正常的情况下,根据资源分配状况测试被测数据库的服务器集群的运行状态,得到第二测试结果;
第三测试模块:用于在第二测试结果为数据库的服务器集群正常的情况下,监测数据库中数据变化状况,得到第三测试结果。
在一种实施方式中,所述异常数据包括异常节点、异常边和异常数据类型中的至少一种。
在一种实施方式中,在所述异常数据包括异常节点的情况下,所述异常节点为包含设定字符的节点;
在所述异常数据包括异常边的情况下,所述异常边包括下述至少一种:空节点指向空节点的边、实际节点指向空节点的边、空节点指向实际节点的边、属性相同的重复边和属性不同的重复边。
在一种实施方式中,所述第二测试模块包括:
类型确定单元:用于根据被测数据库中的服务器集群上所运行的算法对应消耗的资源类型,确定测试任务类型;
任务确定单元:用于根据所述测试任务类型确定所述服务器集群中的待监测任务;
负荷量确定单元:用于根据资源状态表,确定待监测的任务在服务器集群中的每个服务器上的负荷量;
停止单元:用于停止所述服务器集群中设定数量个负荷量最大的服务器;
结果单元:用于根据所述服务器集群中剩余服务器执行所述待监测任务的状态,获得所述第二测试结果。
在一种实施方式中,所述装置还包括:
图像生成模块:用于通过参照工具生成所述被测数据库中数据的第一图像,通过被测数据库的可视化工具生成第二图像;
图像转换模块:用于将所述第一可视化图像和所述第二可视化图像转换为黑白二值图;
第四测试结果获得模块:用于根据所述黑白二值图,检测所述被测数据库的图谱数据构建,得到第四测试结果。
上述申请中的一个实施例具有如下优点或有益效果:因为采用从建库阶段到使用阶段对数据库进行检测的技术手段,所以克服了现有检测方法难以满足数据库鲁棒性的高要求的技术问题,进而达到检测效果更全面准确,有利于提高数据库鲁棒性的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请第一实施例的数据库测试方法流程示意图;
图2是根据本申请第二实施例的数据库测试方法部分流程示意图;
图3是根据本申请第三实施例的数据库测试方法流程示意图;
图4是根据本申请第四实施例的数据库测试装置主要组成部分示意图;
图5是根据本申请第五实施例的数据库测试装置部分结构示意图;
图6是根据本申请第六实施例的数据库测试装置主要组成部分示意图;
图7是根据本申请第七实施例的数据库测试装置主要组成部分示意图;
图8用来实现本申请实施例的数据库测试方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供的数据库测试方法,如图1所示,包括:
步骤S11:对包括异常数据的被测数据库进行测试,得到第一测试结果。
步骤S12:在第一测试结果为数据库正常的情况下,根据资源分配状况测试被测数据库的服务器集群的运行状态,得到第二测试结果。
步骤S13:在第二测试结果为数据库的服务器集群正常的情况下,监测数据库中数据变化状况,得到第三测试结果。
在本申请实施例中,对包括异常数据的被测数据库进行测试的操作,能够在建立数据库阶段执行。根据资源分配状况测试被测数据库的服务器集群的运行状态,能够对数据库的硬件进行测试。监测数据库中数据变化状况的操作,能够在数据库运行阶段执行。这样,从建立数据库阶段到数据库使用阶段,都能够对数据库进行测试,得到关于数据库的全面准确的测试结果,使得数据库维护者或者建立者能够全面准确了解数据库的状况,针对全面检测结果对数据库进行调整改进,增加数据库的鲁棒性。同时,本申请实施例能够根据资源分配状况测试被测数据库的服务器集群的运行状态,对于关系复杂、需要分析全局数据的图数据库而言,能够被测数据库系统的稳定性。
在本申请实施例中,对包括异常数据的被测数据库进行测试,可以包括对被测数据库是否能够正确识别并报告异常数据进行测试。对包括异常数据的被测数据库进行测试还可以包括测试被测数据库在建库阶段输入异常数据时,能否按照正确的方式完成数据库的建立。若第一测试结果为数据库异常,例如数据库不能够对建库阶段的异常数据做出正确的处理,那么数据库建立者能够根据第一测试结果对被测数据库进行调试,使数据库能够正确处理建立数据库阶段的异常数据。
在本申请实施例中,根据资源分配状况测试被测数据库的服务器集群的运行状态,即考虑到数据库服务器集群中的资源分配状况的差异,比如,某任务为CPU(CentralProcessing Unit,中央处理器)密集型,在服务器集群中的一部分服务器上,承担任务量多于其它服务器。根据在执行该种任务时CPU消耗状况,对被测数据库进行测试,测试整个服务器集群对该种任务的承受能力。
在本申请实施例中,数据库中数据变化状况,可以包括数据的增加、删除以及在数据存储过程中数据的损坏或丢失等。
在一种实施方式中,异常数据包括异常节点、异常边和异常数据类型中的至少一种。
图数据库面临着建库规模庞大、边关系复杂的情况,如何保证大规模复杂场景下能将图数据成功导入系统而不丢失点、边关系,需要对数据库处理异常数据的能力进行测试。本申请实施例中,异常数据包括了所有可能的数据异常状况,能够在建库阶段对数据库进行全面的测试。
在本申请实施例中,异常节点为异常顶点。异常边为顶点与顶点之间的异常的边。异常数据类型为根据Schema(数据库对象的集合)标准,属于异常类型的数据类型。
在一种实施方式中,在异常数据包括异常节点的情况下,异常节点为包含设定字符的节点。
在本申请实施例中,在被测数据库中加入异常节点,对数据库进行测试,能够得知数据库对异常节点数据的处理能力,进而为数据库的改进和完善提供准确全面的参考。
在本申请实施例中,设定字符为不属于数据库中数据构成字符的特殊字符,具体可以包括HTML(Hyper Text Markup Language,超文本标记语言)字符、XML(ExtensibleMarkup Language,可扩展标记语言)字符、XSS(Cross Site Scripting,跨站脚本攻击)字符等。
在一种实施方式中,在异常数据包括异常边的情况下,异常边包括下述至少一种:空节点指向空节点的边、实际节点指向空节点的边、空节点指向实际节点的边、属性相同的重复边和属性不同的重复边。
在本申请实施例中,构造的异常边,包含实际情况中可能遇到的边异常的所有情况,能对结构复杂、数据量大的数据库的建立过程是否正常进行全面的测试。建库者根据测试结果对数据库进行调试,能够提高数据库针对异常数据关系的处理能力。
在本申请实施例中,空节点指向空节点的边,为一个两端的数据为空的边,即边两端没有实际顶点,顶点中没有数据。实际节点指向空节点的边,为一个末端没有实际顶点的边。空节点指向空节点的边,为一个首端没有实际顶点的边。相同的重复边,为在存在节点A指向节点B的边的情况下,还存在一个相同的边,由A指向B的情况,即节点A两次指向节点B。
在一种实施方式中,根据资源分配状况测试被测数据库的服务器集群的运行状态,包括如图2所示的步骤:
步骤S21:根据被测数据库中的服务器集群上所运行的算法对应消耗的资源类型,确定测试任务类型。构建服务器节点任务状态表,监控集群中每个节点的CPU、内存、磁盘、网络状态。
步骤S22:根据测试任务类型确定服务器集群中的待监测任务。测试任务类型可以包括CPU密集型、内存密集型、磁盘密集型等。
步骤S23:根据资源状态表,确定待监测的任务在服务器集群中的每个服务器上的负荷量。
步骤S24:停止服务器集群中设定数量个负荷量最大的服务器。查找到服务器集群中设定数量个负荷量最大的服务器,并使其停止工作。
步骤S25:根据服务器集群中剩余服务器执行待监测任务的状态,获得第二测试结果。观察剩余服务器执行待监测任务的状况,剩余服务器是否能够正常执行待监测任务。
本申请实施例中,根据资源分配状况对数据库的服务器集群进行测试,从而能够测试服务器集群对不同的资源密集型任务的承受能力,从而提高服务器集群测试的针对性和准确性。
在本申请实施例中,停止服务器集群中设定数量个负荷量最大的机器(服务器),即将服务器的负荷量从大到小排列,停止排列在前设定数量的服务器。例如,若待监测任务为内存密集型,则根据资源状态表,确定服务器内存负荷量排序,停止排列在前设定数量的服务器。设定数量可以是一个较小的数值,例如1-10等。
在一种实施方式中,如图3所示,本方法还包括:
步骤S31:通过参照工具生成被测数据库中数据的第一图像,通过被测数据库的可视化工具生成第二图像。
步骤S32:将第一可视化图像和第二可视化图像转换为黑白二值图。
步骤S33:根据黑白二值图,检测被测数据库的图谱数据构建,得到第四测试结果。通过引入可视化工具例如Gephi生成数据的可视化图像1,图数据库自带的可视化工具生成图像2,通过将两幅图像转成黑白二值图,对比两个图像之间的差异,观察图谱数据构建是否正确、数据库自带的可视化工具是否能够正常工作等。
在本申请实施例中,通过生成数据库的数据的图像,能够直观观察到数据库中数据量的变化。通过引入可视化工具和数据库自带可视化工具生成的数据的图像的对比,能够同时得知数据量变化的状况和数据库可视化工具是否能够正常工作。
在本申请实施例中,还包括监控插入数据库中的原始数据量,主要针对建库过程和流式更新会影响数据量大小的原始数据进行统计。编写脚本并发的遍历数据库中的所有顶点和所有边统计出点和边的数据总量和原始数据量进行比对。
本申请实施例还提供一种数据库测试装置,结构如图4所示,包括:
第一测试模块41:用于对包括异常数据的被测数据库进行测试,得到第一测试结果;
第二测试模块42:用于在第一测试结果为数据库正常的情况下,根据资源分配状况测试被测数据库的服务器集群的运行状态,得到第二测试结果;
第三测试模块43:用于在第二测试结果为数据库的服务器集群正常的情况下,监测数据库中数据变化状况,得到第三测试结果。
在一种实施方式中,异常数据包括异常节点、异常边和异常数据类型中的至少一种。
在一种实施方式中,在异常数据包括异常节点的情况下,异常节点为包含设定字符的节点;
在异常数据包括异常边的情况下,异常边包括下述至少一种:空节点指向空节点的边、实际节点指向空节点的边、空节点指向实际节点的边、属性相同的重复边和属性不同的重复边。
在一种实施方式中,如图5所示,第二测试模块43包括:
类型确定单元51:用于根据被测数据库中的服务器集群上所运行的算法对应消耗的资源类型,确定测试任务类型;
任务确定单元52:用于根据测试任务类型确定服务器集群中的待监测任务;
负荷量确定单元53:用于根据资源状态表,确定待监测的任务在服务器集群中的每个服务器上的负荷量;
停止单元54:用于停止服务器集群中设定数量个负荷量最大的服务器;
结果单元55:用于根据服务器集群中剩余服务器执行待监测任务的状态,获得第二测试结果。
在一种实施方式中,如图6所示,本装置还包括:
图像生成模块61:用于通过参照工具生成被测数据库中数据的第一图像,通过被测数据库的可视化工具生成第二图像;
图像转换模块62:用于将第一可视化图像和第二可视化图像转换为黑白二值图;
第四测试结果获得模块63:用于根据黑白二值图,检测被测数据库的图谱数据构建,得到第四测试结果。
在一种示例中,数据库测试装置如图7所示,包括:数据异常测试模块71、集群异常测试模块72和数据异常校验模块73。数据异常测试模块71包括建库异常测试子模块74和流式异常测试子模块75。
数据建库是保证图数据库正常使用的第一步,图数据库面临着建库规模庞大、边关系复杂的情况,如何保证大规模复杂场景下图数据能成功导入系统而不丢失点、边关系。建库异常测试子模块41和流失异常测试子模块75。要从点数据异常,边数据异常,Schema异常等三个方面进行数据异常测试。对于点数据异常:构造点数据时对点数据进行特殊字符注入,包括HTML注入、XML注入、XSS注入。针对边异常:构造特殊的边,包括空节点指向空节点的边,空节点指向节点A的边,节点B指向空节点的边,节点C两次指向节点D但是属性不相同的边,节点E两次指向节点F但是属性相同的边。针对Schema异常:对Schema规定之外的数据类型进行测试。
由于图数据库数据规模较大,几乎所有的图数据库产品都会采用集群的方式进行管理,图数据库中机器节点的异常相对于传统数据库造成的影响更大,不仅会丢失该点本身的信息,也会丢失该点所在图的边信息,从而破坏图谱数据。通常的集群异常测试仅仅简单的模仿了机器的CPU、内存、磁盘和网络异常,没有考虑到图计算过程中的资源的分配情况,本申请实施例的集群管理异常测试模块72提出了一种基于图计算任务资源分配策略的异常测试方法。根据不同的图计算任务消耗的资源不同,对集群中的节点进行异常测试。
本申请示例提出图数据异常校验机制,图数据库由于数据规模大,图谱数据复杂,因此系统在运行的过程中会发生点或边丢失的异常现象。数据异常校验模块73采用了一种数据异常校验的方法:数据量监控模块,监控插入数据库中的原始数据量,主要针对建库过程和流式更新会影响数据量大小的原始数据进行统计。编写脚本并发的遍历数据库中的所有点和所有边,统计出点和边的数据总量和原始数据量进行比对。通过引入可视化工具Gephi生成数据的可视化图像1,图数据库自带的可视化工具生成图像2,通过将两幅图像转成黑白二值图,对比两个图像之间的差异,观察图谱数据构建是否正确。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图8所示,是根据本申请实施例的数据库测试方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示,该电子设备包括:一个或多个处理器801、存储器802,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface,GUI)的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的数据库测试方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的数据库测试的方法。
存储器802作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的数据库测试方法对应的程序指令/模块(例如,附图4所示的第一测试模块401、第二测试模块402和第三测试模块403)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的数据检测方法。
存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据执行数据监测方法的电子设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器802可选包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至执行数据检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
数据检测方法的电子设备还可以包括:输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接,图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息,以及产生与执行数据检测方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(Liquid Crystal Display,LCD)、发光二极管(Light EmittingDiode,LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits,ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(programmable logic device,PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(Cathode Ray Tube,阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(Local Area Network,LAN)、广域网(Wide Area Network,WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,对包括异常数据的被测数据库进行测试的操作,能够在建立数据库阶段执行。根据资源分配状况测试被测数据库的服务器集群的运行状态,能够对数据库的硬件进行测试。监测数据库中数据变化状况的操作,能够在数据库运行阶段执行。从而从建立数据库阶段到数据库使用阶段,都能够对数据库进行测试,得到关于数据库的全面准确的测试结果,使得数据库维护者或者建立者能够全面准确了解数据库的状况,针对全面检测结果对数据库进行调整改进,增加数据库的鲁棒性。同时,本申请实施例能够根据资源分配状况测试被测数据库的服务器集群的运行状态,对于关系复杂、需要分析全局数据的图数据库而言,能够被测数据库系统的稳定性。…
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (12)

1.一种数据库测试方法,其特征在于,包括:
对包括异常数据的被测数据库进行测试,得到第一测试结果;
在第一测试结果为数据库正常的情况下,根据资源分配状况测试被测数据库的服务器集群的运行状态,得到第二测试结果;
在第二测试结果为数据库的服务器集群正常的情况下,监测数据库中数据变化状况,得到第三测试结果。
2.根据权利要求1所述的方法,其特征在于,所述异常数据包括异常节点、异常边和异常数据类型中的至少一种。
3.根据权利要求2所述的方法,其特征在于,在所述异常数据包括异常节点的情况下,所述异常节点为包含设定字符的节点;
在所述异常数据包括异常边的情况下,所述异常边包括下述至少一种:空节点指向空节点的边、实际节点指向空节点的边、空节点指向实际节点的边、属性相同的重复边和属性不同的重复边。
4.根据权利要求1所述的方法,其特征在于,根据资源分配状况测试被测数据库的服务器集群的运行状态,包括:
根据被测数据库中的服务器集群上所运行的算法对应消耗的资源类型,确定测试任务类型;
根据所述测试任务类型确定所述服务器集群中的待监测任务;
根据资源状态表,确定待监测的任务在服务器集群中的每个服务器上的负荷量;
停止所述服务器集群中设定数量个负荷量最大的服务器;
根据所述服务器集群中剩余服务器执行所述待监测任务的状态,获得所述第二测试结果。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过参照工具生成所述被测数据库中数据的第一图像,通过被测数据库的可视化工具生成第二图像;
将所述第一可视化图像和所述第二可视化图像转换为黑白二值图;
根据所述黑白二值图,检测所述被测数据库的图谱数据构建,得到第四测试结果。
6.一种数据库测试装置,其特征在于,包括:
第一测试模块:用于对包括异常数据的被测数据库进行测试,得到第一测试结果;
第二测试模块:用于在第一测试结果为数据库正常的情况下,根据资源分配状况测试被测数据库的服务器集群的运行状态,得到第二测试结果;
第三测试模块:用于在第二测试结果为数据库的服务器集群正常的情况下,监测数据库中数据变化状况,得到第三测试结果。
7.根据权利要求6所述的装置,其特征在于,所述异常数据包括异常节点、异常边和异常数据类型中的至少一种。
8.根据权利要求7所述的装置,其特征在于,在所述异常数据包括异常节点的情况下,所述异常节点为包含设定字符的节点;
在所述异常数据包括异常边的情况下,所述异常边包括下述至少一种:空节点指向空节点的边、实际节点指向空节点的边、空节点指向实际节点的边、属性相同的重复边和属性不同的重复边。
9.根据权利要求6所述的装置,其特征在于,所述第二测试模块包括:
类型确定单元:用于根据被测数据库中的服务器集群上所运行的算法对应消耗的资源类型,确定测试任务类型;
任务确定单元:用于根据所述测试任务类型确定所述服务器集群中的待监测任务;
负荷量确定单元:用于根据资源状态表,确定待监测的任务在服务器集群中的每个服务器上的负荷量;
停止单元:用于停止所述服务器集群中设定数量个负荷量最大的服务器;
结果单元:用于根据所述服务器集群中剩余服务器执行所述待监测任务的状态,获得所述第二测试结果。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
图像生成模块:用于通过参照工具生成所述被测数据库中数据的第一图像,通过被测数据库的可视化工具生成第二图像;
图像转换模块:用于将所述第一可视化图像和所述第二可视化图像转换为黑白二值图;
第四测试结果获得模块:用于根据所述黑白二值图,检测所述被测数据库的图谱数据构建,得到第四测试结果。
11.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
CN201910897945.0A 2019-09-20 2019-09-20 数据库测试方法及装置 Active CN110673994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910897945.0A CN110673994B (zh) 2019-09-20 2019-09-20 数据库测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910897945.0A CN110673994B (zh) 2019-09-20 2019-09-20 数据库测试方法及装置

Publications (2)

Publication Number Publication Date
CN110673994A true CN110673994A (zh) 2020-01-10
CN110673994B CN110673994B (zh) 2023-05-12

Family

ID=69077509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910897945.0A Active CN110673994B (zh) 2019-09-20 2019-09-20 数据库测试方法及装置

Country Status (1)

Country Link
CN (1) CN110673994B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552637A (zh) * 2020-04-20 2020-08-18 北京顺达同行科技有限公司 数据库状态的检测方法、装置、电子设备及其存储介质
CN113609145A (zh) * 2021-08-04 2021-11-05 北京百度网讯科技有限公司 数据库处理方法、装置、电子设备、存储介质及产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577529A (zh) * 2012-08-08 2014-02-12 国际商业机器公司 基于上下文的图形数据库和计算机系统
CN105577470A (zh) * 2015-12-12 2016-05-11 天津南大通用数据技术股份有限公司 基于分布式资源管控的集群异常正交测试方法
CN107665246A (zh) * 2017-09-13 2018-02-06 北京知道未来信息技术有限公司 基于图数据库的动态数据迁移方法及图数据库集群
US20180069885A1 (en) * 2016-09-06 2018-03-08 Accenture Global Solutions Limited Graph database analysis for network anomaly detection systems
CN109254909A (zh) * 2018-08-06 2019-01-22 四川蜀天梦图数据科技有限公司 一种测试用大图生成方法和系统
CN109767840A (zh) * 2018-12-13 2019-05-17 平安科技(深圳)有限公司 一种异常检测方法、异常检测装置及计算机可读存储介质
US10339309B1 (en) * 2017-06-09 2019-07-02 Bank Of America Corporation System for identifying anomalies in an information system
CN110245052A (zh) * 2019-06-18 2019-09-17 拉卡拉支付股份有限公司 一种数据系统的热点组件确定方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577529A (zh) * 2012-08-08 2014-02-12 国际商业机器公司 基于上下文的图形数据库和计算机系统
CN105577470A (zh) * 2015-12-12 2016-05-11 天津南大通用数据技术股份有限公司 基于分布式资源管控的集群异常正交测试方法
US20180069885A1 (en) * 2016-09-06 2018-03-08 Accenture Global Solutions Limited Graph database analysis for network anomaly detection systems
US10339309B1 (en) * 2017-06-09 2019-07-02 Bank Of America Corporation System for identifying anomalies in an information system
CN107665246A (zh) * 2017-09-13 2018-02-06 北京知道未来信息技术有限公司 基于图数据库的动态数据迁移方法及图数据库集群
CN109254909A (zh) * 2018-08-06 2019-01-22 四川蜀天梦图数据科技有限公司 一种测试用大图生成方法和系统
CN109767840A (zh) * 2018-12-13 2019-05-17 平安科技(深圳)有限公司 一种异常检测方法、异常检测装置及计算机可读存储介质
CN110245052A (zh) * 2019-06-18 2019-09-17 拉卡拉支付股份有限公司 一种数据系统的热点组件确定方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贺彬彬等: "语义知识库构建中的异常数据发现", 《北京大学学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552637A (zh) * 2020-04-20 2020-08-18 北京顺达同行科技有限公司 数据库状态的检测方法、装置、电子设备及其存储介质
CN113609145A (zh) * 2021-08-04 2021-11-05 北京百度网讯科技有限公司 数据库处理方法、装置、电子设备、存储介质及产品
CN113609145B (zh) * 2021-08-04 2023-07-04 北京百度网讯科技有限公司 数据库处理方法、装置、电子设备、存储介质及产品

Also Published As

Publication number Publication date
CN110673994B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
US20190004936A1 (en) Trace management
US9576037B2 (en) Self-analyzing data processing job to determine data quality issues
EP3859533A2 (en) Method and apparatus for testing map service, electronic device, storage medium and computer program product
US9064048B2 (en) Memory leak detection
CN112486820B (zh) 用于测试代码的方法、装置、设备以及存储介质
JP2021193606A (ja) 深層学習に基づく演算子の登録処理方法、装置及び電子機器
US20170075795A1 (en) Identifying test gaps using code execution paths
CN111309343B (zh) 一种开发部署方法及装置
CN110673994B (zh) 数据库测试方法及装置
CN111475164A (zh) 组件依赖关系检测方法、装置以及电子设备
CN112306880A (zh) 测试方法、装置、电子设备和计算机可读存储介质
CN111666217A (zh) 用于测试代码的方法和装置
CN110706147A (zh) 图像处理的环境确定方法、装置、电子设备和存储介质
Cito et al. Interactive production performance feedback in the IDE
CN112965903A (zh) 测试方法、装置、电子设备及计算机可读存储介质
CN112015468A (zh) 一种接口文档处理方法、装置、电子设备以及存储介质
CN111984545B (zh) 检测单元测试稳定性的方法、装置、电子设备及存储介质
CN112667795A (zh) 对话树构建方法和装置、对话树运行方法、装置以及系统
CN111538656B (zh) 梯度检查的监控方法、装置、设备及存储介质
US11496376B2 (en) Method and apparatus for processing local hot spot, electronic device and storage medium
CN115329143A (zh) 有向无环图评估方法、装置、设备及存储介质
CN111292223B (zh) 图计算的处理方法、装置、电子设备及存储介质
CN114881521A (zh) 业务评估方法、装置、电子设备以及存储介质
CN111831317A (zh) 服务间依赖关系的获取方法、装置、电子设备和存储介质
CN113434382A (zh) 数据库性能监控方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant