CN110347564A - 数据生成方法及装置、电子设备、存储介质 - Google Patents
数据生成方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN110347564A CN110347564A CN201910441370.1A CN201910441370A CN110347564A CN 110347564 A CN110347564 A CN 110347564A CN 201910441370 A CN201910441370 A CN 201910441370A CN 110347564 A CN110347564 A CN 110347564A
- Authority
- CN
- China
- Prior art keywords
- data
- field
- rule
- processed
- create
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011056 performance test Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000032696 parturition Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Abstract
本公开是关于一种数据生成方法及装置、电子设备、存储介质，涉及大数据技术领域，该方法包括：获取数据表，并提取所述数据表中包含的所有字段；为所述所有字段确定多个数据生成规则，并将所述数据生成规则与所述字段的类型进行关联，得到映射关系；根据至少一个数据表中待处理字段的类型，结合所述映射关系从多个数据生成规则中确定一个针对所述待处理字段的目标规则；利用所述目标规则，为至少一个数据表中的所述待处理字段生成对应的数据。本公开通过基于大数据的数据生成规则确定针对待处理字段的目标规则，能够根据目标规则快速准确地生成每个待处理字段对应的数据，提高数据生成的效率和准确率。
Description
技术领域
本公开涉及大数据技术领域，具体而言，涉及一种数据生成方法、数据生成装置、电子设备以及计算机可读存储介质。
背景技术
在性能测试时，由于实际数据的数据量较少，不能满足性能测试的需求。为了满足性能测试的准确率，需要生成大量的数据来进行测试。
相关技术中，需要测试或者开发编写存储过程语句，此项对SQL(StructuredQuery Language，结构化查询语言)编写能力较高，且对于每个数据表都需要SQL语句来生成数据，工作量较大较复杂，操作不方便且效率较低。另外，由于数据表的个数以及数据表中的字段较多，因此通过SQL语句逐一生成数据时，容易造成误操作，导致生成的数据的质量较差。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种数据生成方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的生成数据的效率较低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种数据生成方法，包括：获取数据表，并提取所述数据表中包含的所有字段；为所述所有字段确定多个数据生成规则，并将所述数据生成规则与所述字段的类型进行关联，得到映射关系；根据至少一个数据表中待处理字段的类型，结合所述映射关系从所述多个数据生成规则中确定一个针对所述待处理字段的目标规则；利用所述目标规则，为至少一个数据表中的所述待处理字段生成对应的数据。
在本公开的一种示例性实施例中，为所述所有字段确定多个数据生成规则包括：若字段为表示姓名的字段，则将第一预设词语和第二预设词语进行组合得到所述数据生成规则；若字段为表示身份的字段，则将地理区域、性别以及年龄进行结合得到所述数据生成规则；若字段为表示日期的字段，则将对当前日期进行预设处理作为所述数据生成规则；若字段为表示手机号码的字段，则将根据预设数字随机生成固定位数的数字作为所述数据生成规则；若待处理字段为流水号，则根据流水号对应的序列号得到所述数据生成规则。
在本公开的一种示例性实施例中，所述方法还包括：根据数据生成规则生成针对每种类型的字段的数据，并判断生成的数据的正确率是否达到预设值；若所述正确率达到所述预设值，则保持所述数据生成规则不变；若所述正确率未达到所述预设值，则对所述数据生成规则进行调整，直至所述正确率得到所述预设值为止。
在本公开的一种示例性实施例中，根据待处理字段的类型，结合所述映射关系从所述多个数据生成规则中确定一个针对所述待处理字段的目标规则包括：确定所述待处理字段的类型与所述多个数据生成规则关联的字段的所有类型其中之一是否匹配；若匹配成功，则将匹配成功的类型对应的数据生成规则作为目标规则。
在本公开的一种示例性实施例中，所述方法还包括：若匹配失败，则将通用生成规则作为所述目标规则。
在本公开的一种示例性实施例中，利用所述目标规则，为至少一个数据表中的所述待处理字段生成对应的数据包括：当包括多个数据表时，确定所述多个数据表中相同的待处理字段之间是否存在关联关系；若存在所述关联关系，则通过一个所述待处理字段对应的目标规则生成数据。
在本公开的一种示例性实施例中，所述方法还包括：若不存在所述关联关系，则分别通过每个待处理字段对应的目标规则，为每个待处理字段生成数据。
根据本公开的一个方面，提供一种数据生成装置，包括：字段提取模块，用于获取数据表，并提取所述数据表中包含的所有字段；规则生成模块，用于为所述所有字段确定多个数据生成规则，并将所述数据生成规则与所述字段的类型进行关联，得到映射关系；目标规则确定模块，用于根据至少一个数据表中待处理字段的类型，结合所述映射关系从所述多个数据生成规则中确定一个针对所述待处理字段的目标规则；生成控制模块，用于利用所述目标规则，为至少一个数据表中的所述待处理字段生成对应的数据。
根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据生成方法。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据生成方法。
本公开示例性实施例中提供的一种数据生成方法、装置、电子设备以及计算机可读存储介质中，一方面，通过为每一种类型的字段确定一种数据生成规则，进而从多种数据生成规则中选择与待处理字段对应的目标规则，从而根据目标规则生成数据，避免了逐一根据SQL语句生成数据的操作量较大的问题，减少了工作量，提高了数据生成的便捷性和效率。另一方面，由于每一种类型的字段均对应一种数据生成规则，因此通过待处理字段的类型确定目标规则后，能够避免误操作，进而根据目标规则生成更准确的数据，提高数据生成准确率，并且提高生成的数据质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种数据生成方法示意图；
图2示意性示出本公开示例性实施例中确定目标规则的示意图；
图3示意性示出本公开示例性实施例中一种数据生成装置的框图；
图4示意性示出本公开示例性实施例中一种电子设备的框图；
图5示意性示出本公开示例性实施例中一种程序产品。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例实施方式中首先提供了一种数据生成方法，可以应用于各种需要根据实际数据构造大量数据，从而进行测试或者是进行预测功能的场景中。参考图1所示，对该数据生成方法的各个步骤进行详细说明。
在步骤S110中，获取数据表，并提取所述数据表中包含的所有字段。
本示例性实施例中，首先可以连接数据库，具体地，开发人员或者是测试人员等用户可以输入数据库链接直接登录至数据库。数据库例如可以为MySQL数据库、SQL Server数据库或者是oracle、sybase数据库等等。
举例而言，用户在界面上的输入数据表的数据表名称或者是唯一表示一个数据表的数据表ID，则可根据数据表名称或数据表ID从数据库中得到对应的数据表。需要说明的是，用户可一次输入一个或至少一个数据表的名称，从而根据实际需要获取一个或者是至少一个数据表。本示例性实施例中，不同数据表的名称和ID均不同。
在获取到数据表之后，可对数据表进行解析，得到该数据表包含的所有字段。具体地，可根据数据表的列名称或者是行名称等提取数据表的所有字段。例如，对于名称为某月订单的数据表而言，其中的字段包含的类型可以包括但不限于姓名、身份、日期、手机号码以及流水号等。需要说明的是，可在界面上映射或者是展示该数据表的所有字段，以便于后续操作。
在步骤S120中，为所述所有字段确定多个数据生成规则，并将所述数据生成规则与所述字段的类型进行关联，得到映射关系。
本示例性实施例中，可以为每种类型的字段分别指定或者是设置一个数据生成规则，以使根据数据生成规则准确为每种类型的字段生成数据，从而提高生成的数据的质量。本示例性实施例中，数据生成规则可以包括以下几种情况：第一种，若字段为表示姓名的字段，则按照第一预设词语和第二预设词语随机组合得到所述数据生成规则。其中，第一预设词语为常见姓氏，第二预设词语为随机汉字。可将第一预设词语和第二预设词语进行组合，从而得到数据生成规则。举例而言，第一预设词语为张，第二预设词语为三，则为表示姓名的字段生成的数据为张三。
第二种，若字段为表示身份的字段，则将地理区域、性别以及年龄进行结合得到所述数据生成规则。其中，地理区域指的是出生地址，可以为全国任意地理位置，例如北京市朝阳区或者是广东省深圳市等。性别例如可以为男、女中的任意一个。年龄也可以为任意值，例如20岁或者是30岁等等。基于此，可将地理位置、性别以及年龄进行结合，得到用于生成身份证号的数据生成规则。
第三种，若字段为表示日期的字段，则将对当前日期进行预设处理作为所述数据生成规则。其中，当前日期指的是数据表中存储的日期，例如2018年06月18日。预设处理指的是逻辑处理，例如加减或者是其它运算处理。举例而言，数据表中的字段为2018年06月18日，则可在当前日期的基础上加一个月，得到用于快速确定日期的数据生成规则。
第四种，若字段为表示手机号码的字段，则将根据预设数字随机生成固定位数的数字作为所述数据生成规则。其中，预设数字为三大运营商的固定手机号段，例如138/177/130等等。固定位数为手机号码的常用位数，例如可以为11位。固定位数的数字中，预设数字之外的其他数字可以随机生成。因此，数据生成规则可以为根据138/177/130等随机生成11位的数字。
第五种，若待处理字段为流水号，则根据流水号对应的序列号得到所述数据生成规则。其中，流水号可以为表示参加者的号码，一般可由数字加字母的方式组成。序列号可以为与流水号对应的号码，或者是对流水号进行加法或者是减法等逻辑运算生成的号码。对于数据表中的流水号而言，可将随机生成一个流水号对应的序列号作为数据生成规则。
在确定每种类型的数据生成规则之后，可将字段的类型与数据生成规则进行关联，得到每种类型的字段与数据生成规则之间的映射关系进行存储。为了方便快速生成数据，可在数据生成规则中设置生成数据的数量，例如，一次生成1000条或者是5000条数据。每种数据生成规则设置的数据生成的数量可以相同，也可以不同，此处不作特殊限定。通过在数据生成规则中设置数据的条数，可实现批量生成数据的功能，提高数据生成效率。
为了保证每种类型的字段对应的数据生成规则的准确性，可对每种数据生成规则进行训练或者是校准，以保证数据生成规则的准确性。具体过程包括：根据数据生成规则生成针对每种类型的字段的数据，并判断生成的数据的正确率是否达到预设值；若所述正确率达到所述预设值，则保持所述数据生成规则不变；若所述正确率未达到所述预设值，则对所述数据生成规则进行调整，直至所述正确率得到所述预设值为止。
也就是说，对于每一种类型的字段对应的数据生成规则，先通过其生成一些数据，然后判断生成的这些数据是否正确。具体可根据是否符合实际情况判断数据是否正确，例如当日期为2018年5月32日时，则确定日期错误。类似地，可判断其他数据生成规则是否正确。本示例性实施例中，正确率可以设为90％或者是95％等等。如果按照每一个数据生成规则生成的数据的准确率小于设置的90％，则可对该数据生成规则进行调整，直至生成的数据的准确率满足或者是达到设置的准确率为止。通过对数据生成规则进行调整，可以使得数据生成规则更准确，从而生成更准确的数据。
在步骤S130中，根据至少一个数据表中待处理字段的类型，结合所述映射关系从所述多个数据生成规则中确定一个针对所述待处理字段的目标规则。
本示例性实施例中，待处理字段指的是待生成数据的字段，可以为需要生成数据的数据表中的任意一个字段。待处理字段可以为一个或者是多个数据表中的字段。待处理字段的类型例如可以为姓名、身份、日期、手机号码以及流水号中的任意一种，也可以为其它类型，例如成绩或者是价格等。
在得到待处理字段的类型之后，可根据确定的映射关系从存储的多个数据生成规则中确定一个针对待处理字段的目标规则。确定目标规则的具体过程包括以下步骤：确定所述待处理字段的类型与所述多个数据生成规则关联的字段的所有类型其中之一是否匹配；若匹配成功，则将匹配成功的类型对应的数据生成规则作为目标规则。具体地，可以将待处理字段与存储的多个数据生成规则逐一进行匹配，以确定待处理字段的类型与多个数据生成规则关联的字段的所有类型其中之一是否匹配。可以根据对比的方式进行匹配，此处不作特殊限定。如果待处理字段与数据生成规则的任意一个字段的类型匹配成功，则可以将匹配成功的类型的字段对应的数据生成规则作为待处理字段的目标规则。举例而言，待处理字段为1，与表示日期的字段匹配成功，则将表示日期的字段对应的数据生成规则作为待处理字段1的目标规则。再例如，对于待处理字段idNo字段而言，可将按照身份的数据生成规则作为该字段的目标规则。
除此之外，如果待处理字段与所有数据生成规则对应的字段均匹配失败，则可以将通用生成规则作为该待处理字段的目标规则。通用生成规则例如可以为随机数，也可以为其它合适的规则，此处不作特殊限定。举例而言，若待处理字段的类型为价格，则与多个数据生成规则均不匹配，因此可将随机数规则作为目标规则，随机生成一个数字来表示价格。
通过将待处理字段与所有的数据生成规则的字段进行匹配，从而根据匹配结果确定目标规则，能够得到与待处理字段最匹配的数据生成规则，从而使得根据该数据生成规则得到的数据更准确。
在步骤S140中，利用所述目标规则，为至少一个数据表中的所述待处理字段生成对应的数据。
本示例性实施例中，在得到目标规则后，可以根据确定的目标规则为一个或者是多个数据表中的待处理字段生成对应的数据。对于只包括一个数据表的情况，只需要根据待处理字段的类型对应的目标规则生成数据即可。对于包括多个数据表的情况，具体步骤包括：当包含多个数据表时，首先确定所述多个数据表中包含的相同的待处理字段之间是否存在关联关系；若存在所述关联关系，则通过一个所述待处理字段对应的目标规则生成数据。
具体而言，关联关系可以为二者是否相同。首先可通过对比判断多个数据表中包含的相同的字段的具体内容是否相同。例如可以判断业务逻辑要求同一笔数据表A的apply_no与数据表B的apply_no是否相同。如果相同，则通过数据表A或者是数据表B中任一个数据表的字段apply_no对应的目标规则，为数据表A和数据表B同时生成数据。除此之外，如果数据表C的apply_no与数据表D的apply_no不同，则可以分别根据数据表C的apply_no为数据表C生成数据，并且根据数据表D的apply_no未数据表D生成数据。通过设置关联关系，能够一次为多个关联的数据表同时生成数据，避免了需要编写多个造数脚本的步骤，减少了操作步骤，实现了对多个数据表批量造数，提高了操作效率。
需要补充的是，在生成待处理字段对应的数据后，若检测到不符合目标规则的异常数据，则将所述异常数据过滤掉，以保证后续数据处理过程的准确性。
需要说明的是，本示例性实施例中，可通过B/S界面实现数据生成功能。B/S界面指的是B/S(Browser/Server)结构，即浏览器和服务器结构。在这种结构下，用户工作界面是通过浏览器来实现，极少部分事务逻辑在前端(Browser)实现，但是主要事务逻辑在服务器端(Server)实现，大大简化了客户端电脑载荷，减轻了系统维护与升级的成本和工作量，降低了用户的总体成本(TCO)。
图2中示出了按照数据生成规则生成数据的具体过程，参考图2中所示，可以包括以下步骤：
在步骤S210中，为每种类型的字段分别配置一种数据生成规则，具体包括：若字段为名字，则数据生成规则为按照常用姓氏和其他汉字的组合得到中文汉字。若字段为身份，则数据生成规则为按照行政区划，性别，年龄范围生成18位身份证号。若字段为日期，则获取当前日期，并对当前日期进行逻辑计算随机生成日期。若字段为手机号，则根据三大运营商固定打头的三位数(如189/186/180/130等)，加上8位随机数字，生成11位手机号。若字段为流水号，则根据序列号生成规则。
在步骤S220中，对每种类型对应的数据生成规则进行训练或者是核验，以确定是否需要更新数据生成规则，保证数据生成规则的准确性。
在步骤S230中，确定一个或者是多个数据表的待处理字段的类型，根据待处理字段的类型从多个数据生成规则中确定一个针对待处理字段的类型的目标规则，其中，具体包括以下步骤：
步骤S231，确定所述待处理字段与所述多个数据生成规则关联的字段的所有类型其中之一是否匹配。若匹配成功，则转至步骤S232；若匹配失败，则转至步骤S233。
步骤S232中，若匹配成功，则将匹配成功的类型对应的数据生成规则作为目标规则。
步骤S233中，若匹配失败，则将通用生成规则作为所述目标规则。
在步骤S240中，根据目标规则生成数据。具体包括以下步骤：
步骤S241，确定所述多个数据表中，相同的待处理字段之间是否存在关联关系。若匹配成功，则转至步骤S242；若匹配失败，则转至步骤S243。
步骤S242，若存在所述关联关系，则通过一个所述待处理字段对应的目标规则生成数据。
步骤S243，若不存在所述关联关系，则分别通过每个待处理字段对应的目标规则，为每个待处理字段生成数据。
通过本示例性实施例中的步骤，通过为每一种类型的字段确定一种数据生成规则，进而从多种数据生成规则中选择与待处理字段对应的目标规则，从而根据目标规则生成数据，避免了逐一根据SQL语句生成数据的操作量较大的问题，减少了工作量，提高了数据生成的便捷性和效率。由于每一种类型的字段均对应一种数据生成规则，因此通过到处理字段的类型确定目标规则后，能够避免误操作，进而根据目标规则生成更准确的数据，提高数据生成准确率，并且提高生成的数据质量。通过设置关联关系，能够一次为多个关联的数据表同时生成数据，避免了需要写多个造数脚本的步骤，减少了操作步骤，实现了对多表批量造数，提高了操作效率。将表的字段映射展示出来，简单清晰，避免编写SQL时由于值和字段对应不上而导致造数出错，提高了造数准确率。
本公开还提供了一种数据生成装置。参考图3所示，该装置300可以包括字段提取模块301、规则生成模块302、目标规则确定模块303以及生成控制模块304，其中：
字段提取模块301，可以用于获取数据表，并提取所述数据表中包含的所有字段；
规则生成模块302，可以用于为所述所有字段确定多个数据生成规则，并将所述数据生成规则与所述字段的类型进行关联，得到映射关系；
目标规则确定模块303，可以用于根据至少一个数据表中待处理字段的类型，结合所述映射关系从所述多个数据生成规则中确定一个针对所述待处理字段的目标规则；
生成控制模块304，可以用于利用所述目标规则，为至少一个数据表中的所述待处理字段生成对应的数据。
在本公开的一种示例性实施例中，规则生成模块包括：第一生成模块，用于若字段为表示姓名的字段，则将第一预设词语和第二预设词语进行组合得到所述数据生成规则；第二生成模块，用于若字段为表示身份的字段，则将地理区域、性别以及年龄进行结合得到所述数据生成规则；第三生成模块，用于若字段为表示日期的字段，则将对当前日期进行预设处理作为所述数据生成规则；第四生成模块，用于若字段为表示手机号码的字段，则将根据预设数字随机生成固定位数的数字作为所述数据生成规则；第五生成模块，用于若待处理字段为流水号，则根据流水号对应的序列号得到所述数据生成规则。
在本公开的一种示例性实施例中，所述装置还包括：规则判断模块，用于根据数据生成规则生成针对每种类型的字段的数据，并判断生成的数据的正确率是否达到预设值；规则保持模块，用于若所述正确率达到所述预设值，则保持所述数据生成规则不变；规则更新模块，用于若所述正确率未达到所述预设值，则对所述数据生成规则进行调整，直至所述正确率得到所述预设值为止。
在本公开的一种示例性实施例中，目标规则确定模块包括：字段匹配模块，用于确定所述待处理字段的类型与所述多个数据生成规则关联的字段的所有类型其中之一是否匹配；第一确定模块，用于若匹配成功，则将匹配成功的类型对应的数据生成规则作为目标规则。
在本公开的一种示例性实施例中，所述装置还包括：第二确定模块，用于若匹配失败，则将通用生成规则作为所述目标规则。
在本公开的一种示例性实施例中，生成控制模块包括：关联关系确定模块，用于当包括多个数据表时，确定所述多个数据表中相同的待处理字段之间是否存在关联关系；第一控制模块，用于若存在所述关联关系，则通过一个所述待处理字段对应的目标规则生成数据。
在本公开的一种示例性实施例中，所述装置还包括：第二控制模块，用于若不存在所述关联关系，则分别通过每个待处理字段对应的目标规则，为每个待处理字段生成数据。
需要说明的是，上述数据生成装置中各模块的具体细节已经在对应的数据生成方法中进行了详细描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图4来描述根据本发明的这种实施方式的电子设备400。图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：上述至少一个处理单元410、上述至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430、显示单元440。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410执行，使得所述处理单元410执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元410可以执行如图1中所示的步骤。
存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(ROM)4203。
存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204，这样的程序模块4205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
显示单元440可以为具有显示功能的显示器，以通过该显示器展示由处理单元410执行本示例性实施例中的方法而得到的处理结果。显示器包括但不限于液晶显示器或者是其它显示器。
电子设备400也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器460通过总线430与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图5所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品500，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
Claims (10)
1.一种数据生成方法，其特征在于，包括：
获取数据表，并提取所述数据表中包含的所有字段；
为所述所有字段确定多个数据生成规则，并将所述数据生成规则与所述字段的类型进行关联，得到映射关系；
根据至少一个数据表中待处理字段的类型，结合所述映射关系从所述多个数据生成规则中确定一个针对所述待处理字段的目标规则；
利用所述目标规则，为至少一个数据表中的所述待处理字段生成对应的数据。
2.根据权利要求1所述的数据生成方法，其特征在于，为所述所有字段确定多个数据生成规则包括：
若字段为表示姓名的字段，则将第一预设词语和第二预设词语进行组合得到所述数据生成规则；
若字段为表示身份的字段，则将地理区域、性别以及年龄进行结合得到所述数据生成规则；
若字段为表示日期的字段，则将对当前日期进行预设处理作为所述数据生成规则；
若字段为表示手机号码的字段，则将根据预设数字随机生成固定位数的数字作为所述数据生成规则；
若待处理字段为流水号，则根据流水号对应的序列号得到所述数据生成规则。
3.根据权利要求1所述的数据生成方法，其特征在于，所述方法还包括：
根据数据生成规则生成针对每种类型的字段的数据，并判断生成的数据的正确率是否达到预设值；
若所述正确率达到所述预设值，则保持所述数据生成规则不变；
若所述正确率未达到所述预设值，则对所述数据生成规则进行调整，直至所述正确率得到所述预设值为止。
4.根据权利要求1所述的数据生成方法，其特征在于，根据待处理字段的类型，结合所述映射关系从所述多个数据生成规则中确定一个针对所述待处理字段的目标规则包括：
确定所述待处理字段的类型与所述多个数据生成规则关联的字段的所有类型其中之一是否匹配；
若匹配成功，则将匹配成功的类型对应的数据生成规则作为目标规则。
5.根据权利要求4所述的数据生成方法，其特征在于，所述方法还包括：
若匹配失败，则将通用生成规则作为所述目标规则。
6.根据权利要求1所述的数据生成方法，其特征在于，利用所述目标规则，为至少一个数据表中的所述待处理字段生成对应的数据包括：
当包括多个数据表时，确定所述多个数据表中相同的待处理字段之间是否存在关联关系；
若存在所述关联关系，则通过一个所述待处理字段对应的目标规则生成数据。
7.根据权利要求6所述的数据生成方法，其特征在于，所述方法还包括：
若不存在所述关联关系，则分别通过每个待处理字段对应的目标规则，为每个待处理字段生成数据。
8.一种数据生成装置，其特征在于，包括：
字段提取模块，用于获取数据表，并提取所述数据表中包含的所有字段；
规则生成模块，用于为所述所有字段确定多个数据生成规则，并将所述数据生成规则与所述字段的类型进行关联，得到映射关系；
目标规则确定模块，用于根据至少一个数据表中待处理字段的类型，结合所述映射关系从所述多个数据生成规则中确定一个针对所述待处理字段的目标规则；
生成控制模块，用于利用所述目标规则，为至少一个数据表中的所述待处理字段生成对应的数据。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任意一项所述的数据生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的数据生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910441370.1A CN110347564A (zh) | 2019-05-24 | 2019-05-24 | 数据生成方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910441370.1A CN110347564A (zh) | 2019-05-24 | 2019-05-24 | 数据生成方法及装置、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110347564A true CN110347564A (zh) | 2019-10-18 |
Family
ID=68174112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910441370.1A Pending CN110347564A (zh) | 2019-05-24 | 2019-05-24 | 数据生成方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110347564A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110941663A (zh) * | 2019-11-15 | 2020-03-31 | 杭州数梦工场科技有限公司 | 证件信息的关联规则获取方法及装置 |
| CN111125361A (zh) * | 2019-12-20 | 2020-05-08 | 天津幸福生命科技有限公司 | 数据增强方法及装置、存储介质及电子设备 |
| CN111597162A (zh) * | 2020-05-19 | 2020-08-28 | 北京明略软件系统有限公司 | 信息确定方法和装置、存储介质及电子装置 |
| CN111639077A (zh) * | 2020-05-15 | 2020-09-08 | 杭州数梦工场科技有限公司 | 数据治理方法、装置、电子设备、存储介质 |
| CN112860743A (zh) * | 2021-01-26 | 2021-05-28 | 恩亿科(北京)数据科技有限公司 | 用于数据提取的方法、装置及设备 |
| CN112948347A (zh) * | 2019-12-11 | 2021-06-11 | 北京懿医云科技有限公司 | 文本数据结构化处理方法、装置、设备及存储介质 |
| CN113282624A (zh) * | 2021-05-25 | 2021-08-20 | 北京达佳互联信息技术有限公司 | 规则匹配方法、装置、电子设备及存储介质 |
| CN117434886A (zh) * | 2023-12-21 | 2024-01-23 | 成都苔岑智能设备有限公司 | 一种基于运转数字模型的plc控制系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001031427A1 (en) * | 1999-10-22 | 2001-05-03 | Appcity Inc. | Method and system for automatically generating an application program based upon data characteristics |
| US20040078684A1 (en) * | 2000-10-27 | 2004-04-22 | Friedman George E. | Enterprise test system having run time test object generation |
| CA2775162A1 (en) * | 2011-04-18 | 2012-10-18 | Accenture Global Services Limited | Test data supply chain manager for an integrated testing platform |
| CN104636484A (zh) * | 2015-02-16 | 2015-05-20 | 广东省公安厅 | 基于数据监控的监控任务生成方法和装置 |
| CN107203462A (zh) * | 2016-03-16 | 2017-09-26 | 阿里巴巴集团控股有限公司 | 一种数据生成方法及装置 |
-
2019
- 2019-05-24 CN CN201910441370.1A patent/CN110347564A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001031427A1 (en) * | 1999-10-22 | 2001-05-03 | Appcity Inc. | Method and system for automatically generating an application program based upon data characteristics |
| US20040078684A1 (en) * | 2000-10-27 | 2004-04-22 | Friedman George E. | Enterprise test system having run time test object generation |
| CA2775162A1 (en) * | 2011-04-18 | 2012-10-18 | Accenture Global Services Limited | Test data supply chain manager for an integrated testing platform |
| CN104636484A (zh) * | 2015-02-16 | 2015-05-20 | 广东省公安厅 | 基于数据监控的监控任务生成方法和装置 |
| CN107203462A (zh) * | 2016-03-16 | 2017-09-26 | 阿里巴巴集团控股有限公司 | 一种数据生成方法及装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110941663A (zh) * | 2019-11-15 | 2020-03-31 | 杭州数梦工场科技有限公司 | 证件信息的关联规则获取方法及装置 |
| CN110941663B (zh) * | 2019-11-15 | 2022-12-23 | 杭州数梦工场科技有限公司 | 证件信息的关联规则获取方法及装置 |
| CN112948347A (zh) * | 2019-12-11 | 2021-06-11 | 北京懿医云科技有限公司 | 文本数据结构化处理方法、装置、设备及存储介质 |
| CN111125361A (zh) * | 2019-12-20 | 2020-05-08 | 天津幸福生命科技有限公司 | 数据增强方法及装置、存储介质及电子设备 |
| CN111125361B (zh) * | 2019-12-20 | 2024-02-02 | 北京懿医云科技有限公司 | 数据增强方法及装置、存储介质及电子设备 |
| CN111639077A (zh) * | 2020-05-15 | 2020-09-08 | 杭州数梦工场科技有限公司 | 数据治理方法、装置、电子设备、存储介质 |
| CN111639077B (zh) * | 2020-05-15 | 2024-03-22 | 杭州数梦工场科技有限公司 | 数据治理方法、装置、电子设备、存储介质 |
| CN111597162A (zh) * | 2020-05-19 | 2020-08-28 | 北京明略软件系统有限公司 | 信息确定方法和装置、存储介质及电子装置 |
| CN112860743A (zh) * | 2021-01-26 | 2021-05-28 | 恩亿科(北京)数据科技有限公司 | 用于数据提取的方法、装置及设备 |
| CN113282624A (zh) * | 2021-05-25 | 2021-08-20 | 北京达佳互联信息技术有限公司 | 规则匹配方法、装置、电子设备及存储介质 |
| CN117434886A (zh) * | 2023-12-21 | 2024-01-23 | 成都苔岑智能设备有限公司 | 一种基于运转数字模型的plc控制系统及方法 |
| CN117434886B (zh) * | 2023-12-21 | 2024-03-08 | 成都苔岑智能设备有限公司 | 一种基于运转数字模型的plc控制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110347564A (zh) | 数据生成方法及装置、电子设备、存储介质 | |
| EP4006909B1 (en) | Method, apparatus and device for quality control and storage medium | |
| US9612617B1 (en) | Wearable computing device for managing and storing data | |
| CN109491989A (zh) | 数据处理方法及装置、电子设备、存储介质 | |
| US10691827B2 (en) | Cognitive systems for allocating medical data access permissions using historical correlations | |
| CN109783490A (zh) | 数据融合方法、装置、计算机设备及存储介质 | |
| WO2023124005A1 (zh) | 地图兴趣点查询方法、装置、设备、存储介质及程序产品 | |
| CN109034199B (zh) | 数据处理方法及装置、存储介质和电子设备 | |
| CN109660533A (zh) | 实时识别异常流量的方法、装置、计算机设备和存储介质 | |
| CN111931488A (zh) | 用于验证判断结果准确性的方法、装置、电子设备及介质 | |
| CN110109824A (zh) | 大数据自动回归测试方法、装置、计算机设备和存储介质 | |
| KR102500782B1 (ko) | 학생의 학습 수준에 기반한 난이도 별 맞춤형 문항을 추출하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체 | |
| CN110675249A (zh) | 网络借贷的匹配方法、装置、服务器和存储介质 | |
| CN110232107A (zh) | 一种产品数据获取方法 | |
| CN109783498A (zh) | 数据处理方法及装置、电子设备、存储介质 | |
| CN111598122B (zh) | 数据校验方法、装置、电子设备和存储介质 | |
| CN111127223B (zh) | 保险产品测试方法、装置和存储介质 | |
| US9338062B2 (en) | Information displaying method and apparatus | |
| US11922129B2 (en) | Causal knowledge identification and extraction | |
| CN109657991A (zh) | 元数据质量评估方法、装置、电子设备、存储介质 | |
| CN109800147A (zh) | 一种测试案例生成方法及终端设备 | |
| AU2018214042A1 (en) | Information displaying method and apparatus | |
| US20210157855A1 (en) | Passage verification using a factoid question answer system | |
| CN109360631B (zh) | 基于图片识别的人机交互方法、装置、计算机设备及介质 | |
| CN109783745A (zh) | 对页面进行个性化排版的方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 201, room 518000, building A, No. 1, front Bay Road, Qianhai Shenzhen Guangdong Shenzhen Hong Kong cooperation zone (Qianhai business secretary) Applicant after: PING AN PUHUI ENTERPRISE MANAGEMENT Co.,Ltd. Address before: 518000 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A Applicant before: PING AN PUHUI ENTERPRISE MANAGEMENT Co.,Ltd. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191018 |