CN113822678A - 一种数据验证方法、装置、设备和存储介质 - Google Patents
一种数据验证方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113822678A CN113822678A CN202111384268.6A CN202111384268A CN113822678A CN 113822678 A CN113822678 A CN 113822678A CN 202111384268 A CN202111384268 A CN 202111384268A CN 113822678 A CN113822678 A CN 113822678A
- Authority
- CN
- China
- Prior art keywords
- data
- description
- verification
- initial
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开一种数据验证方法、装置、设备和存储介质。其中，所述方法应用于可信人工智能（AI）系统；所述可信AI系统至少包括数据代理节点和数据釜；所述方法包括：获得至少一个初始数据，将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签；根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述；基于所述数据描述生成验证合约；获得数据需求方的目标数据，基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据；所述第一初始数据为所述至少一个初始数据中的任一初始数据。
Description
技术领域
本发明涉及互联网和区块链技术领域，尤其涉及一种数据验证方法、装置、设备和存储介质。
背景技术
通过可信执行环境相关技术，结合对信任的强约束，搭建可信人工智能（Artificial Intelligence，AI）底层。买卖方均如何在可信AI中生成验证合约，将卖方发布的数据提供给合适的买家，实施相应的隐私保护方案，非相关者数据不可见。针对该问题，目前尚无有效解决方案。
发明内容
为解决现有存在的技术问题，本发明的主要目的在于提供一种数据验证方法、装置、设备和存储介质。
为达到上述目的，本发明的技术方案是这样实现的：
第一方面，本发明提供一种数据验证方法，应用于可信人工智能AI系统；所述可信AI系统至少包括数据代理节点和数据釜；所述方法包括：
获得至少一个初始数据，将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签；
根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述；
基于所述数据描述生成验证合约；
获得数据需求方的目标数据，基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据；所述第一初始数据为所述至少一个初始数据中的任一初始数据。
在上述方案中，所述将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签，包括：
识别所述每个初始数据的文件类型信息，根据所述文件类型信息生成数据类型标签；
识别所述每个初始数据的生成场景信息，根据所述生成场景信息生成数据场景标签；
识别所述每个初始数据的条数信息，根据所述条数信息生成数据条数标签；
确定所述每个初始数据的补充描述信息，根据所述补充描述信息生成数据补充描述标签。
在上述方案中，所述方法还包括：
所述根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述，包括：
将所述数据类型标签、所述数据场景标签、所述数据条数标签和所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述。
在上述方案中，所述基于所述数据描述生成验证合约，包括：
基于所述数据描述确定意向验证的验证数据描述；
根据所述验证数据描述生成验证合约。
在上述方案中，所述数据基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据，包括：
提取所述验证合约中的验证条件；
判断所述目标数据是否满足所述验证条件；
在所述目标数据满足所述验证条件的情况下，确定所述数据描述中符合所述目标数据对应的所述第一初始数据；
在所述目标数据不满足所述验证条件的情况下，确定所述数据描述中不符合所述目标数据对应的所述第一初始数据。
在上述方案中，所述文件类型信息包括自定义的文件类型信息；所述自定义的文件类型信息表征至少有预设阈值个数据代理节点对同一个初始数据的文件类型达成一致的定义。
在上述方案中，所述补充描述信息包括所述每个初始数据的键值对关系；所述键值对关系表征所述每个初始数据中满足预设关系的键值对。
第二方面，本发明还提供一种数据验证装置，所述装置应用于可信人工智能AI系统；所述可信AI系统至少包括数据代理节点和数据釜；所述装置包括：获得单元、确定单元、生成单元和验证单元，其中，所述获得单元，用于获得至少一个初始数据，将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签；
所述确定单元，用于根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述；
所述生成单元，用于基于所述数据描述生成验证合约；
所述验证单元，用于获得数据需求方的目标数据，基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据；所述第一初始数据为所述至少一个初始数据中的任一初始数据。
在上述方案中，所述获得单元，还用于识别所述每个初始数据的文件类型信息，根据所述文件类型信息生成数据类型标签；识别所述每个初始数据的生成场景信息，根据所述生成场景信息生成数据场景标签；识别所述每个初始数据的条数信息，根据所述条数信息生成数据条数标签；确定所述每个初始数据的补充描述信息，根据所述补充描述信息生成数据补充描述标签。
在上述方案中，所述确定单元，还用于将所述数据类型标签、所述数据场景标签、所述数据条数标签和所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述。
在上述方案中，所述生成单元，还用于基于所述数据描述确定意向验证的验证数据描述；根据所述验证数据描述生成验证合约。
在上述方案中，所述验证单元，还用于提取所述验证合约中的验证条件；判断所述目标数据是否满足所述验证条件；在所述目标数据满足所述验证条件的情况下，确定所述数据描述中符合所述目标数据对应的所述第一初始数据；
在所述目标数据不满足所述验证条件的情况下，确定所述数据描述中不符合所述目标数据对应的所述第一初始数据。
在上述方案中，所述文件类型信息包括自定义的文件类型信息；所述自定义的文件类型信息表征至少有预设阈值个数据代理节点对同一个初始数据的文件类型达成一致的定义。
在上述方案中，所述补充描述信息包括所述每个初始数据的键值对关系；所述键值对关系表征所述每个初始数据中满足预设关系的键值对。
第三方面，本发明实施例提供一种存储介质，所述存储介质上存储有计算机程序；所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
第四方面，本发明实施例提供一种数据验证设备，所述数据验证设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行上述任一项所述方法的步骤。
本发明实施例提供一种数据验证方法、装置、设备和存储介质。其中，所述方法应用于可信人工智能AI系统；所述可信AI系统至少包括数据代理节点和数据釜；所述方法包括：获得至少一个初始数据，将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签；根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述；基于所述数据描述生成验证合约；获得数据需求方的目标数据，基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据；所述第一初始数据为所述至少一个初始数据中的任一初始数据。采用本发明实施例的技术方案，通过根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述；基于所述数据描述生成验证合约；获得数据需求方的目标数据，基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据，方便从卖方发布的数据提供可验证的数据描述，将数据卖给合适的买家。
附图说明
图1为本发明实施例提供的一种数据验证方法的流程示意图；
图2为本发明实施例一种数据验证方法的具体应用场景的流程示意图；
图3为本发明实施例提供的一种数据验证装置的结构示意图；
图4为本发明实施例数据验证设备的一种硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
下面结合附图及具体实施例对本发明作进一步详细的说明。
图1为本发明实施例提供的一种数据验证方法的流程示意图。如图1所示，所述方法应用于可信人工智能AI系统；所述可信AI系统至少包括数据代理节点和数据釜；所述方法包括：
S101：获得至少一个初始数据，将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签。
需要说明的是，获得至少一个初始数据可以为获得至少一个输入数据，将所述输入数据作为所述初始数据；其中，所述输入数据可以为任意形式的数据，在此不做限定。在实际应用中，可以将任意形式的数据输入至数据代理节点。
将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签可以为识别所述至少一个初始数据中的每个初始数据的数据源，根据所述数据源生成数据标签和数据补充描述标签；其中，所述数据源可以根据实际情况进行确定，在此不做限定。作为一种示例，所述数据源至少可以包括以下至少之一：所述每个初始数据的文件类型信息、所述每个初始数据的生成场景信息、所述每个初始数据的条数信息、所述每个初始数据的补充描述信息；根据所述数据源生成数据标签和数据补充描述标签可以为根据所述文件类型信息、所述文件类型信息、所述场景信息、所述条数信息生成数据标签，以及根据所述数据补充描述信息生成数据补充描述标签。在实际应用中，将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签可以理解为识别数据源并生成必要的数据标签和数据补充描述标签。
S102：根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述。
需要说明的是，根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述可以为将所述数据标签和数据补充描述标签进行结合确定所述每个初始数据对应的数据描述；其中，所述每个初始数据对应的数据描述可以理解为所述每个初始数据对应的确定的数据描述或所述每个初始数据对应的正式的数据描述。
S103：基于所述数据描述生成验证合约。
需要说明的是，基于所述数据描述生成验证合约可以为基于所述数据描述和意向验证的数据标签生成验证合约；所述意向验证的数据标签可以基于所述数据描述进行确定。所述意向验证的数据标签可以理解为想验证的数据标签。
S104：获得数据需求方的目标数据，基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据；所述第一初始数据为所述至少一个初始数据中的任一初始数据。
需要说明的是，所述数据需求方可以为买方AI代理背后的资助者；其中，所述买方AI代理可以为买方AI代理节点；所述买方AI代理节点需要获得买方的购买需求以及代理授权；理解需求，在数据釜中通过卖方发布的数据描述，找到可能适合的数据标的；与卖方代理议价；向买方反馈信息，完成交易。
获得数据需求方的目标数据可以理解为获得买方的购买需求的目标数据。
基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据可以为判断所述目标数据是否满足所述验证合约，在所述目标数据满足所述验证合约的情况下，确定所述数据描述中符合所述目标数据对应的第一初始数据。
在实际应用中，所述验证合约可以理解为数据运营方提供的，所述数据运营方可以为卖方AI代理背后的资助者；其中，所述卖方AI代理可以为卖方AI代理节点；所述卖方AI代理节点需要取得个人数据的授权；能够提供可验证的数据描述；数据釜中由各agent对数据进行验证；将数据卖给合适的买家，对数据的价格达成一致（数据定价），收益与相关数据所有者共同分享。
本发明实施例提供的数据验证方法，通过根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述；基于所述数据描述生成验证合约；获得数据需求方的目标数据，基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据，方便从卖方发布的数据提供可验证的数据描述，将数据卖给合适的买家。
在本发明的一种可选实施例中，所述将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签，包括：识别所述每个初始数据的文件类型信息，根据所述文件类型信息生成数据类型标签；识别所述每个初始数据的生成场景信息，根据所述生成场景信息生成数据场景标签；
识别所述每个初始数据的条数信息，根据所述条数信息生成数据条数标签；确定所述每个初始数据的补充描述信息，根据所述补充描述信息生成数据补充描述标签。
需要说明的是，识别所述每个初始数据的文件类型信息，根据所述文件类型信息生成数据类型标签可以为将所述每个初始数据与预设的文件类型进行判断，获得判断结果，在所述判断结果表明所述每个初始数据属于所述预设的文件类型的情况下，将所述预设的文件类型作为所述每个初始数据的文件类型信息；在所述判断结果表明所述每个初始数据不属于所述预设的文件类型的情况下，自定义所述每个初始数据的文件类型信息。所述预设的文件类型至少包括数字、文字、图片、音频、视频中的一种或多种类型。在实际应用中，识别所述每个初始数据的文件类型信息，根据所述文件类型信息生成数据类型标签可以理解为识别并生成数据类型标签。根据数据源的文件类型进行判断，数字、文字、图片、音频、视频中的一种或多种，如果存在不能识别的文件类型，提醒代理进行确认并自定义数据类型。超过2个代理节点对相同新类型达成一致定义，则系统中生成新的数据类型。
识别所述每个初始数据的生成场景信息，根据所述生成场景信息生成数据场景标签；其中，所述场景信息可以为所述每个初始数据产生时的场景类型，该场景类型可以为一种或多种，作为一种示例，该场景类型可以为医疗、教育、购物、交通、住宿、餐饮、娱乐、自定义等中的至少一种。在实际应用中，识别所述每个初始数据的生成场景信息，根据所述生成场景信息生成数据场景标签可以理解为识别并生成数据场景标签。
识别所述每个初始数据的条数信息，根据所述条数信息生成数据条数标签；其中，所述条数信息可以根据实际情况进行确定，在此不做限定，作为一种示例，所述条数信息可以为1000条病例记录。所述数据条数标签用于表征所述条数信息。在实际应用中，识别所述每个初始数据的条数信息，根据所述条数信息生成数据条数标签可以理解为识别并生成数据条数的统计；所述数据条数的统计可以根据实际情况进行确定，在此不做限定，作为一种示例，所述数据条数的统计可以为授权的用户数量，各用户授权的数据量，各不同文件类型的数量，等等。
确定所述每个初始数据的补充描述信息，根据所述补充描述信息生成数据补充描述标签；其中，所述补充描述信息可以理解为额外信息；所述数据补充描述标签用于表征所述补充描述信息。在实际应用中，确定所述每个初始数据的补充描述信息，根据所述补充描述信息生成数据补充描述标签可以理解为识别并生成可能的补充数据描述。作为一种示例，根据所述补充描述信息生成数据补充描述标签可以为根据所述补充描述信息生成键值对关系，将键值对关系作为所述数据补充描述标签。主要考虑到除了非必要数据标签相关的数据，如果还有额外信息，生成一系列可能的键值对关系。根据不同的数据类型进行分析找到合适的提取键值对的方式。例如，针对数字类型数据，主要进行各维度的统计，将维度作为key，对应的统计结果作为value；针对文本数据，通过NLP的语义分析，找到判断语句、包含关系语句等，形成键值对关系；针对音频数据，可以采用SpeechToText（音频转文本），再结合NLP的语义分析，形成键值对关系；针对图片或视频数据，进行图片、关键帧的分析，提取特征，形成键值对关系。
在本发明的一种可选实施例中，所述根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述，包括：将所述数据类型标签、所述数据场景标签、所述数据条数标签和所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述。
需要说明的是，将所述数据类型标签、所述数据场景标签、所述数据条数标签和所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述可以为将所述数据类型标签、所述数据场景标签、所述数据条数标签中的至少一个与所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述。作为一种示例，将所述数据类型标签、所述数据场景标签、所述数据条数标签中的至少一个与所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述可以为将所述数据类型标签、所述数据场景标签、所述数据条数标签中的任一个与所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述，或，将所述数据类型标签、所述数据场景标签、所述数据条数标签中的任二个与所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述，或将所述数据类型标签、所述数据场景标签、所述数据条数标签一起与所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述。在实际应用中，所述数据类型标签、所述数据场景标签、所述数据条数标签可以作为必要数据标签，所述数据补充描述标签可以为所述数据补充描述信息对应的键值对；将所述数据类型标签、所述数据场景标签、所述数据条数标签和所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述可以理解为由数据代理节点确认键值对作为补充描述后，结合必要数据标签，共同组成确定的数据描述；所述数据代理节点可以简称为代理。
在本发明的一种可选实施例中，所述基于所述数据描述生成验证合约，包括：基于所述数据描述确定意向验证的验证数据描述；根据所述验证数据描述生成验证合约。
需要说明的是，基于所述数据描述确定意向验证的验证数据描述可以为基于所述数据描述获得意向验证的数据标签，将所述意向验证的数据标签作为意向验证的验证数据描述；所述意向验证的数据标签可以根据实际情况进行确定，在此不做限定。作为一种示例，所述意向验证的数据标签可以为所述数据补充描述标签，具体的可以为键值对关系。
根据所述验证数据描述生成验证合约；其中，所述验证合约可以理解为验证的智能合约。作为一种示例，根据所述验证数据描述生成验证合约可以为根据所述意向验证的数据标签生成验证合约。
在本发明的一种可选实施例中，所述数据基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据，包括：提取所述验证合约中的验证条件；判断所述目标数据是否满足所述验证条件；在所述目标数据满足所述验证条件的情况下，确定所述数据描述中符合所述目标数据对应的所述第一初始数据；在所述目标数据不满足所述验证条件的情况下，确定所述数据描述中不符合所述目标数据对应的所述第一初始数据。
需要说明的是，提取所述验证合约中的验证条件可以为对所述验证合约进行语义分析，获得所述验证合约中的验证条件；所述验证条件为所述验证合约中最符合所述初始数据描述的条件，在此不做限定，作为一种示例，所述验证条件可以为补充描述中的键值对是否为真，所述补充描述中的键值对可以记为key-value。
判断所述目标数据是否满足所述验证条件可以为判断所述目标数据是否存在满足所述验证条件的数据；作为一种示例，判断所述目标数据是否存在满足所述验证条件的数据可以为判断所述目标数据是否存在key-value为真的数据。
在所述目标数据满足所述验证条件的情况下，确定所述数据描述中符合所述目标数据对应的所述第一初始数据可以为在所述目标数据满足所述验证条件的数据的情况下，确定所述数据描述中符合所述目标数据对应的所述第一初始数据。
在所述目标数据不满足所述验证条件的情况下，确定所述数据描述中不符合所述目标数据对应的所述第一初始数据可以为在所述目标数据不满足所述验证条件的数据的情况下，确定所述数据描述中不符合所述目标数据对应的所述第一初始数据。
在实际应用中，作为一种示例，通过语义分析，将补充描述中的键值对提取为判断条件，即判断key-value是否为真。例如“特殊病例（key）——包含Rh阴性血型、先天性XXX、XXXX症......；其中的某2种（value）”中，验证目标数据中是否包含value中描述的项目，且项目数为2；如果验证目标数据中包含value中描述的项目，且项目数为2，则确定所述数据描述中符合所述目标数据对应的所述第一初始数据，所述第一初始数据为所述补充描述中的键值对对应的初始数据；如果验证目标数据中不包含value中描述的项目，或者包含value中描述的项目但项目数不为2，则确定所述数据描述中不符合所述目标数据对应的所述第一初始数据，即在所述补充描述中的键值对对应的初始数据中没有符合所述目标数据的；
在本发明的一种可选实施例中，所述文件类型信息包括自定义的文件类型信息；所述自定义的文件类型信息表征至少有预设阈值个数据代理节点对同一个初始数据的文件类型达成一致的定义。
本实施例中，所述预设阈值可以根据实际情况进行确定，在此不做限定。作为一种示例，所述预设阈值可以为2。
所述自定义的文件类型信息可以为代理数据节点根据实际情况进行自定义的文件类型信息，在此不做限定。在实际应用中，所述自定义的文件类型也可以称为新的数据类型。
在实际应用中，作为一种示例，如果所述每个初始数据中存在不能识别的文件类型，提醒代理数据节点进行确认并自定义数据类型。超过2个代理数据节点对相同新类型达成一致定义，则系统中生成新的数据类型。
在本发明的一种可选实施例中，所述补充描述信息包括所述每个初始数据的键值对关系；所述键值对关系表征所述每个初始数据中满足预设关系的键值对。
本实施例中，所述每个初始数据的键值对关系可以理解为对所述每个初始数据的补充数据描述，生成一系列可能的键值对关系，具体的，可以理解为除了非必要数据标签相关的数据，如果还有额外信息，生成一系列可能的键值对关系。
所述键值对关系表征所述每个初始数据中满足预设关系的键值对；其中，所述预设关系可以根据实际情况进行确定，在此不做限定。为了方便理解，这里示例说明，可以根据不同的数据类型进行分析找到合适的提取键值对的方式。例如，针对数字类型数据，主要进行各维度的统计，将维度作为key，对应的统计结果作为value；针对文本数据，通过NLP的语义分析，找到判断语句、包含关系语句等，形成键值对关系；针对音频数据，可以采用SpeechToText（音频转文本），再结合NLP的语义分析，形成键值对关系；针对图片或视频数据，进行图片、关键帧的分析，提取特征，形成键值对关系。
本发明实施例提供的数据验证方法，通过根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述；基于所述数据描述生成验证合约；获得数据需求方的目标数据，基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据。具备以下两方面的有益技术效果，第一方面在数据代理节点上，通过任意形式的数据输入，能够形成一个抽象的、摘要的数据描述，数据描述不披露数据细节；第二方面通过数据描述，能生成用于验证原始数据是否符合数据描述的验证合约，判断原始数据是否符合数据描述。
为了理解本发明实施例，本发明实施例示例一种数据验证的具体应用场景，该具体应用场景包括数据描述与验证的方法，该方法包含了两个过程：（1）在数据代理节点上，通过任意形式的数据输入，能够形成一个抽象的、摘要的数据描述，数据描述不披露数据细节；（2）通过数据描述，能生成用于验证原始数据是否符合数据描述的验证合约，判断原始数据是否符合数据描述。过程（2）一般是由数据釜进行入釜验证或者是其他有意向购买该数据的潜在买方希望能做一个初步的验证时执行，也就意味着验证可约可以是不同的发起者（不同的潜在买方或者是数据釜），可以验证全部的数据描述，也可以只验证某一部分的数据描述。数据描述可以包括几类数据标签：1）数据产生的场景，即指数据产生时的场景类型，最少有一种。2）数据格式，例如，数字、文字、图片、音频、视频、自定义等，最少有一种。3）数据条数。4）补充描述，键值对的形式。具体步骤：
第一步，识别数据源并生成必要的数据标签。
（1）、识别并生成数据类型标签。根据数据源的文件类型进行判断，数字、文字、图片、音频、视频中的一种或多种，如果存在不能识别的文件类型，提醒代理进行确认并自定义数据类型。超过2个代理对相同新类型达成一致定义，则系统中生成新的数据类型。
（2）、识别并生成数据场景标签。
（3）、识别并生成数据条数的统计。统计从不从维度进行，包括但不限于，授权的用户数量，各用户授权的数据量，各不同文件类型的数量，等等。
第二步，识别并生成可能的补充数据描述。除了非必要数据标签相关的数据，如果还有额外信息，生成一系列可能的键值对关系。根据不同的数据类型进行分析找到合适的提取键值对的方式。例如，针对数字类型数据，主要进行各维度的统计，将维度作为key，对应的统计结果作为value；针对文本数据，通过NLP的语义分析，找到判断语句、包含关系语句等，形成键值对关系；针对音频数据，可以采用SpeechToText（音频转文本），再结合NLP的语义分析，形成键值对关系；针对图片或视频数据，进行图片、关键帧的分析，提取特征，形成键值对关系。
第三步，由代理确认键值对作为补充描述后，结合必要数据标签，共同组成确定的数据描述。
第四步，根据数据描述，以及意向验证的数据标签，生成验证的智能合约。通过语义分析，将补充描述中的键值对提取为判断条件，即判断key-value是否为真。例如“特殊病例（key）——包含Rh阴性血型、先天性XXX、XXXX症......其中的某2种（value）”中，验证原数据中是否包含value中描述的项目，且项目数为2。
为了更好的理解，本发明实施例示出一种数据验证方法的具体应用场景的流程示意图，图2为本发明实施例一种数据验证方法的具体应用场景的流程示意图，如图2所示。
S201：数据代理节点提交的拟入釜数据描述。
S202：判断所述拟入釜数据描述是否包含不可识别的数据类型。
需要说明的是，在所述拟入釜数据描述不包含不可识别的数据类型的情况下，执行步骤S203；在所述拟入釜数据描述包含不可识别的数据类型的情况下，执行步骤S204。
S203：生成场景标签。
S204：判断是否已经存在其他代理标记过该新的类型。
需要说明的是，在不存在其他代理标记过该新的类型的情况下，执行步骤S205；在已经存在其他代理标记过该新的类型的情况下，执行步骤S206。
S205：等待代理确认，系统记录该类型。
S206：将该数据类型纳入可识别类型。
S207：数据条数的统计。
S208：判断是否存在额外信息。
需要说明的是，在存在额外信息的情况下，执行步骤S209；在不存在额外信息的情况下，执行步骤S210。
S209：根据数据类型进行相应提取，生成键值对关系。
S210：等待代理确认生成正式的数据描述。
S211：根据数据描述、想验证的数据标签，生成验证智能合约。
S212：对原始数据进行合约验证。
需要说明的是，这里所出现的名词在前述已经详细描述，在此不再赘述。
基于与前述相同的发明构思，图3为本发明实施例提供的一种数据验证装置的结构示意图，所述装置300应用于可信人工智能AI系统；所述可信AI系统至少包括数据代理节点和数据釜；所述装置300包括：获得单元301、确定单元302、生成单元303和验证单元304，其中，所述获得单元301，用于获得至少一个初始数据，将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签；
所述确定单元302，用于根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述；
所述生成单元303，用于基于所述数据描述生成验证合约；
所述验证单元304，用于获得数据需求方的目标数据，基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据；所述第一初始数据为所述至少一个初始数据中的任一初始数据。
在一些实施例中，所述获得单元301，还用于识别所述每个初始数据的文件类型信息，根据所述文件类型信息生成数据类型标签；识别所述每个初始数据的生成场景信息，根据所述生成场景信息生成数据场景标签；识别所述每个初始数据的条数信息，根据所述条数信息生成数据条数标签；确定所述每个初始数据的补充描述信息，根据所述补充描述信息生成数据补充描述标签。
在一些实施例中，所述确定单元302，还用于将所述数据类型标签、所述数据场景标签、所述数据条数标签和所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述。
在一些实施例中，所述生成单元303，还用于基于所述数据描述确定意向验证的验证数据描述；根据所述验证数据描述生成验证合约。
在一些实施例中，所述验证单元304，还用于提取所述验证合约中的验证条件；判断所述目标数据是否满足所述验证条件；在所述目标数据满足所述验证条件的情况下，确定所述数据描述中符合所述目标数据对应的所述第一初始数据；在所述目标数据不满足所述验证条件的情况下，确定所述数据描述中不符合所述目标数据对应的所述第一初始数据。
在一些实施例中，所述文件类型信息包括自定义的文件类型信息；所述自定义的文件类型信息表征至少有预设阈值个数据代理节点对同一个初始数据的文件类型达成一致的定义。
在一些实施例中，所述补充描述信息包括所述每个初始数据的键值对关系；所述键值对关系表征所述每个初始数据中满足预设关系的键值对。
需要说明的是，本发明实施例提供的数据验证装置与前述的本发明实施例提供的数据验证方法属于同一发明构思，此处所出现的词语的含义在前述已经详细说明，在此不再赘述。
本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序处理器被处理器执行时实现上述方法实施例的步骤，而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种数据验证设备，所述数据验证设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行存储在存储器中的上述方法实施例的步骤。
图4为本发明实施例数据验证设备的一种硬件结构示意图，该数据验证设备40包括：至少一个处理器401、存储器402，可选的，数据验证设备40还可进一步包括至少一个通信接口403，数据验证设备40中的各个组件通过总线系统404耦合在一起，可理解，总线系统404用于实现这些组件之间的连接通信。总线系统404除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统404。
可以理解，存储器402可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（ROM，Read Only Memory）、可编程只读存储器（PROM，Programmable Read-Only Memory）、可擦除可编程只读存储器（EPROM，Erasable Programmable Read-Only Memory）、电可擦除可编程只读存储器（EEPROM，Electrically Erasable Programmable Read-Only Memory）、磁性随机存取存储器（FRAM，Ferromagnetic Random Access Memory）、快闪存储器（Flash Memory）、磁表面存储器、光盘、或只读光盘（CD-ROM，Compact Disc Read-Only Memory）；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器（RAM，Random AccessMemory），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（SRAM，Static Random Access Memory）、同步静态随机存取存储器（SSRAM，Synchronous Static Random Access Memory）、动态随机存取存储器（DRAM，Dynamic Random Access Memory）、同步动态随机存取存储器（SDRAM，SynchronousDynamic Random Access Memory）、双倍数据速率同步动态随机存取存储器（DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory）、增强型同步动态随机存取存储器（ESDRAM，Enhanced Synchronous Dynamic Random Access Memory）、同步连接动态随机存取存储器（SLDRAM，Sync Link Dynamic Random Access Memory）、直接内存总线随机存取存储器（DRRAM，Direct Rambus Random Access Memory）。本发明实施例描述的存储器402旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器402用于存储各种类型的数据以支持数据验证设备40的操作。这些数据的示例包括：用于在数据验证设备40上操作的任何计算机程序，实现本发明实施例方法的程序可以包含在存储器402中。
上述本发明实施例揭示的方法可以应用于处理器401中，或者由处理器401实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，数据验证设备40可以被一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，ProgrammableLogic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）、通用处理器、控制器、微控制器（MCU，Micro Controller Unit）、微处理器（Microprocessor）、或其他电子元件实现，用于执行上述方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (10)
1.一种数据验证方法，其特征在于，应用于可信人工智能AI系统；所述可信AI系统至少包括数据代理节点和数据釜；所述方法包括：
获得至少一个初始数据，将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签；
根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述；
基于所述数据描述生成验证合约；
获得数据需求方的目标数据，基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据；所述第一初始数据为所述至少一个初始数据中的任一初始数据。
2.根据权利要求1所述的方法，其特征在于，所述将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签，包括：
识别所述每个初始数据的文件类型信息，根据所述文件类型信息生成数据类型标签；
识别所述每个初始数据的生成场景信息，根据所述生成场景信息生成数据场景标签；
识别所述每个初始数据的条数信息，根据所述条数信息生成数据条数标签；
确定所述每个初始数据的补充描述信息，根据所述补充描述信息生成数据补充描述标签。
3.根据权利要求2所述的方法，其特征在于，所述根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述，包括：
将所述数据类型标签、所述数据场景标签、所述数据条数标签和所述数据补充描述标签进行组合，确定所述每个初始数据对应的数据描述。
4.根据权利要求1所述的方法，其特征在于，所述基于所述数据描述生成验证合约，包括：
基于所述数据描述确定意向验证的验证数据描述；
根据所述验证数据描述生成验证合约。
5.根据权利要求1所述的方法，其特征在于，所述数据基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据，包括：
提取所述验证合约中的验证条件；
判断所述目标数据是否满足所述验证条件；
在所述目标数据满足所述验证条件的情况下，确定所述数据描述中符合所述目标数据对应的所述第一初始数据；
在所述目标数据不满足所述验证条件的情况下，确定所述数据描述中不符合所述目标数据对应的所述第一初始数据。
6.根据权利要求2所述的方法，其特征在于，所述文件类型信息包括自定义的文件类型信息；所述自定义的文件类型信息表征至少有预设阈值个数据代理节点对同一个初始数据的文件类型达成一致的定义。
7.根据权利要求2所述的方法，其特征在于，所述补充描述信息包括所述每个初始数据的键值对关系；所述键值对关系表征所述每个初始数据中满足预设关系的键值对。
8.一种数据验证装置，其特征在于，所述装置应用于可信人工智能AI系统；所述可信AI系统至少包括数据代理节点和数据釜；所述装置包括：获得单元、确定单元、生成单元和验证单元，其中，
所述获得单元，用于获得至少一个初始数据，将所述至少一个初始数据中的每个初始数据生成数据标签和数据补充描述标签；
所述确定单元，用于根据所述数据标签和数据补充描述标签确定所述每个初始数据对应的数据描述；
所述生成单元，用于基于所述数据描述生成验证合约；
所述验证单元，用于获得数据需求方的目标数据，基于所述验证合约对所述目标数据进行验证，确定所述数据描述中符合所述目标数据对应的第一初始数据；所述第一初始数据为所述至少一个初始数据中的任一初始数据。
9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序；所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
10.一种数据验证设备，其特征在于，所述数据验证设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111384268.6A CN113822678A (zh) | 2021-11-22 | 2021-11-22 | 一种数据验证方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111384268.6A CN113822678A (zh) | 2021-11-22 | 2021-11-22 | 一种数据验证方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113822678A true CN113822678A (zh) | 2021-12-21 |
Family
ID=78917995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111384268.6A Pending CN113822678A (zh) | 2021-11-22 | 2021-11-22 | 一种数据验证方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822678A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203140A (zh) * | 2016-07-15 | 2016-12-07 | 上海数据交易中心有限公司 | 基于数据结构的数据流通方法、装置及终端 |
| CN106815313A (zh) * | 2016-12-21 | 2017-06-09 | 上海数据交易中心有限公司 | 数据流通系统及方法 |
| CN107122838A (zh) * | 2017-04-21 | 2017-09-01 | 杭州趣链科技有限公司 | 一种基于区块链技术的智能网约车系统及网约方法 |
| CN107330788A (zh) * | 2017-06-15 | 2017-11-07 | 雷盈科技（上海）有限公司 | 一种区块链数字资产交易撮合方法、系统、装置及介质 |
| CN108595507A (zh) * | 2018-03-21 | 2018-09-28 | 上海数据交易中心有限公司 | 数据流通方法、装置及系统、存储介质、终端 |
| CN111445246A (zh) * | 2020-03-30 | 2020-07-24 | 深圳前海星际同辉科技有限公司 | 基于区块链的数据记录方法、装置、设备及存储介质 |
| CN111507696A (zh) * | 2020-04-10 | 2020-08-07 | 杭州能链科技有限公司 | 基于区块链的电力交易方法、装置及存储介质 |
-
2021
- 2021-11-22 CN CN202111384268.6A patent/CN113822678A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203140A (zh) * | 2016-07-15 | 2016-12-07 | 上海数据交易中心有限公司 | 基于数据结构的数据流通方法、装置及终端 |
| CN106815313A (zh) * | 2016-12-21 | 2017-06-09 | 上海数据交易中心有限公司 | 数据流通系统及方法 |
| CN107122838A (zh) * | 2017-04-21 | 2017-09-01 | 杭州趣链科技有限公司 | 一种基于区块链技术的智能网约车系统及网约方法 |
| CN107330788A (zh) * | 2017-06-15 | 2017-11-07 | 雷盈科技（上海）有限公司 | 一种区块链数字资产交易撮合方法、系统、装置及介质 |
| CN108595507A (zh) * | 2018-03-21 | 2018-09-28 | 上海数据交易中心有限公司 | 数据流通方法、装置及系统、存储介质、终端 |
| CN111445246A (zh) * | 2020-03-30 | 2020-07-24 | 深圳前海星际同辉科技有限公司 | 基于区块链的数据记录方法、装置、设备及存储介质 |
| CN111507696A (zh) * | 2020-04-10 | 2020-08-07 | 杭州能链科技有限公司 | 基于区块链的电力交易方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110046965A (zh) | 信息推荐方法、装置、设备和介质 | |
| CN108305055B (zh) | 支付测试方法及装置 | |
| KR102467373B1 (ko) | Nft 기반 전자책 거래 중개 서비스 제공 방법, 장치 및 시스템 | |
| CN107464111B (zh) | 基于音频的区块链钱包地址生成方法、支付方法、装置以及电子设备 | |
| CN112465627A (zh) | 基于区块链和机器学习的金融借贷审核方法及系统 | |
| CN112053143B (zh) | 资金路由方法、装置、电子设备及存储介质 | |
| KR102632763B1 (ko) | 판매자들 사이의 경쟁 판매율에 따라 사용 허가를 선별적으로 적용하는 글로벌 이커머스 통합 관리 방법 및 시스템 | |
| CN112507212A (zh) | 智能回访方法、装置、电子设备及可读存储介质 | |
| CN113110843A (zh) | 合约生成模型训练方法、合约生成方法及电子设备 | |
| CN113822678A (zh) | 一种数据验证方法、装置、设备和存储介质 | |
| Girasa | Technology Underlying Cryptocurrencies and Types of Cryptocurrencies | |
| CN116090913A (zh) | 基于数字孪生技术的员工服务数据的处理方法及相关装置 | |
| CN115798731A (zh) | 一种数据推荐方法、装置、电子设备及计算机可读介质 | |
| CN111930747B (zh) | 一种线上数据购买的方法和装置 | |
| CN108712683A (zh) | 一种数据传输方法、弹幕信息生成方法及装置 | |
| CN115131034A (zh) | 一种基于区块链的权益数字藏品的核销方法及设备 | |
| CN113268598A (zh) | 事件脉络生成方法、装置、终端设备及存储介质 | |
| Yamane et al. | Systematic analysis of micro dynamics in agent based simulation | |
| CN107609871B (zh) | 支付轨迹重现方法、装置、系统、电子设备、存储介质 | |
| CN113822602A (zh) | 一种数据价值评估方法、装置、设备和存储介质 | |
| KR102465842B1 (ko) | 블록체인을 이용한 nft 3d 캐릭터 거래 시스템, 장치 및 그 동작 방법 | |
| CN115619068B (zh) | 智能投保方案生成方法、装置、电子设备及存储介质 | |
| CN112667659B (zh) | 特征加工方法及相关设备 | |
| Hippen et al. | In defense of transplantation: A reply to Nancy Scheper-Hughes | |
| CN113821828B (zh) | 一种数据隐私保护方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211221 |