CN117573711A - 用于数据追溯的数据关联方法、装置、设备以及介质 - Google Patents

Abstract

本发明涉及一种用于数据追溯的数据关联方法、装置、设备以及介质，涉及信息处理技术领域，该方法包括：根据预设的数据监控模块获取数据流；根据预设的数据采集模块采集环境数据；关联所述数据流以及所述环境数据，得到可追溯数据；存储所述可追溯数据到预设的数据库中。实现了高效、全面地记录并关联数据的效果。

Description

用于数据追溯的数据关联方法、装置、设备以及介质

技术领域

本发明涉及信息处理技术领域，尤其涉及用于数据追溯的数据关联方法、装置、设备以及介质。

背景技术

数据追溯的基本方法包括以下几点：1.数据采集和整理：收集数据源并整理成规范化的数据集。2.数据建模：使用统计学和机器学习方法对数据进行分析和建模，包括数据挖掘、预测建模和聚类分析等。3.数据可视化：将数据以图表或其他方式呈现，方便用户理解和分析数据。

数据追溯的可靠性与数据追溯的基本方法的数据采集和整理环节息息相关。由于每次数字记录产生时，都需要在记录数字记录的同时手工记录其产生时相关联的其他数字记录和相关的环境数据，如数字记录产生时的人、机、料、法、环等数据，并且需要进一步存储这些记录当时的状态，例如：新生儿在医院出生时，需要医护人员手工记录新生儿的体重、新生儿的身高、新生儿的出生时间、接生医护人员姓名等信息。人工记录往往会导致记录时工作量大，而且记录的信息不够全面以及不够准确，当记录的信息不够准确时，就会导致数据追溯时缺少信息甚至无法追溯。

发明内容

本发明提供了一种用于数据追溯的数据关联方法，以解决人工记录不够全面以及不够准确的问题。

第一方面，本发明提供了一种用于数据追溯的数据关联方法，所述方法包括：

根据预设的数据监控模块获取数据流；

根据预设的数据采集模块采集环境数据；

关联所述数据流以及所述环境数据，得到可追溯数据；

存储所述可追溯数据到预设的数据库中。

第二方面，本发明提供了一种用于数据追溯的数据关联装置，包括用于执行如第一方面任一项实施例所述的用于数据追溯的数据关联方法的单元。

第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的用于数据追溯的数据关联方法的步骤。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的用于数据追溯的数据关联方法的步骤。

本发明实施例提供的上述技术方案与现有技术相比具有如下优点：

数据流产生时自动进行标识并关联相关的环境数据的方法，能够完整地、全面地、自动地记录数据流以及环境数据，便于后续对数据进行追溯、重现。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种用于数据追溯的数据关联方法的流程示意图；

图2为本发明实施例提供的一种用于数据追溯的数据关联方法的子流程示意图；

图3为本发明实施例提供的另一种用于数据追溯的数据关联方法的子流程示意图；

图4为本发明实施例提供的又一种用于数据追溯的数据关联方法的子流程示意图；

图5为本发明实施例提供的一种数据关联装置的结构示意图；

图6为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1为本发明实施例提供的一种用于数据追溯的数据关联方法的流程示意图。本发明实施例提出了一种用于数据追溯的数据关联方法，具体地，参见图1，该用于数据追溯的数据关联方法包括如下步骤S101-S105。

S101，根据预设的数据监控模块获取数据流。

具体实施中，系统中产生数据流时，数据监控模块可识别并捕获该数据流，例如：系统连接有电子秤，当物体放入电子秤中时，电子秤生成该物体的重量，得到的重量即为所述数据流。

在一实施例中，参见图2，图2为本发明实施例提供的一种用于数据追溯的数据关联方法的子流程示意图。以上步骤S102包括步骤S201-S202：

S201，根据预设的数据监控模块判断是否产生数字记录。

S202，若是，则根据所述数字记录以及所述预设的设备的地址信息生成所述数据流。

具体实施中，数据监控模块包括触发器，在该实施例中，数据监控模块用于监控预设的设备是否产生数据，预设的设备自身存储有地址信息，并将该预设的设备产生的数据作为数据记录，例如：用天平(预设的设备)称量了一个物体的重量为10.02g，则产生了一条10.02的数字记录，并将这条10.02的数字记录以及天平的地址信息作为数据流。又例如：工作人员按下开关(预设的设备)，开关产生数据为1的信号，该数据为1的信号即为数据记录，将该数据为1的信号以及开关的地址信息作为数据流。

在一实施例中，参见图3，图3为本发明实施例提供的另一种用于数据追溯的数据关联方法的子流程示意图。以上步骤S201之后，还包括步骤S301-S303：

S301，获取所述预设的设备的地址信息作为目标地址。

具体实施中，预设的设备自身存储有地址信息，地址信息包括IP地址，在一实施例中，设备接入系统时分配有唯一的IP地址，通过IP地址可确定系统中的设备信息，通过读取预设的设备信息即可得到预设的设备的地址信息。通过获取该地址信息，可确定产生数字记录的设备的地址。

S302，根据所述目标地址启动预设的感应模块，得到感应数据。

具体实施中，感应模块包括视频采集单元、人脸识别装置、指纹识别装置、RFID卡识别装置，用于感应识别目标物，在该实施例中，感应模块默认为待机状态，数据监控模块判断有产生数字记录后，感应模块进入工作状态，进而通过感应模块获取得到感应数据，可理解地，感应数据为感应模块识别目标物得到的数据，例如：感应模块为指纹识别装置时，则感应数据为指纹特征。

在一实施例中，参见图4，图4为本发明实施例提供的又一种用于数据追溯的数据关联方法的子流程示意图。以上步骤S302包括步骤S401-S404：

S401，获取所述感应模块的视频流，从所述视频流中截取帧图像作为待检图。

S402，通过预训练的神经网络模型识别所述待检图的生物图像。

S403，判断所述生物图像的类型是否符合预设的类型。

具体实施中，所述神经网络模型为卷积神经网络模型，卷积神经网络模型具有图像分割能力。在一实施例中，感应模块可为摄像单元，例如：通过将摄像单元安装在自然环境中，监控目标区域是否具有稀有动物的踪迹，通过神经网络模型鉴别图像中出现的生物，识别得到的生物为预设类型的生物时，记录该生物图像，并通过后续步骤S102-S104将该生物图像与环境数据关联。可理解地，人体的红外信号波段与其他动物不同，在其他一些实施例中，感应模块为摄像单元和/或红外感应器，可以通过红外识别直接确定是否存在人体，以区分人体以及其他动物，感应模块的作用在于采集指定区域的对象得到采集数据，将采集数据输送到神经网络模型，因此，本领域技术人员可灵活调整感应模块的类型以及数量，这并不会超出本发明的保护范围。

在一实施例中，所述生物图像为多个时，分别对每个生物图像执行步骤S501-S503：

S501，分别对所述生物图像进行二值化处理、膨胀处理以及腐蚀处理，得到目标图像。

具体实施中，图像的二值化处理就是将图像上的点的灰度值为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。膨胀处理就是图像的边缘添加像素值，使得整体的像素值扩张，进而达到图像的膨胀效果，也可以说是信号与系统书中所提到的像素插值处理，而腐蚀处理与膨胀处理是相反的操作，腐蚀是求局部最小值。具体地，本发明不对所述生物图像进行的二值化处理、膨胀处理以及腐蚀处理的处理顺序做限定，二值化处理、膨胀处理以及腐蚀处理的目的在于让生物图像更清晰，将处理后的生物图像作为目标图像执行后续步骤S502-S503。

S502，将所述目标图像输入到预训练的目标检测模型中，以由所述预训练的目标检测模型识别所述目标图像的特征标签。

S503，根据所述特征标签确定所述生物图像的类型。

具体实施中，目标检测模型具有解析图像细节的能力，该图像细节包含特征标签，特征标签可用于区分生物的基本特征，例如：华北豹的雌雄可通过花纹浅深以区分，通过目标检测模型识别目标图像中的华北豹花纹特征可输出该华北豹为雌性/雄性的结果。特征标签还可用于区分同种生物的多个生物图像，例如：员工佩戴有姓名和/或工号的工牌，通过目标检测模型识别目标图像中的工牌可输出员工的姓名和/或工号。

多种生物同时出现时，可依次识别，保证数据关联的准确性。

S404，若是，则根据所述生物图像以及所述感应模块的地址信息得到所述感应数据。

具体实施中，若所述生物图像的类型符合预设的类型，则根据所述生物图像以及所述感应模块的地址信息得到所述感应数据。在该实施例中，若所述生物图像的类型不符合预设的类型，终止执行该方法。例如：预设的类型为金丝猴，若生物图像是金丝猴时，则执行后续步骤，若生物图像不是金丝猴时，则停止执行后续步骤，避免将无关数据进行关联。

S303，关联所述数字记录、所述目标地址以及所述感应数据得到所述数据流。

具体实施中，数据流至少包含有数字记录、目标地址以及感应数据，在一实施例中，数据记录指数据类型为布尔型的数据，布尔型指数据0/1。

S102，根据预设的数据采集模块采集环境数据。

具体实施中，数据采集模块包括二维码识别装置、温度采集装置、湿度采集装置、称量装置等等，用于进行采集，如通过二维码识别装置扫描试剂耗材的二维码采集得到领用记录，通过温度采集装置采集周围的温度值，通过湿度采集装置采集周围的湿度值等。

S103，关联所述数据流以及所述环境数据，得到可追溯数据。

具体实施中，将数据流与环境数据进行关联绑定，例如：天平称重得到10.02g，得到10.02的数据流，环境数据包括日期、时间、地点、湿度、温度、气压等等，将数据流与环境数据关联后，筛选环境数据中的任意几项，可查找得到10.02的数据流。

在一实施例中，以上步骤S103包括步骤：根据所述数据流以及所述环境数据生成唯一标识，关联具有唯一标识的所述数据流以及所述环境数据得到所述可追溯数据。

具体实施中，唯一标识用于在将数据流以及环境数据建立关联关系的可追溯数据，可通过该唯一标识和/或可追溯数据中的任一数据直接搜索到对应的数据流以及环境数据。

S104，存储所述可追溯数据到预设的数据库中。

具体实施中，将已关联好的可追溯数据进行持久化存储。通常地，存储模块连接有规则引擎，在存储所述可追溯数据到预设的数据库之前，还包括：规则引擎可预先设置关联规则，通过关联规则可按数据类型将需要追溯的数据进行分类，还可根据数据类型将需要追溯的数据进行分层。分类通常按数据的存储方式以及数据的长短划分，分层通常按数据的内容划分，例如：不同的数字记录产生，需要追溯的层次不一样，第一层记录仪器信息，记录仪器信息包括仪器的编号和当时的有效状态，第二层记录仪器的维修信息，维修信息包括维修人员姓名、维修原因等等。根据关联规则还可将数据流以及环境数据分类存储，实现可追溯数据利于可视化呈现，支持关系图展示和数据下钻。

在一实施例中，以上步骤S104包括步骤：根据条带化式存储所述可追溯数据到所述数据库中。

具体实施中，条带化存储指条带化技术就是将一块连续的数据分成很多小部分并把他们分别存储到不同的磁盘上去。实现多个进程同时访问数据的多个不同部分而不会造成磁盘冲突。使用异或等算法进行冗余存储，在某个节点损坏时可以利用其他节点进行恢复。

在一实施例中，以上步骤S104包括步骤：根据所述可追溯数据生成摘要签名，存储所述摘要签名到预设的校验数据库中。

具体实施中，对每条可追溯数据进行摘要签名，可追溯数据是任意长度，而摘要签名的长度是固定的，摘要签名相同，则可追溯数据一定相同，通过校验数据库，可对存储的数据完整性和准确性进行校验，以确保数据能够完整追溯，对数据进行容灾保护，确保数据安全。

在一实施例中，所述数据库包括关系数据库、图数据库以及区块链数据库。

具体实施中，可以采用关系数据库、图数据库以及区块链等技术形式对可追溯数据进行存储。

本发明实施例可实现以下优点：

数据流产生时自动进行标识并关联相关的环境数据的方法，能够完整地、全面地、自动地记录数据流以及环境数据，便于后续对数据进行追溯、重现。参见图5本发明实施例还提供了一种数据关联装置600，该数据关联装置包括获取单元601、采集单元602、关联单元603以及存储单元604。

获取单元601,用于根据预设的数据监控模块获取数据流。

采集单元602,用于根据预设的数据采集模块采集环境数据。

在一实施例中，所述根据预设的数据监控模块获取数据流，包括：

根据预设的数据监控模块判断预设的设备是否产生数字记录；

若是，则根据所述数字记录以及所述预设的设备的地址信息生成所述数据流。

在一实施例中，所述将所述数字记录作为所述数据流，包括：

获取所述预设的设备的地址信息作为目标地址；

根据所述目标地址启动预设的感应模块，得到感应数据；

关联所述数字记录、所述目标地址以及所述感应数据得到所述数据流。

在一实施例中，所述根据所述目标地址启动预设的感应模块，得到感应数据，包括：

获取所述感应模块的视频流，从所述视频流中截取帧图像作为待检图；

通过预训练的神经网络模型识别所述待检图的生物图像；

判断所述生物图像的类型是否符合预设的类型；

若是，则根据所述生物图像以及所述感应模块的地址信息得到所述感应数据。

在一实施例中，所述生物图像为多个，所述判断所述生物图像的类型是否符合预设的类型，包括：

分别对所述生物图像进行二值化处理、膨胀处理以及腐蚀处理，得到目标图像；

将所述目标图像输入到预训练的目标检测模型中，以由所述预训练的目标检测模型识别所述目标图像的特征标签；

根据所述特征标签确定所述生物图像的类型。

关联单元603，用于关联所述数据流以及所述环境数据，得到可追溯数据。

在一实施例中，所述关联所述数据流以及所述环境数据，得到可追溯数据，包括：

根据所述数据流以及所述环境数据生成唯一标识，关联具有唯一标识的所述数据流以及所述环境数据得到所述可追溯数据。

存储单元604，用于存储所述可追溯数据到预设的数据库中。

在一实施例中，所述存储所述可追溯数据到预设的数据库中，包括：

根据条带化式存储所述可追溯数据到所述数据库中。

在一实施例中，所述存储所述可追溯数据到预设的数据库中，包括：

根据所述可追溯数据生成摘要签名，存储所述摘要签名到预设的校验数据库中。

在一实施例中，所述数据库包括关系数据库、图数据库以及区块链数据库。

如图6所示，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行一种用于数据追溯的数据关联方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种用于数据追溯的数据关联方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，上述结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。

所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-On ly Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。所述计算机可读存储介质可以是非易失性，也可以是易失性。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于数据追溯的数据关联方法，其特征在于，所述方法包括：

根据预设的数据监控模块获取数据流；

根据预设的数据采集模块采集环境数据；

关联所述数据流以及所述环境数据，得到可追溯数据；

存储所述可追溯数据到预设的数据库中。

2.根据权利要求1所述的方法，其特征在于，所述根据预设的数据监控模块获取数据流，包括：

根据预设的数据监控模块判断预设的设备是否产生数字记录；

若是，则根据所述数字记录以及所述预设的设备的地址信息生成所述数据流。

3.根据权利要求2所述的方法，其特征在于，所述将所述数字记录作为所述数据流，包括：

获取所述预设的设备的地址信息作为目标地址；

根据所述目标地址启动预设的感应模块，得到感应数据；

关联所述数字记录、所述目标地址以及所述感应数据得到所述数据流。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标地址启动预设的感应模块，得到感应数据，包括：

获取所述感应模块的视频流，从所述视频流中截取帧图像作为待检图；

通过预训练的神经网络模型识别所述待检图的生物图像；

判断所述生物图像的类型是否符合预设的类型；

若是，则根据所述生物图像以及所述感应模块的地址信息得到所述感应数据。

5.根据权利要求4所述的方法，其特征在于，所述生物图像为多个，所述判断所述生物图像的类型是否符合预设的类型，包括：

分别对所述生物图像进行二值化处理、膨胀处理以及腐蚀处理，得到目标图像；

将所述目标图像输入到预训练的目标检测模型中，以由所述预训练的目标检测模型识别所述目标图像的特征标签；

根据所述特征标签确定所述生物图像的类型。

6.根据权利要求1所述的方法，其特征在于，所述关联所述数据流以及所述环境数据，得到可追溯数据，包括：

根据所述数据流以及所述环境数据生成唯一标识，关联具有唯一标识的所述数据流以及所述环境数据得到所述可追溯数据。

7.根据权利要求1所述的方法，其特征在于，所述存储所述可追溯数据到预设的数据库中，包括：

根据所述可追溯数据生成摘要签名，存储所述摘要签名到预设的校验数据库中。

8.一种数据关联装置，其特征在于，包括用于执行如权利要求1-7任一项所述方法的单元。

9.一种计算机设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法的步骤。