CN114722791A - 一种实验室操作行为智能识别与记录系统 - Google Patents

Abstract

本发明公开了一种实验室操作行为智能识别与记录系统，包括：实验计划模块和实验过程记录模块；实验计划模块用于策划、计划即将实施的实验方案，同时在此实验进行时，实时提供实验步骤提示及提醒；实验过程记录模块用于对实验人员实验过程的动作、实验设备的参与情况和药品的使用情况进行实时记录，并生成针对当前实验的实际实验操作过程数据；实验计划模块用于录入并存储当前实验的实验计划数据，并将实验计划数据与实际实验操作过程数据进行对比，自动识别出两者之间不对应的内容。本发明能够对实验过程实验人员的操作行为进行识别和记录，可辅助实验人员针对实验结果进行溯源，效率高，且自动化程度高。

Description

一种实验室操作行为智能识别与记录系统

技术领域

本发明涉及智能实验室技术领域，更具体的说是涉及一种实验室操作行为智能识别与记录系统。

背景技术

实验人员在进行实验时，化学试剂的添加时间、添加量、实验人员动作等某一环节发生微小变化，可能会导致实验结果存在较大差异，目前，针对实验结果的溯源通常需要人为的思考回忆，而单纯依靠人为回忆，效率较差，且无法实现对实验过程的自动记录和差错的自动识别。

因此，如何提供一种能够辅助实验人员针对实验结果溯源，且能自动识别实验过程操作行为的智能识别与记录系统是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种实验室操作行为智能识别与记录系统，能够对实验过程实验人员的操作行为进行识别和记录，可辅助实验人员针对实验结果进行溯源，效率高，且自动化程度高。

为了实现上述目的，本发明采用如下技术方案：

一种实验室操作行为智能识别与记录系统，包括：实验计划模块和实验过程记录模块；

所述实验过程记录模块用于对实验人员实验过程的动作、实验设备的参与情况和药品的使用情况进行实时记录，并生成针对当前实验的实际实验操作过程数据；

所述实验计划模块用于录入并存储当前实验的实验计划数据，并将所述实验计划数据与所述实际实验操作过程数据进行对比，自动识别出两者之间不对应的内容。

优选的，在上述一种实验室操作行为智能识别与记录系统中，所述实验计划模块包括标签生成单元、编制单元、对比单元和异常记录单元；

所述标签生成单元用于根据所述实验计划数据中所涉及到的药品及其他参与实验过程的物品，生成与之对应的唯一的标签；

所述编制单元用于供实验人员按照实验计划的时间节点顺序录入实验计划数据，并将所述标签和需要参与的实验设备信息与所述实验计划数据相关联；

所述对比单元用于在不同的时间节点处，将与当前时间节点对应的所述实验计划数据与当前所述实际实验操作过程数据进行对比，判断二者之间是否存在差异；

所述异常记录单元用于在所述实验计划数据和所述实际实验操作过程数据之间存在差异时，按照时间顺序对具体差异情况进行实时记录和整理，生成异常记录报告。

优选的，在上述一种实验室操作行为智能识别与记录系统中，所述实验计划模块还包括显示单元和提醒单元；

所述显示单元用于在实验中播放所述实验计划数据，或在实验后播放所述实际实验操作过程数据；

所述提醒单元用于根据所述实验计划数据发出用于提醒实验人员待执行操作步骤的提示信息，并在所述实验计划数据与所述实际实验操作过程数据之间存在差异时，发出警示信息。

优选的，在上述一种实验室操作行为智能识别与记录系统中，所述实验过程记录模块包括第一图像采集单元、实验设备识别单元、药品识别单元和存储单元；

所述第一图像采集单元安装在实验台上，其用于实时采集实验人员实验过程的实验动作；

所述实验设备识别单元用于采用图像识别方式识别实验人员实验过程中所采用实验设备的类别；

所述药品识别单元用于在药品参与实验前，扫描药品包装上的标签，并根据标签识别出当前参与实验药品的种类；

所述存储单元用于将整个实验过程中实验人员的实验动作视频、实际参与的实验设备信息和实际参与的药品信息进行整合，作为所述实际实验操作过程数据。

优选的，在上述一种实验室操作行为智能识别与记录系统中，所述对比单元还用于将整个实验过程中任一时间节点下实际参与的实验设备或药品，与该时间节点下所述实验计划数据中计划参与的实验设备或药品进行比对，判断是否存在异常。

优选的，在上述一种实验室操作行为智能识别与记录系统中，所述实验过程记录模块还包括：称重单元和药品用量整理单元；

所述称重单元还用于在对药品扫描后，并在参与实验前后对当前药品进行称重；

所述药品用量整理单元用于按照药品类别对整个实验过程所有参与药品的用量和参与时间进行整理并存储。

优选的，在上述一种实验室操作行为智能识别与记录系统中，所述实验过程记录模块还包括药品库单元；

所述药品库单元用于根据药品的使用频次和使用量，对实验室常用药品和易耗品的剩余量进行实时更新。

优选的，在上述一种实验室操作行为智能识别与记录系统中，所述实验过程记录模块还包括：无线传输单元和实验报告生成单元；

所述无线传输单元用于将相关实验设备的实验数据传输至所述实验报告生成单元；

所述实验报告生成单元用于将当前实验所涉及的药品参与情况、实验设备参与情况和所述实验数据进行汇总和整理，并生成对应当前实验的实验报告。

优选的，在上述一种实验室操作行为智能识别与记录系统中，还包括权限管理模块；

所述权限管理模块用于识别当前实验人员的身份信息，并根据所述身份信息赋予其使用相关药品和实验设备的权限，并在当前实验人员使用的药品或实验设备超出其自身权限时，控制所述提醒单元发出相应的警示信息。

优选的，在上述一种实验室操作行为智能识别与记录系统中，还包括实验室违规识别模块和违规信息接收终端；所述实验室违规识别模块包括：多个第二图像采集单元和多个违规识别单元；所述违规识别单元与所述第二图像采集单元一一对应连接；所述违规信息接收终端与各个所述违规识别单元无线连接；

所述第二图像采集单元一一对应安装在各个实验室的各个实验区域的入口位置，用于采集所属实验区域内的图像信息；

所述违规识别单元用于将所属实验区域内的图像信息输入预先训练好的深度学习网络，利用所述深度学习网络判断当前实验人员的授权区域是否与当前所处实验区域相符以及实验人员的当前动作和着装是否与标准动作和着装相符，若任一一项不相符，则判定为存在违规情况；和/或，所述深度学习网络还用于判断实验药品的摆放位置和实验设备的使用状态是否存在违规情况；

所述违规信息接收终端用于实时接收所述违规情况，并按照时间进行存储。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种实验室操作行为智能识别与记录系统，在实验人员进行实验之前，先进行实验计划的编写，实验过程中，持续采集实验人员的操作动作、实验药品和实验设备的参与情况，并将实际实验操作过程数据与实验计划数据进行实时比对，不仅能够将整个实验过程进行记录存储，便于实验人员回放查看，便于针对实验结果追踪溯源；还可以自动识别出实际操作与实验计划不相符的地方进行实时记录，在实验人员溯源过程中，便于实验人员快速锁定异常操作，提高实验效率；同时，还可以按照实验计划提醒实验人员下一步操作，进一步减少操作误差，确保实验结果的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的实验室操作行为智能识别与记录系统的结构示意图；

图2为本发明提供的实验计划模块的结构框图；

图3为本发明提供的实验过程记录模块的结构框图；

图4为本发明提供的实验室违规识别模块和违规信息接收终端的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例公开了一种实验室操作行为智能识别与记录系统，包括：实验计划模块和实验过程记录模块；

实验过程记录模块用于对实验人员实验过程的动作、实验设备的参与情况和药品的使用情况进行实时记录，并生成针对当前实验的实际实验操作过程数据；

实验计划模块用于录入并存储当前实验的实验计划数据，并将实验计划数据与实际实验操作过程数据进行对比，自动识别出两者之间不对应的内容。

本发明实施例，在实验人员进行实验之前，先进行实验计划的编写，实验过程中，持续采集实验人员的操作动作、实验药品和实验设备的参与情况，并将实际实验操作过程数据与实验计划数据进行实时比对，不仅能够将整个实验过程进行记录存储，便于实验人员回放查看，便于针对实验结果追踪溯源；还可以自动识别出实际操作与实验计划不相符的地方进行实时记录，在实验人员溯源过程中，便于实验人员快速锁定异常操作，提高实验效率；同时，还可以按照实验计划提醒实验人员下一步操作，进一步减少操作误差，确保实验结果的准确性。

在一个具体实施例中，如图2所示，实验计划模块包括标签生成单元、编制单元、对比单元和异常记录单元；

标签生成单元用于根据实验计划数据中所涉及到的药品及其他参与实验过程的物品，生成与之对应的唯一的标签；标签可以是射频标签，标签内记录有当前药品(试剂)的名称、规格等。

编制单元用于供实验人员按照实验计划的时间节点顺序录入实验计划数据，并将标签和需要参与的实验设备信息与所述实验计划数据相关联；本发明实施例在实验计划编写时，将所需药品的标签、实验设备信息(名称、规格等)、实验人员的动作(搅拌、加入试剂、加热等)，操作时间等信息进行关联，得到实验计划数据，供实验人员参考和比对。

对比单元用于在不同的时间节点处，将与当前时间节点对应的实验计划数据与当前实际实验操作过程数据进行对比，判断二者之间是否存在差异；比如某种试剂应该在某一时刻加入，但是实际操作时，加入时间提前或延后时；或某一时刻应该添加某种试剂，但实际添加的是另一种试剂；或某一时刻应该进行搅拌动作，但实际进行的是其他动作；或某种操作应该持续一定时间，实际持续时间过短或过长等，都可视为实际实验操作过程数据与实验计划数据存在差异。

异常记录单元用于在实验计划数据和实际实验操作过程数据之间存在差异时，按照时间顺序对具体差异情况进行实时记录和整理，生成异常记录报告。当存在差异时，异常记录单元会对异常情况进行分类存储，以在实验结果与计划不符时，实验人员根据异常记录报告快速锁定异常操作，有助于在后续的实验过程中进一步优化实验结果。

在一个更有利的实施例中，实验计划模块还包括显示单元和提醒单元；

显示单元用于在实验中播放实验计划数据，或在实验后播放实际实验操作过程数据；实验人员开始实验时，可以打开显示单元播放实验计划数据视频，这样，实验人员按照计划进行实验，可一定程度上减少误操作，保证实验结果的准确性。在实验后，实验人员可以通过显示单元播放实际试验过程的视频，有助于追溯和发现实验过程不符合规定的操作。

提醒单元用于根据实验计划数据发出用于提醒实验人员待执行操作步骤的提示信息，并在实验计划数据与实际实验操作过程数据之间存在差异时，发出警示信息。提醒单元的设置，可以进一步确保实验人员按照计划操作各个步骤，以及提醒实验人员当前是否处于异常操作，便于实验人员及时调整错误操作，减少实验损失。

在另一个具体实施例中，如图3所示，实验过程记录模块包括第一图像采集单元、实验设备识别单元、药品识别单元和存储单元；

第一图像采集单元安装在实验台上，其用于实时采集实验人员实验过程的实验动作；

实验设备识别单元用于采用图像识别方式识别实验人员实验过程中所采用实验设备的类别；可通过对实验室实验设备的拍照、命名及外形参数的设定，以识别实验人员实验过程所使用的仪器。

药品识别单元用于在药品参与实验前，扫描药品包装上的标签，并根据标签识别出当前参与实验药品的种类；药品识别单元可以是读卡器，实验人员拿到药品时，只需扫描药品上的射频标签，便能获知当前药品的类别。

存储单元用于将整个实验过程中实验人员的实验动作视频、实际参与的实验设备信息和实际参与的药品信息进行整合，作为实际实验操作过程数据。本发明实施例中，每进行一次实验时，存储单元便会对当前实验进行一次存储，存储整个实验过程中实验人员的操作视频，并在实验人员拿取药品或实验设备时，将识别出来的药品信息和实验设备信息整合至视频中，这样视频播放过程中，就可在某一时间节点，同步显示实验人员当前所添加药品的信息或所采用的实验设备的信息。

进一步的，对比单元还用于将整个实验过程中任一时间节点下实际参与的实验设备或药品，与该时间节点下实验计划数据中计划参与的实验设备或药品进行比对，判断是否存在异常。

在一个实施例中，实验过程记录模块还包括：称重单元和药品用量整理单元；

称重单元还用于在对药品扫描后，并在参与实验前后对当前药品进行称重；

药品用量整理单元用于按照药品类别对整个实验过程所有参与药品的用量和参与时间进行整理并存储。

本发明实施例中，在每次实验时，实验人员先扫描当前添加药品的信息，并在添加药品前后，对参与实验的药品进行称重，药品用量整理模块可根据药品信息，对其用量进行追踪记录。

更有利的，实验过程记录模块还包括药品库单元；药品库单元用于根据药品的使用频次和使用量，对实验室常用药品和易耗品的剩余量进行实时更新。本发明通过药品库单元可实时追踪所有药品的用量情况，并对常用药品和易耗品的使用情况一目了然，真正做到了对药品实验情况的追踪。

更有利的，实验过程记录模块还包括：无线传输单元和实验报告生成单元；

无线传输单元用于将相关实验设备的实验数据传输至实验报告生成单元；

实验报告生成单元用于将当前实验所涉及的药品参与情况、实验设备参与情况和实验数据进行汇总和整理，并生成对应当前实验的实验报告。

本发明实施例通过将实验数据与实验过程涉及的药品使用情况和实验设备参与情况按照时间节点进行整理，并生成报告，使实验人员对实验数据与药品和设备之间的关系一目了然，除此之外，还可以将实验人员实验过程的操作进行整合，比如搅拌时间、加热时间等。比如，一份实验报告可能包含：某时刻添加了何种药品，实验人员进行了何种操作，操作时长为多久，用于测定实验数据的实验设备是何名称等信息。

在其他实施例中，还包括权限管理模块；

权限管理模块用于识别当前实验人员的身份信息，并根据身份信息赋予其使用相关药品和实验设备的权限，并在当前实验人员使用的药品或实验设备超出其自身权限时，控制提醒单元发出相应的警示信息。这样可以做到对实验药品和实验设备的规范使用，避免随意使用造成不好溯源的情况。

在一个更有利的实施例中，如图4所示，还包括实验室违规识别模块和违规信息接收终端；实验室违规识别模块包括：多个第二图像采集单元和多个违规识别单元；违规识别单元与第二图像采集单元一一对应连接；接收终端与各个违规识别单元无线连接；

第二图像采集单元一一对应安装在各个实验室的各个实验区域的入口位置，用于采集所属实验区域内的图像信息；

违规识别单元用于将所属实验区域内的图像信息输入预先训练好的深度学习网络，利用深度学习网络判断当前实验人员的授权区域是否与当前所处实验区域相符以及实验人员的当前动作和着装是否与标准动作和着装相符，若任一一项不相符，则判定为存在违规情况；和/或，深度学习网络还用于判断实验药品的摆放位置和实验设备的使用状态是否存在违规情况；

违规信息接收终端用于实时接收违规识别单元所识别出的违规情况，并按照时间进行存储。

本发明实施例每个实验区域分别对应安装一组第二图像采集单元和违规识别单元，采用不同的训练样本对所属实验区域的深度学习网路进行训练，使该深度学习网络更针对性的对当前所属实验区域的违规情况进行判断，不仅识别快速，且准确率高。

具体识别过程可以为：采集所属实验区域的视频流图像，并提取出多个视频片段；在每个视频片段中均提取多张关键帧图像，使得每个视频片段形成一个关键帧图像组；利用深度学习网络各关键帧图像组中实验人员的着装和行为进行识别，判断是否存在安全隐患；同时，对实验区域的实验人员的人脸图像进行识别，判断其授权区域是否为当前所处实验区域，若存在安全隐患或实验人员串岗两者中的任一情况，则判定当前存在违规行为。

本实施例还可以通过深度学习网络针对性地对某一实验区域的药品摆放情况和实验设备的使用状态进行识别，以判断药品的存放位置是否违规摆放，实验设备是否违规运行或未及时关闭等，便于对实验室的安全管理，减少安全隐患。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种实验室操作行为智能识别与记录系统，其特征在于，包括：实验计划模块和实验过程记录模块；

所述实验过程记录模块用于对实验人员实验过程的动作、实验设备的参与情况和药品的使用情况进行实时记录，并生成针对当前实验的实际实验操作过程数据；

所述实验计划模块用于录入并存储当前实验的实验计划数据，并将所述实验计划数据与所述实际实验操作过程数据进行对比，自动识别出两者之间不对应的内容。

2.根据权利要求1所述的一种实验室操作行为智能识别与记录系统，其特征在于，所述实验计划模块包括标签生成单元、编制单元、对比单元和异常记录单元；

所述标签生成单元用于根据所述实验计划数据中所涉及到的药品及其他参与实验过程的物品，生成与之对应的唯一的标签；

所述编制单元用于供实验人员按照实验计划的时间节点顺序录入实验计划数据，并将所述标签和需要参与的实验设备信息与所述实验计划数据相关联；

所述对比单元用于在不同的时间节点处，将与当前时间节点对应的所述实验计划数据与当前所述实际实验操作过程数据进行对比，判断二者之间是否存在差异；

所述异常记录单元用于在所述实验计划数据和所述实际实验操作过程数据之间存在差异时，按照时间顺序对具体差异情况进行实时记录和整理，生成异常记录报告。

3.根据权利要求2所述的一种实验室操作行为智能识别与记录系统，其特征在于，所述实验计划模块还包括显示单元和提醒单元；

所述显示单元用于在实验中播放所述实验计划数据，或在实验后播放所述实际实验操作过程数据；

所述提醒单元用于根据所述实验计划数据发出用于提醒实验人员待执行操作步骤的提示信息，并在所述实验计划数据与所述实际实验操作过程数据之间存在差异时，发出警示信息。

4.根据权利要求2所述的一种实验室操作行为智能识别与记录系统，其特征在于，所述实验过程记录模块包括第一图像采集单元、实验设备识别单元、药品识别单元和存储单元；

所述第一图像采集单元安装在实验台上，其用于实时采集实验人员实验过程的实验动作；

所述实验设备识别单元用于采用图像识别方式识别实验人员实验过程中所采用实验设备的类别；

所述药品识别单元用于在药品参与实验前，扫描药品包装上的标签，并根据标签识别出当前参与实验药品的种类；

所述存储单元用于将整个实验过程中实验人员的实验动作视频、实际参与的实验设备信息和实际参与的药品信息进行整合，作为所述实际实验操作过程数据。

5.根据权利要求4所述的一种实验室操作行为智能识别与记录系统，其特征在于，所述对比单元还用于将整个实验过程中任一时间节点下实际参与的实验设备或药品，与该时间节点下所述实验计划数据中计划参与的实验设备或药品进行比对，判断是否存在异常。

6.根据权利要求4所述的一种实验室操作行为智能识别与记录系统，其特征在于，所述实验过程记录模块还包括：称重单元和药品用量整理单元；

所述称重单元还用于在对药品扫描后，并在参与实验前后对当前药品进行称重；

所述药品用量整理单元用于按照药品类别对整个实验过程所有参与药品的用量和参与时间进行整理并存储。

7.根据权利要求6所述的一种实验室操作行为智能识别与记录系统，其特征在于，所述实验过程记录模块还包括药品库单元；

所述药品库单元用于根据药品的使用频次和使用量，对实验室常用药品和易耗品的剩余量进行实时更新。

8.根据权利要求6所述的一种实验室操作行为智能识别与记录系统，其特征在于，所述实验过程记录模块还包括：无线传输单元和实验报告生成单元；

所述无线传输单元用于将相关实验设备的实验数据传输至所述实验报告生成单元；

所述实验报告生成单元用于将当前实验所涉及的药品参与情况、实验设备参与情况和所述实验数据进行汇总和整理，并生成对应当前实验的实验报告。

9.根据权利要求3所述的一种实验室操作行为智能识别与记录系统，其特征在于，还包括权限管理模块；

所述权限管理模块用于识别当前实验人员的身份信息，并根据所述身份信息赋予其使用相关药品和实验设备的权限，并在当前实验人员使用的药品或实验设备超出其自身权限时，控制所述提醒单元发出相应的警示信息。

10.根据权利要求1所述的一种实验室操作行为智能识别与记录系统，其特征在于，还包括实验室违规识别模块和违规信息接收终端；所述实验室违规识别模块包括：多个第二图像采集单元和多个违规识别单元；所述违规识别单元与所述第二图像采集单元一一对应连接；所述违规信息接收终端与各个所述违规识别单元无线连接；

所述第二图像采集单元一一对应安装在各个实验室的各个实验区域的入口位置，用于采集所属实验区域内的图像信息；

所述违规识别单元用于将所属实验区域内的图像信息输入预先训练好的深度学习网络，利用所述深度学习网络判断当前实验人员的授权区域是否与当前所处实验区域相符以及实验人员的当前动作和着装是否与标准动作和着装相符，若任一一项不相符，则判定为存在违规情况；和/或，所述深度学习网络还用于判断实验药品的摆放位置和实验设备的使用状态是否存在违规情况；

所述违规信息接收终端用于实时接收所述违规情况，并按照时间进行存储。

Images