CN112926433B - 基于头戴显示设备的生物制药安全监控方法与系统 - Google Patents

Abstract

本申请涉及一种基于头戴显示设备的生物制药安全监控方法与系统，通过头戴显示设备拍摄工位上的场景照片，可以使得处理服务器集群后台可以分析场景照片，得到工位上正在进行的当前操作工序。通过头戴显示设备拍摄工位上操作人员的动作照片，可以使得处理服务器集群后台可以分析动作照片，得到工位上正在进行的当前子工序。通过进一步判断当前子工序是否存在违规操作，可以实时的对出现异常的子工序进行监控，解放监控人员的双手。通过在确定当前子工序合规后，通过将场景图片和动作图片转化为结构化数据并存储入数据库服务器，可以实现将各个操作工序的子工序的生产执行数据进行实时有效正确的记录。

Description

基于头戴显示设备的生物制药安全监控方法与系统

技术领域

本申请涉及新一代信息技术领域，特别是涉及一种基于头戴显示设备的生物制药安全监控方法与系统。

背景技术

生产执行系统，英文是Manufacturing Execution Sytem，简称MES系统，是生产型企业核心的系统之一，处于三层体系结构的中间层，主要面向下面各制造工厂(车间)级，因此工艺特点非常明显。它根据ERP系统下达的生产订单或者长期计划，通过作业计划编制、作业调度、物料平衡、成本核算、质量管理等过程来组织生产，呈报ERP系统数据。

在生物制药行业中，生产执行系统负责记录制药企业在生产活动中的各个重要环节的数据和操作流程，目前传统的安全监控方法是通过操作人员手动录入各个环节的生产执行数据的方式。通过手动录入的数据来监控操作流程的安全性。

然而，这种传统安全监控方法具有一个很大的问题，就是录入数据的准确性差。操作人员在执行完设备操作之后才开始在系统中录入相关的作业操作，数据的实时性无法保证，操作人员通过事后回忆记录生产操作，难免出现偏差，没有达到实时记录的效果。同时常规的生产执行数据录入完全依赖于人员的手动录入，数据的有效性无法保证。

发明内容

基于此，有必要针对传统基于头戴显示设备的生物制药安全监控方法无法实现实时录入数据，导致录入数据的准确性差的问题，提供一种基于头戴显示设备的生物制药安全监控方法与系统。

本申请提供一种基于头戴显示设备的生物制药安全监控方法，所述方法包括：

向头戴显示设备发送第一拍摄指令，并获取头戴显示设备拍摄的场景图片；

将所述场景图片输入至操作工序模型中，基于所述场景图片分析得出当前操作工序；一个操作工序包括多个子工序；

向头戴显示设备发送第二拍摄指令，并获取头戴显示设备拍摄的动作图片；

将动作图片输入至操作工序模型中，基于所述动作图片分析得出当前子工序；

判断所述当前子工序是否存在违规操作；

若所述当前子工序不存在违规操作，则确定当前子工序合规；

将所述场景图片和所述动作图片转化为结构化数据并存储入数据库服务器；返回所述向头戴显示设备发送第二拍摄指令的步骤。

本申请还提供一种基于头戴显示设备的生物制药安全监控系统，包括：

多个工位，每一个工位设置一个客户端；

负载服务器，与每一个客户端通信连接；

处理服务器集群，与所述负载服务器通信连接，用于前述内容提及的基于头戴显示设备的生物制药安全监控方法；

数据库服务器，与所述处理服务器集群通信连接；

Redis服务器，与所述处理服务器集群通信连接；

每一个工位还设置有一个头戴显示设备，所述头戴显示设备与所述负载服务器通信连接。

本申请涉及一种基于头戴显示设备的生物制药安全监控方法与系统，通过头戴显示设备拍摄工位上的场景照片，可以使得处理服务器集群后台可以分析场景照片，得到工位上正在进行的当前操作工序。通过头戴显示设备拍摄工位上操作人员的动作照片，可以使得处理服务器集群后台可以分析动作照片，得到工位上正在进行的当前子工序。通过进一步判断当前子工序是否存在违规操作，可以实时的对出现异常的子工序进行监控，解放监控人员的双手。通过在确定当前子工序合规后，通过将场景图片和动作图片转化为结构化数据并存储入数据库服务器，可以实现将各个操作工序的子工序的生产执行数据进行实时有效正确的记录。

附图说明

图1为本申请一实施例提供的基于头戴显示设备的生物制药安全监控方法的流程示意图；

图2为本申请一实施例提供的基于头戴显示设备的生物制药安全监控方法系统。

附图标记：

10-工位；100-客户端；200-负载服务器；300-处理服务器集群；

400-数据库服务器；500-Redis服务器；600-头戴显示设备

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供一种基于头戴显示设备的生物制药安全监控方法。需要说明的是，本申请提供的基于头戴显示设备的生物制药安全监控方法应用于任何类型的生物制药流程中。

此外，本申请提供的基于头戴显示设备的生物制药安全监控方法不限制其执行主体。可选地，本申请提供的基于头戴显示设备的生物制药安全监控方法的执行主体可以为一个处理服务器集群300。具体地，本申请提供的基于头戴显示设备的生物制药安全监控方法的执行主体可以为所述处理服务器集群300中的一个或多个处理服务器。

如图1所示，在本申请的一实施例中，所述基于头戴显示设备的生物制药安全监控方法包括如下S100至S800：

S100，向头戴显示设备600发送第一拍摄指令，并获取头戴显示设备600拍摄的场景图片。

具体地，本实施例中，每一个工位10上的操作人员可以佩戴有一个头戴显示设备600，用于对操作人员的操作是否规范进行监控。可选地，一个工位10可以执行一个操作工序，一个操作工序包括多个子工序。

当操作人员在工位10上开始执行操作时，头戴显示设备600开启。此时，头戴显示设备600向处理服务器集群300发送启动信号。与头戴显示设备600通信连接的处理服务器集群300，在接受到所述启动信号后，可以自动向头戴显示设备600发送第一拍摄指令。

可选地，所述头戴显示设备600可以为一种AR眼镜。头戴显示设备600可以设置有前置摄像头。头戴显示设备600在接收第一拍摄指令后，通过前置摄像头拍摄至少一幅场景图片回传给处理服务器集群300。

S200，将所述场景图片输入至操作工序模型中，基于所述场景图片分析得出当前操作工序。一个操作工序包括多个子工序。

具体地，所述场景图片可以显示操作人员执行操作的场景，可以理解为展示操作人员执行操作的环境情况。

处理服务器集群300将场景图片输入至操作工序模型。操作工序模型可以为传统机器学习模型，也可以为深度神经网络模型。

操作工序模型可以预先进行过训练。训练的方式可以是预先向操作工序模型中输入大量的具有仪器，设备，药品和试剂中的一种或多种场景特征的场景样本图片，以组建操作工序模型内部的场景特征数据库。这些场景样本图片都是生物制药流程中可能会出现的场景图片。本步骤S200中提及的操作工序模型是训练后的操作工序模型。本步骤S200中，将场景图片输入训练后的操作工序模型后，操作工序模型可以基于场景图片分析得出当前操作工序。

可选地，操作工序模型可以分析场景图片中出现的仪器，设备，药品和试剂中的一种或多种，可以分析得出当前操作工序。例如，一张场景图片中出现了空瓶，量杯，搅拌棒和配药秤，那么将该场景图片输入至操作工序模型后，操作工序模型可以依据可以分析得出当前操作工序为配药工序。

S300，向头戴显示设备600发送第二拍摄指令，并获取头戴显示设备600拍摄的动作图片。

具体地，在确定操作工序后，本步骤的目的是确认操作工序下具体的子工序。

一个操作工序包括多个子工序。一个工位10上的操作人员会执行不同的子工序，直至整个操作工序结束，然后开始新的一个相同的操作工序。例如，工位10只执行操作工序A，那么操作人员会按顺序依次执行子工序A1，子工序A2，子工序A3和子工序A4，在4个子工序全部执行完毕后，再从子工序A1开始，一直循环执行。

为了确认每一个子工序是否操作规范，以及记录每一个子工序的生产执行数据，首先需要确定当前进行的子工序。本步骤中，处理服务器集群300向头戴显示设备600发送第二拍摄指令。

头戴显示设备600在接收第二拍摄指令后，拍摄至少一幅动作图片回传给处理服务器集群300。

当前，本步骤中，可以依据多个子工序的平均操作时间，设定预设时间段。可选地，每隔预设时间段，向头戴显示设备600发送第二拍摄指令，以到达以一个固定的频率拍摄动作图片。所述预设时间段可以为2秒。

S400，将所述动作图片输入至操作工序模型中，基于所述动作图片分析得出当前子工序。

具体地，同场景图片，动作图片的分析，也需要预先采集大量的动作图片的动作样本图片作为训练数据对操作工序模型进行预先训练，生成操作工序模型内部的动作特征数据库。这些动作样本图片都是生物制药流程中可能会出现的动作图片。本步骤S400中提及的操作工序模型是训练后的操作工序模型。本步骤S400中，处理服务器集群300将动作图片输入至训练后的操作工序模型。操作工序模型可以基于动作图片分析得出当前子工序。

可选地，操作工序模型可以分析动作图片中出现的手势，动作，使用的器皿等等，可以分析得出当前子工序。例如，场景图片中出现了用搅拌棒搅拌混合药粉的动作，那么可以分析得出当前子工序为配药工序中的搅拌子工序。

S500，判断所述当前子工序是否存在违规操作。

具体地，在确定了当前子工序后，处理服务器集群300可以进一步对当前子工序进行分析，判断当前子工序是否存在违规操作。本步骤中，处理服务器集群300可以基于生物制药流程的生产执行系统，即基于生物制药流程的MES系统设置的操作规范，以判断当前子工序是否存在违规操作

S600，若所述当前子工序不存在违规操作，则确定当前子工序合规。

具体地，若当前子工序不存在违规操作，则确定当前子工序合规。执行后续步骤。可选地，若当前子工序存在违规操作，则进行工序报警，终止后续步骤。

S800，将场景图片和动作图片转化为结构化数据并存储入数据库服务器400。进一步地，存储结构化数据完毕后返回所述S300。

具体地，结构化数据是高度组织和整齐格式化的数据，是可以放入表格和电子表格中的数据类型，适合存储。本步骤中，处理服务器集群300可以自动对场景图片和动作图片解析，将图片转化为结构化数据，存储入数据库服务器400。生产执行数据就可以通过这种方式得到实时的存储。

本实施例中，通过头戴显示设备拍摄工位10上的场景照片，可以使得处理服务器集群300后台可以分析场景照片，得到工位10上正在进行的当前操作工序。通过头戴显示设备拍摄工位10上操作人员的动作照片，可以使得处理服务器集群300后台可以分析动作照片，得到工位10上正在进行的当前子工序。通过进一步判断当前子工序是否存在违规操作，可以实时的对出现异常的子工序进行监控，解放监控人员的双手。通过在确定当前子工序合规后，通过将场景图片和动作图片转化为结构化数据并存储入数据库服务器400，可以实现将各个操作工序的子工序的生产执行数据进行实时有效正确的记录。

在本申请的一实施例中，所述S200包括如下S210至S260：

S210，将所述场景图片输入至操作工序模型中。

具体地，本实施例是基于场景图片分析得出当前操作工序的具体步骤。首先执行本步骤，将场景图片输入至操作工序模型中。场景图片可以是一张，也可以是多张。

S220，控制操作工序模型对所述场景图片进行分析，获取所述场景图片中的多个场景特征。

具体地，操作工序模型可以为传统机器学习模型，也可以为深度神经网络模型。操作工序模型通过预先训练，可以实现对场景图片的分析。训练的方式可以是预先向操作工序模型中输入大量的具有仪器，设备，药品和试剂中的一种或多种场景特征的场景样本图片，以组建操作工序模型内部的场景特征数据库。

训练过后，通过向训练后的操作工序模型输入场景图片，操作工序模型即可自动分析场景图片，输出场景图片中的多个场景特征。场景特征可以包括但不仅限场景图片中出现的仪器，设备，药品和试剂中的一种或多种。

S230，控制操作工序模型选取本地存储的一个预设操作工序，以及与预设操作工序对应的多个预设场景特征。

具体地，本地存储有多个预设操作工序。每一个预设操作工序包括多个预设场景特征。多个预设操作工序可以预先在MES系统中录入。MES系统中存储的数据可以存放在数据库服务器400中，处理服务器集群300可以进行调取。

S240，将所述场景图片中的多个场景特征和多个预设场景特征进行比对，依据公式1计算场景图片和预设操作工序的第一特征匹配度。

其中，K为第一特征匹配度。X为场景图片中与预设场景特征相同的场景特征数量。Y为场景图片中场景特征的总数。

具体地，经过S240的计算，可以得出场景图片和预设操作工序的第一特征匹配度。第一特征匹配度越高，代表场景图片和预设操作工序越匹配。

S250，返回所述S230，直至所述场景图片和所有预设操作工序的第一特征匹配度均计算完毕，得到多个第一特征匹配度。

具体地，例如，场景图片和配料工序的第一特征匹配度是80％，和过滤工序的第一特征匹配度是30％，和搅拌工序的第一特征匹配度是20％，和制片工序的第一特征匹配度是3％，这样就得到了4个第一特征匹配度。

S260，将多个第一特征匹配度依照从大到小的顺序排序。选取最大第一特征匹配度，将最大第一特征匹配度对应的预设操作工序作为当前操作工序。

具体地，承接上个步骤列举的例子，可以得出场景图片和配料工序的第一特征匹配度最高，为80％，则可以确定拍摄的场景图片所呈现的当前操作工序是配料工序。

本实施例中，通过将场景图片输入至操作工序模型中，通过操作工序模型计算场景图片和预设操作工序的第一特征匹配度，可以实现根据场景图片自动识别并确定当前操作工序，免去了设置监控人员用肉眼分辨操作工序的麻烦，且识别速度快，大大降低了人力成本。

在本申请的一实施例中，所述S400包括如下S410至S460：

S410，将所述动作图片输入至操作工序模型中。

S420，控制操作工序模型对所述动作图片进行分析，获取动作图片中的多个动作特征。

S430，控制操作工序模型读取本地存储的与当前操作工序对应的多个预设子工序。选取一个预设子工序，以及与预设子工序对应的多个预设动作特征。

S440，比对所述动作图片中的多个动作特征和多个预设动作特征，依据公式2计算动作图片和预设子工序的第二特征匹配度。

其中，W为第二特征匹配度。U为动作图片中与预设动作特征相同的动作特征数量。L为动作图片中动作特征的总数。

S450，返回所述S430，直至所述动作图片和所有预设子工序的第二特征匹配度均计算完毕，得到多个第二特征匹配度。

S460，将多个第二特征匹配度依照从大到小的顺序排序，选取最大第二特征匹配度，将最大第二特征匹配度对应的预设子工序作为当前子工序。

具体地，本实施例是基于动作图片分析得出当前子工序的具体步骤。本实施例中S410至S460的工作原理与前述内容提及的S210至S260的工作原理类似，此处不再赘述。区别在于，首先，本实施例是依据动作特征，计算动作图片和预设子工序的第二特征匹配度，而不是依据场景特征计算。其次，由于前述S210至S260已经确定了当前操作工序，步骤S430读取的是当前操作工序对应的多个预设子工序。

所述动作特征，可以包括但不仅限于动作图片中出现的手势，动作，以及使用的器皿中的一种或多种。

因此，本实施例可以根据动作图片中的场景特征，分析出动作图片适配的子工序。例如，前述步骤S260中，场景图片和配料工序的第一特征匹配度最高，为80％，则可以确定拍摄的场景图片所呈现的当前操作工序是配料工序。而配料工序有K1，K2，K3和K4，一共是4个预设子工序，因此，步骤S430读取到K1，K2，K3和K4一共4个预设子工序。

经步骤S460的计算，所述动作图片和K1的第二特征匹配度最高，为95％，则可以认为拍摄的动作图片所呈现的当前子工序是配料工序下的K1子工序。

本实施例中，通过先确定大的操作工序，再将动作图片输入至操作工序模型中，通过操作工序模型计算动作图片和预设子工序的第二特征匹配度，可以实现根据场景图片自动识别并确定操作人员执行的是操作工序下的具体哪一个当前子工序，可以免去了设置监控人员用肉眼分辨子工序的麻烦，且识别速度快，大大降低了人力成本。

在本申请的一实施例中，在所述S100之前，所述基于头戴显示设备的生物制药安全监控方法还包括如下步骤S010至步骤S020：

S010，依据生物制药流程生成多个操作规范数据表，每一个操作规范数据表对应制药流程中的一个操作工序。

S020，将多个操作规范数据表存储于数据库服务器400。

具体地，本实施例可以和生物制药流程的生产执行系统(英文是ManufacturingExecution Sytem，简称MES系统)进行耦合。首先，可以通过依据生产执行系统中生物制药流程的各个操作工序的操作规范，操作顺序，操作注意等等数据生成多个操作规范数据表。每一个操作规范数据表对应制药流程中的一个操作工序。然后通过数据接口将多个操作规范数据表导入数据库服务器400。然后在将MES系统搭载在处理服务器集群300中。

例如，处理服务器集群300搭载有生物制药流程的MES系统，那么处理服务器集群300可以基于生物制药流程的MES系统，生成多个操作规范数据表，通过数据接口将多个操作规范数据表导入数据库服务器400。

本实施例中，通过依据生物制药流程生成多个操作规范数据表，实现了将生产执行系统与头戴显示设备600进行了耦合，可以实现一句生产执行系统的规范，自动实现对操作人员在制药作业过程中的指导与监控。

在本申请的一实施例中，所述S800包括如下S810至S840：

S810，将所述场景图片和所述动作图片转化为结构化数据。所述结构化数据包括动作图片的拍摄时间节点。

具体地，在步骤S600之后，已经确定当前子工序合规，本步骤可以将场景图片和动作图片进行解析，转化为结构化数据，便于实时存储生产执行数据。

S820，创建已执行子工序数据表。将结构化数据置入所述已执行子工序数据表。

具体地，结构化数据是高度组织和整齐格式化的数据，是可以放入表格和电子表格中的数据类型，适合存储。因此，可以将结构化数据整理入执行子工序数据表。

S830，生成当前子工序的工序序号标签和工序内容标签。将所述已执行子工序数据表、所述工序序号标签、所述工序内容标签和所述动作图片的拍摄时间节点建立映射关系。并将所述已执行子工序数据表、所述工序序号标签、所述工序内容标签和所述动作图片的拍摄时间节点相对应的存储于数据库服务器400中。

具体地，工序序号标签的设置是为了为已执行子工序数据表打上标记，记录当前子工序是在哪一次操作工序下执行的。例如，A代表搅拌工序，当前子工序是称量子工序，称量子工序的工序序号标签为A1，则表明这是第一次执行搅拌工序下的称量子工序。当前子工序的工序序号标签为A2，则表明这是第二次执行搅拌工序下的称量子工序。

工序内容标签的设置是为了记录当前子工序的具体工序内容，比如称量子工序。

建立映射关系的目的是为了后续提取数据的时候方便回溯查询。只要以拍摄时间节点为索引在数据库服务器400搜索，就可以查询在该拍摄时间节点下，操作人员具体执行了哪一个操作子工序，工序序号是多少，工序内容是什么。例如，在搅拌工序A下，称量子工序的内容标签是W，混合子工序的内容标签是M。

可以理解，第一次执行搅拌工序下的称量子工序，可以表示为A1-W，第二次执行搅拌工序下的称量子工序，可以表示为A2-W。第一次执行搅拌工序下的混合子工序可以表示为A1-M。

S840，返回所述S300。

具体地，完成数据的存储后，返回步骤S300开始下一次动作图片的拍摄。当然整基于头戴显示设备的生物制药安全监控系统可以间歇性的休息1至2秒。

本实施例中，通过将场景图片和动作图片转化为结构化数据，并设置工序序号标签和工序内容标签，对结构化数据打上标签，方便了后续提取数据时进行回溯查询。

在本申请的一实施例中，所述S500还包括如下S510至S580：

S510，获取所述动作图片的拍摄时间节点，将所述动作图片的拍摄时间节点作为当前拍摄时间节点。

具体地，本实施例是违规操作判定的具体步骤，需要用到处理服务器集群300从数据库服务器400回溯查询的功能。

S520，以当前拍摄时间节点为索引，从数据库服务器400中获取与当前拍摄时间节点对应的已执行子工序数据表、工序序号标签和工序内容标签。

具体地，已执行子工序数据表、工序序号标签和工序内容标签的含义前述已经做出过说明，此处不再赘述。

S530，从数据库服务器400中获取当前拍摄时间节点的前一个拍摄时间节点对应的工序序号标签。

具体地，本步骤的目的是判断当前子工序是否处于正确的子工序顺序上。操作人员很有可能由于经验不足或其他原因，导致执行子工序的顺序产生错误。为了知晓当前子工序是否处于正确的子工序顺序上，需要先知晓上一个执行完毕的操作子工序是什么。因此，本步骤中，处理服务器集群300从数据库服务器400中获取当前拍摄时间节点的前一个拍摄时间节点对应的工序序号标签。

S540，判断当前拍摄时间节点对应的工序序号标签，是否与当前拍摄时间节点的前一个拍摄时间节点对应的工序序号标签相同。

具体地，例如，搅拌工序的工序序号标签是A，有三个子工序，分别为称重(内容标签为W)，混合(内容标签为M)，搅拌(内容标签为S)。例如，当前拍摄时间节点对应的工序序号标签是A2，内容标签是W。前一个拍摄时间节点对应的工序序号标签是A1，内容标签为S。工序序号标签不同，但是都有A，代表之前执行的一个子工序和当前执行的子工序是属于同一个操作工序的，都归属于搅拌工序，但是不属于同一批次，A1是第一次执行搅拌工序，A2是第二次执行搅拌工序。此时是前一个子工序刚好是搅拌工序的最后一个子工序搅拌子工序完成了，当前子工序是新的一次搅拌工序的第一个子工序称重子工序刚刚开始。那么这种情况下，可以不进行子工序顺序是否规范的判定，默认认为是不同批次的操作工序的自然过渡。

又例如，当前拍摄时间节点对应的工序序号标签是A1，代表搅拌工序，内容标签是W，代表称重子工序。前一个拍摄时间节点对应的工序序号标签是B1，代表配药工序。内容标签是D，代表干燥子工序。这个例子中，工序序号标签也不同，之前执行的一个子工序和当前执行的子工序是不属于同一个操作工序的。A1第一次执行搅拌工序，B1是第一次执行配料工序中。此时表明，是前一个子工序刚好是配药工序的最后一个子工序-干燥子工序完成了，当前子工序是搅拌工序的第一个子工序即将执行。那么这种情况下，可以不进行子工序顺序是否规范的判定，默认认为是不同类型操作工序的自然过渡。

当然，以上两种情况都是当前拍摄时间节点对应的工序序号标签，与当前拍摄时间节点的前一个拍摄时间节点对应的工序序号标签，不相同时的一种解决办法，就是自动认定为自然过渡。虽然是有误差会出现的实施例，例如，当前拍摄时间节点对应的工序序号标签是C1，前一个拍摄时间节点对应的工序序号标签是A1，本来应该是A-B-C的顺序，但是工序A执行完后，跳到了工序C的第一个子工序，没有执行工序B，这就不应当判定为自然过渡，而是应该进一步分析操作工序的规范性是否出问题。

但是，由于这种工序序号标签不同的条件下的违规操作是比较严重的，出现这种违规操作还是小概率事件，面对这种突发情况，可以通过其他方式解决，可选地，可以通过监控人员发现这种突发情况下的违规操作时，实时向头戴显示设备600发送报警信号的方式实现。这种认定自然过渡的方式，结合出现误差实时报警的方式，可以大大节省判断当前子工序是否存在违规操作的分析时间。

S550，若当前拍摄时间节点对应的工序序号标签，与当前拍摄时间节点的前一个拍摄时间节点对应的工序序号标签相同，则进一步从数据服务器中获取与当前操作工序对应的操作规范数据表。

具体地，例如，当前拍摄时间节点对应的工序序号标签是A1，前一个拍摄时间节点对应的工序序号标签是A1，就代表工序序号标签相同，之前执行的一个子工序和当前执行的子工序是既又属于同一个批次的，又属于同一个操作工序的，都是搅拌工序的一个子工序，且都是第一次执行搅拌工序中的一个子工序。但是也只是知道操作工序是相同的，是搅拌工序，无法知晓内容是什么，即具体的子工序是什么，需要后续去确认。

由于在同一批次中发生，自然可以进行子工序顺序的判断。此时需要从数据服务器中获取与当前操作工序对应的操作规范数据表。

S570，则依据操作规范数据表和当前拍摄时间节点对应的工序内容标签判断当前子工序是否存在违规操作，执行后续S600。

具体地，违规操作包括动作不规范、加入试剂或药品的重量有误、使用的药品量具有误、未佩戴口罩和防护镜中的一种或多种。

本实施例中，通过判断当前拍摄时间节点对应的工序序号标签，是否与当前拍摄时间节点的前一个拍摄时间节点对应的工序序号标签相同，并在标签相同的情况下，依据操作规范数据表和当前拍摄时间节点对应的工序内容标签判断当前子工序是否存在违规操作，实现了对违规操作的准确与快速的判定。

本申请的一实施例中，在S570之前，所述S500还包括如下S561至S563：

S561，依据操作规范数据表和当前拍摄时间节点对应的工序内容标签，判断当前子工序是否处于正确的子工序顺序上。

具体地，本步骤就是子工序的确认，工序内容标签记载了子工序具体是什么。操作规范数据表记录了子工序的执行顺序。执行顺序出现错误，则认定当前子工序不处于正确的子工序顺序上。例如在同一批次的搅拌工序上，应当是先执行称重子工序，再执行混合子工序，最后执行搅拌子工序，如果出现顺序颠倒，或者是一个子工序重复执行了两次，就是子工序顺序上的错误，通过这个步骤可以自动进行识别与判定。

S563，若当前子工序处于正确的子工序顺序上，则进一步依据操作规范数据表和当前拍摄时间节点对应的工序内容标签判断当前子工序是否存在违规操作，即执行后续S570。

具体地，如果子工序的顺序是对的，进一步判断子工序执行过程中是否存在违规操作，本步骤需要依据操作规范数据表和当前拍摄时间节点对应的工序内容标签判断。

S563，若当前子工序不处于正确的子工序顺序上，则进行工序报警，终止后续步骤。

具体地，若存在违规操作，同样进行工序报警，终止后续步骤。

本实施例中，通过先判断当前子工序是否处于正确的子工序顺序上，再判断当前子工序是否存在违规操作，可以实时的对出现异常的子工序进行双重监控，解放监控人员的双手，及时发现操作人员的各种各样的违规操作。

在本申请的一实施例中，所述工序报警的步骤具体包括如下S910至S920：

S910，生成工序报警消息，将工序报警消息发送至头戴显示设备600。

具体地，工序报警消息可以及时的显示于头戴显示设备600的显示界面上。例如，当头戴显示设备600为AR眼镜时，工序报警消息可以以窗口弹出的方式显示在AR眼镜的镜片之上，以提示操作人员及时停止当前的违规操作并检查错误。

当然，也可以通过报警灯或者报警音的方式在头戴显示设备上进行报警，以提示操作人员，还可以显示在当前工位的客户端100的显示屏上。

S920，将工序报警消息发送至与当前子工序对应的工位10的客户端100。

具体地，每一个工位10上具有一个客户端100。客户端100可以存储报警的记录，也可以显示报警信息。

本实施例中，通过生成工序报警消息，将工序报警消息发送至头戴显示设备600，实现了对违规操作人员的及时提醒，无需监控人员实地监控。

在本申请的一实施例中，在S800之前，所述基于头戴显示设备的生物制药安全监控方法，还包括如下S710至S730：

S710，获取与当前子工序对应的设备实时运行参数，将设备实时运行参数存储于数据库服务器400中。

具体地，每一个工位上都设置了至少一个生物制药流程中工位对应的操作工序所需使用的设备。在当前子工序不存在违规操作之后，还需要检测各个设备的设备实时运行参数是否异常。工位10上设置的各个设备可以通过接口将当前子工序执行完毕后，产生的设备实时运行参数传输至数据库服务器400中进行存储。至于设备产生的一些不重要的数据，例如产生的垃圾cookie数据，并不关注的设备数据，可以存储至Redis服务器500上，待参数异常性验证完毕后自动删除。这些设备可以是生物制药流程中的一些必要设备。

S720，将设备实时运行参数与数据库服务器400中的标准参数进行比较，判断设备实时运行参数是否存在异常情况。

具体地，若设备实时运行参数不存在异常情况，则直接执行后续步骤S800。

S730，若设备实时运行参数存在异常情况，则进行参数报警。

具体地，参数报警的工作原理同工序报警的工作原理，也是可以通过报警消息的形式及时的显示于头戴显示设备600的显示界面上，也可以显示在客户端100的显示屏中，此处不再赘述。

在本申请的一实施例中，在每一个操作子工序执行前，由于操作工序已经依据场景图片的分析判断确定完毕，处理器服务器集群300可以将操作工序中各个子工序的操作规范以文字或图片的形式发送至头戴显示设备600，以指导操作人员进行正确的操作。

头戴显示设备600设置有语音识别装置，可以自动识别操作人员发出的语音，操作人员可以通过语音控制头戴显示设备600的显示界面的切换，以浏览操作规范。

当然，操作人员也可以在任意时间通过语音调取操作规范的文字或图片。例如，操作人员是刚入职的员工，可以通过头戴显示设备600调取操作规范，根据操作规范进行操作。

本实施例中，在当前子工序不存在违规情况(即合规)之后，通过对产生的设备实时运行参数的异常检测，实现了对生物制药流程安全性的全面，完整性的监控。

本申请还提供一种基于头戴显示设备的生物制药安全监控系统。

如图2所示，在本申请的一实施例中，所述基于头戴显示设备的生物制药安全监控系统，包括多个工位10，多个客户端100、负载服务器200、处理器服务器集群300、数据库服务器400、Redis服务器500和多个头戴显示设备600。

每一个工位10设置一个客户端100和一个头戴显示设备600。所述负载服务器200与每一个客户端100通信连接。所述负载服务器200还与每一个头戴显示设备600通信连接。所述处理服务器集群300与所述负载服务器200通信连接。所述数据库服务器400与所述处理服务器集群300通信连接。所述Redis服务器500与所述处理服务器集群300通信连接。所述处理服务器集群300用于执行前述内容提及的基于头戴显示设备的生物制药安全监控方法。

具体地，所述基于头戴显示设备的生物制药安全监控系统所在的厂房内可以设置有多个工位10。每一个工位10上设置有一个客户端100。所述客户端100可以为PC(personalcomputer，个人计算机)。所述客户端100可以具有一个显示屏，所述客户端100用于当处理器服务器集群300判定工位上操作人员执行的生物制药流程中的当前子工序存在违规操作时，接收处理器服务器集群300发送的报警信息。报警信息可以包括文字内容，通过客户端100的显示屏显示。报警信息也可以包括报警音，通过客户端100的扬声器发出报警音。

所述客户端100还可以内置MES系统的控制界面软件，数据库服务器可以存储MES系统的业务数据。这些业务数据都是各种生物制药流程的业务数据。可以通过MES系统随时浏览生物制药流程的业务数据，也可以通过客户端100预先制定生产计划。

每一个工位上不但设置有一个客户端100，还设置有一个头戴显示设备600。每一个工位上的操作人员佩戴所述头戴显示设备600。所述头戴显示设备600可以拍摄场景图片和动作图片，前述内容已经阐述过场景图片和动作图片的作用，此处不再赘述。

所述处理服务器集群300可以包括多个处理服务器。负载服务器200可以与客户端100的处理器通过wifi网络和API接口连接。wifi网络桥接API接口。负载服务器200还与处理服务器集群300通过wifi网络或有线网络，和API接口连接。和负载服务器200的作用是作为数据传输的中转站。在执行前述内容提及的基于头戴显示设备的生物制药安全监控方法时，客户端100和处理服务器集群300之间的数据传输，头戴显示设备600和处理服务器集群300之间的数据传输，都通过负载服务器200统一分发数据和制定数据传输的位置，这样可以减轻处理服务器集群300的处理压力和负载，提高处理服务器集群300的扩容性。

数据库服务器400用于存储操作规范数据表。数据库服务器400还用于用于存储已执行子工序数据表、工序序号标签、工序内容标签和动作图片的拍摄时间节点，以及上述已执行子工序数据表、工序序号标签、工序内容标签和动作图片的拍摄时间节点之间的映射关系，方便后续提取数据时进行回溯查询。

一些不重要的数据，例如产生的垃圾数据，安全监控方向并不关注的设备数据，流程信息数据，固化信息数据(可以包括权限信息数据)可以存储至Redis服务器500上，待参数异常性验证完毕后自动删除。

以上所述实施例的各技术特征可以进行任意的组合，各方法也并不做执行顺序的限制，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于头戴显示设备的生物制药安全监控方法，其特征在于，所述方法包括：

S100，向头戴显示设备发送第一拍摄指令，并获取头戴显示设备拍摄的场景图片；

S200，将所述场景图片输入至操作工序模型中，基于所述场景图片分析得出当前操作工序；一个操作工序包括多个子工序；所述S200包括：

S210，将所述场景图片输入至操作工序模型中；

S220，控制操作工序模型对所述场景图片进行分析，获取所述场景图片中的多个场景特征；

S230，控制操作工序模型选取本地存储的一个预设操作工序，以及与预设操作工序对应的多个预设场景特征；

S240，将所述场景图片中的多个场景特征和多个预设场景特征进行比对，依据公式1计算所述场景图片和预设操作工序的第一特征匹配度；

其中，K为第一特征匹配度，X为所述场景图片中与预设场景特征相同的场景特征数量，Y为所述场景图片中场景特征的总数；

S250，返回所述S230，直至所述场景图片和所有预设操作工序的第一特征匹配度均计算完毕，得到多个第一特征匹配度；

S260，将多个第一特征匹配度依照从大到小的顺序排序，选取最大第一特征匹配度，将最大第一特征匹配度对应的预设操作工序作为当前操作工序；

S300，向头戴显示设备发送第二拍摄指令，并获取头戴显示设备拍摄的动作图片；

S400，将所述动作图片输入至操作工序模型中，基于所述动作图片分析得出当前子工序；所述S400包括：

S410，将所述动作图片输入至操作工序模型中；

S420，控制操作工序模型对所述动作图片进行分析，获取所述动作图片中的多个动作特征；

S430，控制操作工序模型读取本地存储的与当前操作工序对应的多个预设子工序，选取一个预设子工序，以及与预设子工序对应的多个预设动作特征；

S440，比对所述动作图片中的多个动作特征和多个预设动作特征，依据公式2计算所述动作图片和预设子工序的第二特征匹配度；

其中，W为第二特征匹配度，U为所述动作图片中与预设动作特征相同的动作特征数量，L为所述动作图片中动作特征的总数；

S450，返回所述S430，直至所述动作图片和所有预设子工序的第二特征匹配度均计算完毕，得到多个第二特征匹配度；

S460，将多个第二特征匹配度依照从大到小的顺序排序，选取最大第二特征匹配度，将最大第二特征匹配度对应的预设子工序作为当前子工序；

S500，判断所述当前子工序是否存在违规操作；

S600，若所述当前子工序不存在违规操作，则确定所述当前子工序合规；

S800，将所述场景图片和所述动作图片转化为结构化数据并存储入数据库服务器；返回所述S300。

2.根据权利要求1所述的基于头戴显示设备的生物制药安全监控方法，其特征在于，在所述S100之前，所述方法还包括：

S010，依据生物制药流程生成多个操作规范数据表，每一个操作规范数据表对应生物制药流程中的一个操作工序；

S020，将多个操作规范数据表存储于数据库服务器。

3.根据权利要求2所述的基于头戴显示设备的生物制药安全监控方法，其特征在于，所述S800包括：

S810，将所述场景图片和所述动作图片转化为结构化数据；所述结构化数据包括所述动作图片的拍摄时间节点；

S820，创建已执行子工序数据表，将所述结构化数据置入所述已执行子工序数据表；

S830，生成当前子工序的工序序号标签和工序内容标签，将所述已执行子工序数据表、所述工序序号标签、所述工序内容标签和所述动作图片的拍摄时间节点建立映射关系，并将所述已执行子工序数据表、所述工序序号标签、所述工序内容标签和所述动作图片的拍摄时间节点相对应的存储于数据库服务器中；

S840，返回所述S300。

4.根据权利要求3所述的基于头戴显示设备的生物制药安全监控方法，其特征在于，所述S500包括：

S510，获取所述动作图片的拍摄时间节点，将所述动作图片的拍摄时间节点作为当前拍摄时间节点；

S520，以当前拍摄时间节点为索引，从数据库服务器中获取与当前拍摄时间节点对应的已执行子工序数据表、工序序号标签和工序内容标签；

S530，从数据库服务器中获取当前拍摄时间节点的前一个拍摄时间节点对应的工序序号标签；

S540，判断当前拍摄时间节点对应的工序序号标签，是否与当前拍摄时间节点的前一个拍摄时间节点对应的工序序号标签相同；

S550，若当前拍摄时间节点对应的工序序号标签，与当前拍摄时间节点的前一个拍摄时间节点对应的工序序号标签相同，则进一步从数据服务器中获取与当前操作工序对应的操作规范数据表；

S570，依据操作规范数据表和当前拍摄时间节点对应的工序内容标签判断当前子工序是否存在违规操作，执行后续S600。

5.根据权利要求4所述的基于头戴显示设备的生物制药安全监控方法，其特征在于，在所述S570之前，所述S500还包括：

S561，依据操作规范数据表和当前拍摄时间节点对应的工序内容标签，判断当前子工序是否处于正确的子工序顺序上；

S562，若当前子工序处于正确的子工序顺序上，则进一步执行后续S570；

S563，若当前子工序不处于正确的子工序顺序上，则进行工序报警，终止后续步骤。

6.根据权利要求5所述的基于头戴显示设备的生物制药安全监控方法，其特征在于，所述进行工序报警具体包括：

S910，生成工序报警消息，将所述工序报警消息发送至头戴显示设备；

S920，将所述工序报警消息发送至与当前子工序对应的工位的客户端。

7.根据权利要求6所述的基于头戴显示设备的生物制药安全监控方法，其特征在于，在所述S800之前，所述方法还包括：

S710，获取与当前子工序对应的设备实时运行参数，将所述设备实时运行参数存储于数据库服务器中；

S720，将所述设备实时运行参数与数据库服务器中的标准参数进行比较，判断所述设备实时运行参数是否存在异常情况；

S730，若所述设备实时运行参数存在异常情况，则进行参数报警。

8.一种基于头戴显示设备的生物制药安全监控系统，其特征在于，包括：

多个工位，每一个工位设置一个客户端；

负载服务器，与每一个客户端通信连接；

处理服务器集群，与所述负载服务器通信连接，用于执行权利要求1-7中任意一项所述的基于头戴显示设备的生物制药安全监控方法；

数据库服务器，与所述处理服务器集群通信连接；

Redis服务器，与所述处理服务器集群通信连接；

每一个工位还设置有一个头戴显示设备，所述头戴显示设备与所述负载服务器通信连接。

Images