CN112955923A - 用于监测对生物制药产品的制造的设置的方法和系统 - Google Patents
用于监测对生物制药产品的制造的设置的方法和系统 Download PDFInfo
- Publication number
- CN112955923A CN112955923A CN201980075151.4A CN201980075151A CN112955923A CN 112955923 A CN112955923 A CN 112955923A CN 201980075151 A CN201980075151 A CN 201980075151A CN 112955923 A CN112955923 A CN 112955923A
- Authority
- CN
- China
- Prior art keywords
- image
- classifying
- manufacturing
- classifier
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 193
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 134
- 229960000074 biopharmaceutical Drugs 0.000 title claims abstract description 58
- 238000012544 monitoring process Methods 0.000 title claims abstract description 55
- 230000008569 process Effects 0.000 claims abstract description 134
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000010364 biochemical engineering Methods 0.000 claims abstract description 5
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000002347 injection Methods 0.000 claims description 2
- 239000007924 injection Substances 0.000 claims description 2
- 239000000047 product Substances 0.000 description 53
- 238000009434 installation Methods 0.000 description 40
- 239000000463 material Substances 0.000 description 15
- 239000003814 drug Substances 0.000 description 14
- 239000012530 fluid Substances 0.000 description 12
- 230000008901 benefit Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 7
- 238000011282 treatment Methods 0.000 description 7
- 229940079593 drug Drugs 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000004587 chromatography analysis Methods 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000003326 Quality management system Methods 0.000 description 3
- HEMHJVSKTPXQMS-UHFFFAOYSA-M Sodium hydroxide Chemical compound [OH-].[Na+] HEMHJVSKTPXQMS-UHFFFAOYSA-M 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 238000011018 current good manufacturing practice Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000000825 pharmaceutical preparation Substances 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 229910001220 stainless steel Inorganic materials 0.000 description 3
- 239000010935 stainless steel Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000011523 CAR-T cell immunotherapy Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 101150010487 are gene Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000002659 cell therapy Methods 0.000 description 2
- 239000000890 drug combination Substances 0.000 description 2
- 238000009509 drug development Methods 0.000 description 2
- 229940088679 drug related substance Drugs 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 229940127557 pharmaceutical product Drugs 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001954 sterilising effect Effects 0.000 description 2
- 238000004659 sterilization and disinfection Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000010977 unit operation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000013406 biomanufacturing process Methods 0.000 description 1
- 229940126587 biotherapeutics Drugs 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000012864 cross contamination Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940000406 drug candidate Drugs 0.000 description 1
- 238000012362 drug development process Methods 0.000 description 1
- 229940126534 drug product Drugs 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000855 fermentation Methods 0.000 description 1
- 230000004151 fermentation Effects 0.000 description 1
- 238000011194 good manufacturing practice Methods 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229940000673 orphan drug Drugs 0.000 description 1
- 239000002859 orphan drug Substances 0.000 description 1
- 238000007911 parenteral administration Methods 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000011165 process development Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229960005486 vaccine Drugs 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Manufacturing & Machinery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Factory Administration (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本公开涉及用于监测对制造的设置和/或用于对制造进行设置和/或用于在生物制药产品的制造之后进行拆卸的系统和方法(10)。该方法包括：处理(S2，S3，S4)场景的至少一个图像，该场景包括对生物制药产品的制造的设置。至少一个图像的处理包括对至少一个图像执行(S2)第一过程，以用于分类图像中的第一对象，所述第一对象是诸如夹具、泵、阀和/或传感器和/或任何其他生物处理设备之类的装置。第一过程包括识别、定位和分类图像中的第一对象。对至少一个图像执行(S3)第二过程，以用于识别和定位图像中的连接。第二过程包括：采用关联的第二对象分类器来分类每个像素，所述第二对象分类器分类从包括第一对象和连接的编组中选取的第二对象；分出与连接关联的像素；以及识别与第一对象的连接映射。该方法进一步包括形成(S4)编译信息，所述编译信息包括与从第二过程所得到的所识别连接映射以及如由第一过程所识别的第一对象相关的信息。
Description
技术领域
本公开涉及用于监测对生物制药产品的制造的设置（set-up）的基于图像/视频帧的方法。
背景技术
过去十年已经看到由创新生物制药产业所制造和销售的产品的性质中的重大转变。当今的全球生物制药组合（portfolio）反映大分子药物的更大普遍性、个体化或目标产品的数量中的扩大以及许多孤儿病的治疗的兴起。这些发展趋势为生物制药产品提供具有极为有限的生产运行（production run）、高特定制造要求和基因型特定产品。产品组合（product mix）中的进行中转变提供对生产生物制药制造的效率和效能（efficiency andeffectivenes）的持续改进的需要。
诸如例如治疗蛋白、单克隆抗体、疫苗等的生物医药(又称作生物制剂)是通过或者由活细胞所制成的复杂分子。它们通常要求通过灌输或注射的肠胃外投药，由此要求高度专业化制造、特殊存储和操控以及密切控制、高质量制造和分发网络，以确保安全性和效能。还观察到关于孤儿药(即，针对其中患者人口低于200000的疾病的药物)的发展，并且在过去十年存在稳定增加。此外，制造商日益集中于更复杂疾病，对于其存在极少或者没有有效治疗。对于这些疾病的新治疗的特征在于小容量产品。
生物制药之内的另一个重要趋势是个体化医药(即，针对特定患者人群的产品)的出现。随着时间的推移，随着引入患者级个体化医药，制造和产品供应复杂度将可能增加。一般来说，个体化医药要求相关生物制造过程以更小规模并且更接近患者进行。
用于个体化医药的示例是基因和细胞疗法治疗，例如CAR T细胞免疫治疗和再生医疗方式。
生物制药产品可被预计供例如治疗或诊断使用。为了确保充分产品质量以及良好控制和可审计（auditable）生产条件，通常要求和应用cGMP(现行良好制造规范)和QMS(质量管理系统)。GMP处理环境被设计成遵照由控制制药产品的制造和销售的授权和许可的专门机构(例如比如食品和药物管理局FDA)所推荐的指导方针。
这些药物组合趋势促进所制造并且商业销售的产品的数量和复杂度中的增加。另外，生物疗法的上述趋势和快速市场增长还暗示产品进入市场之前在药物开发期间的小生产批次的急剧增加数量，特别是对于临床试验材料的生产。由于药物开发过程一般被表征为‘发展漏斗（development funnel）’，其中与成功和最终批准药物的数量相比，明显更大数量的药物候选经过临床试验。临床试验期间以及正规生产期间的原料药生产要求由制造系统所提供的高安全性和生产量。但是，用于临床试验的原料药生产一般要求制造方法和系统中的甚至更高的灵活性，以适合不同要求和生产协议，但仍然遵守严格cGMP和QMS要求。对于全部生物制药产品经受成本压力的背景，临床制造和药物开发期间的成本降低就批准药物的正规生产而言是同样重要的。因此，提供高生产量的成本有效和安全生产系统需要适应频繁过程变化、过程和设备重新配置以及其他修改。另外，新医药的一些已经增加对更复杂制造过程以及更先进设备的需要。连续和衔接的处理体系（regime）正成为传统批量制造方法的补充或替代，并且可具有总体产品和/或过程质量、效率和生产量或成本方面的优点。
总体上，这些药物组合趋势指示需要具有未损害质量的改进制造创造灵活性，同时创建能够帮助降低成本的运营效率。降低生产成本、增加生产的生产量和质量以及降低安全性问题的一种近期技术发展是将单次使用技术(SUT)用于处理。通过单次使用技术设备，在处理期间与过程流体和药物产品相接触的润湿部件(例如比如流体存储容器、管道、分离设备等)作为消耗品来提供，所述消耗品将被安装和仅用于特定过程，并且此后被处置。SUT消耗品通常在清洁房间环境中被产生、配置和包装，并且在在生物制造过程中使用之前被预先灭菌(例如通过伽马辐照)。与使用不锈钢管道以及不锈钢反应器和容器的传统和固定安装形成对照，SUT设备和消耗品简单地通过在过程内重新布置(活动)设备、安装和更换不同消耗品来提供适合不同过程情形和配置中的更大灵活性。例如，箱仓（tank bin）能够装备有清洁和/或灭菌的SUT流体袋，以便为流体及其处理提供清洁和包含式外壳。使用单次使用技术(SUT)流体操控设备的优点主要在于，当SUT设备仅用于单一药物产品时，消除生产批次与阶段性生产（campaign）之间的交叉污染。SUT设备在使用之后被处置，这能够是在包括多个运行和批次的单个运行、批次或阶段性生产之后。当提供预灭菌或生物负荷控制的SUT设备时，能够避免初始清洁和杀菌(例如通过将流路与氢氧化钠溶液相接触)或灭菌。当将SUT仅用于单个运行或批次时，甚至可省略使用后清洁。通过这些特征，SUT设备提供改进效率、安全性和便利性。
当今，SUT设备可用于全部类型的设备和/或单元操作的大多数，它们之中是用于细胞培养或发酵的生物反应器、用于液体存储的缓冲袋、用于液体传递和填充操作的管道和泵、用于分离的过滤器、色谱柱及相关系统。但是，与采用固定不锈钢安装的传统制造相比，对单次使用技术的适配也暗示生产过程和设施中的材料(即，SUT消耗品)的更高生产量和流量。
此外，要求大量附加操作步骤和操作员交互(工作)，以操控所述材料流量，以及在处理之前和之后安装和去除单次使用消耗品，以及文件证明处理中的材料、材料流量及其使用。与SUT消耗品关联的频繁变化暗示处理管线的新(新鲜)安装将要对制造过程中的每个药物运行、批次或阶段性生产来使用和文件证明。生物制药产业由于上述原因而迅速采用SUT，但是这个适配的特征也在于下列难题的至少一些：
发明内容
本公开的目的是要提供解决方案，所述解决方案设法减轻、缓解或消除本领域中的上述缺陷的一个或多个，并且提供改进生物制药制造。
按照本公开，所述目的通过一种用于监测对制造的设置和/或用于对制造进行设置和/或用于在生物制药产品的制造之后进行拆卸（tear down）的方法来实现。该方法包括处理场景的至少一个图像，该场景包括对生物制药产品的制造的设置，其中至少一个图像的处理包括对至少一个图像执行第一过程，以用于分类图像中的第一对象，所述第一对象是诸如夹具、泵、阀和/或传感器和/或单次使用袋和/或任何其他生物处理设备之类的装置，所述第一过程包括识别、定位（localizing）和分类图像中的第一对象；对至少一个图像执行第二过程，以用于识别图像中的连接，所述第二过程包括采用关联的第二对象分类器来分类每个像素，所述第二对象分类器是用于从包括第一对象和连接的编组中选取的第二对象的分类器；分出（segment out）与连接关联的像素；以及识别与第一对象的连接映射。该方法进一步包括形成编译信息，所述编译信息包括与从第二过程所得到的所识别连接映射以及如由第一过程所识别的第一对象相关的信息。
术语制造在本文中意在被广义地理解，并且还包括过程开发。
术语图像意在还包括视频序列的视频帧。
术语生物制药产品包括任何类型的生物制药产品，包括个体化医药。个体化医药的示例是基因和细胞疗法治疗，例如CAR T细胞免疫治疗和再生医疗方式。
使用用于识别和定位图像内的对象的两个不同过程允许以未损害质量创建灵活性，同时创建能够帮助降低成本的操作效率，其中第一过程集中于识别、定位和分类第一对象并且可能地集中于其状态，以及第二过程集中于识别第一对象之间的连接映射。
伴随这个监测方法的另一个优点在于它是完全非侵入式的。
伴随监测方法的另一个优点在于监测系统是廉价的。
连接可包括柔性连接。连接可包括柔性和/或刚性流体连接。柔性连接可包括管道。
在本发明的不同实施例中，第一过程的识别、定位和分类图像中的第一对象的步骤包括对图像运行深度学习/AI分类器，其中该方法进一步包括采用边界来包围所识别的第一对象的步骤。
在本发明的不同实施例中，采用关联的第二对象分类器来分类每个像素的步骤包括使图像运行通过深度学习/AI像素分类器，以便在像素级识别和定位第二对象。
由此，处理是现场可编程的并且是随时间而自行改进的。
此外，该方法对于许多种类的工作流程是高度可缩放的。
针对灵活工作流程设置对现有基础设施增加高价值，并且还实现防错。
此外，同一算法可用于许多定制要求。
在不同实施例中，将编译信息与正确工作流程方案或者预定义工作流程过程方案进行比较，以检测任何偏差。
关联于特定所选生物制药产品的预定义工作流程过程方案的使用以及和与制造系统的所跟踪用户操作员交互的至少一部分和/或与制造系统的所跟踪操作员交互的结果的至少一部分的比较以未损害质量实现改进制造创造灵活性，同时创建能够帮助降低成本的操作效率。质量在本文中适用于过程的多个或者所有部分，例如安装之前的检验(即，所谓的材料清单BOM的检验，包括用于实现安装设置所需的材料)、安装设置的安装、安装规程、安装设置和安装规程的批准/检验、处理本身以及安装设置的拆卸。
上述所有部分可被包括在上述预定义工作流程过程方案中。可得到检验和文件证明。因此，预定义工作流程过程方案至少包括传统批协议的数据，但是它可进一步包括其他过程，即，如通过以上所述显而易见的扩展批协议。预定工作流程过程方案还可包括批记录的数据，因此包括与批协议/扩展批协议的批准和检验相关的数据。
因此，术语‘批记录’(BR、eBR—电子批记录)以及批协议等效于“预定义工作流程过程方案”。协议是指令，以及记录是作为所执行过程的文件证明和结果的完整协议。
在这个实施例中，监测方法可支持(和/或细化)电子协议和记录，由此允许处理器进行通信，并且在其灵活性、机动性、适应性和学习能力方面是有效的。
可检测如由预定方案所指示的与安装设置的偏差。安装设置可包括安装之前的检验(所谓的材料清单的检验)和/或安装设置的安装和/或安装设置的拆卸。不利地影响最终生物制药产品的与安装设置的偏差可导致关于制造系统不是正确被设置的确定。
此外，可检测如预定方案所指示的与安装流程的偏差。不利地影响最终生物制药产品的与安装规程的偏差可导致关于制造系统不是正确被设置的确定。
此外，然后可记录已知为不利地影响最终生物制药产品的与安装设置和/或安装规程的偏差以及其他偏差。可与所记录偏差关联地记录这样制造的最终生物制药产品的特性。然后可得到不同规程偏差的影响的详细分析，该分析又可用来进一步改进预定方案的安装规程。相应地，这样产生的最终生物制药产品中的偏差甚至可随时间而减少。
监测系统及其与电子工作指令一起工作的方式还允许提供使用产生所组装的最终系统的相同功能性的不同外部装置(例如消耗品)方面的某种灵活性。监测系统允许按照电子批协议来引导操作员通过这个操作。由此，灵活性解决材料采购可变性；该系统能够自学习，并且改进新配置的变化和重复使用期间的电子检验中的指令和自主性。
在不同实施例中，连续执行监测，以用于跟踪任何偏差(例如单次使用工作流程泄漏、中断等)。
在从属权利要求中限定本发明的另外的实施例。
除了上述优点(所述优点自然还可适用于系统和计算机程序产品实施例)之外，本公开还提供改进过程健壮性的优点以及加速纵向扩展到生物制药产品的商业生产的可能性。另外的优点包括增加的灵活性和减少的生产前置时间。
本公开进一步涉及一种计算机程序产品，该计算机程序产品包括至少一个非暂时计算机可读存储介质，所述非暂时计算机可读存储介质具有在其中存储的计算机可执行程序代码指令，其中计算机可执行程序代码指令包括当被执行时配置成执行如上所述方法的程序代码指令。
本公开进一步涉及一种用于监测生物制药产品的制造和/或用于对所述生物制药产品的制造进行设置和/或用于在所述生物制药产品的制造之后进行拆卸的系统，所述系统包括
至少一个图像捕获装置(图像装置)，其布置成捕获场景，该场景包括具有用来制造生物制药产品的能力的制造系统，以及
处理器，其连接到所述至少一个图像捕获装置，并且布置成处理由所述至少一个图像捕获装置所捕获的图像，以跟踪制造系统的状态，
其中处理器被布置成执行如上所述方法。
附图说明
图1是示意图示用于监测对制造的设置和/或用于对制造进行设置和/或用于在生物制药产品的制造之后进行拆卸的方法的示例的流程图。
图2是示意图示图1的方法的第一过程的示例的流程图。
图3是示意图示图1的方法的第二过程的示例的流程图。
图4是图示所形成的编译信息的示例。
图5是图示用于制造系统的监测的监测系统的示例的示意框图。
图6图示包括制造系统和监测系统的系统的示例。
图7图示制造系统的另一个示例以及通过监测系统的示例的使用所提供的编译扩大图像。
图8图示方案，所述方案图示提供符合ISA95标准的制造支持的不同等级。
图9图示对高级工作流程操作和活动的时间线以及与其关联的指令的示例。
具体实施方式
图1公开用于监测对制造的设置和/或用于对制造进行设置和/或用于在生物制药产品的制造之后进行拆卸的方法10的示例。
该方法包括如下步骤：得到S1一个或多个图像，以供在监测对制造的设置和/或对制造进行设置和/或在生物制药产品的制造之后进行拆卸中使用。
所得图像可包括以预定定时或者以预定时间间隔所捕获的图像。所得图像可包括视频帧。
所得图像可包括视场内捕获的图像。所得图像可包括热图像。所得图像可包括三维图像。
当开始生物制药产品的制造时，该过程针对制造系统的类型、配置和安装方面的处理设置以及针对操作参数方面的详细处理体系对最终生物制药产品是重要的。因此，用于对制造进行设置的安装规程可对最终生物制药产品具有影响，因为错误或不完善安装可引起流体泄漏、处理步骤及其结果的失灵或改变。例如通过FDA(食品和药物管理局)所批准的生物制药的生产的监管和/或法律要求都要求例如针对操作员交互和自动过程控制对设备的设置、安装和使用的严格控制和文件证明。操作规程(例如批协议)和记录(例如批记录)是生物制药的开发和生产中的基本概念，包括来自监管机构的批准和监测。所得图像其中还在监测制造的安装的设置以及用于对制造的安装进行设置的规程中是有用的。
该方法包括处理S2、S3、S4场景的所得图像的步骤，该场景包括用于生物制药产品的制造的设置。
所得图像的处理包括对至少一个图像执行S2第一过程，以用于识别、定位和分类图像中的第一对象。第一对象是诸如夹具、泵、阀和/或传感器和/或单次使用袋和/或任何其他生物处理设备之类的装置。第一过程基于图像中的内容来识别和分类所得图像中的第一对象。
第一过程可包括对图像运行第一深度学习/AI分类器。第一深度学习/AI分类器可以是被训练分类器，该被训练分类器被训练成识别、定位和分类图像中的第一对象。被训练分类器在一个示例中是诸如卷积神经网络CNN之类的人工神经网络。
所得图像的处理包括对至少一个图像执行S3第二过程，以用于识别和定位图像中的连接。第二过程涉及分类相应所得图像中的每个像素，并且将第二对象分类关联到被识别为形成图像中的第二对象的组成部分的那些像素。第二对象包括连接以及又如由第一过程所识别的第一对象。因此，第二过程分类第二对象。被关联到相应像素的第二对象分类从包括第一对象和连接的编组中选取。此外，第二过程识别与第一对象的连接映射。
连接的至少一些将第一对象相互连接和/或连接到其他设备。连接可包括柔性连接。连接可包括柔性和/或刚性流体连接。柔性连接可包括管道。
第二过程可包括对图像运行第二深度学习/AI分类器，以分类图像中的相应像素。第二分类器可以是被训练分类器，该被训练分类器被训练成识别、定位和分类图像中的第二对象。被训练分类器在一个示例中是诸如卷积神经网络CNN之类的人工神经网络。
该方法进一步包括形成S4编译信息的步骤，所述编译信息包括与从第二过程所得到的所识别连接映射相关的信息以及与如由第一过程所识别的第一对象相关的信息。形成S4编译信息的步骤可包括在同一图像中集成（integrate）从第二过程所得到的连接映射以及如由第一过程所识别的第一对象，以得到图示对制造的设置的状态的显示。
所形成的编译信息在一个示例中包括采取显示器形式的第一对象。所形成的编译信息则可包括与原本未被监测的传感器/设备相关的数据。因此，可通过使用所形成的编译信息中存在的显示读数来得到传感器/设备数据。可连续得到显示读数，并且相应地更新编译信息。作为补充或替代，显示读数可由系统用于例如制造系统控制。
该方法可进一步包括将编译信息与正确工作流程进行比较S5以确定是否正确安装设置的步骤。
详细来说，编译信息与正确工作流程的比较可包括将编译信息与涉及所选生物制药产品的预定义工作流程过程方案进行比较，并且基于该比较来确定是否满足工作流程过程方案所设置的至少一个预设标准。然后在任何差错的情况下可引发标志。
预定工作流程过程方案可定义与第一对象的正确连接映射以及将被相应第一对象所满足的预设标准并且可能定义用于正确安装的连接。
特别是，可将包括显示读数的编译信息与正确工作流程进行比较，以确定是否正确安装设置。因此，如上所述的显示读数也可用于基于该比较来确定是否满足工作流程过程方案所设置的至少一个预设标准中。
该方法可进一步包括提供S6如下指示的步骤：对于与被确定为满足由工作流程过程方案所设置的至少一个预设标准的第一对象的那些管映射和/或被确定为满足由工作流程过程方案所设置的至少一个预设标准的第一对象的那些安装来检验过程。可使用信息的第二来源(例如视觉检查、来自其他传感器的传感器数据等)来执行检验。
所形成的编译信息可连同检验一起被存储。过程中使用的图像也可随着作为过程文件证明的组成部分的检验被存储。
对于其中不能够检验比较结果的图像，那些图像可被保存以供在分类器的将来训练中使用。
监测方法适合于监测对制造的设置和/或对制造进行设置和/或在多种生物制药产品的制造之后进行拆卸。监测方法适合于监测小容量运行，所述小容量运行要求频繁变更，并且可需要设备重新配置和更新。
此外，如上所述，该方法适合于监测使用具有增加复杂度的制造过程的制造，和/或可使用更先进的设备。
使用识别和定位图像内的对象的两个不同过程允许以未损害质量创建灵活性，同时创建能够帮助降低成本的操作效率，其中第一过程集中于识别、定位和分类第一对象以及可能集中于其状态，以及第二过程集中于识别和定位第一对象之间的连接映射。
如通过以上所述显而易见，还有可能作为过程文件证明的组成部分自动集成图像以便例如当在过程中未检测手动差错时供将来参考和研究。
又如通过以上所述显而易见，分类中的差错可用作训练数据点，以用于在进一步扩大情况下的将来改进。过程允许用户基于其特定设备进行训练，并且在工作流程中使用它们。
在图2中，图示第一过程对至少一个图像的执行S2以用于分类图像中的第一对象。第一过程形成用于监测对制造的设置和/或用于对制造进行设置和/或用于在生物制药产品的制造之后进行拆卸的方法的组成部分，具有如相对于图1所公开的至少一些特性。
第一对象是诸如夹具和/或泵和/或阀和/或传感器和/或单次使用袋和/或属于用于生物制药产品的制造的生物制药制造系统的任何其他生物处理设备之类的装置。
第一过程包括在识别、定位和分类第一对象之前将图像重新缩放S22到低分辨率。重新缩放可在图像的区域的提取之前或之后执行。
第一过程包括识别、定位和分类S23、S24、S27图像中的第一对象。在第一过程中，识别、定位和分类S23、S27图像中的第一对象的(一个或多个)步骤可包括对图像运行深度学习/AI分类器。
识别、定位和分类S23、S24、S27图像中的第一对象可包括采用边界来包围S24所识别的第一对象的步骤。
在第一对象的识别、定位和分类之后，可确定所识别和所分类的对象需要进一步分类。
然后可基于所包围边界来裁剪S25图像的感兴趣的第一对象。
该方法然后可包括下列步骤：提高S26感兴趣的第一对象的分辨率；以及对高分辨率图像运行S27分类器，以提取另外的细节。
关于所识别和所分类的第一对象是否需要进一步分类的确定可基于下列中任一个来确定：
要求更多细节的第一对象包括例如夹具，其中可要求夹具的状态。
关于所识别和所分类的第一对象是否需要进一步分类和后续提高的确定可在多个步骤中执行。因此，可得到多个提高等级。
例如，可执行到其中可读取采取显示器形式的第一对象的等级的提高。这允许得到与原本未被监测的传感器/设备相关的数据。因此，可通过使用显示读数来得到传感器/设备数据。可连续得到显示读数。
对于其中识别和分类不正确或者其中识别和分类是正确的低概率的图像，那些图像例如可用于自学习。自学习可涉及监测对制造的设置和/或对制造进行设置和/或在生物制药产品的制造之后进行拆卸的连续改进。例如，自学习可被馈送有关于照相装置视图和/或照相装置分辨率和/或照相装置类型的更多数据。
除了一个图像捕获基础设施之外的附加/更多图像捕获基础设施可被部署，以便使监测系统(例如3D照相装置、热照相装置等)更加健壮。这些特征能够被内置于一个成像装置中，或者可安装独立成像装置。
对于其中已经识别所识别和所分类的第一对象需要进一步分类的图像，那些图像可被保存以供在分类器的将来训练中使用。
对于其中已经识别所识别和所分类的第一对象甚至对提高的图像部分也需要进一步分类的图像，那些图像可单独被保存，以供在分类器的将来训练中使用和/或用于如何得到图像方面的改进。
在图3中，图示第二过程对至少一个图像的执行S3以用于分类图像中的第二对象。第二过程形成用于监测对制造的设置和/或用于对制造进行设置和/或用于在生物制药产品的制造之后进行拆卸的方法的组成部分，具有如相对于图1所公开的至少一些特性。
第二对象包括例如通过如针对图2所述的第一过程所识别的第一对象。第二对象进一步包括连接器。
第二过程S3可包括如下步骤：在采用关联的第二对象分类器分类图像的每个像素之前，将图像重新缩放S32到低分辨率。
第二过程包括采用关联的第二对象分类器来分类S33每个像素。采用关联的第二对象分类器来分类S33每个像素的步骤可包括使图像运行通过深度学习/AI像素分类器，以便在像素级识别和定位第二对象。
第二过程可进一步包括分出S34与连接关联的像素。
第二过程S3可进一步包括形成围绕第一对象的边界S36。
第二过程S3可进一步包括确定S37通过第二过程所分类的第一对象是否对应于通过第一过程所分类的第一对象(如针对图2所述)。在第一和/或第二过程中围绕第一对象形成边界S36时，关于通过第二过程所分类的第一对象是否对应于通过第一过程所分类的第一对象的确定S37可基于所述边界内的图像部分进行。
当确定通过第二过程所分类的第一对象的至少一个没有对应于通过第一过程进行的分类时，可执行下列步骤：
基于概率进行关于分类的判定S38a，和/或
通知S38b用户进行干预，和/或
存储S38c图像，以供在例如使用AI的将来自学习和/或例如使用AI的分类器的训练中使用。
在图4中，图示所形成的编译信息的示例。所形成的编译信息包括与从第二过程所得到的所识别连接映射5以及如由第一过程所识别的第一对象2相关的信息。
基于制造系统的第一扩大图像7来形成所形成的编译信息。基于如针对图2所公开的第一过程来形成第一扩大图像7。第一扩大图像7包括第一对象2和连接3。采用围绕第一对象2的边界1´来扩大第一图像。
基于制造系统的第二扩大图像8进一步形成所形成的编译信息。基于如针对图3所公开的第二过程来形成第二扩大图像。第二扩大图像包括从第二过程所得到的所识别连接映射5以及如在第二过程中识别和分类的第一对象的指示4。第二扩大图像不一定是扩大的实际捕获图像。第二扩大图像可以是所识别连接映射5和第一对象的指示4的任何表示。
在图4的示例中，所形成的编译信息被表示为编译的扩大图像6。在编译的扩大图像6中，第一对象被显露并且通过边界1来标记。边界可与如针对图2所公开的第一过程中形成的边界1´重合。
在编译的扩大图像6中，匹配第二扩大图像8的指示4和第一扩大图像7的第一对象2，以及相对于第一对象2/边界1正确地定位连接映射5。
在所图示的示例中，编译的扩大图像6的边界1对于按照预定工作流程过程方案正确安装的那些第一对象2通过实线来表示。预定工作流程过程方案可定义与第一对象的正确连接映射以及将被相应第一对象所满足的预设标准并且可能定义用于正确安装的连接。在所图示的示例中，边界1对于尚未按照预定工作流程过程方案正确安装的那些第一对象2通过虚线来表示。每个边界可进一步被关联到概率值。例如，如果第一对象是按照预定工作流程方案应当闭合的阀，则当已经确定该阀闭合时，基于图像与预定工作流程过程方案的比较，可提供确定是正确的概率值。这个概率值可在编译的扩大图像中示出。可在阀的位置或者在阀的边界的位置处示出概率值。类似地，如果已经确定阀开启(即使它按照预定工作流程过程方案应当闭合)，则可按照同样方式来提供这个确定是正确的概率值。此外，当阀为正确时，也可提供与第一对象的概率分类相关的概率值。
在图5中，图示了系统300，该系统300包括用于监测生物制药产品的制造和/或用于对所述生物制药产品的制造进行设置和/或用于在所述生物制药产品的制造之后进行拆卸的监测系统100。监测系统100可被布置成监测具有用来制造所述生物制药产品的能力的制造系统200。
监测系统100包括至少一个图像捕获装置140，所述至少一个图像捕获装置140被布置成捕获包括制造系统200的场景。至少一个图像捕获装置120是至少一个照相装置。至少一个照相装置可被布置成记录视场内的图像。至少一个照相装置可包括热照相装置。至少一个照相装置可包括三维照相装置。至少一个照相装置可包括摄像机，该摄像机例如被布置成捕获视场、IR或NIR内的图像，和/或被布置成拍摄三维图像。
监测系统100进一步包括一个或多个处理器120以及存储器110。处理器120和/或存储器被连接到至少一个照相装置。处理器被布置成处理由照相装置所捕获的图像，以跟踪制造系统200的状态。
处理器被布置成处理场景的至少一个图像，所述场景包括用于生物制药产品的制造的设置或制造系统。至少一个图像的处理包括对至少一个图像执行第一过程，以用于分类图像中的第一对象，所述第一对象是诸如夹具、泵、阀和/或传感器和/或单次使用袋和/或任何其他生物处理设备之类的装置，所述第一过程包括识别、定位和分类图像中的第一对象。至少一个图像的处理包括对至少一个图像(或者其副本)执行第二过程，以用于识别和定位图像中的连接。第二过程包括：采用关联的第二对象分类器来分类每个像素，所述第二对象分类器是用于从包括第一对象和管道的编组中选取的第二对象的分类器；分出与连接关联的像素；以及识别与第一对象的连接映射。该处理进一步包括形成编译信息，所述编译信息包括与从第二过程所得到的所识别连接映射以及如由第一过程所识别的第一对象相关的信息。
处理器可被布置成执行如针对图1、图2和图3的描述中例示的处理。
图6图示包括制造系统200和监测系统100的系统300的示例。监测系统100包括图像捕获装置140、处理器120和存储器110。监测系统具有覆盖具有第一部分和连接的制造系统的部分的视野。
监测系统100可以是小尺寸的，并且因此易于安装到包含制造系统200的环境中。在所图示的示例中，监测系统100在一个单元中形成。这只是示例。可在不同位置处形成监测系统100的不同部分。例如，图像捕获装置可被放置在一个位置处，而处理器和存储器被放置在另一个位置处。不同装置则可通过无线或者通过有线进行通信。
图7图示用于使用用于监测更灵活制造系统200的监测系统的示例。上图片图示制造系统。下图片图示由监测系统所形成的编译的扩大图像6。
在所图示的示例中，编译的扩大图像6包括与从第二过程所得到的所识别连接映射5以及如由第一过程所识别的第一对象2相关的信息。与如由第一过程所识别的相应第一对象2有关的信息在所图示的示例中包括第一对象的标注（mark-up）。标注可通过边界1来包围。标注/边界1可被定位在相应对象2处或者与其相邻。标注/边界应当相对于关联的第一对象2来定位，使得标注/边界1被关联到哪一个第一对象是清楚的。如图所图示，箭头可从标注/边界指向关联的第一对象，或者反之亦然。标注可包括指示第一对象的分类(例如泵、工作流程连接、显示器、压力传感器、温度传感器、夹具)的书面信息。标注可进一步包括与所分类的第一对象相关的状态，例如夹具闭合。
在所图示的示例中，第一对象2通过标记2´来标识，所述标记2´至少部分包围第一对象2。
因此，监测系统可支持监测很灵活并且甚至不是如此构造的制造系统的状态。
这图示如本文所定义的可能使用人工智能的监测能够如何用于防错工作流程、传感器缩放性/添加、灵活性、过程优化和/或连续监测。
图8图示方案，所述方案图示提供符合ISA95标准的制造支持的不同等级。第0级图示物理生产过程。在第1级中，定义物理生产过程的组件(例如传感器、泵等)。通过传感器来感测物理过程，并且可操纵生产过程。第2级涉及自动化系统。第2级可被定义为工厂或单元操作级。在第2级中，得到过程的监测和监督控制和自动控制。通过实现第1级和第2级，实现制造控制。制造控制涉及基本控制、监督控制、过程感测和过程操纵。
第3级是制造执行系统MES级。在所图示的示例中，在第3级处，批记录被控制成产生预期最终产品。批记录预计用于工作流程和/或配方控制。可保持批记录，和/或可优化生产过程。如本文所公开的预定工作流程过程方案的使用允许主要在这个等级的制造支持，即，批记录的控制、执行和文件证明。为了充分利用如本文所述的监测系统，优选地以电子方式来管理批记录，并且工作流程指令以及例如由传感器对电子批记录(eBR)的输入和反馈以电子方式来传递。这个第3级可表示制造操作管理级。这个等级覆盖分派生产和/或详细生产调度和/或可靠性保证。
但是，可在第2级处定义工作流程的至少部分。这将相对于图9进一步论述。
第4级是企业资源规划ERP级。第4级是业务规划和后勤级。这个等级涉及工厂生产调度和商业管理。
图9图示用于预定生物制药产品的制造的方案的示例。
该方案在所图示的示例中包括用于预定生物制药产品的制造的高级工作流程80。在所图示的示例中，高级工作流程80开始于材料传递和/或BOM检查81。此后，执行用于制造系统的安装83的安装步骤。此后，检验安装83。于是执行可能采用手动交互的自动处理84。此后，执行用于取样手动活动的取样步骤85。此后，清洁制造的场景86。在这个步骤中，处置单次使用产品。步骤可被添加和/或从这个高级工作流程80中去除。
此外，该方案可包括用于预定生物制药产品的制造的指令90、100。指令包括例如标准操作流程SOP和/或电子批记录eBR。指令可属于第2级或第3级或者提供符合(国际自动化学会的)ISA95标准制造支持的不同等级中的组合，如相对于图7所述。
在所图示的示例中，第3级指令90包括用于管线清洁91的指令。这个指令在特性上前导或者可被理解为材料传递和/或BOM检查81的初始化。
在所图示的示例中，第3级指令包括用于消耗品和/或设备和/或流体和/或牌子（etiquette）的另外的指令92。这个指令在特性上属于材料传递和/或BOM检查81和/或安装82。
在所图示的示例中，第3级指令包括用于袋安装和/或袋填充的另外的指令93。这个指令在特性上属于安装82和/或检验83。
在所图示的示例中，第3级指令包括用于流体处理之前的最终安装的另外的指令94。这个指令在特性上属于检验83和/或自动处理84。
在所图示的示例中，第3级指令包括用于流体样本的收集的另外的指令95。这个指令在特性上属于自动处理84和/或取样手动活动85。
在所图示的示例中，第3级指令包括用于产品操控的另外的指令96。这个指令在特性上属于取样手动活动85。
在所图示的示例中，第3级指令包括用于消耗品的处置的另外的指令97。消耗品可具有SUT类型(单次使用技术)。这个指令在特性上属于清洁86。
此外，在所图示的示例中，第2级指令100包括用于流路安装(例如色谱系统)的指令101。这个指令在特性上属于材料传递和/或BOM检查81和/或安装82，并且可由第3级eBR作为标准操作流程(SOP)来调用或引用，例如由色谱系统及其控制系统或者不同工作流程管理系统来定义、执行、文件证明和维护。
此外，在所图示的示例中，第2级指令100包括用于袋到色谱系统的连接的指令102。这个指令在特性上属于安装82和/或检验83。这个指令、其执行和文件证明再次可由第3级eBR作为标准操作流程(SOP)来调用或引用。
此外，在所图示的示例中，第2级指令100包括用于过程自动化和/或数据记录的执行的指令103。这个指令在特性上属于自动处理84。
此外，在所图示的示例中，第2级指令100包括用于文件证明和/或数据管理的指令104。这个指令可包括手动取样活动85和/或清洁活动86或者作为其组成部分。
用于预定生物制药产品的制造的这个方案通过上述示例是显而易见的。高级工作流程80和/或指令90、100可被添加或去除。指令可进一步适当地选择成属于第2级或第3级。第2级活动可被理解为SOP(标准操作流程)，所述SOP可由独立电子工作流程系统来管理。这个第2级工作流程管理系统可提供指示、指导和校正操作员、文件证明结果、提供智能感测、学习和工作流程改进能力的上述特征。第2级工作流程管理系统可由仪器或系统(例如色谱系统及其控制软件)或者由单独的独立系统和软件来提供。
如本文所述的监测系统和方法可被集成在如针对图8和图9所公开的基础设施中。在这种基础设施中集成监测系统/方法将是很简单的。
如本文所述的分类器和像素分类器在特性上是对图像所执行的数学函数。
Claims (15)
1.一种用于监测对制造的设置和/或用于对制造进行设置和/或用于在生物制药产品的制造之后进行拆卸的方法(10)，所述方法包括：
处理(S2，S3，S4)场景的至少一个图像，所述场景包括对所述生物制药产品的制造的所述设置，
其中所述至少一个图像的所述处理包括
对所述至少一个图像执行(S2)第一过程，以用于分类所述图像中的第一对象，所述第一对象是诸如夹具、泵、阀和/或传感器和/或单次使用袋和/或任何其他生物处理设备之类的装置，所述第一过程包括识别、定位和分类(S23，S24)所述图像中的所述第一对象，
对所述至少一个图像执行(S3)第二过程，以用于识别和定位所述图像中的连接，所述第二过程包括
采用关联的第二对象分类器来分类(S33)每个像素，所述第二对象分类器是用于从包括所述第一对象和所述连接的编组中选取的第二对象的分类器，
分出(S34)与所述连接关联的像素，以及
识别(S35)与所述第一对象的连接映射，以及
形成(S4)编译信息，所述编译信息包括与从所述第二过程所得到的所识别连接映射以及如由所述第一过程所识别的所述第一对象相关的信息。
2.如权利要求1所述的方法，其中，所述连接包括注入管道之类的至少一个柔性连接和/或至少一个非柔性连接。
3.如前述权利要求中的任一项所述的方法，其中，在所述第一过程中，识别、定位和分类(S23)所述图像中的所述第一对象的步骤包括对所述图像运行深度学习/AI分类器，其中所述方法进一步包括采用局部边界来包围(S24)所识别的第一对象的步骤。
4.如权利要求3所述的方法，其中，所述第一过程(S2)对所述至少一个对象的所述执行以用于分类所述图像中的第一对象包括
提取(S21)具有包括一个所述第一对象的至少预定概率的所述图像的区域，其中运行(S23)所述分类器的步骤仅对所提取区域执行，以识别、定位和分类所提取区域的所述第一对象。
5.如前述权利要求中的任一项所述的方法，其中，第一过程(S2)的所述执行以用于分类所述图像中的对象包括
在识别、定位和分类第一对象之前将所述图像重新缩放(S22)到低分辨率，以及
当在所述第一对象的识别和分类之后，确定所识别和所分类的对象需要进一步分类，
基于所包围边界来裁剪(S25)所述图像的感兴趣的第一对象，
提高(S26)所述分辨率，以及
对高分辨率图像运行(S27)所述分类器，以提取另外的细节。
6.如前述权利要求中的任一项所述的方法，其中，采用关联的第二对象分类器来分类(S33)每个像素的步骤包括使所述图像运行通过深度学习/AI像素分类器，以便在像素级识别和定位所述第二对象。
7.如前述权利要求中的任一项所述的方法，其中，所述第二过程(S3)进一步包括确定(S37)由所述第二过程所分类的所述第一对象是否对应于由所述第一过程所分类的所述第一对象。
8.如权利要求7所述的方法，其中，所述第二过程(S3)进一步包括在确定(S37)由所述第二过程所分类的所述第一对象是否对应于由所述第一过程所分类的所述第一对象之前围绕所述第一对象形成边界(S36)。
9.如权利要求7或8所述的方法，其中，当确定由所述第二过程所分类的所述第一对象的至少一个没有对应于由所述第一过程进行的分类时，执行下列步骤：
基于概率进行关于分类的判定(S38a)，和/或
通知(S38b)用户进行干预，和/或
存储(S38c)所述图像以供在将来自学习中使用。
10.如前述权利要求中的任一项所述的方法，其中，所述第二过程(S3)进一步包括如下步骤：在采用所述关联的第二对象分类器分类所述图像的每个像素之前，将所述图像重新缩放(S32)到低分辨率。
11.如前述权利要求中的任一项所述的方法，其中，将所述编译信息与正确工作流程方案进行比较(S5)，以检测任何偏差。
12.如前述权利要求中的任一项所述的方法，其中，形成(S4)编译信息的步骤包括在同一图像中集成从所述第二过程所得到的所述连接器映射以及如由所述第一过程所识别的所述第一对象，以得到图示对制造的所述设置的状态的显示。
13.如前述权利要求中的任一项所述的方法，其中，连续执行所述监测，以用于跟踪任何偏差，例如单次使用工作流程泄漏、中断等。
14.一种计算机程序产品，所述计算机程序产品包括至少一个非暂时计算机可读存储介质，所述非暂时计算机可读存储介质具有在其中存储的计算机可执行程序代码指令，其中所述计算机可执行程序代码指令包括配置成当被执行时执行如权利要求1-13中的任一项所述的方法的程序代码指令。
15.一种用于监测生物制药产品的制造和/或用于对所述生物制药产品的制造进行设置和/或用于在所述生物制药产品的制造之后进行拆卸的系统(100)，所述系统包括
至少一个图像捕获装置(140)，所述至少一个图像捕获装置(140)布置成捕获场景，所述场景包括具有用来制造生物制药产品的能力的制造系统，以及
处理器(120)，所述处理器(120)连接到所述至少一个图像捕获装置(140)，并且布置成处理由所述至少一个图像捕获装置所捕获的图像，以跟踪所述制造系统的状态，
其中所述处理器（120）被布置成执行如权利要求1-13中的任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN201841043018 | 2018-11-15 | ||
| IN201841043018 | 2018-11-15 | ||
| PCT/EP2019/081054 WO2020099424A1 (en) | 2018-11-15 | 2019-11-12 | Method and system for monitoring a set-up for manufacture of a biopharmaceutical product |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112955923A true CN112955923A (zh) | 2021-06-11 |
Family
ID=68581796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980075151.4A Pending CN112955923A (zh) | 2018-11-15 | 2019-11-12 | 用于监测对生物制药产品的制造的设置的方法和系统 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11966988B2 (zh) |
| EP (1) | EP3881269A1 (zh) |
| JP (1) | JP7463007B2 (zh) |
| KR (1) | KR20210091159A (zh) |
| CN (1) | CN112955923A (zh) |
| WO (1) | WO2020099424A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2612967A (en) * | 2021-11-15 | 2023-05-24 | Biotech Res Laboratories Ltd | Computer vision system for a biological assay |
| CN116128272B (zh) * | 2023-04-13 | 2023-07-07 | 北京意胜生物科技有限公司 | 一种药物的生产流程监管平台 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090204250A1 (en) | 2008-02-08 | 2009-08-13 | General Electric Company | System and method for integrating rfid sensors in manufacturing system comprising single use components |
| JP5301239B2 (ja) | 2008-08-09 | 2013-09-25 | 株式会社キーエンス | 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体 |
| JP2010211623A (ja) | 2009-03-11 | 2010-09-24 | Brother Ind Ltd | 作業支援システム |
| JP2011070562A (ja) | 2009-09-28 | 2011-04-07 | Bio Chromato Co Ltd | 製造ライン管理支援装置、方法及びプログラム |
| DE102009052670B4 (de) | 2009-11-12 | 2017-10-05 | Sartorius Stedim Biotech Gmbh | Begasungsvorrichtung für Bioreaktoren |
| US8565500B2 (en) * | 2010-06-14 | 2013-10-22 | Siemens Medical Solutions Usa, Inc. | Automatic patient and device recognition and association system |
| JP6233924B2 (ja) | 2013-10-23 | 2017-11-22 | 株式会社シーエムプラス | 移動機器を使用する製造工程における工程管理方法 |
| US20160244710A1 (en) | 2013-10-30 | 2016-08-25 | Emd Millipore Corporation | Modular Aeration Device |
| US9571904B2 (en) | 2013-11-21 | 2017-02-14 | Ge Healthcare Bio-Sciences Ab | Systems and methods for status indication in a single-use biomedical and bioprocess system |
| US9591273B1 (en) * | 2014-02-17 | 2017-03-07 | The Boeing Company | Method and system for monitoring and verifying a manufacturing process |
| JP5826367B1 (ja) | 2014-12-25 | 2015-12-02 | 因幡電機産業株式会社 | 工程監視装置 |
| JP2017005383A (ja) | 2015-06-05 | 2017-01-05 | 株式会社東芝 | 監視制御システム |
| US10083378B2 (en) | 2015-12-28 | 2018-09-25 | Qualcomm Incorporated | Automatic detection of objects in video images |
| KR102139609B1 (ko) | 2015-12-29 | 2020-07-30 | 이엠디 밀리포어 코포레이션 | 바이오-제조 공정을 시행하는 대화형 시스템 및 방법 |
| JP6679313B2 (ja) | 2016-01-05 | 2020-04-15 | 横河電機株式会社 | 工程進捗管理システム、製造現場監視システム、コンピュータプログラムおよび記録媒体 |
| WO2017196821A1 (en) * | 2016-05-09 | 2017-11-16 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for the industrial internet of things |
| EP4375778A1 (en) | 2018-08-24 | 2024-05-29 | Cytiva Sweden AB | Monitoring system and method for biopharmaceutical products |
-
2019
- 2019-11-12 WO PCT/EP2019/081054 patent/WO2020099424A1/en unknown
- 2019-11-12 CN CN201980075151.4A patent/CN112955923A/zh active Pending
- 2019-11-12 KR KR1020217014315A patent/KR20210091159A/ko unknown
- 2019-11-12 US US17/292,203 patent/US11966988B2/en active Active
- 2019-11-12 EP EP19804697.1A patent/EP3881269A1/en active Pending
- 2019-11-12 JP JP2021526632A patent/JP7463007B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020099424A1 (en) | 2020-05-22 |
| EP3881269A1 (en) | 2021-09-22 |
| JP7463007B2 (ja) | 2024-04-08 |
| US11966988B2 (en) | 2024-04-23 |
| JP2022507568A (ja) | 2022-01-18 |
| KR20210091159A (ko) | 2021-07-21 |
| US20210390320A1 (en) | 2021-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7408211B2 (ja) | バイオ医薬製品のための監視システムおよび方法 | |
| US10089850B2 (en) | Systems and methods for status indication in a single-use biomedical and bioprocess system | |
| JP6063967B2 (ja) | 細胞画像取得および遠隔モニタリングシステム | |
| US9550970B2 (en) | Culture systems, apparatus, and related methods and articles | |
| TWI495813B (zh) | 自動化無菌採樣工作站及其樣本採集裝置 | |
| CN112955923A (zh) | 用于监测对生物制药产品的制造的设置的方法和系统 | |
| CN102471750B (zh) | 细菌分类装置及细菌检查预处理装置 | |
| US20170138924A1 (en) | Automated cell culture system and corresponding methods | |
| WO2015059799A1 (ja) | 自動培養装置 | |
| WO2020018725A1 (en) | Automatized, programmable, high-throughput culture and analysis systems and methods | |
| Khalapyan et al. | Robotic System for Blood Serum Aliquoting Based on a Neural Network Model of Machine Vision | |
| US9892508B2 (en) | Apparatus and method for treatment of diagnostic information relating to samples of microbiological material | |
| CN114341647A (zh) | 实验室平台设置验证的系统和方法 | |
| Dziubek et al. | Exploring the ViDiDetect Tool for Automated Defect Detection in Manufacturing with Machine Vision | |
| Bhatt et al. | A Blueprint For a Cost-Efficient IoT-Enabled Biotech Lab | |
| US11952564B2 (en) | Closed cell culturing and harvesting system | |
| Scott | Trends in | |
| Jancarczyk et al. | Comparative Analysis of Measurement Tools in the Cognex D900 Vision System | |
| Saeedi et al. | CageView: A Smart Food Control and Monitoring System for Phenotypical Research In Vivo | |
| WO2014011406A1 (en) | Liquid collection methods and apparatuses for detecting virus deactivation | |
| Devi et al. | FULLY AUTOMATED MONITORING SYSTEM FOR VIAL MANUFACTURING |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |