CN116507716A - 自动泡沫检测 - Google Patents

自动泡沫检测 Download PDF

Info

Publication number
CN116507716A
CN116507716A CN202180072325.9A CN202180072325A CN116507716A CN 116507716 A CN116507716 A CN 116507716A CN 202180072325 A CN202180072325 A CN 202180072325A CN 116507716 A CN116507716 A CN 116507716A
Authority
CN
China
Prior art keywords
image
container
class
foam
liquid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180072325.9A
Other languages
English (en)
Inventor
乔纳斯·奥斯特约斯特
延斯·马图什奇克
罗伯特·索尔纳
里卡德·肖格伦
克里斯托弗·埃德隆
大卫·詹姆斯·波拉德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sedolistim Data Analysis Co
Original Assignee
Sedolistim Data Analysis Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sedolistim Data Analysis Co filed Critical Sedolistim Data Analysis Co
Publication of CN116507716A publication Critical patent/CN116507716A/zh
Pending legal-status Critical Current

Links

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/02—Means for regulation, monitoring, measurement or control, e.g. flow regulation of foam
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M27/00—Means for mixing, agitating or circulating fluids in the vessel
    • C12M27/02—Stirrer or mobile mixing elements
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48—Automatic or computerized control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Sustainable Development (AREA)
  • Biotechnology (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

描述了一种用于检测容器中容纳的液体介质表面上的泡沫的计算机实现的方法。该方法包括以下步骤：接收包括液‑气界面的容器的至少一部分的样本图像，并在第一类和至少一个第二类之中对样本图像进行分类，第一类和至少一个第二类与液体表面上的不同泡沫量相关联。该分类由深度神经网络分类器执行，该深度神经网络分类器已经使用包括液‑气界面的容器的至少一部分的多个训练图像进行了训练。多个训练图像可以包括在以下一个或多个方面彼此不同的至少一些图像：图像上的液‑气界面的位置、在图像上观察液‑气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温。还描述了用于控制生物过程、用于提供工具的相关方法以及相关系统和计算机软件产品。

Description

自动泡沫检测
技术领域
本公开涉及用于自动检测容器(例如生物反应器容器)中的泡沫的计算机实现的方法、计算机程序、以及系统。
背景技术
表面出现泡沫(foam)是微生物发酵和细胞培养等生物过程中常见的问题。泡沫通常是生物过程中培养基中蛋白质和细胞浓度增加的结果。如果不加以控制，泡沫会增加到堵塞系统过滤器并增加细胞机械应力的程度。因此，泡沫的出现会使控制生物过程变得困难，并最终降低从生物过程中获得的产物滴度(product titer)。可以向培养基中添加消泡剂(antifoam agent)，以减少泡沫的出现。然而，这些试剂会对生物过程产生负面影响。事实上，高浓度的消泡剂会降低培养基中的氧转运(oxygen transport)(即降低氧的体积传质系数(volumetric mass transfer)，通常称为“kLa”)，降低了细胞生长和产物滴度。此外，消泡剂会损坏发酵设备并增加下游膜(down-streaming membrane)的污染。
生物过程中的泡沫控制通常是手动或自动进行的，由合格的技术人员在观察到泡沫时触发消泡剂的添加，或者通过按照固定的时间表自动添加消泡剂。前一种情况需要大量劳动，容易出现故障，并且存在再现性问题，这可能最终影响产品的质量特性。在后一种情况下，通常限定时间安排，使得消泡剂的添加是足够先发制人的，即消泡剂的添加量超过控制泡沫出现所实际需要的量，以防止不受控制的泡沫出现。这导致生物过程条件的控制不够好。
泡沫传感器可用于通过生成添加消泡剂的客观标准来部分地缓解这些问题。例如，WO 2018044748 A1描述了一种用于检测反应器容器中泡沫的液位(level)的系统，该系统包括容器内的光源和相机，放置该相机以在生物反应器中的泡沫液位接近或超过光源液位时检测来自光源的光强度的变化。当检测到这种变化时，该系统可以触发向容器中添加消泡剂。因为这样的系统需要将专用的光和照相系统与生物反应器集成，并且在安装后对系统进行大量和连续的校准，所以这样的系统设置起来很麻烦，并且缺乏灵活性。因为这样的系统是针对特定条件(例如特定液位和光照条件)进行校准的，所以这样的系统还缺乏鲁棒性。
因此，需要一种简单、灵活且鲁棒的用于自动检测容器中容纳的液体介质上的泡沫的系统和方法。
发明内容
根据本公开的第一方面，提供了一种用于检测容器中容纳的液体介质表面上的泡沫的计算机实现的方法，该方法包括以下步骤：
接收包括液-气界面(liquid-gas interface)的容器的至少一部分的样本图像；以及
在第一类(class)和至少一个第二类之中对样本图像进行分类，第一类和至少一个第二类与液体表面上的不同泡沫量相关联，其中，分类由深度神经网络分类器执行，深度神经网络分类器已经使用包括液-气界面的容器的至少一部分的多个训练图像进行了训练。多个训练图像可以包括在以下一个或多个方面彼此不同的至少一些图像：图像上的液-气界面的位置、在图像上观察液-气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温。
该方法提供了一种灵活、高精度且鲁棒的检测容器中的泡沫的方法。该方法不需要将任何专门的检测系统与容器集成，不需要除标准相机之外的特定传感器，不需要任何特定的光源或固定的光条件，并且可以与任何容器布置(set up)一起使用，只要容器中的液-气界面的至少一部分可以被相机观察到。该方法对于泡沫的检测具有肉眼可见的高精度，并且对于可变图像获取条件是高度鲁棒的。
第一方面的方法可以具有以下可选特征中的任一特征或任何组合。
包括液-气界面的容器的至少一部分的样本图像可以是容器的侧视图。容器的侧视图可以有利地使得能够例如通过在多个第二类之中对样本图像进行分类，来检测泡沫的存在以及泡沫已经出现的程度，多个第二类与液体表面上的泡沫层的不同厚度相关联。此外，如果容器具有至少一个侧壁(side-wall)部分，通过该侧壁部分液-气界面从外部可见，则可以使用示出容器侧视图的图像来检测泡沫的存在，而无需与容器和相关设备进行适配或集成。使用示出容器侧视图的图像来检测泡沫的存在可以有利地使用多个容器的侧视图图像来针对多个容器并行执行。如本领域技术人员所理解的，关于样本图像所描述的任何特征可以同样地应用于训练图像。
可替代地或附加地，包括液-气界面的容器的至少一部分的样本图像可以是容器的俯视图。容器的俯视图可以有利地使得能够检测不具有侧壁部分(通过该侧壁部分液-气界面从外部可见)的容器中泡沫的存在。在出于实际原因(例如由于空间限制)，图像获取装置优选地放置在容器上方的情况下，俯视图也可能是有利的。
样本图像优选地是从容器外部获取的图像。例如，可以使用位于容器外部的图像捕获装置来获取样本图像。因为图像获取装置可以独立于容器进行操纵，并且不需要容器的任何调整(前提是液-气界面或其至少一部分从容器外部(从侧面或从顶部)可见)，所以这有利地增加了该方法的灵活性。
样本图像中示出的容器可以与多个训练图像中的每个训练图像中示出的容器相同或不同。例如，多个训练图像可以包括容器的至少一部分的图像，其中，每个训练图像是相同的容器或相似或相同类型的容器的图像。此外，样本图像可以示出与训练图像中示出的容器中的至少一个容器相同的容器或相似或相同类型的容器的一部分。当容器具有相同或大致相同的几何形状、材料、尺寸或上述所有特征时，这些容器可以认为是相同类型的。当容器是相同的模型或来自不同品牌的对应模型时，这些容器可以认为是相同的类型，其中，来自不同品牌的对应模型具有相同的几何形状和尺寸，并且由物理特性相似的材料制成。例如，训练图像和样本图像中所示的容器都可以是先进的微生物反应器(例如来自TheAutomation Partnership Ltd的250生物反应器或15生物反应器)、一次性生物反应器(例如来自Sartorius Stedim Biotech GmbH的基于袋的生物反应器，例如STR生物反应器)、或不锈钢生物反应器(例如来自Sartorius Stedim SystemsGmbH的系列的5L至2000L的生物反应器)。可替代地，在多个训练图像中的至少一些训练图像中示出的容器可以彼此不同，并且可选地还与样本图像中示出的容器不同。优选地，样本图像中示出的容器与训练图像中的至少一些(优选地，至少20％、30％、40％、或50％)中示出的容器相同或相似或具有相同类型。如本领域技术人员所理解的，使用示出与样本图像中示出的容器类型非常不同的容器的训练图像可能降低分类的准确性。在样本图像和训练图像被裁剪以聚焦于液-气界面的实施例中，这可以在某种程度上得到缓解。
上述第一类可以与液体表面不存在泡沫相关联。上述一个或多个第二类可以与液体表面上存在泡沫相关联。不存在泡沫可以指在液体表面上不存在任何气泡(例如宏观的气泡)。相反，存在泡沫可以指液体表面上存在气泡。
可替代地或附加地，不存在泡沫可以指在液体表面上不存在气泡簇(clusters ofbubbles)，例如不存在共同形成冯洛诺伊(Voronoi，也称为泰森多边形)镶嵌图案的多个气泡。相反，存在泡沫可以指在液体表面上存在至少一簇气泡。例如，存在泡沫可以指存在共同形成冯洛诺伊镶嵌图案的多个气泡。
可替代地或附加地，不存在泡沫可以指在液体表面上不存在泡沫层(layer offoam)。相反，存在泡沫可以定义为液体表面上存在泡沫层。泡沫层可以定义为延伸穿过容器中液体表面的连续或基本连续的泡沫区域。当样本图像是容器中液体介质的俯视图时，这可能是特别有利的。泡沫层可以定义为延伸穿过容器中液体表面的至少一个横截面的连续或基本连续的泡沫区域。当样本图像是容器中液体介质的侧视图时，这可能是特别有利的。
上述一个或多个第二类可以包括多个类(例如第二类和至少一个第三类)，其中，多个类与液体表面上存在的不同泡沫量相关联。例如，第二类可以与液体表面上存在泡沫层相关联，第三类可以与液体表面上存在较厚泡沫层相关联。泡沫层的厚度可以定义为泡沫层的最小厚度或最大厚度。可替代地或附加地，可以使用概括的厚度度量，例如层的平均厚度。
上述一个或多个第二类可以包括单个类。换句话说，分类器可以是二元分类器(binary classifier)。本发明人发现，可以获得二元分类器，二元分类器提供非常好的分类精度，并且特别是能够可靠地检测出操作者通常将标识为出现泡沫的生物反应器和标识为不存在泡沫或泡沫量不足以需要干预的生物反应器。如技术人员所理解的，类的数量较多的分类器可以区分不同数量泡沫，因此可以根据检测到的泡沫数量触发不同的干预。本发明人发现，两个类足以控制常规细胞培养环境中泡沫的出现，特别是在干预通常是二元的情况下(例如，每当检测到泡沫时添加固定剂量的消泡剂)。然而，取决于要监管的过程，更多的类可能是有利的，并且是可以明确设想的。
上述一个或多个第二类可以包括多个类。换句话说，分类器可以是多类分类器(multiclass classifier)。本发明人已经发现，可以获得多类分类器，多类分类器在由专家操作者评估的4个级别(无泡沫、低泡沫、中泡沫、高泡沫)之中对图像进行分类时提供非常好的分类精度。
在一个或多个光源的光强度或色温方面彼此不同的图像可以由不同的亮度水平来表征，其中，在获取图像时，上述一个或多个光源照亮容器的成像部分。可以使用HSL颜色模型中的亮度参数、HSB颜色模型中的亮度参数、HSV颜色模型中的值参数、RGB颜色模型中的红色、绿色、以及蓝色坐标的算术平均值、或其他颜色模型中的任何对应参数来测量亮度水平。
在一个或多个光源(在获取图像时，该一个或多个光源照亮容器的成像部分)的光强度或色温方面彼此不同的图像可以使用在功率、色温、以及亮度中的一个或多个方面彼此不同的光源来获取。例如，本发明人发现，通过使用功率在0.1W到15W之间、色温在2500K到6500K之间、亮度在12勒克斯到1000勒克斯之间的光的各种组合获得的图像来训练分类器，可以获得表现非常好的分类器。本发明人还发现，通过使用功率在0.1W到4.5W之间、色温在2500K到6500K之间、亮度在12勒克斯到1000勒克斯之间的光的各种组合获得的图像来训练分类器，可以获得性能优异的分类器，即使当分类器用于对仅通过训练数据中不存在的单个高功率光源获得的图像进行分类时也是如此。为了避免任何疑问，(部分地或全部地)使用自然光可能得到在获取图像时在照亮容器的成像部分的一个或多个光源的光强度或色温方面彼此不同的图像。换句话说，自然光可以认为等同于在功率、色温、以及亮度中的一个或多个方面彼此不同的多个光源。事实上，在获取训练图像集的整个过程中，自然光的功率、色温、以及亮度可以是可变的。
优选地，至少一些训练图像的不同之处在于液体表面上可见的泡沫量。例如，在训练图像的第一子集上可见液-气界面处的泡沫层，而在训练图像的第二子集上看不到泡沫层。
在如所指示的方面(即，以下中的一个或多个方面：图像上的液-气界面的位置、在图像上观察液-气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温)彼此不同的多个训练图像可以是通过在图像获取过程中修改以下参数中的一个或多个至少一次来获取的多个训练图像：容器中的液体体积、图像获取装置相对于容器的位置、以及照亮容器的成像部分的一个或多个光源的光强度(例如功率或亮度)或色温。修改照亮容器的成像部分的一个或多个光源的光强度或色温可以包括在多种自然光(例如在一天的不同时间的自然光)下获取多个训练图像。可替代地或附加地，修改照亮容器的成像部分的一个或多个光源的光强度或色温可以包括在一个或多个人造光源打开或关闭的情况下获取多个训练图像。可替代地或附加地，训练图像可以包括在容器中液体的颜色方面彼此不同的图像。例如，获取多个训练图像可以包括在图像获取过程中修改容器中液体的颜色(例如，通过向液体添加染料或通过使用具有不同颜色的液体)至少一次。
上述容器可以是生物反应器。
深度神经网络分类器可以是卷积神经网络(convolutional neural network，CNN)。在训练用于泡沫检测之前，CNN可能已经被预训练用于物体检测。在这种情况下，训练用于泡沫检测可以包括部分地重新训练已预训练的CNN。CNN可以是18层CNN。CNN可以是使用深度残差学习框架预训练的CNN。例如，CNN可以是通过部分地重新训练ResNet 18而获得的CNN。
深度神经网络分类器可以具有以下关于第九方面描述的任何特征。
该方法还可以包括：如果样本图像被分类为第二类或者多个第二类和其他类中的第一个类，则向用户界面发送警告消息。
接收包括液-气界面的容器的至少一部分的样本图像可以包括获取包括液-气界面的容器的至少一部分的图像。
该方法还可以包括选择接收的样本图像中包括液-气界面的区域用于分类。
样本图像可以示出多个容器的至少一部分，其中，多个容器的相应部分包括液-气界面。在这种情况下，该方法可以包括选择接收的样本图像的多个区域，每个选择的区域包括多个容器中单个相应容器的液-气界面，以及对样本图像的每个选择的区域进行分类。
选择接收的样本图像的区域(或多个区域，视情况而定)可以包括应用预定义的掩模(mask)来选择接收的样本图像的区域。因此，该方法还可以包括接收用于选择样本图像的一个或多个区域的掩模。
选择接收的样本图像的区域(或多个区域，视情况而定)可以包括自动定义掩模以选择接收的样本图像的区域。例如，该方法可以包括通过使用一个或多个对象检测算法分析图像，来定义用于选择样本图像的一个或多个区域的掩模。对象检测算法可以是例如深度神经网络分类器，该深度神经网络分类器已经被训练用于识别样本图像中的容器或容器内的液-气界面。
该方法还可以包括检测样本图像是否与多个训练图像不同到无法获得有意义的分类的程度。具体地，该方法可以包括确定样本图像是否是关于训练图像的异常值(outlier)。这可以如WO 2020/049094中所描述的那样执行。当样本图像被确定为异常值时，可以不执行分类，可以不向用户提供分类的输出，和/或可以产生警告消息。
样本图像优选地是使用诸如数码相机的图像捕获装置获取的数字图像。样本图像可以是彩色图像。例如，样本图像可以是RGB图像或HSV图像。不希望受任何特定理论的约束，因为泡沫经常显现出与其上形成泡沫的液体介质不同的颜色，这可以被泡沫检测深度神经网络分类器用作信息特征，所以彩色图像可能是特别有利的。
图像获取装置可以包括例如智能手机。
样本图像优选地是使用图像捕获装置获取的数字图像，该样本图像具有与多个训练图像中的至少一些训练图像中的失真特征(distortion feature)相似的失真特征。有利地，样本图像可以具有与大多数训练图像相似的失真特征。这可以例如通过使用标准相机(例如标准智能手机的相机)来获取训练图像(或至少一些训练图像，例如大多数训练图像)和样本图像来实现。可选地，这可以使用配备有鱼眼镜头的相机获取训练图像(或至少一些训练图像，例如大多数训练图像)和样本图像来实现。
样本图像可以是灰度图像。在不希望受任何特定理论约束的情况下，本发明人认为，在泡沫和其上形成泡沫的液体之间经常观察到的颜色差异使得泡沫可能被灰度图像捕捉到。因为泡沫相对于液体的空间组织(spatial organisation)的一些特征预计在黑白图像上是可见的，所以尽管使用黑白图像的精度可能低于使用彩色图像或灰度图像，也可以使用黑白图像，并且预期适用于检测泡沫。
至少一些训练图像可能已经进行了图像增强(image augmentation)。这可以通过增加训练数据集的大小和多样性来提高得到的分类器的鲁棒性。
根据第二方面，提供了一种用于控制容器中的生物过程的计算机实现的方法，该方法包括：
接收包括液-气界面的容器的至少一部分的样本图像；
在第一类和至少一个第二类之中对样本图像进行分类，第一类和至少一个第二类与液体表面上的不同泡沫量相关联，其中，分类由深度神经网络分类器执行，深度神经网络分类器已经使用包括液-气界面的容器的至少一部分的多个训练图像进行了训练。多个训练图像可以包括在以下一个或多个方面彼此不同的至少一些图像：图像上的液-气界面的位置、在图像上观察液-气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温；以及
如果样本图像被分类为第二类或者多个第二类和其他类中的第一个类，则向效应器设备发送第一信号。
根据本方面的方法可以具有关于第一方面公开的任何特征。
本方面的方法还可以具有以下可选特征中的任一特征或任何组合。
接收样本图像和对样本图像进行分类的步骤可以由第一计算设备或系统(例如由云计算机)来执行。向效应器设备发送第一信号的步骤可以由第二计算设备或系统(例如，可操作地连接到效应器设备的用户设备)来执行。因此，该方法可以包括第一计算设备或系统将分类结果传输到第二计算设备或系统的步骤。
效应器设备可以是耦合到容器的任何设备，效应器设备用于改变容器中的一个或多个物理条件或化学条件。效应器设备可以选自消泡剂分配系统、搅拌器系统(也称为“搅拌系统”)、曝气系统(aeration system)、泡沫去除系统(例如泡沫抽吸系统)、以及泡沫破坏/去稳定系统(例如用于借助于机械振动和/或超声波振动使泡沫去稳定的系统)。
向效应器设备发送第一信号可以包括向消泡剂分配系统发送信号，以使消泡剂分配系统在容器中分配消泡剂，或使消泡剂分配系统增加在容器中分配消泡剂的频率和/或量。
向效应器设备发送第一信号可以包括向耦合到容器的搅拌器系统发送信号，以使搅拌器系统降低容器中的搅拌速度(也称为“搅拌速率(stirring rate)”)。
向效应器设备发送第一信号可以包括向耦合到容器的曝气系统发送信号，以使曝气系统降低容器中的曝气速率(例如，降低注入容器中的空气或氧气的体积流量(volumetric flow))。
向效应器设备发送第一信号可以包括向耦合到容器的泡沫去除系统发送信号，以使泡沫去除系统去除容器中的泡沫(例如，通过激活用于抽吸泡沫的抽吸设备，或者通过增加抽吸设备的抽吸速率)。
向效应器设备发送第一信号可以包括向耦合到容器的泡沫破坏系统发送信号，以使泡沫破坏系统产生适用于使容器中的泡沫不稳定的振动(例如超声波振动)。可以以周期性(与连续相反)的方式产生振动。
如本领域技术人员所理解的，向效应器设备发送第一信号实际上可以包括向多个效应器装置发送多个相应的第一信号。例如，第一消泡剂分配信号可以被发送到消泡剂分配系统，第一搅拌信号可以被发送到搅拌器系统。
该方法还可以包括：如果样本图像被分类为第一类，则向效应器设备发送第二信号。例如，向效应器设备发送第二信号可以包括向消泡剂分配系统发送信号，以使消泡剂分配系统停止在容器中分配消泡剂或降低在系统中分配消泡剂的频率和/或量。可替代地或附加地，向效应器设备发送第二信号可以包括向耦合到容器的搅拌系统发送信号，以使搅拌系统增加搅拌速度。可替代地或附加地，向效应器设备发送第二信号可以包括向耦合到容器的泡沫去除系统发送信号，以使泡沫去除系统停止或减少在容器中去除泡沫(例如，通过停用抽吸设备或降低设备的抽吸速率)。可替代地或附加地，向效应器设备发送第二信号可以包括向耦合到容器的曝气系统发送信号，以使曝气系统增加曝气速率。可替代地或附加地，向效应器设备发送第二信号可以包括向耦合到容器的泡沫破坏系统发送信号，以使泡沫破坏系统停止产生振动。
该方法可以包括：如果样本图像被分类为多个第二类和其他类中的第二个类(或分别地，第三个类等)，则向效应器设备发送第三(或分别地，第四等)信号。第一信号和任何第三信号和后续信号(如果适用)可以取决于液体表面上的泡沫量。具体地，与特定类相关联的信号可以不同于与另一类(该另一类与液体表面上的不同泡沫量相关联)相关联的信号。例如，与另一类(该另一类与液体表面上的较低泡沫量相关联)相关联的信号(例如，第一信号)相比，与特定类相关联的信号(例如，第三信号)可用于使得效应器实施更强的消泡作用。
例如，向效应器设备发送第三信号可以包括向消泡剂分配系统发送信号，以使消泡剂分配系统在容器中分配消泡剂，或者使消泡剂分配系统增加在容器中分配消泡剂的频率和/或量，其中，该量和/或频率高于由第一信号引起的量和/或频率。类似地，向效应器设备发送第三信号可以包括向耦合到容器的搅拌器系统发送信号，以使搅拌器系统降低容器中的搅拌速度，其中，该降低程度可能更大，或者该搅拌速度可以比由第一信号引起的搅拌速度更低。可替代地或附加地，向效应器设备发送第三信号可以包括向耦合到容器的曝气系统发送信号，以使曝气系统降低容器中的曝气速率，其中，该降低程度可能更大，或者该曝气速率可以比由第一信号引起的曝气速率更低。可替代地或附加地，向效应器设备发送第三信号可以包括向耦合到容器的泡沫去除系统发送信号，以使泡沫去除系统去除容器中的泡沫，其中，泡沫的去除可以以比由第一信号引起的速率更高的速率(例如，使用更高的抽吸速率)进行。可替代地或附加地，向效应器设备发送第三信号可以包括向耦合到容器的泡沫破坏系统发送信号，以使泡沫去除系统在容器中产生振动，其中，产生与由第一信号引起的振动具有不同特征的振动(例如，其中，该振动周期性地产生，并且间隔比由第一信号引起的振动更长和/或更频繁)。
为了避免任何疑问，第三(相应地，第四等)信号的特征可以单独使用，或者与第二信号的特征结合使用。该方法还可以包括例如在从接收到前一图像起已经经过预定时间段之后，重复接收样本图像的步骤和对样本图像进行分类的步骤(并且如果适当的话，重复向效应器设备发送信号的步骤)。预定时间段可以是固定的，或者可以根据分类的结果来定义。例如，当样本图像被分类为第一类时，可以使用第一预定时间段，否则可以使用第二预定时间段。
根据第三方面，提供了一种用于检测容器中容纳的液体介质表面上的泡沫的系统，该系统包括：
至少一个处理器；以及
包含指令的至少一个非暂时性计算机可读介质，当被至少一个处理器执行时，指令使至少一个处理器执行包括以下操作：
接收包括液-气界面的容器的至少一部分的样本图像；以及
在第一类和至少一个第二类之中对样本图像进行分类，第一类和至少一个第二类与液体表面上的不同泡沫量相关联，其中，分类由深度神经网络分类器执行，深度神经网络分类器已经使用包括液-气界面的容器的至少一部分的多个训练图像进行了训练。多个训练图像可以包括在以下一个或多个方面彼此不同的至少一些图像：图像上的液-气界面的位置、在图像上观察液-气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温。
根据本方面的系统可以用于实现第一方面的任何实施例的方法。具体地，至少一个非暂时性计算机可读介质可以包含指令，当被至少一个处理器执行时，指令使至少一个处理器执行包括关于第一方面描述的任何操作的操作。
根据本公开的第四方面，提供了一种用于控制生物过程的系统，该系统包括：
根据第三方面的用于检测容器中容纳的液体介质的表面上的泡沫的系统；以及
至少一个效应器设备，效应器设备可操作地连接到该系统的处理器，以检测液体介质表面上的泡沫。
根据本公开的第五方面，提供了一种用于控制生物过程的系统，该系统包括：
至少一个处理器；以及
包含指令的至少一个非暂时性计算机可读介质，当被至少一个处理器执行时，指令使至少一个处理器执行包括以下操作：
接收包括液-气界面的容器的至少一部分的样本图像；
在第一类和至少一个第二类之中对样本图像进行分类，第一类和至少一个第二类与液体表面上的不同泡沫量相关联，其中，分类由深度神经网络分类器执行，深度神经网络分类器已经使用包括液-气界面的容器的至少一部分的多个训练图像进行了训练，其中，多个训练图像优选地包括在以下一个或多个方面彼此不同的至少一些图像：图像上的液-气界面的位置、在图像上观察液-气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温；以及
如果样本图像被分类为第二类或者多个第二类和其他类中的第一个类，则向效应器设备发送第一信号。
根据本方面的系统可以用于实现第二方面的任何实施例的方法。具体地，至少一个非暂时性计算机可读介质可以包含指令，当被至少一个处理器执行时，指令使至少一个处理器执行包括关于第二方面描述的任何操作的操作。
根据本公开的第六方面，提供了一种用于发酵或细胞培养的生物反应器，该生物反应器具有一个或多个生物反应器容器和一个或多个根据第三方面的系统，该系统用于检测该生物反应器容器或每个生物反应器容器中容纳的液体培养基表面上的泡沫。
根据第七方面，提供了一种包括指令的非暂时性计算机可读介质，当被至少一个处理器执行时，指令使至少一个处理器执行包括以下操作：
接收包括液-气界面的容器的至少一部分的样本图像；以及
在第一类和至少一个第二类之中对样本图像进行分类，第一类和至少一个第二类与液体表面上的不同泡沫量相关联，其中，分类由深度神经网络分类器执行，深度神经网络分类器已经使用包括液-气界面的容器的至少一部分的多个训练图像进行了训练，其中，多个训练图像包括在以下一个或多个方面彼此不同的至少一些图像：图像上的液-气界面的位置、在图像上观察液-气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温。
上述非暂时性计算机可读介质还可以包括指令，当被至少一个处理器执行时，指令使至少一个处理器执行包括以下操作：如果样本图像被分类为第二类或者多个第二类和其他类中的第一个类，则向效应器设备发送第一信号。
根据本方面的非暂时性计算机可读介质可以包括指令，当被至少一个处理器执行时，指令使至少一个处理器执行关于第一方面和第二方面描述的操作。
根据第八方面，提供了一种包括代码的计算机程序，当在计算机上执行代码时，代码使计算机执行包括以下操作：
接收包括液-气界面的容器的至少一部分的样本图像；以及
在第一类和至少一个第二类之中对样本图像进行分类，第一类和至少一个第二类与液体表面上的不同泡沫量相关联，其中，分类由深度神经网络分类器执行，深度神经网络分类器已经使用包括液-气界面的容器的至少一部分的多个训练图像进行了训练。多个训练图像包括在以下一个或多个方面彼此不同的至少一些图像：图像上的液-气界面的位置、在图像上观察液-气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温。
上述计算机程序可以包括代码，当在计算机上执行代码时，代码使计算机执行包括以下操作：如果样本图像被分类为第二类或者多个第二类和其他类中的第一个类，则向效应器设备发送第一信号。
根据本方面的计算机程序可以包括代码，当被计算机执行时，代码使计算机执行关于第一方面和第二方面描述的操作。
根据第九方面，提供了一种用于提供用于检测容器中容纳的液体介质表面上的泡沫的工具的计算机实现的方法，该方法包括：
接收：
包括液-气界面的容器的至少一部分的多个训练图像，其中，多个训练图像包括在以下一个或多个方面彼此不同的至少一些图像：图像上的液-气界面的位置、在图像上观察液-气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温；以及
多个类标签，每个类标签与多个训练图像中的一个训练图像相关联，其中，类标签选自第一类标签和至少一个第二类标签，并且与液体表面上的不同泡沫量相关联；
训练深度神经网络分类器，以使用多个训练图像在第一类和至少一个第二类之中对图像进行分类。
本方面的方法还可以具有以下可选特征的任一特征或任何组合。
接收多个图像可以包括获取多个图像和/或从存储器获取多个图像。接收多个训练图像可以包括获取包括液-气界面的容器的至少一部分的多个图像，其中，获取多个训练图像包括在图像获取过程中修改以下参数中的一个或多个至少一次：容器中的液体体积、图像获取装置相对于容器的位置、以及照亮容器的成像部分的一个或多个光源的光强度(例如功率或亮度)或色温。修改照亮容器的成像部分的一个或多个光源的光强度或色温可以包括在可变自然光下获取多个训练图像。可替代地或附加地，修改照亮容器的成像部分的一个或多个光源的光强度或色温可以包括在一个或多个人造光源打开或关闭的情况下获取多个训练图像。可替代地或附加地，训练图像可以包括在容器中液体的颜色方面彼此不同的图像。例如，获取多个训练图像可以包括在图像获取过程中修改容器中液体的颜色(例如，通过向液体添加染料或通过使用具有不同颜色的液体)至少一次。
深度神经网络分类器可以是卷积神经网络(CNN)。训练深度神经网络分类器可以包括获得预训练的CNN和使用训练图像数据部分地重新训练CNN。
部分地重新训练CNN可以包括固定CNN的一个或多个较低层的参数，并确定CNN的剩余层(较高层)的参数。在实施例中，部分地重新训练CNN包括确定CNN的最后5层至最后10层(例如8层)的参数。在实施例中，部分地重新训练CNN包括确定CNN的最后10％的层至20％的层的参数(例如，对于50层的CNN，可以重新训练最后5层至最后10层)。
CNN可以已经使用不相关的图像数据进行了预训练。例如，诸如ImageNet的图像数据库是可用的，并且可以用于训练用于图像分析的深度神经网络分类器。
CNN可以是18层的CNN。在实施例中，CNN是已经使用深度残差学习框架预训练的CNN。在实施例中，CNN是ResNet 18。
优选地，多个训练图像包括与第一类标签相关联的至少50个图像、至少75个图像、或至少100个图像以及与第二类标签相关联的至少50个图像、至少75个图像、或至少100个图像。在使用多个第二类标签的情况下，多个训练图像可以包括与每个第二类标签相关联的至少50个图像。如本领域技术人员所理解的，足够量的训练数据的可用性确保可以训练出具有良好精度的分类器。本发明人发现，至少对于二元分类器，可以使用相对少量图像(即低于1000个图像)来训练出高度精确的分类器。本发明人已经进一步证实，可以使用少于3000个图像(例如，大约2000或2500个图像)来训练出高度精确的多类分类器。
多个训练图像优选地包括与每个类标签相关联的图像，使得与每个类标签相关联的图像的相对比例高于1:10(即，没有一个类比任何其他类多10倍以上)。例如，在分类器是二元分类器的情况下，多个训练图像可以包括与第一类标签相关联的n个图像，并且与第二类标签相关联的图像的个数在n/10到n*10之间。
接收多个类标签，每个类标签与多个训练图像中的一个训练图像相关联，可以包括：显示多个训练图像并提示用户将类标签与多个训练图像中的每个训练图像相关联。有利地，这可以由用户来定义将多少泡沫量分类到第一类中，以及将多少泡沫量分类到第二类或后续类中。因此，用户能够对分类器的训练进行参数化，使得分类器根据用户认为在其特定用例中存在问题的方面来检测存在问题的泡沫量。提示用户将类标签与多个训练图像中的每个训练图像相关联可以包括使用先前训练的深度神经网络分类器在多个类之中对多个图像进行分类，以及提示用户选择已经被错误地分类的图像。
该方法还可以包括选择每个训练图像的中包括液-气界面的一个区域或多个区域。当选择多个区域时，为了训练分类器，每个区域可以视为单独的图像。选择每个训练图像的区域(或多个区域，视情况而定)可以包括应用预定义的掩模来选择接收的样本图像的区域。因此，该方法还可以包括接收用于选择样本图像的一个或多个区域的掩模。掩码可以是用户定义的。因此，该方法可以包括提示用户选择至少一个训练图像上的一个或多个区域，以及定义用于选择后续训练图像的一个或多个区域的掩模。例如，在获取的多个训练图像都在训练图像的相同区域内示出了液-气界面的情况下(例如，在使用相同或相似的容器以及容器和相机的相对位置获取训练图像的情况下)，可以使用来自用户的输入来定义单个掩模，并将该掩模应用于所有图像。
选择接收的样本图像的区域(或多个区域，视情况而定)可以包括自动定义掩模以选择接收的样本图像的区域。例如，该方法可以包括通过使用一个或多个对象检测算法分析图像，来定义用于选择样本图像的一个或多个区域的掩模。对象检测算法可以是例如深度神经网络分类器，该深度神经网络分类器已经被训练用于识别样本图像中的容器或容器内的液-气界面。
该方法还可以包括定义第一信号，当样本图像被深度神经网络分类器分类为第二类或者多个第二类和其他类中的第一个类时，该第一信号将被发送到效应器设备(和/或用户界面)。定义第一信号可以包括提示用户选择或输入第一信号和/或效应器设备。如前所述，对第一信号和效应器设备的提及包括多个信号和相应的多个效应器设备。
该方法还可以包括定义第二信号，当样本图像被深度神经网络分类器分类为第一类时，该第二信号将被发送到效应器设备(和/或用户界面)。定义第二信号可以包括提示用户选择或输入第二信号和/或效应器设备。
该方法还可以包括定义第三信号，当样本图像被深度神经网络分类器分类为多个第二类和其他类中的第二个类或其他类时，该第三信号将被发送到效应器设备(和/或用户界面)。定义第三信号可以包括提示用户选择或输入第二信号和/或效应器设备。
根据第十方面，提供了一种提供用于检测容器中容纳的液体介质表面上的泡沫的工具的系统，该系统包括：
至少一个处理器；以及
包含指令的至少一个非暂时性计算机可读介质，当被至少一个处理器执行时，指令使至少一个处理器执行包括以下操作：
接收：
包括液-气界面的容器的至少一部分的多个训练图像，优选地，其中，多个训练图像包括在以下一个或多个方面彼此不同的至少一些图像：图像上的液-气界面的位置、在图像上观察液-气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温；以及
多个类标签，每个类标签与多个训练图像中的一个训练图像相关联，其中，类标签选自第一类标签和至少一个第二类标签，并且与液体表面上的不同泡沫量相关联；以及
训练深度神经网络分类器，以使用多个训练图像在第一类和至少第二类之中对图像进行分类。
根据本方面的系统可以用于实现第九方面的任何实施例的方法。具体地，至少一个非暂时性计算机可读介质可以包含指令，当被至少一个处理器执行时，指令使至少一个处理器执行包括关于第九方面描述的任何操作的操作。
根据第十一方面，提供了一种包括指令的非暂时性计算机可读介质，当被至少一个处理器执行时，指令使至少一个处理器执行包括以下操作：
接收：
包括液-气界面的容器的至少一部分的多个训练图像，其中，多个训练图像优选地包括在以下一个或多个方面彼此不同的至少一些图像：图像上的液-气界面的位置、在图像上观察液-气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温；以及
多个类标签，每个类标签与多个训练图像中的一个训练图像相关联，其中，类标签选自第一类标签和至少一个第二类标签，并且与液体表面上的不同泡沫量相关联；以及训练深度神经网络分类器，以使用多个训练图像在第一类和至少一个第二类之中对图像进行分类。
根据本方面的非暂时性计算机可读介质可以包括指令，当被至少一个处理器执行时，指令使至少一个处理器执行关于第九方面所描述的操作。
根据第十二方面，提供了一种包括代码的计算机程序，当在计算机上执行代码时，代码使计算机执行包括以下操作：
接收：
包括液-气界面的容器的至少一部分的多个训练图像，其中，多个训练图像优选地包括在以下一个或多个方面彼此不同的至少一些图像：图像上的液-气界面的位置、在图像上观察液-气界面的极角和/或方位角、以及当获取图像时照亮容器的成像部分的一个或多个光源的光强度或色温；以及
多个类标签，每个类标签与多个训练图像中的一个训练图像相关联，其中，类标签选自第一类标签和至少一个第二类标签，并且与液体表面上的不同泡沫量相关联；以及训练深度神经网络分类器，以使用多个训练图像在第一类和至少一个第二类之中对图像进行分类。
根据本方面的计算机程序可以包括当被计算机执行时使计算机执行关于第九方面所描述的操作的代码。
附图说明
现在将参照附图以示例的方式描述本公开的实施例，在附图中：
图1示出了根据本公开的用于控制生物过程的系统的实施例；
图2是示出根据本公开的实施例的控制生物过程的方法的流程图；
图3是示出根据本公开的实施例的提供用于检测泡沫的工具的方法的流程图；
图4示出了根据本公开的用于检测泡沫的系统的示例性实施方式；
图5示出了根据本公开的用于检测泡沫的系统的示例性实施方式，该系统包括两个不同的相机(A)和使用每个相机获取的示例图像(B、C)；以及
图6示出了使用图5的系统获得的容器的至少一部分的示例性图像(列：“图像”)，以及由二元泡沫检测模型(A)和多类泡沫检测模型(B)预测的类(列：“类”)和示出了每个图像中有助于分类的区域的热图(从在图像边缘区域上看到的第一颜色范围到在突出显示的区域中心看到的第二颜色范围——列：“Grad-CAM++”，列“合并(merge)”示出了“图像”列和“Grad-CAM++”列的叠加)。
在本文列出的附图示出了本发明的各实施例，这些附图不应解释为限制本发明的范围。在适当的情况下，相同的附图标记将在不同的附图中使用，以涉及所示各实施例中的相同结构特征。
具体实施方式
下面将参考附图描述本发明的具体实施例。
如本文所使用的，术语“生物过程(bioprocess)”是指将生物成分(例如细胞、细胞器、或生物分子)维持在人工环境(例如生物反应器)中的液体介质中的过程。在实施例中，生物过程指的是细胞培养。生物过程通常产生产物，该产物可包括由于生物成分的活动而产生的生物质和/或一种或多种化合物。生物反应器可以是一次性使用的容器或可重复使用的容器，容器中可容纳适用于进行生物过程的液体介质。生物反应器可以被配置为使得从外部可以看到生物反应器的至少一些体积。例如，生物反应器可包括由透视(即透明或半透明)材料制成的部分。该部分可被限定为例如窗口，或可以包含容纳液体介质的生物反应器的基本上全部体积(例如，其中，生物反应器包括透明塑料容器，例如袋、管、或盒)。US2016/0152936和WO 2014/020327中描述了适用于生物过程的示例性生物反应器系统。
“深度神经网络分类器”指的是包括深度神经网络(在输入层和输出层之间具有多层的人工神经网络)的机器学习算法，深度神经网络将张量(tensor)(即数据阵列或向量(例如数字图像))作为输入，并产生类预测(class prediction)作为输出。卷积神经网络是一类深度神经网络，卷积神经网络包含一个或多个隐藏层，其中，至少一些是卷积层，这些卷积层一起产生特征向量作为输出，特征向量被全连接层(fully connected layer)用来产生类预测。本文描述的所有深度神经网络分类器优选地是卷积神经网络(CNN)。CNN经常用于图像中的目标检测领域。有利地，所使用的CNN可以已经使用不相关的图像数据(例如来自ImageNet数据库(http://www.image-net.org)的图像数据)进行了预训练。本发明人已经发现，18层的CNN对于当前的使用是足够的，但是设想了包括例如附加层的替代实现。已经发现使用深度残差学习框架(He等人，可在https://arxiv.org/pdf/1512.03385.pdf获得)训练的CNN特别合适。其他深度神经网络架构，包括那些未使用深度残差学习框架训练的架构，可能是合适的，并且是可以明确设想的。例如，通常被称为AlexNet(Krizhevsky等人)、ResNet(例如ResNet 18、ResNet 50、或ResNet 101；He等人)、vgg(例如vgg 16或vgg19；Simonyan等人)、Squeezenet(Iandola等人)、Inceptionv 3(Szegedy等人，2016)、densenet(如densenet 201；Hunag等人)、GoogLeNet(Szegedy等人，2015)等的任何CNN。
如本领域技术人员将理解的，对使用深度神经网络来分类图像数据的提及实际上可以包括使用多个深度神经网络并组合多个深度神经网络的预测。这样的多个深度神经网络中的每个深度神经网络都可以具有本文描述的属性。类似地，对训练深度神经网络的提及实际上可以包括如本文所述的多个深度神经网络的训练，这些深度神经网络中的一些或全部可以随后用于对图像数据进行分类。
可以通过量化接收器操作特征曲线(AUC)下的面积来测量二元分类器的性能(或多类分类器在一个对剩余类任务(one-vs-remaining classes task)中的性能)。如本领域技术人员所知，接收器操作特性曲线或ROC曲线示出了二元分类器的诊断能力。可以通过绘制各种阈值设置下的真阳性率(true positive rate，TPR)与假阳性率(false positiverate，FPR)的相对关系来获得ROC曲线。例如，对于应用于属于第一严重性类(severityclass)的预测概率的阈值的不同值(例如，步长为0.05的0和1之间的每个值)，可以通过绘制FPR和TPR的相对关系来获得ROC曲线。在实施例中，可以通过量化Cohen's kappa系数和/或预测类(predicted class)和真实类(true class)之间的一致百分比(percentagreement)来测量多类分类器的性能。优选地，通过量化Cohen's kappa系数来测量多类分类器的性能。如本领域技术人员所知，Cohen's kappa可以计算为(po-pe/1-pe)，其中，po是预测类和真实类之间的相对观察一致(relative observed agreement)，pe是预测类和真实类偶然一致的概率(基于落在每个类中的数据量)。或者，可以通过量化分类器在验证数据集上实现的分类的精确率(precision)和/或召回率(recall)来测量二元分类器的性能(或多类分类器在一个对剩余类任务中的性能)。精度(也称为阳性预测值)是所有阳性预测(positive prediction)中真阳性预测的分数(即真阳性的数量除以真阳性和假阳性的总和)。召回率(也称为敏感性)是正确预测为阳性的阳性案例的分数(即真阳性的数量除以真阳性和假阴性的总和)。
图1示出了根据本公开的用于控制生物过程的系统的实施例。该系统包括计算设备10，计算设备10包括处理器和计算机可读存储器(未示出)。在所示的实施例中，计算设备是单个印刷电路板(printed circuit board，PCB)。计算设备10可操作地连接到图像获取装置12。图像获取装置可以是相机，例如RGB相机。在实施例中，图像获取装置可以集成在计算设备10中。例如，计算设备可以是配备有相机的智能手机、平板电脑、个人电脑、或其他计算设备。图像获取装置12和计算设备10可以彼此有线连接，或者可以通过无线连接，例如通过WiFi进行通信。图像获取装置12相对于容器14定位，使得图像获取装置12能够捕获包括液-气界面16的容器14的至少一部分的图像。在所示的实施例中，容器配备有搅拌装置15。
如本文所述，计算设备10用于实现用于检测容器14中容纳的液体介质16a的表面上的泡沫17的方法。在替代实施例中，计算设备10用于与远程计算设备(未示出)通信，远程计算设备本身用于实现如本文所述的用于检测容器14中容纳的液体介质16a的表面上(即，在液-气界面16处)的泡沫17的方法。在这种情况下，远程计算设备还可以用于将用于检测泡沫的方法的结果发送到计算设备。计算设备10和远程计算设备之间的通信可以通过有线连接或无线连接，并且可以在本地网络或公共网络上发生，例如在公共互联网上发生。例如，用于检测液体介质16a表面上的泡沫17的方法可以由云计算系统使用从计算设备10接收的图像来执行。在一个示例中，计算设备10是配备有相机12的智能手机或平板电脑，相机12用于(例如通过本地应用程序或web应用程序)获取图像，并且在本地处理这些图像或将这些图像发送到远程计算设备进行处理。
计算设备10可操作地与效应器设备18连接。计算设备10和执行器设备18之间的连接可以是有线的或无线的，并且可以是直接的或间接的(例如通过中央计算机)。在所示的实施例中，效应器设备是消泡剂分配系统，该消泡剂分配系统包括泵18a和注入设备18b，注入设备18b用于将消泡剂19注入液体介质16中。
图2是示出根据本公开的实施例的控制生物过程的方法的流程图。该方法包括检测容器中容纳的液体介质表面上的泡沫的第一步骤200，以及基于第一步骤200的结果控制效应器设备的第二步骤210。检测容器中的液体介质表面上的泡沫包括使用图像捕获装置获取202容器的图像(或从图像捕获装置接收容器的图像)。图像示出了包括液-气界面的容器的至少一部分，该液-气界面通过容器的壁可见或从容器的顶部可见。在步骤204，可选地裁剪204图像以选择包括液-气界面的图像区域。然后在步骤206使用深度神经网络分类器分析图像。深度神经网络分类器已被训练用于在第一类和至少一个第二类之中对图像进行分类，第一类和至少一个第二类与液体表面上的不同泡沫量相关联。例如，第一类可以是“无泡沫”类，第二类可以是“泡沫”类。将结合图3更详细地描述深度神经网络分类器的训练。该方法包括在步骤220评估深度神经网络分类器是否已经将图像分类为第一类。如果未将图像分类为第一类，那么在步骤210，可以向效应器设备发送信号，以使效应器设备实施控制泡沫出现的动作。可替代地或附加地，可以向用户界面发送信号来警告用户。然后可以重复该过程，例如在预设的时间间隔之后。如果深度神经网络分类器已经将图像分类为第一类，则可以重复该过程，而不向效应器设备发送第一信号。在这种情况下，信号可以被发送到用户界面，也可以不被发送到用户界面。
图3是示出根据本公开的实施例的提供用于检测泡沫的工具的方法的流程图。所示方法包括从用户和/或存储器(包括数据库，无论是远程数据库还是本地数据库)接收300训练图像。方法还包括接收302多个类标签，每个类标签与多个训练图像中的一个训练图像相关联，其中，类标签选自第一类标签和至少一个第二类标签，并且与液体表面上的不同泡沫量相关联。类标签可以从用户接收，或者可以与从中接收图像的存储器中的多个图像相关联。训练图像优选地使得与每个类标签相关联的图像的数量是平衡的(例如每个类包括的图像不超过任何一个类中的图像数量的10倍)，并且使得每个类包括最小数量(例如50)的图像。这是为了确保分类器可以被训练用于以足够的精度检测类的不同。
该方法可选地包括裁剪304图像，即选择每个图像的包括液-气界面的区域。例如，图像可以被裁剪以移除不提供信息的部分(即，一些或全部背景)，否则这些部分会使分类器在进行分类时产生混淆。该选择优选地使得液-气界面在相对于液位和/或图像捕获装置和容器的相对位置的一定公差内在图像上可见。换句话说，选择的区域优选地足够小以排除至少一些背景，并且足够大以在即使发生液位变化时也包括液-气界面。对于裁剪的图像来说，显示出要检测泡沫的容器的整个宽度是有利的。这可以有利地使得即使泡沫没有在整个液-气界面上形成连续层(例如，泡沫特别集中在靠近容器壁的区域中)也能够检测泡沫。选择区域可以包括例如通过提示用户选择样本图像上的区域来接收304A来自用户的选择，并基于该选择定义304B掩模，该掩模可以应用于裁剪其他训练图像。如本领域技术人员所理解的，可以通过使用交叉验证训练分类器并评估该分类器的性能来验证训练数据的组成(例如，类的数量、每个类的图像数量、裁剪区域)是否足够。例如，总体性能较差可能表明可用数据量存在问题。此外，对一些图像的系统不良性能(systematic poor performance)的调查可能表明一些训练图像未被适当地裁剪。
在步骤306，训练深度神经网络分类器以使用训练数据在由类标签定义的类之中对数据进行分类。这可以通过获得预训练的CNN并对其进行部分重新训练以执行手头的任务来执行。此外，可以使用交叉验证来定义最佳性能网络的参数，由此在训练数据的子集上训练CNN，并且在数据的另一子集上验证其性能。
该方法还可以包括定义308信号和效应器，取决于分类的输出，这些信号将被发送到这些效应器。例如，可以接收要根据分类的输出执行的用户定义的动作，并且可以定义信号以及这些信号应该被发送到的效应器(或用户界面)。
各示例
现在将描述根据本公开的提供用于自动泡沫检测的工具的示例性方法，以及用于检测泡沫的示例性方法、相关方法、设备、以及系统。
示例1——原理证明
为了证明使用基于深度人工神经网络的机器视觉(machine vision)的可行性，使用如图4所示的布置收集了两个数据集。该布置包括检测系统，该检测系统包括计算设备(在该示例下是单板计算机)和图像获取装置(在该示例下是相机模块)。检测系统由附接到抽吸支架(suction holder)的臂支撑，抽吸支架连接到实验室通风橱(laboratory fumehood)的前面板(front panel)，在实验室通风橱中放置了多生物反应器系统(在该示例下是250容器支架和容器，可从Sartorius获得)。为了训练，获取单个生物反应容器的数据集图像，同时通过供应不同水平的空气和添加蛋白质混合物(BSA，浓度0.5g\mL)激发泡沫。所有实验都在多并联培养装置(multiparallel cultivation setup)上进行。最终的训练数据集由271个图像组成，其中，91个图像被手动标记为包含泡沫，而其余的则标记为不包含泡沫。换句话说，训练数据集包括25.1％被标记不包含泡沫的图像，以及74.9％被标记为不包含泡沫的图像。
为了能够验证机器视觉结果，在第二次图像收集会话(image gatheringsession)期间收集了具有三个生物反应容器的图像的单独数据集。第二数据集在移除和更换支撑检测系统的抽吸支架之后获取，使得训练数据集和验证数据集之间的相机模块位置和角度不同。对于验证数据集，通过供应了不同水平的空气并添加了蛋白质混合物(BSA，浓度0.5g\mL)激发泡沫。最终的验证数据集由944个图像组成，其中，109个图像被手动标记为包含泡沫，而835个图像则不包含泡沫。换句话说，验证数据集包括11.5％被标记为包含泡沫的图像和88.5％被标记为不包含泡沫的图像。
在训练或验证数据集中，没有控制光线条件，特别地，光照条件包括人工和自然光的强度的各种组合。此外，容器中液体介质的液位未被调整为恒定，因此在训练数据集和验证数据集中的图像之间，液位至少根据添加到反应器中的蛋白质溶液(protein solution)量而变化。
所有图像都是彩色(RGB)图像，并且分辨率为400万像素。
在训练卷积神经网络(CNN)泡沫检测模型之前，训练数据集和验证数据集都被裁剪。在原始的高分辨率图像中，以生物反应器容器液体表面为中心的250×250像素的图块(patch)被裁剪。图像分辨率是根据可用性任意选择的。在不希望受理论约束的情况下，本发明人认为，足以使泡沫在图像中用肉眼可识别的任何分辨率都是足够的。事实上，这确保了图像可以被标记用于训练目的，并且被认为是类似地确保使得人类操作者能够标记用于训练的图像的视觉特征也可以被泡沫检测模型使用。对于裁剪的图像来说，示出要检测泡沫的容器的整个宽度是有利的。在当前设置中，250×250像素的图块示出了容器的整个宽度，以及容器的一些周围环境。裁剪以半自动方式实施。具体地，为每个训练数据集和验证数据集的单个图像上的每个生物反应器定义了裁剪区域，并且在该集中的所有剩余图像中自动选择相同的区域进行裁剪。对于验证数据集，由于每个图像示出了三个平行的生物反应器，因此定义了三个独立的250×250像素区域，并用于验证图像的自动裁剪。由于在验证数据集和训练数据集中的图像中生物反应器中的液体量是可变的，因此裁剪区域内的液位位置也是可变的。
在这两个数据集中，经过人工检查，如果在原始分辨率的图像上可见宏观泡沫，则裁剪后的图像被标记为包含泡沫。
然后，CNN被训练用于使用来自训练数据集中的裁剪图(crop)来检测泡沫的存在。使用最小化二进制交叉熵损失的0.002的学习速率，使用Adam(Kingma等人)优化对在ImageNet(Deng等人)上预训练的ResNet 18模型(He等人)训练10个时期(epoch)。使用PyTorch(https://pytorch.org/)在Python中实现了模型构建和训练。
然后通过预测来自验证数据集的裁剪图中的泡沫的存在来评估Resnet模型的性能。对于验证数据集，该模型实现了95.8％的召回率(标记为包含泡沫的图像中被模型正确识别为包含泡沫的占比)和100％的精确率(被模型识别为包含泡沫的所有图像中识别正确的占比)。换句话说，该模型没有将实际上不包含泡沫的单个图像识别为包含泡沫，并且正确地识别了绝大多数包含泡沫的图像。这意味着集成该模型的系统能够在即使存在许多噪声源的情况下也很可靠地防止泡沫不受控制的出现，并且避免不必要的可能对生物过程的产物产生负面影响的泡沫控制操作。
示例2——评估二元模型和多类模型的鲁棒性
已经确定，即使在CNN分析的图像中存在噪声的情况下，训练后的CNN模型也可以以高精确率检测生物反应器中泡沫的存在，发明人开始测试该方法对训练数据和验证数据中各种条件的鲁棒性。发明人在该示例中进一步展示了二元分类器和多类分类器的使用。
具体地，训练了两种类型的模型：
1)二元分类器，该二元分类器被训练用于在第一类(无泡沫)和第二类(泡沫)之中对图像进行分类；以及
2)多类分类器，该多类分类器被训练用于在第一类(无泡沫)和三个第二类(低泡沫、中泡沫、高泡沫)之中对图像进行分类。
如上所述，通过供应不同水平的空气并添加蛋白质混合物(BSA)引发泡沫。包括图像获取期间在内，连续搅拌所有反应器系统。应用了各种环境参数(如下所述)，并记录了视频和图像。随后，由一名专家(为了一致性)将这些视频和图像手工标记为4类(无泡沫、低泡沫、中泡沫、高泡沫)，并基于这样的数据训练多个模型。当存在均匀泡沫表面(不是单个气泡)时，泡沫被标记为泡沫。此外，量化(低泡沫、中泡沫、高泡沫、以及无泡沫)是基于专家的主观感知和基于泡沫水平达到专家选择的特定水平来完成的。
这个示例的数据是用两个不同的相机获取的：一个动作相机和一个智能手机相机。实验布置如图5A所示，并且类似于示例1：包括智能手机52的检测系统和包括动作相机52'的检测系统分别由相应的臂53、53'支撑，臂53、53'连接到相应的抽吸支架56、56'，抽吸支架56、56'连接到实验室通风橱的前面板55，在实验室通风橱中放置了多并联生物反应器系统54(在该示例下是250容器支架和容器，可从The Automation Partnership Ltd获得)。由智能手机相机和动作相机获得的示例性(原始)图像分别如图5B和图5C所示。数据在各个类和成像设备之间的分布如下表1所示。对于二元分类器，所有标记为低泡沫/中泡沫/高泡沫的图像被分组在“泡沫”类中。
表1：各个类与图像获取装置之间的图像分布。
下面的表2提供了图5A上两个相机和由附图标记57指示的LED射灯(spot)的相对位置。
表2：图像获取装置的位置。
此外，使用实验设计(Design of Experiment，DoE)方法评估附加实验变量的影响。DoE中包括以下参数，每个参数在所示的两个值之间变化：
-清洁工作台的灯(多并联生物反应器容器所在的清洁工作台的内置灯是否打开)：开/关；
-体积(容器中液体的体积)：200毫升/240毫升；
-颜色：介质(标准半定义介质)中是否添加了红色食用色素。
使用软件(可从Sartorius Stedim Data Analytics AB获得)来设计实验，这些实验以如下表3所示的随机顺序进行。
表3：图像获取的实验设计。
作为另一变量，随机打开和关闭内部的容器灯和外部的LED灯(如图5A中的附图标记57所示)。因此，在这些实验中使用的图像是在各种光条件下获得的，其中，对于每个图像，以下三个光源中的每一个都存在或不存在(除了自然光之外，自然光不受控制)：
-外部LED单元：功率(最大)：<4.5W；色温：5500～6500K；亮度：>1000勒克斯(0.5米)；
-内部的容器灯：功率：0.1W；色温：2500-2800K；亮度：12-48勒克斯(0.5米)；
-清洁台的灯：功率：15W；色温：3000K；亮度：255勒克斯(0.5米)。
各种实验条件下的数据分布如下表4所示。
表4：实验条件之间的数据分布。
使用了数据集的三个不同划分部分(split)：
1)相机：模型在用“智能手机”录制的视频上进行训练，并在用“动作相机”录制的视频上进行测试；
2)视频：用每台相机录制多个视频，在该划分部分中，模型在大多数视频上进行训练，并在一个视频上进行测试，该视频根据其类平衡(class balance)而选择；
3)条件：模型在清洁工作台的灯关闭(包括各种其他照明条件)的视频帧上进行训练，并在存在“清洁工作台的灯打开(clean_bench_light_on)”条件的帧上进行测试。
此外，通过对一些数据(但不是全部数据)执行自动图像增强(automated imageaugmentation)来研究图像增强的效果。使用在imgaug库(https://imgaug.readthedocs.io/en/latest/source/overview/collections.html)中实现的RandAugment技术(Cubuk等人，2019年)进行图像增强，其中，n＝0，m＝6。使用了以下增强策略：(Identity,0.,1.0)；(ShearX,0.,0.3)，#0；(ShearY,0.,0.3)，#1；(TranslateX,0.,0.33)，#2；(TranslateY,0.,0.33)，#3；(Rotate,0,30)，#4；(AutoContrast,0,1)，#5；(Invert,0,1)，#6；(Equalize,0,1)，#7；(Solarize,0,110)，#8；(Posterize,4,8)，#9；(Contrast,0.1,1.9)，#10；(Color,0.1,1.9)，#11；(Brightness,0.1,1.9)，#12；(Sharpness,0.1,1.9)，#13；(Cutout,0,0.2)，#14；(SamplePairing(imgs),0,0.4)，#15。即使没有进行增强，也要进行随机的水平翻转(horizontal flip)。
为该模型设置了云环境，云环境允许将图像数据上传到服务器，服务器处理图像材料并向任何客户端设备提供对应的结果。客户端设备可以是任何能够维持互联网连接的计算设备。该客户端设备可能能够触发减少生物过程中泡沫的动作(例如，加入消泡剂、超声波探头……)。图像获取和上传是通过智能手机和客户端应用完成的，但其他安排也是可能的。这种架构使得图像处理设备自身能够独立存在。
使用PyTorch(https://pytorch.org/)在Python中实现了模型构建和训练。所有模型均为ResNet 18模型。所有模型都使用分类交叉熵损失(categorical cross-entropyloss，CCE)进行训练(如https://pytorch.org/docs/master/generated/torch.nn.CrossEntropyLoss.html#crossentropyloss中所实现的)。模型训练了30个时期，批大小(batch size)为50个。在训练二元分类器时，使用类权重(class weight)来平衡数据集。具体地，从无泡沫类生成的损失相乘的权重与从泡沫类(包含更多训练数据)生成的损失不同。权重1用于无泡沫类的所有划分部分，权重0.4或0.3用于泡沫类，分别用于视频划分部分(0.4)和条件/相机划分部分(0.3)。通过蒙特卡罗模拟(Monte Carlosimulation)获得每个划分部分的随机基线(baseline)。对于每个实验划分部分，通过10000个随机排列计算基线F1(F1＝2*(精确率*召回率)/(精确率+召回率))、精确率(精确率＝TP/(TP+FP)，其中，TP是真阳性的数量，FP是假阳性的数量)、召回率(召回率＝TP/(TP+FN)，其中，FN＝假阴性的数量)、以及精度(精度＝(TP+TN)/(TP+TN+FP+FN)，其中，TN是真阴性的数量)的平均分数。对于每个划分部分和排列，为每个验证集观察值分配一个随机类标签，该标签来自多项式分布，其中，属于每个类的概率被定义为匹配当前验证数据集划分部分。每个划分部分的每个验证数据集的类之间的观察值分布在表5(对于二元模型)和表6(对于多类模型)中示出。然后计算当前样本的F1、精确率、以及召回率的分数，并与真值(ground truth)验证标签进行比较。对于当前的划分部分，该程序重复10000次(得到10000个F1、精确率、以及召回率的分数)，然后将分数平均为该划分部分的基线分数。
表5：测试样本分布——二元模型
划分部分 泡沫 无泡沫
视频 477 195
条件 608 1397
相机 17 327
表6：测试样本分布——多类模型
划分部分 无泡沫 低泡沫 中泡沫 高泡沫
视频 477 194 1 0
条件 608 658 517 222
相机 17 142 124 61
最后，使用Grad-CAM(Selvaraju等人，2016年)和/或Grad-CAM++(Chattopadhyay等人，2017年)研究了对模型进行的分类具有重要性的特征。Grad-CAM使用CNN最后一层中关于给定分数的梯度来计算每个神经元对分类的贡献。在实践中，这是通过对最后一层的特征图(feature map)使用平均池化(average-pooling)来实现的，Grad-CAM++是Grad-CAM方法的扩展，Grad-CAM++使用重点关注正梯度的加权平均值，而不是全局平均值。Grad-CAM++的作者声称可以生成更好的热图(heatmap)，可以更准确地定位预测的类，并能够找到图像中类实例(class instance)的所有位置(例如，当前景中的对象分割所寻找的类(sought-after class)时)。这是Grad-CAM一直在努力解决的问题。
二元分类的结果如表7所示。多类分类的结果如表8所示。示例图像(裁剪后)及其相关联的Grad-CAM++热图如图6所示(其中图6A示出了二元分类器的示例，图6B示出了多类分类器的示例)。
表7和表8中的数据显示，除了专门根据来自智能手机相机的数据训练的模型和专门根据来自动作相机(具有鱼眼镜头)的数据测试的模型之外，所有划分部分都产生具有良好性能的模型，特别是显著优于随机基线。从图5C和图5B可以看出，这两台相机示出了明显不同的容器视图。如示例1所示，相同类型相机的不同角度不会导致任何性能损失。因此，本发明人认为鱼眼镜头的使用可能是视频划分部分性能差的主要原因。然而，来自其他划分部分的证据表明，使用包括来自不同相机的图像的训练数据集(如“条件”和“视频”划分部分的情况)会产生很强的性能。换句话说，这表明在使用显著不同的镜头的情况下，至少一些训练数据包括用相似镜头获得的图像是有益的。“视频”划分部分的强大性能(其中，训练数据包括在相机、角度、光线、介质颜色、以及液体体积方面彼此不同的图像)证明了无论是在二元还是在多类的情况下，训练数据集中实验条件的多样性都实现了鲁棒、高性能的模型。此外，“条件”划分部分的强大性能表明，即使当模型在具有不同的相对低光条件的图像上训练，并且在具有来自清洁工作台的灯的更强更一致的光的图像上测试时，也能保持高性能。
如图6(特别是图6B)所示，泡沫越多，焦点就越集中在泡沫区域。图6中的热图示出了在正确分类的图像中，与周围的塑料相比，CNN更关注液气界面。在模型成功的设置中(这是大多数设置，如表7和表8所示)，少数不正确分类的图像往往是具有模糊类的图像(即，难以确定是否存在泡沫的边界情况，例如，因为存在非常少的泡沫和/或存在的任何泡沫分布非常不均匀)。CNN对边界很敏感，这就是为什么容器的管适配器(tube adapter)在一些图像(特别是那些错误分类的图像)中也被突出显示。图6示出了错误分类的图像和正确分类的图像的示例。从表7和表8中可以看出，除了相机划分部分之外，绝大多数图像在所有划分部分中都被正确分类。
表7：实验结果——二元分类
表8：实验结果——多类分类
这些实施例中的证据表明，如本文所述训练的模型在不同的光、体积、以及颜色条件方面是鲁棒的，并且能够在不同的水平上量化泡沫。
参考文献
Deng,J.,et al.“ImageNet:A Large-Scale Hierarchical Image Database.”CVPR09,2009.
He,Kaiming,et al.“Deep Residual Learning for Image Recognition.”Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,2016,pp.770–778.
Kingma,Diederik P.,and Jimmy Ba."Adam:A method for stochasticoptimization."arXiv preprint arXiv:1412.6980(2014).
Iandola,Forrest N.,Song Han,Matthew W.Moskewicz,Khalid Ashraf,WilliamJ.Dally,and Kurt Keutzer."SqueezeNet:AlexNet-level accuracy with 50x fewerparameters and<0.5MB model size."Preprint,submitted November 4,2016.https://arxiv.org/abs/1602.07360.
Szegedy,Christian,Wei Liu,Yangqing Jia,Pierre Sermanet,Scott Reed,Dragomir Anguelov,Dumitru Erhan,Vincent Vanhoucke,and Andrew Rabinovich."Going deeper with convolutions."In Proceedings of the IEEE conference oncomputer vision and pattern recognition,pp.1-9.2015.
Szegedy,Christian,Vincent Vanhoucke,Sergey Ioffe,Jon Shlens,andZbigniew Wojna."Rethinking the inception architecture for computer vision."InProceedings of the IEEE Conference on Computer Vision and PatternRecognition,pp.2818-2826.2016.
He,Kaiming,Xiangyu Zhang,Shaoqing Ren,and Jian Sun."Deep residuallearning for image recognition."In Proceedings of the IEEE conference oncomputer vision and pattern recognition,pp.770-778.2016.
Simonyan,Karen,and Andrew Zisserman."Very deep convolutional networksfor large-scale image recognition."arXiv preprint arXiv:1409.1556(2014).
Krizhevsky,Alex,Ilya Sutskever,and Geoffrey E.Hinton."ImageNetClassification with Deep Convolutional Neural Networks."Advances in neuralinformation processing systems.2012.
Huang,Gao,Zhuang Liu,Laurens Van Der Maaten,and Kilian Q.Weinberger."Densely Connected Convolutional Networks."In CVPR,vol.1,no.2,p.3.2017.
Ekin D.Cubuk,Barret Zoph,Jonathon Shlens,Quoc V.Le.“RandAugment:Practical automated data augmentation with a reduced search space.”arXiv:1909.13719(2019).
Ramprasaath R.Selvaraju,Michael Cogswell,Abhishek Das,RamakrishnaVedantam,Devi Parikh,Dhruv Batra.“Grad-CAM:Visual Explanations from DeepNetworks via Gradient-based Localization”.(2016)arXiv:1610.02391v4
Aditya Chattopadhyay,Anirban Sarkar,Prantik Howlader,Vineeth NBalasubramanian.“Grad-CAM++:Improved Visual Explanations for DeepConvolutional Networks”.(2017)arXiv:1710.11063
本说明书中提到的所有文件通过引用整体结合于本文。
术语“计算机系统”包括用于实施根据上述实施例的系统或执行方法的硬件、软件、以及数据存储设备。例如，计算机系统可以包括中央处理单元(central processingunit，CPU)、输入装置、输出装置、以及数据存储器，计算机系统可以实现为一个或多个连接的计算设备。优选地，计算机系统具有显示器或包括具有提供视觉输出显示(例如商业过程的设计中的视觉输出显示)的显示器的计算设备。数据存储器可以包括RAM、磁盘驱动器、或其他计算机可读介质。计算机系统可以包括通过网络连接并且能够通过该网络彼此通信的多个计算设备。
上述实施例的方法可以作为计算机程序或作为携带计算机程序的计算机程序产品或计算机可读介质来提供，当在计算机上运行时，计算机程序被设置为执行上述方法。
术语“计算机可读介质”包括但不限于可由计算机或计算机系统直接读取和访问的任何非暂时性媒体或介质。上述介质可包括但不限于磁存储介质(例如软盘存储介质、硬盘存储介质、以及磁带)；光学存储介质(例如光盘或CD-ROM)；电存储介质(例如存储器，包括RAM、ROM、以及闪存)；以及上述介质的混合和组合，例如磁/光存储介质。
除非上下文另有指示，否则上述特征的描述和定义不限于本发明的任何特定方面或实施例，并且等效地应用于所描述的所有方面和实施例。
本文使用的“和/或”将视为具有或不具有另一个的两个指定特征或组件中的每一个的具体公开。例如，如同每一项在此单独列出一样，“A和/或B”将视为以下中每一项的具体公开：(i)A、(ii)B、以及(iii)A和B。
需要注意，除非上下文另有明确规定，否则如在说明书和所附权利要求中所使用的，单数形式“一”、“一个”、以及“该”包括复数指称。范围在本文中可以表示为从“大约”一个特定值，和/或到“大约”另一特定值。当表示这样的范围时，另一实施例包括从一个特定值和/或到另一特定值。类似地，当值被表示为近似值时，通过使用先行词“大约”，将会理解该特定值形成另一实施例。与数值相关的术语“大约”是可选的，并且表示例如+/-10％。
贯穿本说明书和权利要求书，除非上下文另有要求，否则术语“包括”以及诸如“具有”、“含有”和“包含”的变型将理解为意味着包括所述整数或一组整数但不排除任何其他整数或一组整数。
除非上下文另有规定，否则通过使用术语“由...组成”或“基本上由...组成”替换术语“包括”，本发明的其他方面和实施例可以提供上述方面和实施例。
在前述描述或权利要求中或在附图中公开的特征可以以其特定形式表示，或者可以通过用于执行所公开的功能的装置或用于获得所公开的结果的方法或过程来表示，可以单独地表示这些特征，或者可以以这些特征的任何组合来表示这些特征，以通过不同的形式实现本发明。
虽然已经结合上述示例性实施例描述了本发明，但基于本公开，许多等效的修改和变化对于本领域技术人员将是显而易见的。因此，本发明的上述示例性实施例被认为是说明性的而非限制性的。在不脱离本发明的精神和范围的情况下，可以对描述的实施例进行各种改变。
为了避免任何疑义，本文提供的任何理论解释均用于促进读者的理解。发明人不希望受这些理论解释的束缚。
本文使用的任何部分标题仅用于组织目的，不应解释为限制所描述的主题。

Claims (15)

1.一种用于检测容器中容纳的液体介质表面上的泡沫的计算机实现的方法，所述方法包括以下步骤：
接收包括液-气界面的所述容器的至少一部分的样本图像；以及
在第一类和至少一个第二类之中对所述样本图像进行分类，所述第一类和至少一个第二类与所述液体表面上的不同泡沫量相关联，其中，所述分类由深度神经网络分类器执行，所述深度神经网络分类器已经使用包括液-气界面的容器的至少一部分的多个训练图像进行了训练，其中，所述多个训练图像包括在以下一个或多个方面彼此不同的至少一些图像：所述图像上的所述液-气界面的位置、在所述图像上观察所述液-气界面的极角和/或方位角、以及当获取所述图像时照亮所述容器的成像部分的一个或多个光源的光强度或色温。
2.一种用于控制容器中的生物过程的计算机实现的方法，所述方法包括：
接收包括液-气界面的所述容器的至少一部分的样本图像；
在第一类和至少一个第二类之中对所述样本图像进行分类，所述第一类和至少一个第二类与所述液体表面上的不同泡沫量相关联，其中，所述分类由深度神经网络分类器执行，所述深度神经网络分类器已经使用包括液-气界面的容器的至少一部分的多个训练图像进行了训练，其中，所述多个训练图像包括在以下一个或多个方面彼此不同的至少一些图像：所述图像上的所述液-气界面的位置、在所述图像上观察所述液-气界面的极角和/或方位角、以及当获取所述图像时照亮所述容器的成像部分的一个或多个光源的光强度或色温；以及
如果所述样本图像被分类为所述第二类或者多个第二类和其他类中的第一个类，则向效应器设备发送第一信号；以及可选地，在从接收到前一图像起已经经过预定时间段之后重复以下步骤：接收样本图像、对所述样本图像进行分类、以及如果所述样本图像被分类为第二类或者多个第二类和其他类中的第一个类则向效应器设备发送信号。
3.根据前述权利要求中任一项所述的方法，其中，所述样本图像和/或所述训练图像是：所述容器的侧视图、所述容器的俯视图、和/或从所述容器外部获取的图像。
4.根据前述权利要求中任一项所述的方法，其中，所述第一类与所述液体表面上不存在泡沫相关联，并且一个或多个所述第二类与所述液体表面上存在泡沫相关联，可选地，其中，所述不存在泡沫是指在所述液体表面上不存在气泡簇，例如不存在共同形成冯洛诺伊镶嵌图案的多个气泡。
5.根据前述权利要求中任一项所述的方法，其中，一个或多个所述第二类包括多个类，其中，所述多个类与所述液体表面上存在不同泡沫量相关联。
6.根据前述权利要求中任一项所述的方法，其中，所述多个训练图像包括在当获取所述图像时照亮所述容器的所述成像部分的所述一个或多个光源的光强度或色温方面彼此不同的至少一些图像，其中，所述图像使用在功率、色温、以及亮度中的一个或多个方面彼此不同的多个光源获取。
7.根据前述权利要求中任一项所述的方法，其中，所述容器是生物反应器。
8.根据前述权利要求中任一项所述的方法，其中，所述深度神经网络是卷积神经网络(CNN)，可选地，其中，所述CNN是在使用所述训练图像进行泡沫检测的训练之前已经被预训练用于物体检测的CNN。
9.根据前述权利要求中任一项所述的方法，其中，接收包括所述液-气界面的所述容器的至少一部分的样本图像包括获取包括所述液-气界面的所述容器的至少一部分的图像，和/或其中，所述方法还包括选择接收的样本图像中包括所述液-气界面的区域，可选地，其中，选择接收的样本图像的区域包括应用预定义的掩模以选择所述接收的样本图像的区域。
10.根据前述权利要求中任一项所述的方法，其中，所述样本图像是使用图像捕获装置获取的数字图像，所述样本图像具有与所述多个训练图像中的至少一些训练图像中的失真特征相似的失真特征，和/或其中，所述样本图像和所述训练图像各自单独地选自彩色图像和灰度图像，和/或其中，所述多个训练图像包括通过图像增强从其他训练图像获得的图像。
11.根据权利要求2至10中任一项所述的方法，其中，所述效应器设备选自消泡剂分配系统、搅拌器系统、曝气系统、泡沫去除系统、以及泡沫破坏系统，可选地，其中，向效应器设备发送第一信号包括以下中的一个或多个：
(i)向消泡剂分配系统发送信号，以使所述消泡剂分配系统在所述容器中分配消泡剂，或使所述消泡剂分配系统增加在所述容器中分配消泡剂的频率和/或量；
(ii)向耦合到所述容器的搅拌器系统发送信号，以使所述搅拌器系统降低所述容器中的搅拌速度；
(iii)向耦合到所述容器的曝气系统发送信号，以使所述曝气系统降低所述容器中的曝气速率；
(iv)向耦合到所述容器的泡沫去除系统发送信号，以使所述泡沫去除系统去除所述容器中的所述泡沫；以及
(v)向耦合到所述容器的泡沫破坏系统发送信号，以使所述泡沫破坏系统产生适用于使所述容器中的泡沫不稳定的振动。
12.一种提供用于检测容器中容纳的液体介质表面上的泡沫的工具的计算机实现的方法，所述方法包括：
接收：
包括液-气界面的容器的至少一部分的多个训练图像，其中，所述多个训练图像包括在以下一个或多个方面彼此不同的至少一些图像：所述图像上的所述液-气界面的位置、在所述图像上观察所述液-气界面的极角和/或方位角、以及当获取所述图像时照亮所述容器的成像部分的一个或多个光源的光强度或色温；以及
多个类标签，每个类标签与所述多个训练图像中的一个训练图像相关联，其中，所述类标签选自第一类标签和至少一个第二类标签，并且与所述液体表面上的不同泡沫量相关联；以及
训练深度神经网络分类器，以使用所述多个训练图像在第一类和至少一个第二类之中对图像进行分类。
13.根据权利要求12所述的方法，其中：
(i)接收多个类标签，每个类标签与所述多个训练图像中的一个训练图像相关联，包括：显示多个训练图像并提示用户将类标签与所述多个训练图像中的每个训练图像相关联；和/或
(ii)所述方法还包括：可选地通过应用用户定义的或自动定义的掩模来选择接收的所述样本图像的区域，从而选择每个训练图像的包括所述液-气界面的一个区域或多个区域；和/或
(iii)所述方法还包括定义第一信号，当样本图像被所述深度神经网络分类器分类为所述第二类或者多个第二类和其他类中的第一个类时，所述第一信号将被发送到效应器设备(和/或用户界面)；和/或
(iv)接收多个训练图像包括获取多个图像和/或从存储器获得多个图像，可选地，其中，获取容器的至少一部分的多个图像包括在图像获取过程中修改以下参数中的一个或多个至少一次：所述容器中的液体体积、所述图像获取装置相对于所述容器的位置、以及照亮容器的所述成像部分的所述一个或多个光源的光强度(例如功率或亮度)或色温。
14.一种用于检测容器中容纳的液体介质表面上的泡沫的系统，所述系统包括：
至少一个处理器；以及
包含指令的至少一个非暂时性计算机可读介质，当被所述至少一个处理器执行时，所述指令使所述至少一个处理器执行包括以下操作：
接收包括液-气界面的所述容器的至少一部分的样本图像；以及
在第一类和至少一个第二类之中对所述样本图像进行分类，所述第一类和至少一个第二类与所述液体表面上的不同泡沫量相关联，其中，所述分类由深度神经网络分类器执行，所述深度神经网络分类器已经使用包括液-气界面的容器的至少一部分的多个训练图像进行了训练，其中，所述多个训练图像包括在以下一个或多个方面彼此不同的至少一些图像：
所述图像上的所述液-气界面的位置、在所述图像上观察所述液-气界面的极角和/或方位角、以及当获取所述图像时照亮所述容器的成像部分的一个或多个光源的光强度或色温；可选地，其中，所述至少一个非暂时性计算机可读介质包含指令，当被所述至少一个处理器执行时，所述指令使所述至少一个处理器执行根据权利要求2至13中任一项所述的方法。
15.一个或多个非暂时性计算机可读介质，包括指令，当被至少一个处理器执行时，所述指令使所述至少一个处理器执行根据权利要求1至13中任一项所述的方法。
CN202180072325.9A 2020-08-21 2021-08-13 自动泡沫检测 Pending CN116507716A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20192244.0 2020-08-21
EP20192244.0A EP3957712A1 (en) 2020-08-21 2020-08-21 Automated foam detection
PCT/EP2021/072650 WO2022038061A1 (en) 2020-08-21 2021-08-13 Automated foam detection

Publications (1)

Publication Number Publication Date
CN116507716A true CN116507716A (zh) 2023-07-28

Family

ID=72193388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180072325.9A Pending CN116507716A (zh) 2020-08-21 2021-08-13 自动泡沫检测

Country Status (4)

Country Link
US (1) US20230357698A1 (zh)
EP (1) EP3957712A1 (zh)
CN (1) CN116507716A (zh)
WO (1) WO2022038061A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880262B (zh) * 2022-12-20 2023-09-05 桂林电子科技大学 基于在线噪声抑制策略的弱监督病理图像组织分割方法
CN117943213B (zh) * 2024-03-27 2024-06-04 浙江艾领创矿业科技有限公司 微泡浮选机的实时监测预警系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5500618B2 (ja) * 2009-03-19 2014-05-21 株式会社明治 反応液の気泡検知方法及び消泡装置
GB201213506D0 (en) 2012-07-30 2012-09-12 Tap Biosystems Phc Ltd Bioreactor vessels and associated bioreactor systems
GB2515751A (en) 2013-07-01 2015-01-07 Tap Biosystems Phc Ltd Bioreactor consumable units
GB201614717D0 (en) 2016-08-31 2016-10-12 Ge Healthcare Bio Sciences Ab Detection of foam levels
EP3620983B1 (en) 2018-09-05 2023-10-25 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for data analysis
CN109671124B (zh) * 2018-12-27 2023-03-24 湖南师范大学 一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统
CN110751606B (zh) * 2019-10-17 2023-09-19 广州愿托科技有限公司 一种基于神经网络算法的泡沫图像处理方法及系统

Also Published As

Publication number Publication date
US20230357698A1 (en) 2023-11-09
EP3957712A1 (en) 2022-02-23
WO2022038061A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
US11037292B2 (en) Cell image evaluation device and cell image evaluation control program
Versari et al. Long-term tracking of budding yeast cells in brightfield microscopy: CellStar and the Evaluation Platform
Risse et al. FIM, a novel FTIR-based imaging method for high throughput locomotion analysis
CN116507716A (zh) 自动泡沫检测
Barreiros et al. Zebrafish tracking using YOLOv2 and Kalman filter
CN113537106A (zh) 一种基于YOLOv5的鱼类摄食行为识别方法
CN112689756A (zh) 用于生物样品的无标记识别和分类的系统和方法
EP3506165A1 (en) Using a first stain to train a model to predict the region stained by a second stain
EP2948753B1 (en) System and method for counting zooplankton
CN111382616B (zh) 视频分类方法、装置及存储介质、计算机设备
CN113439227B (zh) 放大图像的捕获和存储
CA3174265A1 (en) Ai based feeding system and method for land based fish farms
JP2023508905A (ja) 畳み込みニューラルネットワークによる細胞株開発画像特性評価
Ha et al. TensorMoG: A tensor-driven gaussian mixture model with dynamic scene adaptation for background modelling
CN113273179A (zh) 用于管理养殖场环境的装置
JP2022504710A (ja) ミルクを分類するためのミルク分析器
CN114005064A (zh) 一种基于机器视觉技术的生物式水体污染预警方法及装置
Sosa-Trejo et al. Vision-based techniques for automatic marine plankton classification
Kurniati et al. GLCM-Based Feature Combination for Extraction Model Optimization in Object Detection Using Machine Learning
US11756190B2 (en) Cell image evaluation device, method, and program
JP7148776B2 (ja) コロニー識別システム、コロニー識別方法およびコロニー識別プログラム
Rani et al. A novel automated approach for fish biomass estimation in turbid environments through deep learning, object detection, and regression
Kim et al. An effective motion-tracking scheme for machine-learning applications in noisy videos
Zimmerman et al. Embedded system to detect, track and classify plankton using a lensless video microscope
CN113591548B (zh) 靶环识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination