本申请要求于2018年8月28日提交的美国临时专利申请第62/724,025号和于2018年10月5日提交的美国临时专利申请第62/742,247号的优先权权益,其内容通过引用整体并入本文。本文提及的任何出版物或专利文献的全部公开内容通过引用整体并入。
示例性实施例的详细说明
以下详细描述通过示例而非限制的方式示出了本发明的一些实施例。本文使用的章节标题和任何字幕仅用于组织目的,而不应被解释为以任何方式限制所描述的主题。章节标题和/或字幕下的内容不限于章节标题和/或字幕,而是适用于本发明的整个描述。
任何出版物的引用是由于其公开早于申请日,不应解释为承认本发明的权利要求无权由于在先发明而先于这些出版物。此外,所提供的公开日期可以不同于实际的公开日期,实际的公开日期可能需要被独立地确认。
定义
除非另外定义,否则本文使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常理解的相同含义。尽管与本文所述类似或等同的任何方法和材料也可用于实践或测试本教导,但现在描述一些示例性方法和材料。
如本文所用,术语“样品”涉及含有一种或多种感兴趣的分析物或实体的材料或材料混合物。在某些实施例中,样品是来自受试者的体液样品。在一些情况下,可以提供固体或半固体样品。该样品可以包括从受试者收集的组织和/或细胞。样品可以是生物样品。生物样品的示例可以包括但不限于血液、血清、血浆、鼻拭子、鼻咽洗液、唾液、尿液、胃液、脊髓液、泪液、粪便、粘液、汗液、耳垢、油脂、腺体分泌物、脑脊髓液、组织、精液、阴道分泌物、源自肿瘤组织的间质液、眼液、脊髓液、咽喉拭子、呼出的冷凝物(例如呼吸)、毛发、指甲、皮肤、活组织检查、胎盘液、羊水、脐带血、淋巴液、腔液、痰液、脓液、微生物群、胎粪、母乳和/或其它排泄物。样品可包括鼻咽洗液。鼻拭子、咽喉拭子、粪便样品、毛发、指甲、耳垢、呼吸和其它固体、半固体或气体样品可在其分析之前在提取缓冲液中处理(例如固定或可变量的时间)。如果需要,提取缓冲液或其等分试样然后可以类似于其它流体样品进行处理。受试者的组织样品的示例可包括但不限于结缔组织、肌肉组织、神经组织、上皮组织、软骨、癌样品或骨。在具体的实施例中,可以从受试者例如人获得样品,并且可以在用于受试者测定之前对其进行处理。例如,在分析之前,可以在使用之前从组织样品中提取蛋白质/核酸,其方法是已知的。在特定实施例中,样品可以是临床样品,例如,从患者收集的样品。样品还可以是食物、环境等的样品。
术语“分析物”是指适合于在本发明中测试的任何物质。分析物包括但不限于原子、分子(例如,蛋白质、肽、DNA、RNA、核酸或其它分子)、细胞、组织、病毒、细菌和具有不同形状的纳米颗粒。生物标记物是分析物。
如本文所用,术语“确定”、“测量”和“评估”以及“测定”可互换使用,并且包括定量和定性确定。
如本文所用,术语“发光的标签”是指当在外部激发下时能够发射光的标签。这可以是发光的。荧光标签(其包括染料分子或量子点)和发光标签(例如,电致或化学发光标签)是发光的标签的类型。外部激发是荧光的光(光子)、电致发光的电流和化学发光的化学反应。外部激发可以是上述的组合。
短语“经标记的分析物”是指用发光的标签可检测地标记的分析物,使得可通过评估标签的存在来检测分析物。被标记的分析物可被直接标记(即,分析物本身可直接缀合至标签,例如通过强键,例如共价键或非共价键),或者被标记的分析物可被间接标记(即,分析物被直接标记的第二捕获剂结合)。
术语“间隔件”和“光学校准标记”以及“光学校准标记”和“柱”是可互换的。
术语“测定”是指在但不限于实验室、医学、药理学、环境生物学、保健和分子生物学中的研究(分析)程序-用于但不限于定性地评估或定量地测量目标实体(即分析物)的存在、量、浓度或功能活性。该分析物可以是药物、生物化学物质,或生物体或有机样品(例如人血液)中的细胞。
术语“基于图像的测定”是指利用由成像器拍摄的样品的图像的测定程序,其中样品可以是但不限于医学、生物和化学样品。
术语“成像器”是指能够拍摄对象图像的任何装置。其包括但不限于显微镜中的相机、智能电话或可在各种波长下拍摄图像的特殊装置。
术语“样品特征”是指代表潜在感兴趣的条件的样品的一些性质。在某些实施例中,样品特征是出现在样品的图像中并且可以通过机器学习模型或一些其他算法来分割和分类的特征。样品特征的示例包括但不限于样品中的分析物类型,例如红细胞、白细胞和肿瘤细胞,并且其包括分析物形状、计数、尺寸、体积、浓度等。
术语“样品中的微特征”指样品中的分析物、微结构和/或物质的微变化。分析物包括颗粒、细胞、大分子,例如蛋白质、核酸和其它部分。微结构可以指不同材料的微尺度差异。微变化是指样品局部性质的微尺度变化。微变化的示例是局部光学指数和/或局部质量的变化。细胞的示例是血细胞,例如白血细胞、红血细胞和血小板。
术语“样品中的缺陷”是指不应在理想样品条件下存在或不应在样品中考虑的异物和伪影。它们可以来自但不限于污染物,例如灰尘、气泡等,以及来自外围对象,包括样品中的结构对象,例如样品保持装置中的监测标记(例如柱)。样品中的缺陷可以具有显著的尺寸并且在样品中占据显著量的体积以用于测定,例如气泡,其中它们可以在样品中以不同的形状、尺寸、量和浓度出现,并且它们也随样品的不同而具有样品依赖性。
术语分析物的“形态特征”是指分析物的外观(例如形状、颜色、尺寸等)和结构。
术语“单应变换”是指由射影空间的同构引起的一类共线变换。它在图像处理领域是已知的,并且应用于相机模型中以表征真实世界中的图像平面和对应的物理平面。
术语“机器学习”是指人工智能领域中的算法、系统和设备,其通常使用统计技术和人工神经网络来向计算机提供从数据“学习”(即,逐步改善对特定任务的性能)而不被明确编程的能力。
术语“人工神经网络”是指由生物网络启发的分层连接系统,其可以通过考虑示例“学习”以执行任务,通常不用任何任务专用规则来编程。
术语“卷积神经网络”是指一类最常应用于分析视觉图像的多层前馈人工神经网络。
术语“深度学习”是指从具有一定深度网络结构的数据中学习的人工智能(AI)中的一大类机器学习方法。
术语“机器学习模型”是指从数据的机器学习中的训练过程构建的训练的计算模型。训练的机器学习模型在推断阶段由计算机应用,该计算机给予计算机执行特定任务(例如,检测和分类对象)的能力。机器学习模型的示例包括ResNet、DenseNet等,由于其分层网络结构的深度,其也被称为“深度学习模型”。
术语“图像分割”是指将数字图像划分成多个图像补丁段(像素组,通常具有覆盖由它们的段边界轮廓包围的图像段的一组位图掩模)的图像分析过程。图像分割可以通过图像处理中的图像分割算法来实现,例如watershed、grabcut、均值偏移等,并且它也可以通过专用机器学习算法来实现,例如MaskRCNN等。
测定结果中的术语“不可靠”意指对于测定给定样品,测定结果不总是准确的:有时测定的结果是准确的,但有时结果是不准确的,其中不准确的结果与准确的结果基本上不同。这种不准确的结果称为“错误结果”。在一些文献中,错误结果也称为“异常值”。
测定结果中的术语“准确”意指在允许的布置内,测定结果与在理想环境下由经训练的专业人员操作的黄金标准仪器测定的相同样品的结果一致。
传统上,诊断测定通常使用复杂的(通常昂贵的)仪器进行,并且需要高度训练的人员和复杂的基础结构,其在有限的资源设置中不可用。
用于测定样品的术语“有限资源设置”或“LRS”是指在进行测定时的设置,其中其使用简化/低成本测定过程或简化/低成本仪器,由未经训练的人进行,在不利环境(例如开放和非实验室环境,具有灰尘),或其任何组合中使用。
术语“LRS测定”是指在LRS下进行的测定。
在描述特定测定结果(或数据)的可靠性中的术语“可信”是指特定测定结果的可靠性分析确定该结果具有不准确的低概率。
在描述特定测定结果(或数据)的可靠性中的术语“不可信”是指特定测定结果的可靠性分析确定该结果具有不准确的高概率。
术语“值(worthiness)”和“可信”是可互换的。
术语“监测结构”意指用于监测测定的操作和/或测定装置质量的光学性质的结构。
“监测结构”包含监测标记、间隔件、位置标记、成像标记或比例标记。
进行测定时的术语“操作条件”是指进行测定的条件。所述操作条件包括但不限于至少三个类别:(1)与样品相关的缺陷,(2)与样品保持器相关的缺陷,以及(3)与测量过程相关的缺陷。术语“缺陷”意指偏离理想条件。
A1:基于图像的测定中的样品缺陷
在基于图像的测定中,其涉及样品制备,用于成像的样品保持装置和由成像器在用于测定的样品保持装置上拍摄的样品的图像。在测定过程中,各操作动作和部件都会产生缺陷,影响测定的准确度和测定结果的可信性。
例如,样品制备中的缺陷包括但不限于气泡、灰尘、异物(即对象不应在样品中,而是进入样品中)、样品的干纹理(其中样品的某些部分在样品保持装置中变干)、样品保持装置中用于测定的样品量不足、具有不正确基质(例如,血液、唾液)的样品、试剂与样品的不正确反应、样品的不均匀分布、样品保持器的错误样品位置(例如,间隔件下的血细胞)等。
与样品保持装置相关的缺陷的示例包括但不限于,样品保持器中缺失间隔件、装置未正确闭合、放置在不正确的位置、密封后重新打开、表面被污染、不正确的间隔件高度、大表面粗糙度、不正确的透明度、不正确的吸收率、缺失监测标记、不正确的光学性质、不正确的电学性质、不正确的几何(尺寸、厚度)性质等。
进一步的示例包括来自测量过程的缺陷,包括但不限于不适当的光强度、样品在用于测定的图像中未聚焦、错误的光颜色、环境光的泄漏、不均匀的发光强度、不适当的透镜条件、滤光器条件、光学部件条件、电气部件条件、仪器的装配条件、样品保持装置与成像器的图像平面的相对位置等。
此外,取决于操作环境、分析物、所使用的试剂、温度等,基于图像的测定中可能不可预测地发生许多缺陷,例如气泡和灰尘,使得在基于图像的测定过程中极难完全消除它们。因此,需要一种方法和设备来检测、去除和消除基于图像的测定中的缺陷的负面影响,并且使测定结果准确且可信。
图7是在具有用于基于图像的测定的一些智能监测结构的样品保持装置中准备用于测定的样品的过程100的框图。在过程100的各种实现中,动作可被去除、组合或分解成子动作。该过程开始于动作模块101,其中使用纳米压印以高精度制造样品保持装置,其中该装置具有用于监测基于图像的测定操作的智能监测结构(IMS)。
如图7所示,样品保持装置中的IMS包含在装置的基板上制造的柱。在一些实施例中,这些柱具有均匀的高度和尺寸,并且它们以预先设计的周期性图案分布。在动作模块102中,用于测定的样品落到样品接触区域。样品接触区域可以包含与样品相互作用并制备用于测定的样品的试剂、抗体、抗原、化学品等。在动作模块103中,动作模块102的样品保持装置用透明盖闭合,含有样品的样品保持装置用周围的壁及其两个板密封,其中用于测定的样品夹在样品保持装置的两个板之间。在动作模块103中,将密封的样品保持装置插入用于成像的适配器中。动作模块104中的成像器从动作模块103在样品保持接触区域上连同智能监控结构一起拍摄适配器中的样品保持装置(例如QMAX卡)的图像。
在动作模块105中,保存用于测定的样品的图像用于后续的基于图像的测定操作,以从样品的图像分析该分析物的性质。图8是成像器在基于图像的测定中拍摄的红细胞的全血细胞计数(CBC)的图像。
A2:基于图像的测定的缺陷分割
在用于验证测定结果的质量和可信性的一些实施例中,需要从用于测定的样品的图像中分割感兴趣对象。虽然可以应用基于机器学习的图像分割算法(例如掩模RCNN),但是它们需要在样品的显微图像中对待测定对象的形状进行精确的轮廓标记,以便训练机器学习模型,这是许多应用的瓶颈。对于基于图像的测定,对象的形状轮廓的这种标记可能是昂贵的并且难以实现,因为样品中的对象可能非常小,它们的出现是随机的,并且此外,它们之间在形状、尺寸和颜色(例如灰尘、气泡等)方面存在巨大的变化。
在一些实施例中,基于基于机器学习的粗结合框分割和基于图像处理的细磨形状确定的组合设计精细(fine-grinned)图像分割算法。它被应用于基于图像的测定中的图像分割,其中每个对象只需要在不依赖于形状和形状轮廓细节的粗边界框中被标记。由此,消除了对样品的图像中的对象的形状相关轮廓的细磨标记的需要,其是困难、复杂、昂贵的并且难以精确。该精细图像分割算法包含:
a)收集成像器拍摄的多个用于训练的样品图像,其包含用于测定的样品的图像中的待检测对象;
b)用含有用于模型训练的所述对象的粗结合框标记所收集的图像中的每一个对象;
c)训练机器学习模型(例如FRCNN)用以检测具有含有它们的边界框的样品的图像中的所述对象;
d)在推断阶段,将待测定样品的图像作为输入;
e)应用训练的机器学习模型来检测所述对象并利用样品的图像中的边界框定位它们;
f)将含有被检测对象的结合框所对应的每个图像补丁变换为灰色,然后用自适应阈值化变换为二进制;
g)从背景噪声中进行形态膨胀(7x7)和侵蚀(3x3)以增强形状的轮廓;
h)对每个所述图像补丁进行凸轮廓分析,并使用在所述补丁中找到的最长连接轮廓作为所述对象形状的轮廓,以确定所述对象的图像掩模(例如,覆盖所述样品的图像中的对象的二进制位图);以及
i)通过收集来自(h)的所有图像掩模来完成图像分割。
在一些实施例中,在基于图像的测定中,其将分割掩模应用于具有额外余量Δ的检测对象,以减少缺陷对局部相邻区域的负面影响。这样,在此描述的精细图像分割还包含:
1)利用余量Δ作为新的掩模来扩大(h)中的每个检测到的轮廓;以及
2)通过收集来自(1)的所有放大图像掩模完成具有Δ余量的图像分割。
图9-12是将所描述的精细图像分割算法应用于红细胞的基于图像的测定的应用示例。如图像所示,所描述的精细图像分割方法可以处理具有不同尺寸和形状的对象,并且产生具有覆盖样品的图像中的对象的非常紧密的掩模的分割,而即使样品的图像中的缺陷的形状和尺寸的一般形式是未知的。这与样品中分析物或细胞(例如全血细胞计数中的红细胞)的分割完全不同,其中分析物或细胞的形状或尺寸的一般形式是已知的或在与其基本形式的一定程度的变化内是已知的。
在此描述的用于缺陷的图像分割的方法的另一方面不仅可以去除在样品的图像中检测到的缺陷,而且可以通过受控的额外余量Δ来去除在样品的图像中的缺陷。这种能力对于测定非常重要,因为用于测定的样品中的缺陷可以改变样品中分析物分布的均匀性,改变局部样品层高度等-导致测定结果的大的变化和不准确。
A3:使用监测标记的基于成像的测定
在基于图像的测定中,由成像器拍摄的样品的成像器用于确定用于测定的分析物的至少一种性质。并且在一些实施例中,在具有监测标记的样品保持装置(例如本文所述的QMAX卡)中对样品拍摄图像。许多因子可以使样品的图像失真(即,不同于真实样品或在完美条件下的图像)。图像失真可导致测定分析物的性质的确定中的不准确度和误差。例如,一个失真是由成像器拍摄的样品的图像中的真实横向尺寸(TLD)的变化。
术语“横向尺寸”是指被成像的薄样品层的平面中的线性尺寸。在本文中,术语“真实横向尺寸”和“视场”可互换。
确定样品的图像的TLD在基于图像的测定中是关键的,因为其将以像素描述的样品的图像中的对象的尺寸映射到由成像器成像的物理样品平面中的其微米的实际尺寸。一旦知道样品图像的TLD,可以在基于图像的测定中确定对象的实际尺寸,例如实际长度、面积等。
PCT/US19/46971中描述了在基于图像的测定中使用监测标记来估计TLD的方法,其中,其利用监测标记的结构特性和机器学习来在球面和桶形透镜失真、样品中的颗粒的强光散射和衍射、成像器的聚焦条件等的广告条件下获得可靠的TLD估计。
此外,在PCT/US19/46971中还描述了关于如何在从由成像器拍摄的样品的图像中去除某些对象之后,利用了监测标记的结构和样品保持装置(例如QMAX卡)的性质以及机器学习来确定剩余样品体积的方法。在本发明的实施例中应用这些方法以改善在此描述的实施例中基于图像的测定的准确度和测定结果的可信性。
A4:在基于图像的测定中去除样品中的缺陷
样品中的缺陷可严重影响测定结果的准确度和可信性,其中这些缺陷可以是样品中的任何不想要的对象,包括但不限于灰尘、油等,如图9和图11所示。它们一旦进入样品进行测定就难以处理,因为它们在样品中的出现和形状都是随机的。
在一些实施例中,设计了用于缺陷检测的专用方法并将其应用于基于图像的测定,其中收集没有缺陷的良好样品的图像和样品中具有不同程度缺陷的样品的图像作为训练数据,其中图像中的缺陷区域由结合框标记。选择机器学习模型(例如快速RCNN)并用标记的训练图像训练,以检测结合框中样品图像中的缺陷,随后,应用前面A2部分中描述的所述精细图像分割方法来确定覆盖它们的分割轮廓掩模。图10和图11是使用在A2部分中描述的所述细磨分割方法在红细胞的全血细胞计数中来自图9和图12的样品的图像的分割缺陷的图像。
在基于图像的测定过程中,进行缺陷检测和区域确定以验证测定结果的可信性,包含:
a)将来自成像器的样品的图像作为输入;
b)将训练的缺陷检测机器学习模型(例如快速RCNN)应用于用于测定的样品的图像以检测缺陷并将它们定位在结合框中;
c)使用A2部分中描述的精细图像分割方法确定检测到的缺陷的分割轮廓掩膜;
d)利用A3部分中描述的监测标记和样品保持装置估计所述样品的图像的TLD;
e)利用来自(d)的估计的TLD,通过对覆盖检测到的缺陷的分割掩模的所有区域求和,来确定用于测定的感兴趣区域(AoI)中由缺陷(即AoI中缺陷面积)占据的总面积;
f)确定样品图像中用于测定的AoI中缺陷面积和AoI的面积之间的面积比:
AoI中缺陷面积比=AoI中缺陷面积/用于测定的AoI的面积;以及
g)如果AoI中缺陷面积比超过特定阈值,则在测定结果的可信性上升高标志。
在一些实施例中,(b)中的机器学习模型的训练包含:
i.收集用于模型训练的测定样品的多个图像;
ii.通过边界框标记来自(i)的样品的训练图像的图像中的缺陷;
iii.选择卷积神经网络形式的机器学习模型,如快速RCNN;
iv.针对训练中的损失函数调整所选择的机器学习模型的参数,以通过迭代通过具有标记用于训练的缺陷的边界框的所述多个样品来将训练样品分类为它们的正确身份;以及
v.当满足一定的停止条件时,输出来自(iv)的机器学习模型。
在一些实施例中,在(g)中基于AoI中缺陷面积比确定阈值的阈值为约15%,其中此阈值取决于在去除对应于受缺陷影响的面积的样品体积之后的剩余样品体积并且其中使用在A2、A3部分中描述的样品的图像的样品体积估计方法和所述样品保持装置的恒定高度特性,可以获得去除缺陷之后的样品体积。
在一些实施例中,去除的对象是在用于测定的样品中出现的气泡。在一些实施例中,去除的对象是灰尘、毛发等,其在基于图像的测定操作中进入样品。
在一些实施例中,去除的对象和相关体积可以是它们在样品保持器中所采取的监测标记和体积(例如柱),其参与用于测定的样品的图像,但不应该在用于测定的实际样品体积中计数。否则,由于使用的样品量不正确,测定结果不准确或不可靠。
A5:去除样品中聚集分析物
在测定中,一种麻烦的情况是用于测定的样品中的分析物聚集,这可能影响测定结果和准确度,例如计数、分割等。
此外,分析物聚集可由样品制备中的操作、分析物的类型、样品在样品保持装置中的持续时间、样品的新鲜度、使用的试剂等引起。此外,分析物聚集是移动过程。随着时间的推移,其可能变得更糟,并且在测定中应当逐步检查。
例如,在全血细胞计数中,可以聚集用于测定的样品中的某些部分的红细胞,特别是如果它们在开放的空气中暴露一定的时间。样品中聚集分析物簇具有一些随机的尺寸和形状,这取决于它们如何聚集在一起。如果聚集分析物的部分超过样品中的一定百分比,则样品不应用于测定。
在一些实施例中,设计了使用机器学习用于分析物聚集检测和去除的过程。它将分析物聚集/成簇处理为用于测定的样品中的特殊缺陷,这些缺陷是动态的并且随时间变化。同样地,其在测定的每个步骤检查由成像器拍摄的样品的图像以确定分析物是否在用于测定的样品中聚集/成簇。
在一些实施例中,收集多个样品图像以训练机器学习模型以检测并分割样品图像中的分析物聚集/成簇。所收集的训练图像集包括没有被分析物成簇的样品图像和具有不同程度成簇的样品图像。其遵循A4部分中描述的类似机器学习模型训练程序,通过边界框标记样品图像中的分析物聚集/成簇。其基于训练数据的边界框标记来训练机器学习模型,以检测在推断过程期间样品图像中的分析物聚集/成簇。之后,其将A2部分中描述的精细图像分割方法应用于检测到的含有样品图像中分析物聚集/成簇的边界框。
在测定期间,分析物聚集/成簇的检测和去除包含:
a)将来自成像器的样品的图像作为输入;
b)将训练的机器学习模型应用于分析物聚集/成簇检测,以检测样品图像中的聚集分析物,以用于在结合框中进行测定;
c)通过应用在A2部分中描述的精细图像分割方法,从(b)确定被检测的分析物聚集/成簇的精细分割轮廓掩模;
d)通过对与覆盖来自(c)的感兴趣区域(AoI)的分割轮廓掩模相关联的所有面积求和,确定样品的图像中的感兴趣区域(AoI)中的聚集分析物占据的总面积(AoI中聚集分析物面积);
e)确定样品的图像中AoI中聚集分析物面积与AoI的面积之间的面积比:
AoI中聚集分析物面积比=AoI中聚集分析物面积/AoI的面积;以及
f)如果AoI中聚集分析物面积比例超过特定阈值,则在测定结果的可信性上升高标志。
在一些实施例中,阈值设定为10-20%,其中阈值取决于聚集分析物面积对最终估计的影响,其可从训练和评估数据估计。
A6:去除用于基于图像的测定的样品中的气泡
用于测定的样品中的气泡是一种特殊类型的缺陷,并且它们在测定中非常频繁地发生。它们的出现是随机的,可以来自样品制备、样品中分析物与试剂之间的反应等操作程序。
在本发明的一些实施例中,它使用专用过程来处理气泡(作为特殊缺陷)以在测定中去除它们。在一些其它实施例中,其在A4部分中所述的去除缺陷的程序中添加气泡作为新型缺陷。应用A2部分中描述的精细图像分割方法来进行精细分割和具有扩大余量Δ的缺陷分割,以使测定结果准确且可信。
在一些实施例中,遵循A4中描述的过程并且确定样品的图像中的气泡的总面积并且计算用于测定的感兴趣区域中的气泡面积的比例:AoI中气泡比。如果AoI中气泡比超过一定的阈值,则在测定结果的可信性上升高标志。在一些实施例中,气泡的阈值被设置为大约10%,其中阈值取决于气泡面积对最终估计的影响,其可以根据训练和评估数据来估计。
在一些实施例中,应用关于气泡的更严格的阈值,因为气泡所占据的大量面积是样品中的组分之间发生的用于测定的一些化学或生物反应或样品保持装置中需要特别注意的一些缺陷/问题的指示。
A7:去除用于基于图像的测定的样品中的干纹理
在图像测定中,样品图像中的干纹理会影响测定结果的准确度和可信性。当用于测定的样品的量低于所需的量或由于一些不可预测的因子使图像保持装置中的样品的某些部分变干时会发生这种情况。
在一些实施例中,设计并应用基于机器学习的过程来检测在基于图像的测定中由成像器拍摄的样品的图像中的干纹理面积。其将用于基于图像的测定的样品中的干纹理处理为样品中的特殊类型的缺陷,并且遵循A4部分中描述的程序进行其检测和去除。收集多个样品以训练用于检测样品中的干纹理的机器学习模型,用于含有具有不同程度的干纹理面积的样品的图像的测定。
在基于图像的测定期间,按照A4部分中描述的程序检查样品的图像的干纹理。将基于机器学习的干纹理检测应用于检查用于测定的样品的图像。使用预训练的机器学习模型检测到的干纹理来将干纹理定位到边界框中。应用A2部分中描述的精细图像分割方法来生成所检测到的干纹理的精细分割。使用在A3部分中描述的所估计的TLD(真实横向尺寸)并且将所检测的干纹理的所有掩模区域相加来估计所检测的干纹理的总面积。
在某个实施例中,计算用于测定的AoI中干纹理面积与AoI的面积之间的比例:AoI中干纹理面积=AoI中干纹理面积/AoI的面积。并且如果AoI中干纹理面积比超过一定阈值,则在测定结果的可信性上升高标志。
在一些实施例中,阈值设定为约10%,其中阈值取决于干纹理面积对最终估计结果的影响,其可从训练和评估数据估计。
A8:在基于图像的测定中检测柱上的对象
如前所述,在一些实施例中,在样品保持装置中使用柱形式的监测标记,以在基于图像的测定中使两个板之间的间隙均匀。样品保持装置中的间隙的这种均匀性对于控制用于测定的样品体积是关键的。但是如果一些分析物或异物到达柱的顶部和柱与样品保持装置的顶板之间,这可能被干扰。如果发生这种情况,样品保持装置的间隙将不具有均匀的高度,并且在顶部具有分析物或异物的柱周围具有增加的高度。
在一些实施例中,其检测样品图像中的柱,如A4部分中,但其还使用单独训练的机器学习模型检测图像中的其它缺陷和分析物。在一些实施例中,其构建一个大的机器学习模型作为不同的对象类,其覆盖柱、分析物、气泡、灰尘等。在推断阶段,其检测属于每个类的所有对象。其应用A2部分的方法从样品的图像中分割出柱。然后其应用A2部分的方法分割出其它被检测的分析物、灰尘和气泡的对象。检测柱顶部的分析物、灰尘和气泡的方法还包含:
a)将检测的分析物、灰尘和气泡的分割掩模与样品图像中的柱的分割掩模交叉;
b)识别其分割掩模与分析物、灰尘和气泡的分割掩模具有非空交叉的受影响的柱;
c)如果受影响柱数超过预设阈值,则丢弃用于测定的样品的图像;
d)如果在样品的图像中仅受影响的柱很少,则根据A4部分中描述的方法在用于测定的样品的图像中去除具有余量Δ的受影响的柱;
e)通过在样品的图像中排除对应于被去除的具有余量Δ的受影响柱的样品体积来更新样品体积;以及
f)根据(d)和(e)更新样品体积,并基于更新的测定样品执行基于图像的测定。
A9:检测样品保持装置中缺失的柱
在一些情况下,样品保持装置可具有其自身的缺陷。特别地,在测定操作中,监测标记(例如,在诸如QMAX卡的样品保持装置中的柱)可能丢失或断裂。当发生这种情况时,可以改变样品保持装置中的间隙或样品厚度,并且用于测定的实际样品体积将是不同的。
在本发明的一些实施例中,其将监测标记(例如柱)视为用于测定的样品中的特殊类型的缺陷。其使用A4部分中描述的方法来检测样品的图像中的柱,并且确定在样品保持装置中是否缺失一些柱-装置自身具有缺陷的指示。此外,其使用A2部分的精细分割来识别检测到的柱的形状,并且基于此,其检测样品保持装置中的断裂的柱,其也来自样品保持装置中的缺陷。
在一些实施例中,根据A4部分中描述的方法和过程,其在一个过程中组合了对顶柱上的对象、样品保持装置中丢失的柱和样品保持装置中破裂的柱的检测。在一些实施例中,这成为重要的验证过程,以确定在测定中样品保持装置是否被适当地关闭(例如,在柱的顶部没有对象),并且样品保持装置是否有缺陷(例如,没有丢失的柱或断裂的柱)。
A10:样品中分析物分布的均匀性
影响测定结果可信性的一个因子是样品中分析物分布的均匀性,即使对于有经验的技术人员,这也难以通过眼球检查来检测。
在一些实施例中,设计并应用了一种基于用于测定的样品的图像来确定用于测定的样品中的分析物分布的均匀性的方法。其收集在用于训练诸如F-RCNN的分析物检测机器学习模型的测定中由成像器拍摄的多个样品图像。
在测定过程中,确定用于测定的样品中的分析物的均匀性的方法包含:
a)将用于测定的样品的图像作为输入;
b)将来自(a)的样品的图像划分成大小相等且非重叠的图像补丁(例如,8x8大小相等的小图像补丁);
c)将用于分析物检测的训练的机器学习模型应用于来自(b)的每个划分图像补丁;
d)确定每个补丁中的分析物浓度;
e)基于(d)按升序分类所述图像补丁的分析物浓度,并确定其在(b)的已分类图像补丁的分类浓度序列中的25%分位数Q1及其75%分位数Q3;
f)对来自(e)的浓度序列应用基于四分位距(IQR)的置信度度量,并计算基于IQR的置信度度量
置信度-IQR=(Q3-Q1)/(Q3+Q1);以及
如果置信度-IQR超过一定预设阈值,则升高分析物不均匀地分布在用于测定的样品的图像中的标志,并且测定结果可能不可靠。在一些实施例中,阈值设定为30%,其中阈值取决于测定对样品中分析物的不均匀分布的耐受性。这种测定对分析物的不均匀分布的耐受性可以从训练和评估测定数据估计。
A12:在基于图像的测定中检测操作故障
操作故障是不准确和不可靠测定结果的另一个来源。一个这样的故障是样品保持装置中的样品不足或用于测定的样品保持装置中的样品溢出。
在一些实施例中,其使用专用样品保持装置(例如QMAX卡)来保持用于测定的样品,其中用于测定的样品夹在样品保持装置的两个平行板的间隙中,并且样品保持装置中的两个板之间的间隙是已知的并且与待测定的分析物相关。
在一些实施例中,其在样品的图像中检测用于测定的样品的轮廓,并估计由图像中的样品轮廓所包围的总面积,其中总样品体积可由样品的图像中的实际样品面积和以QMAX卡中的柱等监测标记为特征的样品保持装置的间隙的均匀高度来确定。样品轮廓的实际面积可以通过样品图像的TLD(真实横向尺寸)使用A3部分中描述的方法来确定。如果通过去除监测掩模、柱、气泡、灰尘等从样品的图像计算的实际样品体积低于用于测定的所需体积,则将用指示用于测定的样品不足的错误消息中断测定过程。
引起测定准确度的另一操作故障是重新打开诸如QMAX卡的闭合样品保持装置并重新闭合它。一个观察是当闭合的样品保持QMAX卡闭合,血液样品再次打开然后闭合时,它将在QMAX卡的底板上留下可识别的血液轮廓标记,其中当样品保持装置的顶板和底板再次分离和闭合时,大量的样品血液倾向于在QMAX卡的两个片上重新分布。
当样品保持装置再次关闭时,部分血液样品将重新分布并覆盖略微不同的区域,留下视觉上可识别的轮廓标记。此外,新生成的样品区域不会与原始覆盖区域完全相同。
在一些实施例中,它检测该样品的图像中的双边界以确定该样品保持装置在第一次闭合之后是否已经被重新打开并且然后被再次闭合。
另外,样品保持装置中的样品溢出是基于图像的测定中的另一种类型的操作故障。在一些实施例中,其使用用于测定的样品的图像中的样品边界检测来确定样品保持装置中的样品溢出。使用将样品的整个图像视为一个特殊的大边界框的A2部分中描述的方法,通过图像轮廓分析来确定样品的图像中的样品边界检测。
在基于图像的测定中,在测定操作中发生的一种类型的故障是使用具有不正确规格的错误样品保持装置用于分析。在一些实施例中,它在该样品保持装置(例如QMAX卡)的板的上侧上放置特殊代码,以指定装置的性质和该卡的预期测定用途,其可通过成像器与样品保持装置中的样品成像。该特殊代码可以从样品的图像中识别以确定正确的样品保持装置是否用于测定,并且如果在测定过程中使用错误的卡,则测定过程将停止。
在一些实施例中,其使用样品保持装置中的监测标记(例如柱)的形状和分布来编码样品保持装置(例如QMAX卡)的性质。在实施例中,使用A4部分中的方法来检测样品图像中的柱,确定它们的尺寸和分布图案,由此确定样品保持装置的性质及其预期的测定应用,以消除使用错误的用于测定的样品保持装置的操作故障。
A12:在基于图像的测定中的焦点检查
在基于图像的测定中,由成像器拍摄的样品的图像需要由用于测定的成像器聚焦在样品上,并且由成像器拍摄的样品的图像中的离焦模糊了样品的图像中的分析物。因此,测定结果变得不可靠。然而,有许多因子可导致样品的图像部分地或甚至完全地离焦,包括但不限于在图像拍摄过程期间的振动和手摇、样品保持装置到图像传感器平面的错位等。此外,现有技术主要依赖于特定的基于边缘内容的测量,例如Tenengrad测量等,具有一些预设的内容依赖性阈值,其可能是不可靠的、脆弱的,并且不足以满足基于图像的测定的要求。
在一些实施例中,设计并应用基于机器学习的验证过程来确定在基于图像的测定中由成像器拍摄的样品的图像是在焦点中还是离焦。其收集由成像器在聚焦和离焦态条件下拍摄的用于测定的样品的多个图像,并且将其用作训练数据。基于它们已知的聚焦条件来标记所收集的训练数据中的图像。选择诸如DenseNet的机器学习模型,并用标记的训练数据对其进行训练。在测定过程中,应用用于对样品图像中的聚焦条件进行分类的训练的机器学习模型,并且检测由成像器拍摄的样品图像在其推断过程中是否聚焦。由此,可以确定是否应该重新拍摄样品的图像,以使测定结果更可靠。
在一些实施例中,利用样品保持装置(例如QMAX卡)上的预先设计的监测标记作为参考或锚以帮助在基于图像的测定中确定聚焦质量。
B1:改善基于图像的测定的可信性的实施例
在用于测定样品中的分析物的基于成像的测定中,成像器用于创建在样品保持器中的样品的图像,并且所述图像用于确定所述分析物的性质。
然而,许多因子可能使图像失真(即,不同于真实样品或完美条件下的图像)。图像失真可导致分析物性质的确定不准确。例如,一个事实是聚焦不良,因为生物样品本身不具有在聚焦中优选的尖锐边缘。当聚焦较差时,对象尺寸将不同于真实对象,并且其它对象(例如血细胞)可能变得无法识别。另一个示例是透镜可能是完美的,导致具有不同失真的样品的不同位置。另一个示例是样品保持器与光学成像系统不在同一平面中,导致在一个区域中的良好聚焦和在另一个区域中的较差聚焦。
本发明涉及能够从失真图像获得“真实”图像的装置和方法,因此改善了测定的准确度。
本发明的一个方面是使用具有平行于相邻表面的光学可观察平坦表面的监测标记的装置和方法。
本发明的另一方面是使用QMAX卡以使至少一部分样品形成均匀层并使用卡上的监测标记以改善测定准确度的装置和方法
本发明的另一方面是使用监测标记连同计算成像、人工智能和/或机器学习的装置和方法。
术语“横向尺寸”是指被成像的薄样品层的平面中的线性尺寸。
术语“真实横向尺寸(TLD)”和“视场(FoV)”是可互换的。
术语“样品中的微特征”可指样品中的分析物、微结构和/或物质的微变化。分析物是指颗粒、细胞、大分子,例如蛋白质、核酸和其它部分。微结构可以指不同材料的微尺度差异。微变化是指样品局部性质的微尺度变化。微变化的示例是局部光学指数和/或局部质量的变化。细胞的示例是血细胞,例如白血细胞、红血细胞和血小板。
A.固相表面上的监测标记
A1-1.一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
(a)固相表面,其包含用于接触包含微特征的样品的样品接触区域;以及
(b)一个或多个监测标记,其中所述监测标记:
i.由与样品不同的材料制成;
ii.在测定微结构期间位于样品内部,其中样品在样品接触区域上形成厚度小于200um的薄层;
iii.具有约1um(微米)或更大的横向线性尺寸,以及
iv.具有至少一个300um或更小的横向线性尺寸;以及
其中在该测定过程中,该成像器对至少一个监测标记进行成像
其中在测定所述分析物期间使用;并且监测标记的几何参数(例如形状和尺寸)和/或监测标记之间的间距是(a)预先确定的和在分析物测定之前是已知的,并且(b)用作确定与微特征相关的特性的算法中的参数。
A1-2.一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
固相表面,其包含用于接触包含微特征的样品的样品接触区域;以及
一个或多个监测标记,其中每个监测标记包含来自固相表面的突出或沟槽,其中:
v.突出或沟槽包括基本上平行于相邻表面的平坦表面,该相邻表面是固相表面的与突出或沟槽相邻的部分;
vi.平坦表面与相邻表面之间的距离为约200微米(um)或更小;
vii.平坦表面,具有(a)线性尺寸为至少约1um或更大,和(b)至少一个线性尺寸150um或更小的区域;
viii.至少一个监测标记的平坦表面由在测定微特征时使用的成像器成像;以及
ix.平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距(a)在微特征的测定之前预定和已知,以及(b)在确定与微特征相关的特性的算法中用作参数。
B.QMAX卡上的监测标记
A2-1.一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
第一板、第二板、间隔件和一个或多个监测标记,其中:
i.第一板和第二板可相对于彼此移动成不同的构造;
ii.第一板和第二板中的每一个包含内表面,所述内表面包含用于接触包含微特征的样品的样品接触区域;
iii.第一板和第二板中的一个或两个包含永久固定在相应板的内表面上的间隔件,
iv.间隔件具有等于或小于200微米的基本上均匀的高度和固定间隔距离(ISD);
v.监测标记采用与样品不同的材料制成;
vi.在测定微结构期间监测标记位于样品内部,其中样品在样品接触区域上形成厚度小于200um的薄层;以及
vii.监测标记具有约1um(微米)或更大的横向线性尺寸,并且具有至少一个300um或更小的横向线性尺寸;
其中在该测定过程中,该成像器对至少一个监测标记进行成像
其中在测定微特征的过程中使用;并且平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距(a)在微特征的测定之前预定和已知,以及(b)在确定与微特征相关的特性的算法中用作参数;
其中一个构造是开放构造,在开放构造中:两个板是部分或完全分开的,板之间的间距不由间隔件调节,并且样品沉积在板中的一个或两个上;
其中构造中的另一个是闭合构造,闭合构造是在样品沉积在开放构造并且通过在受力区域上施加不精确按压力迫使板达到闭合构造之后配置的;并且在闭合构造中:样品的至少一部分被两个板压缩成厚度非常均匀的层并且相对于板基本上是停滞的,其中层的均匀厚度是由两个板的样品接触区域限定的并且是由板和间隔件调节的;并且
其中监测标记是(i)与间隔件不同的结构,或(ii)用作间隔件的相同结构。
A2-2.一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
第一板、第二板、间隔件和一个或多个监测标记,其中:
viii.第一板和第二板可相对于彼此移动成不同的构造;
ix.第一板和第二板中的每一个包含内表面,所述内表面包含用于接触包含微特征的样品的样品接触区域;
x.第一板和第二板中的一个或两个包含永久固定在相应板的内表面上的间隔件,
xi.间隔件具有等于或小于200微米的基本上均匀的高度和固定间隔距离(ISD);
xii.每个监测标记在一个或两个样品接触区域上包含突出或沟槽;
xiii.突出或沟槽包括基本上平行于相邻表面的平坦表面,该相邻表面是固相表面的与突出或沟槽相邻的部分;
xiv.平坦表面与相邻表面之间的距离为约200微米(um)或更小;
xv.平坦表面,具有(a)线性尺寸为至少约1um或更大,和(b)至少一个线性尺寸150um或更小的区域;
xvi.至少一个监测标记的平坦表面由在测定微特征时使用的成像器成像;以及
xvii.平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距(a)在微特征的测定之前预定和已知,以及(b)在确定与微特征相关的特性的算法中用作参数。
其中一个构造是开放构造,在开放构造中:两个板是部分或完全分开的,板之间的间距不由间隔件调节,并且样品沉积在板中的一个或两个上;
其中构造中的另一个是闭合构造,闭合构造是在样品沉积在开放构造并且通过在受力区域上施加不精确按压力迫使板达到闭合构造之后配置的;并且在闭合构造中:样品的至少一部分被两个板压缩成厚度非常均匀的层并且相对于板基本上是停滞的,其中层的均匀厚度是由两个板的样品接触区域限定的并且是由板和间隔件调节的;并且
其中监测标记是(i)与间隔件不同的结构,或(ii)用作间隔件的相同结构。
A3.一种用于基于成像的测定的装置,包含:
如任一前述装置实施例的装置,其中所述装置具有至少五个监测标记,其中所述监测标记中的至少三个未在线性线上对准。
A4.一种用于使用成像器测定样品中的分析物的装置,该系统包含:
(a)如任一前述装置实施例的装置;以及
(b)成像器,用于测定含有分析物的样品。
A5.一种用于执行基于成像的测定的系统,该系统包含:
(a)如任一前述装置实施例的装置;
(b)成像器,用于测定含有分析物的样品;以及
(c)利用该装置的监测标记来确定与分析物相关的特性的算法。
在一些实施例中,配置薄层的厚度,使得对于给定的分析物浓度,在薄层中存在单层分析物。术语“单层”是指在薄样品层中,在垂直于样品层平面的方向上在两个相邻的分析物之间基本上没有重叠。
C.具有计算成像人工智能和/或机器学习的监测标记
本发明的另一方面是将监测标记与计算成像、人工智能和/或机器学习相结合。它利用根据测量形成图像的过程,使用算法来处理图像并将图像中的对象映射到它们在真实世界中的物理尺寸。在本发明中应用机器学习(ML)来学习嵌入在ML模型中,从由成像器拍摄的样品的图像构建和训练的样品中的对象的显著特征。在本发明的推断过程中构建并应用智能决策逻辑,以根据ML模型中嵌入的知识对样品中的目标对象进行检测和分类。计算成像是使用依赖于大量计算的算法从测量间接形成图像的过程。
A6.一种用于使用成像器测定样品中的分析物的系统,所述系统包含:
(a)如任一前述装置实施例的装置;
(b)成像器,用于测定含有分析物的样品;以及
(c)算法,利用该装置的监测标记来测定与分析物相关的特性,其中该算法使用机器学习。
A7.一种使用成像器测定样品中的分析物的方法,包含:
(a)获得如任一前述实施例的装置、设备或系统;
(b)获得样品并将所述样品沉积在(a)中的装置、设备或系统中的样品接触区域上,其中所述样品含有分析物;以及
(c)测定所述分析物。
8.一种使用成像器测定样品中的分析物的方法,包含:
(a)获得如任一前述实施例的装置、设备或系统;
(b)获得样品并将所述样品沉积在(a)中的装置、设备或系统中的样品接触区域上,其中所述样品含有分析物;
(c)测定所述分析物,其中所述测定包含使用机器学习的步骤。
本发明的一个关键思想是在样品保持装置(例如QMAX装置)中使用柱作为用于校准的可检测锚并改善基于图像的测定的准确度。在QMAX装置中,柱为监测标记以保持将样品保持在样品保持装置中的两个板之间的间隙均匀。然而,因为柱被样品保持装置内的分析物渗透和包围,所以在样品保持装置中准确地检测柱作为用于校准的锚并改善测定的准确度是一个挑战。而且,在显微成像中,由于透镜的球面(桶形)失真、来自显微物体的光衍射、显微水平的缺陷、聚焦中的未对准、样品图像中的噪声等,它们的图像被失真和模糊。并且如果成像由日用装置(例如,来自智能电话的照相机)进行则变得更加困难,因为这些照相机一旦离开制造就没有由专用硬件校准。
在本发明中,柱检测被制定为机器学习框架-以检测样品保持装置(例如QMAX装置)中的柱-具有适于校准的准确度和基于图像的测定中准确度改善。由于柱的分布和物理配置是先验已知的并且通过精细纳米级制造(例如QMAX装置)来控制,因此其使得在基于图像的测定中使用可检测的监测标记(例如柱)作为锚的这种创新方法不仅可行而且有效。
在一些实施例中,如任一前述实施例的算法包含计算成像、人工智能和/或机器学习的算法。
在一些实施例中,如任一前述实施例的算法包含机器学习算法。
在一些实施例中,如任一前述实施例的算法包含人工智能和/或机器学习的算法。
在一些实施例中,如任一前述实施例的算法包含计算成像和/或机器学习的算法。
本发明实施例包含:
(1)在基于图像的测定中使用样品装载装置(例如QMAX装置),其中存在位于所述装置中的具有已知构造的监测标记,所述监测标记未浸没在所述样品中且可在所述基于图像的测定中由成像器从顶部成像;
(2)拍摄包括分析物和监测标记的样品装载装置中的样品的图像;
(3)构建和训练机器学习(ML)模型,用于从成像器拍摄的图像中检测样品保持装置中的监测标记;
(4)使用来自(3)的所述ML检测模型从由成像器拍摄的样品图像检测并定位在样品加载装置中的监测标记;
(5)根据(4)中检测到的监测标记物生成标记网格;
(6)基于所生成的监测标记网格计算单应变换;以及
(7)估计TLD,并在基于图像的测定中确定成像分析物的面积、尺寸和浓度。
可以进一步改善本发明以进行基于区域的TLD估计和校准,从而改善基于图像的测定的准确度。这种方法的实施例包含:
(1)在基于图像的测定中使用样品装载装置(例如QMAX装置),其中存在监测标记-未浸没在样品中且驻留在可在基于图像的测定中由成像器从顶部成像的装置中;
(2)拍摄包括分析物和监测标记的样品保持装置中的样品的图像;
(3)构建和训练机器学习(ML)模型,用于从成像器拍摄的图像中检测样品保持装置中的监测标记;
(4)将成像器拍摄的样品图像划分成非重叠区域;
(5)使用(3)的ML模型从成像器拍摄的样品图像中检测并定位监测标记;
(6)为在所述局部区域中检测到多于5个非共线监测标记的每个区域生成基于区域的标记网格;
(7)基于从由所述成像器拍摄的所述样品的图像中检测到的监测标记,为未在(6)中的所有区域生成标记网格;
(8)基于在(6)中生成的其自身的基于区域的标记网格,为在(6)中的每个区域计算区域特定单应变换;
(9)基于在(7)中生成的标记网格为所有其他区域计算单应变换;
(10)基于在(8)中生成的基于区域的单应变换来估计(6)中的每个区域的基于区域的TLD;
(11)基于来自(9)的单应变换来估计其他区域的TLD;以及
(12)应用来自(10)和(12)的所估计的TLD以确定在基于图像的测定中在每个分区中成像的分析物的面积和浓度。
在一些实施例中,该监测标记具有尖锐边缘和平坦表面。
在一些实施例中,监测标记用于确定图像的局部性质和/或局部操作条件(例如间隙尺寸、板质量)。
在一些实施例中,监测标记具有与间隔件相同的形状。
使用监测标记监测测定操作
本发明的一个方面是为了使用具有两个可移动板的QMAX卡进行测定,可以使用放置在薄样品内的监测标记来监测QMAX卡的操作条件。操作条件可包括样品装载是否正确,两板是否正确闭合,两板之间的间隙是否与预定值相同或近似相同。
在一些实施例中,对于QMAX卡,其包含两个可移动板并且在闭合构造中在两个板之间具有预定间隙,通过在闭合构造中拍摄监测标记的图像来监测QMAX测定的操作条件。例如,如果两个板没有正确闭合,则与如果两个板正确闭合的情况相比,监测标记将在图像中不同地出现。被样品包围的监测标记将具有与未被样品包围的监测标记不同的外观。因此,其可以提供关于样品装载条件的信息。
Z-1.1一种用于使用监测标记来监测装置的操作条件的装置,该装置包含:
第一板、第二板、间隔件和一个或多个监测标记,其中:
i.第一板和第二板可相对于彼此移动成不同的构造;
ii.第一板和第二板中的每一个包含内表面,所述内表面包含用于接触被分析的样品的样品接触区域;
iii.第一板和第二板中的一个或两个包含永久固定在相应板的内表面上的间隔件,
iv.监测标记具有(a)预定和已知,以及(b)可由成像器观察的尺寸中的至少一个;
v.监测标记是具有至少一个300um或更小的横向线性尺寸的微结构;以及
vi.监测标记位于样品内部;
其中一个构造是开放构造,在开放构造中:两个板是部分或完全分开的,板之间的间距不由间隔件调节,并且样品沉积在板中的一个或两个上;
其中构造中的另一个是闭合构造,闭合构造是在样品沉积在开放构造并且通过在受力区域上施加不精确按压力迫使板达到闭合构造之后配置的;并且在闭合构造中:样品的至少一部分被两个板压缩成厚度非常均匀的层并且相对于板基本上是停滞的,其中层的均匀厚度是由两个板的样品接触区域限定的并且是由板和间隔件调节的;并且
其中在使这两个板达到闭合构造中使用了力之后,对该监测标记进行成像以确定(i)这两个板是否已经达到预期的闭合构造,由此将该样品厚度调节为大致预定的厚度,和/或(ii)确定样品是否已经根据需要装载。
在一些实施例中,监测标记的图像被用于确定这两个板是否已经达到预期的闭合构造,其中样品被调节成具有大约预定厚度的厚度。
在一些实施例中,监测标记的图像用于确定样品是否已经根据需要装载。
在一些实施例中,对该监测标记成像以确定这两个板是否已经达到其中将该样品厚度调节为预定厚度的预期闭合构造,并且确定样品是否已经根据需要装载。
在一些实施例中,间隔件用作监测标记。
在一些实施例中,系统包含装置和计算装置以及具有指令的非瞬态计算机可读介质,这些指令在被执行时执行该确定。
在一些实施例中,具有指令的非瞬态计算机可读介质,这些指令在被执行时执行一种方法,该方法包含使用薄样品层的一个或多个图像以及监测标记来确定(i)这两个板是否已经达到预期的闭合构造,由此将该样品厚度调节为大致预定厚度,或(ii)样品是否已经根据需要装载。
在一些实施例中,系统包含非瞬态计算机可读介质,该非瞬态计算机可读介质具有在被执行时执行本公开的任何方法的指令。
W-1.一种用于使用监测标记来监测装置的操作条件的方法,该方法包含:
(a)获得如任一前述实施例的装置,其中所述装置包含两个可移动板、间隔件和一个或多个监测标记,其中所述监测标记在所述样品接触区域中;
(b)获得成像器;
(c)在(a)的装置的样品接触区域中沉积样品,并迫使两个板进入闭合构造;
(d)使用成像器拍摄薄样品层的一个或多个图像以及监测标记;以及
(e)使用监测标记的图像来确定(i)这两个板是否已经达到预期的闭合构造,由此将该样品厚度调节为大致预定厚度,或(ii)样品是否已经根据需要装载。
在一些实施例中,监测标记的图像被用于确定这两个板是否已经达到预期的闭合构造,其中样品被调节成具有大约预定厚度的厚度。
在一些实施例中,监测标记的图像用于确定样品是否已经根据需要装载。
在一些实施例中,对该监测标记成像以确定这两个板是否已经达到其中将该样品厚度调节为预定厚度的预期闭合构造,并且确定样品是否已经根据需要装载。
在一些实施例中,系统包含装置和计算装置以及具有指令的非瞬态计算机可读介质,这些指令在被执行时执行该确定。
选择感兴趣区域和/或去除缺陷图像区域
在一些实施例中,所述样品具有缺陷,一种去除所述缺陷对测定的影响的方法,其包含:识别所述图像中的所述缺陷,拍摄所述缺陷图像或选择所述图像中不具有由缺陷引起的图像的良好区域。
在一些实施例中,从图像去除的拍摄区域大于缺陷图像区域的区域。
在一些实施例中,样品的厚度被配置为薄的厚度,使得感兴趣的对象(例如,细胞)形成单层(即,对象之间在垂直于样品层的方向上没有显著重叠。
一种使用成像器确定QMAX卡的制造质量的方法,所述方法包含:
(f)获得如任一前述实施例的装置,其中所述装置包含两个可移动板、间隔件和一个或多个监测标记,其中所述监测标记在所述样品接触区域中;
(g)获得成像器;
(h)在(a)的装置的样品接触区域中沉积样品,并迫使两个板进入闭合构造;
(i)使用成像器拍摄薄样品层的一个或多个图像;以及
(j)使用监测标记的图像确定QMAX卡的制造质量。
一种使用成像器确定QMAX卡的制造质量的方法,所述方法包含:
(a)获得如任一前述实施例的装置,其中所述装置包含两个可移动板、间隔件和一个或多个监测标记,其中所述监测标记在所述样品接触区域中;
(b)获得成像器;
(c)在(a)的装置的样品接触区域中沉积样品,并迫使两个板进入闭合构造;
(d)使用成像器拍摄薄样品层的一个或多个图像以及监测标记;以及
(e)使用监测标记的图像确定QMAX卡的制造质量。
如任一前述实施例的方法,其中确定所述制造质量包含测量一个或多个监测标记的特性(例如,长度、宽度、间距、厚边),并且将所测量的特性与参考值进行比较以确定所述QMAX卡的制造质量。
如任一前述实施例的方法,其中确定所述制造质量包含测量一个或多个第一监测标记的第一特性(例如,量、长度、宽度、间距、厚边),以及将所述测量的第一特性与一个或多个第二监测标记的第二特性(例如,数目、长度、宽度、间距、厚边)进行比较以确定所述QMAX卡的制造质量。。
如任一前述实施例的方法,其中确定是在使用如任一前述实施例的装置来分析样品的过程中执行的。
本发明的另一方面是使监测标记在诸如QMAX装置的样品保持装置中具有周期性图案,使得它们在由成像器拍摄的样品的图像中以一定间距周期性地出现。基于该周期性特性,由于所有的监测标记可以仅从少数被检测的监测标记中识别和导出,因为它们以预定的构造周期性地定位,并且此外,这种构造可以利用诸如纳米压印的纳米制造技术来精确地制造,所以监测标记检测可以变得非常可靠。并且由此,由于监测标记的周期性图案,基于样品图像和基于图像区域的TLD估计都可以变得更准确和鲁棒。
一些示例
单板
AA-1.1一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
(a)固相表面,其包含用于接触厚度为200um或更小的薄样品的样品接触区域,并且包含或疑似包含微特征;以及
(b)一个或多个标记,其中所述标记:
x.具有尖锐边缘,其(i)具有预定且已知的形状和尺寸,并且(ii)可由成像微特征的成像器观察到;
xi.是至少一个横向线性尺寸为300um或更小的微结构;以及
xii.位于样品内部;
其中所述标记中的至少一个在测定期间由成像器成像。
AA-1.2一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
(a)固相表面,其包含用于接触厚度为200um或更小的薄样品的样品接触区域,并且包含或疑似包含微特征;以及
(b)一个或多个标记,其中所述标记:
i.包含来自固相表面的突出或沟槽
ii.具有尖锐边缘,其(i)具有预定且已知的形状和尺寸,并且(ii)可由成像微特征的成像器观察到;
iii.是至少一个横向线性尺寸为300um或更小的微结构;以及
iv.位于样品内部;
其中所述标记中的至少一个在测定期间由成像器成像。
具有恒定间距的两个板
AA-2.1一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
第一板、第二板和一个或多个监测标记,其中:
xviii.第一板和第二板中的每一个包含内表面,所述内表面包含用于接触包含或疑似包含微特征的样品的样品接触区域;
xix.样品的至少一部分被该第一和第二板限定成具有200um或更小的基本上恒定的厚度的薄层;
xx.监测标记具有尖锐边缘,其(a)具有预定且已知的形状和尺寸,并且(b)可由成像微特征的成像器观察到;
xxi.监测标记是至少一个横向线性尺寸为300um或更小的微结构;以及
xxii.监测标记位于样品内部;
其中所述标记中的至少一个在测定期间由成像器成像。
两个可移动版
AA-3一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
第一板、第二板、间隔件和一个或多个监测标记,其中:
vii.第一板和第二板可相对于彼此移动成不同的构造;
viii.第一板和第二板中的每一个包含内表面,所述内表面包含用于接触包含或疑似包含微特征的样品的样品接触区域;
ix.第一板和第二板中的一个或两个包含永久固定在相应板的内表面上的间隔件,
x.监测标记具有尖锐边缘,其(a)具有预定且已知的形状和尺寸,并且(b)可由成像微特征的成像器观察到;
xi.监测标记是至少一个横向线性尺寸为300um或更小的微结构;以及
xii.监测标记位于样品内部;
其中所述标记中的至少一个在测定期间由成像器成像。
其中一个构造是开放构造,在开放构造中:两个板是部分或完全分开的,板之间的间距不由间隔件调节,并且样品沉积在板中的一个或两个上;
其中构造中的另一个是闭合构造,闭合构造是在样品沉积在开放构造并且通过在受力区域上施加不精确按压力迫使板达到闭合构造之后配置的;并且在闭合构造中:样品的至少一部分被两个板压缩成厚度非常均匀的层并且相对于板基本上是停滞的,其中层的均匀厚度是由两个板的样品接触区域限定的并且是由板和间隔件调节的;并且
其中监测标记是(i)与间隔件不同的结构,或(ii)用作间隔件的相同结构。
B.使用具有微标记的样品保持器的图像拍摄改善
BB-1.一种用于改善样品中微特征的图像拍摄的设备,所述设备包含:
(c)如任一前述装置实施例的装置;以及
(d)成像器,用于测定包含或疑似包含微特征的样品;
其中所述成像器拍摄图像,其中至少一个图像包含样品的一部分和所述监测两者。
CB-2.一种用于改善样品中微特征的图像拍摄的系统,所述系统包含:
(d)如任一前述装置实施例的装置;
(e)成像器,用于测定包含或疑似包含微特征的样品;以及
(f)算法,其利用标记作为参数与成像处理方法一起调整成像器对下一图像的设置。
C.使用具有微标记的样品保持器的成像分析
CC-1一种用于改善对样品中的微特征的图像的分析的设备,所述设备包含:
(a)如任一前述装置实施例的装置;以及
(b)计算装置,用于接收包含或疑似包含微特征的标记和样品的图像;
其中计算装置运行算法,其利用作为参数标记与成像处理方法一起改善图像中的图像质量。
CC-2.一种用于改善对样品中的微特征的图像的分析的系统,所述系统包含:
(a)如任一前述装置实施例的装置;
(b)成像器,用于通过拍摄样品和标记的一个或多个图像来测定包含或疑似包含微特征的样品;以及
(c)算法,其利用标记作为参数与成像处理方法一起改善在(c)中拍摄的至少一个图像的图像质量。
CC-3一种用于测定样品中的微特征的计算机程序产品,所述程序包含应用并适用于至少一个图像的计算机程序代码装置:
(a)接收样品和监测标记的图像,其中将样品装入任一前述装置权利要求的装置中,并且其中图像由成像器拍摄;以及
(b)对所述图像进行处理和分析,以计算所述微特征的量,其中所述分析使用基于机器学习的检测模型和由所述监测标记的图像提供的信息。
CC-4一种用于分析样品中的微特征的计算装置,计算装置包含操作本发明的任一实施例中的算法的计算装置。
CC-5如任一前述实施例的方法、装置、计算机程序产品或系统,其中图像质量的改善包含选自由以下各项组成的组中的至少一个:去噪、图像归一化、图像锐化、图像缩放、对准(例如,对面部检测)、超分辨率、去模糊及其任何组合。
CC-6如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述成像处理方法包含选自由以下各项组成的组中的至少一个:基于直方图的运算、基于数学的运算、基于卷积的运算、平滑运算、基于导数的运算、基于形态的运算、阴影校正、图像增强和/或恢复、分割、特征提取和/或匹配、对象检测和/或分类和/或定位、图像理解及其任何组合。
CC-6.1如任一前述实施例的方法、装置、计算机程序产品或系统,其中基于直方图的运算包含选自由以下各项组成的组中的至少一个:对比度拉伸、均衡、最小滤波、中值滤波、最大滤波及其任何组合。
CC-6.2如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述基于数学的运算包含选自由以下各项组成的组中的至少一个:二进制运算(例如,NOT、OR、AND、XOR和SUB)、基于算术的运算(例如,ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG和INVERT)及其任何组合。
CC-6.3如任一前述实施例的方法、装置、计算机程序产品或系统,其中基于卷积的运算包含选自由以下各项组成的组中的至少一个:空间域中的运算、傅立叶变换、DCT、整数变换、频域中的运算及其任何组合。
CC-6.4如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述平滑运算包含选自由以下各项组成的组中的至少一个:线性滤波、均匀滤波、三角形滤波、高斯滤波、非线性滤波、中间滤波、kuwahara拉滤波及其任何组合。
CC-6.5如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述基于导数的运算选自由以下各项组成的组中的至少一个:一阶导数运算、梯度滤波、基本导数滤波、Prewitt梯度滤波、Sobel梯度滤波、备选梯度滤波、高斯梯度滤波、二阶导数滤波、基本二阶导数滤波、频域Laplacian、高斯二阶导数滤波、备选Laplacian滤波、梯度方向二阶导数(SDGD)滤波、三阶导数滤波、高阶导数滤波(例如,大于三阶导数的滤波)及其任何组合。
CC-6.6如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述基于形态的运算包含选自由以下各项组成的组中的至少一个:膨胀、侵蚀、布尔卷积、开和/或闭、命中和未命中操作、轮廓、骨架、传播、灰度值形态处理、灰度级膨胀、灰度级侵蚀、灰度级开、灰度级闭、形态平滑、形态梯度、形态Laplacian及其任何组合。
CC-6.7如任一前述实施例的方法、装置、计算机程序产品或系统,其中图像增强和/或恢复包含选自由以下各项组成的组中的至少一个:锐化、去锐化、噪声抑制、失真抑制及其任何组合。
CC-6.8如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述分割包含选自由以下各项组成的组中的至少一个:阈值化、固定阈值化、直方图导出阈值化、Isodata算法、背景对称性算法、三角形算法、边缘找寻、基于梯度的过程、基于零交叉的过程、基于PLUS的过程、二元数学形态学、椒盐过滤、分离具有孔的对象、填充对象中的孔、去除边界触摸对象、外骨架、触摸对象、灰度值数学形态学、Top-hat变换、阈值化、局部对比度拉伸及其任何组合。
CC-6.9如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述特征提取和/或匹配包含选自由以下各项组成的组中的至少一个:独立成分分析、等距映射、核主成分分析、潜在语义分析、偏最小二乘、主成分分析、多因子降维、非线性降维、多线性主成分分析、多线性子空间学习、半定嵌入、自动编码器及其任何组。
A.具有微标记的样品保持器
单板
AA-1.1一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
(a)固相表面,其包含用于接触厚度为200um或更小的薄样品的样品接触区域,并且包含或疑似包含微特征;以及
(b)一个或多个标记,其中所述标记:
xiii.具有尖锐边缘,其(i)具有预定且已知的形状和尺寸,并且(ii)可由成像微特征的成像器观察到;
xiv.是至少一个横向线性尺寸为300um或更小的微结构;以及
xv.位于样品内部;
其中所述标记中的至少一个在测定期间由成像器成像。
AA-1.2一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
(a)固相表面,其包含用于接触厚度为200um或更小的薄样品的样品接触区域,并且包含或疑似包含微特征;以及
(b)一个或多个标记,其中所述标记:
v.包含来自固相表面的突出或沟槽
vi.具有尖锐边缘,其(i)具有预定且已知的形状和尺寸,并且(ii)可由成像微特征的成像器观察到;
vii.是至少一个横向线性尺寸为300um或更小的微结构;以及
viii.位于样品内部;
其中所述标记中的至少一个在测定期间由成像器成像。
具有恒定间距的两个板
AA-2.1一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
第一板、第二板和一个或多个监测标记,其中:
xxiii.第一板和第二板中的每一个包含内表面,所述内表面包含用于接触包含或疑似包含微特征的样品的样品接触区域;
xxiv.样品的至少一部分被该第一和第二板限定成具有200um或更小的基本上恒定的厚度的薄层;
xxv.监测标记具有尖锐边缘,其(a)具有预定且已知的形状和尺寸,并且(b)可由成像微特征的成像器观察到;
xxvi.监测标记是至少一个横向线性尺寸为300um或更小的微结构;以及
xxvii.监测标记位于样品内部;
其中所述标记中的至少一个在测定期间由成像器成像。
两个可移动版
AA-3一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
第一板、第二板、间隔件和一个或多个监测标记,其中:
xiii.第一板和第二板可相对于彼此移动成不同的构造;
xiv.第一板和第二板中的每一个包含内表面,所述内表面包含用于接触包含或疑似包含微特征的样品的样品接触区域;
xv.第一板和第二板中的一个或两个包含永久固定在相应板的内表面上的间隔件,
xvi.监测标记具有尖锐边缘,其(a)具有预定且已知的形状和尺寸,并且(b)可由成像微特征的成像器观察到;
xvii.监测标记是至少一个横向线性尺寸为300um或更小的微结构;以及
xviii.监测标记位于样品内部;
其中所述标记中的至少一个在测定期间由成像器成像。
其中一个构造是开放构造,在开放构造中:两个板是部分或完全分开的,板之间的间距不由间隔件调节,并且样品沉积在板中的一个或两个上;
其中构造中的另一个是闭合构造,闭合构造是在样品沉积在开放构造并且通过在受力区域上施加不精确按压力迫使板达到闭合构造之后配置的;并且在闭合构造中:样品的至少一部分被两个板压缩成厚度非常均匀的层并且相对于板基本上是停滞的,其中层的均匀厚度是由两个板的样品接触区域限定的并且是由板和间隔件调节的;并且
其中监测标记是(i)与间隔件不同的结构,或(ii)用作间隔件的相同结构。
B.使用具有微标记的样品保持器的图像拍摄改善
BB-1.一种用于改善样品中微特征的图像拍摄的设备,所述设备包含:
(e)如任一前述装置实施例的装置;以及
(f)成像器,用于测定包含或疑似包含微特征的样品;
其中所述成像器拍摄图像,其中至少一个图像包含样品的一部分和所述监测两者。
CB-2.一种用于改善样品中微特征的图像拍摄的系统,所述系统包含:
(g)如任一前述装置实施例的装置;
(h)成像器,用于测定包含或疑似包含微特征的样品;以及
(i)具有指令的非瞬态计算机可读介质,这些指令在被执行时利用标记作为参数与成像处理方法一起调整对下一个图像的成像器的设置。
C.使用具有微标记的样品保持器的成像分析
CC-1一种用于改善对样品中的微特征的图像的分析的设备,所述设备包含:
(c)如任一前述装置实施例的装置;以及
(d)计算装置,用于接收包含或疑似包含微特征的标记和样品的图像;
其中计算装置运行算法,其利用作为参数标记与成像处理方法一起改善图像中的图像质量。
CC-2.一种用于改善对样品中的微特征的图像的分析的系统,所述系统包含:
(d)如任一前述装置实施例的装置;
(e)成像器,用于通过拍摄样品和标记的一个或多个图像来测定包含或疑似包含微特征的样品;以及
(f)具有指令的非瞬态计算机可读介质,这些指令在被执行时利用标记作为参数与成像处理方法一起改善在(c)中拍摄的至少一个图像的图像质量。
CC-3一种用于测定样品中的微特征的计算机程序产品,所述程序包含应用并适用于至少一个图像的计算机程序代码装置:
(a)接收样品和监测标记的图像,其中将样品装入任一前述装置权利要求的装置中,并且其中图像由成像器拍摄;以及
(b)对所述图像进行处理和分析,以计算所述微特征的量,其中所述分析使用基于机器学习的检测模型和由所述监测标记的图像提供的信息。
CC-4一种用于分析样品中的微特征的计算装置,计算装置包含操作本发明的任一实施例中的算法的计算装置。
CC-5如任一前述实施例的方法、装置、计算机程序产品或系统,其中图像质量的改善包含选自由以下各项组成的组中的至少一个:去噪、图像归一化、图像锐化、图像缩放、对准(例如,对面部检测)、超分辨率、去模糊及其任何组合。
CC-6如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述成像处理方法包含选自由以下各项组成的组中的至少一个:基于直方图的运算、基于数学的运算、基于卷积的运算、平滑运算、基于导数的运算、基于形态的运算、阴影校正、图像增强和/或恢复、分割、特征提取和/或匹配、对象检测和/或分类和/或定位、图像理解及其任何组合。
CC-6.1如任一前述实施例的方法、装置、计算机程序产品或系统,其中基于直方图的运算包含选自由以下各项组成的组中的至少一个:对比度拉伸、均衡、最小滤波、中值滤波、最大滤波及其任何组合。
CC-6.2如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述基于数学的运算包含选自由以下各项组成的组中的至少一个:二进制运算(例如,NOT、OR、AND、XOR和SUB)、基于算术的运算(例如,ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG和INVERT)及其任何组合。
CC-6.3如任一前述实施例的方法、装置、计算机程序产品或系统,其中基于卷积的运算包含选自由以下各项组成的组中的至少一个:空间域中的运算、傅立叶变换、DCT、整数变换、频域中的运算及其任何组合。
CC-6.4如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述平滑运算包含选自由以下各项组成的组中的至少一个:线性滤波、均匀滤波、三角形滤波、高斯滤波、非线性滤波、中间滤波、kuwahara拉滤波及其任何组合。
CC-6.5如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述基于导数的运算选自由以下各项组成的组中的至少一个:一阶导数运算、梯度滤波、基本导数滤波、Prewitt梯度滤波、Sobel梯度滤波、备选梯度滤波、高斯梯度滤波、二阶导数滤波、基本二阶导数滤波、频域Laplacian、高斯二阶导数滤波、备选Laplacian滤波、梯度方向二阶导数(SDGD)滤波、三阶导数滤波、高阶导数滤波(例如,大于三阶导数的滤波)及其任何组合。
CC-6.6如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述基于形态的运算包含选自由以下各项组成的组中的至少一个:膨胀、侵蚀、布尔卷积、开和/或闭、命中和未命中操作、轮廓、骨架、传播、灰度值形态处理、灰度级膨胀、灰度级侵蚀、灰度级开、灰度级闭、形态平滑、形态梯度、形态Laplacian及其任何组合。
CC-6.7如任一前述实施例的方法、装置、计算机程序产品或系统,其中图像增强和/或恢复包含选自由以下各项组成的组中的至少一个:锐化、去锐化、噪声抑制、失真抑制及其任何组合。
CC-6.8如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述分割包含选自由以下各项组成的组中的至少一个:阈值化、固定阈值化、直方图导出阈值化、Isodata算法、背景对称性算法、三角形算法、边缘找寻、基于梯度的过程、基于零交叉的过程、基于PLUS的过程、二元数学形态学、椒盐过滤、分离具有孔的对象、填充对象中的孔、去除边界触摸对象、外骨架、触摸对象、灰度值数学形态学、Top-hat变换、阈值化、局部对比度拉伸及其任何组合。
CC-6.9如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述特征提取和/或匹配包含选自由以下各项组成的组中的至少一个:独立成分分析、等距映射、核主成分分析、潜在语义分析、偏最小二乘、主成分分析、多因子降维、非线性降维、多线性主成分分析、多线性子空间学习、半定嵌入、自动编码器及其任何组。
T1.一种用于从失真图像确定样品保持器上的样品的真实横向尺寸(TLD)的方法,所述方法包含:
(a)获得如任一前述实施例的装置,其中所述装置在所述样品接触区域中包含一个或多个监测标记;
(b)获得成像器、计算硬件和包含算法的非暂时性计算机可读介质;
(c)在(a)的装置的样品接触区域中沉积包含微特征的薄样品层;
(d)使用成像器拍摄薄样品层的一个或多个图像以及监测标记,其中成像器位于薄样品层的上方;以及
(e)使用算法确定样品的真实横向尺寸;
其中
(i)该算法是在计算机系统上执行的计算机代码;以及
(ii)该算法使用监测标记的图像作为参数。
T2.如任一前述实施例的方法、装置、计算机程序产品或系统,其中每个监测标记包含来自固相表面的突出或沟槽。
T3.如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述微结构不具有尖锐边缘。
T4.如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述样品包含选自由以下各项组成的组:生物样品、化学样品和不具有尖锐边缘的样品。
T5.如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述监测标记与成像处理方法一起在算法中用作参数,其(i)调节图像,(ii)处理样品的图像,(iii)确定与微特征相关的性质,或(iv)上述的任何组合。
T6.如任一前述实施例的方法、装置、计算机程序产品或系统,其中间隔件具有等于或小于200微米的基本上均匀的高度和固定间隔距离(ISD);
AA.一种用于改善样品薄层的成像的方法和装置。
AA1.一种用于改善样品薄层的成像的方法,所述方法包含:
(f)获得标记样品保持器,其中所述样品包含所述样品接触区中的一个或多个监测标记;
(g)获得成像器、计算硬件和包含算法的非暂时性计算机可读介质;
(h)在(a)的装置的样品接触区域中沉积包含微特征的薄样品层;
(i)使用成像器拍摄薄样品层的一个或多个图像以及监测标记,其中成像器位于薄样品层的上方;以及
(j)使用算法确定样品的真实横向尺寸;
其中
(i)该算法是在计算机系统上执行的计算机代码;以及
(ii)该算法使用监测标记的图像作为参数。
A-1
T1.一种用于从失真图像确定样品保持器上的样品的真实横向尺寸(TLD)的方法,所述方法包含:
(k)获得如任一前述实施例的装置,其中所述装置在所述样品接触区域中包含一个或多个监测标记;
(l)获得成像器、计算硬件和包含算法的非暂时性计算机可读介质;
(m)在(a)的装置的样品接触区域中沉积包含微特征的薄样品层;
(n)使用成像器拍摄薄样品层的一个或多个图像以及监测标记,其中成像器位于薄样品层的上方;以及
(o)使用算法确定样品的真实横向尺寸;
其中
(i)该算法是在计算机系统上执行的计算机代码;以及
(ii)该算法使用监测标记的图像作为参数。
14.一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
(a)固相表面,其包含用于接触包含微特征的样品的样品接触区域;以及
(b)一个或多个监测标记,其中所述监测标记:
ix.由与样品不同的材料制成;
x.在测定微结构期间位于样品内部,其中样品在样品接触区域上形成厚度小于200um的薄层;
xi.具有约1um(微米)或更大的横向线性尺寸,以及
xii.具有至少一个300um或更小的横向线性尺寸;以及
其中在该测定过程中,该成像器对至少一个监测标记进行成像
其中在测定所述分析物期间使用;并且监测标记的几何参数(例如形状和尺寸)和/或监测标记之间的间距是(a)预先确定的和在分析物测定之前是已知的,并且(b)用作确定与微特征相关的特性的算法中的参数。
N8.一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
固相表面,其包含用于接触包含微特征的样品的样品接触区域;以及
一个或多个监测标记,其中每个监测标记包含来自固相表面的突出或沟槽,其中:
xiii.突出或沟槽包括基本上平行于相邻表面的平坦表面,该相邻表面是固相表面的与突出或沟槽相邻的部分;
xiv.平坦表面与相邻表面之间的距离为约200微米(um)或更小;
xv.平坦表面,具有(a)线性尺寸为至少约1um或更大,和(b)至少一个线性尺寸150um或更小的区域;
xvi.至少一个监测标记的平坦表面由在测定微特征时使用的成像器成像;以及
xvii.平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距(a)在微特征的测定之前预定和已知,以及(b)在确定与微特征相关的特性的算法中用作参数。
N9.一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
第一板、第二板、间隔件和一个或多个监测标记,其中:
xix.第一板和第二板可相对于彼此移动成不同的构造;
xx.第一板和第二板中的每一个包含内表面,所述内表面包含用于接触包含微特征的样品的样品接触区域;
xxi.第一板和第二板中的一个或两个包含永久固定在相应板的内表面上的间隔件,
xxii.间隔件具有等于或小于200微米的基本上均匀的高度和固定间隔距离(ISD);
xxiii.监测标记采用与样品不同的材料制成;
xxiv.在测定微结构期间监测标记位于样品内部,其中样品在样品接触区域上形成厚度小于200um的薄层;以及
xxv.监测标记具有约1um(微米)或更大的横向线性尺寸,并且具有至少一个300um或更小的横向线性尺寸;
其中在该测定过程中,该成像器对至少一个监测标记进行成像
其中在测定微特征的过程中使用;并且平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距(a)在微特征的测定之前预定和已知,以及(b)在确定与微特征相关的特性的算法中用作参数;
其中一个构造是开放构造,在开放构造中:两个板是部分或完全分开的,板之间的间距不由间隔件调节,并且样品沉积在板中的一个或两个上;
其中构造中的另一个是闭合构造,闭合构造是在样品沉积在开放构造并且通过在受力区域上施加不精确按压力迫使板达到闭合构造之后配置的;并且在闭合构造中:样品的至少一部分被两个板压缩成厚度非常均匀的层并且相对于板基本上是停滞的,其中层的均匀厚度是由两个板的样品接触区域限定的并且是由板和间隔件调节的;并且
其中监测标记是(i)与间隔件不同的结构,或(ii)用作间隔件的相同结构。
N10.一种用于使用成像器测定样品中的微特征的装置,所述装置包含:
第一板、第二板、间隔件和一个或多个监测标记,其中:
xxvi.第一板和第二板可相对于彼此移动成不同的构造;
xxvii.第一板和第二板中的每一个包含内表面,所述内表面包含用于接触包含微特征的样品的样品接触区域;
xxviii.第一板和第二板中的一个或两个包含永久固定在相应板的内表面上的间隔件,
xxix.间隔件具有等于或小于200微米的基本上均匀的高度和固定间隔距离(ISD);
xxx.每个监测标记在一个或两个样品接触区域上包含突出或沟槽;
xxxi.突出或沟槽包括基本上平行于相邻表面的平坦表面,该相邻表面是固相表面的与突出或沟槽相邻的部分;
xxxii.平坦表面与相邻表面之间的距离为约200微米(um)或更小;
xxxiii.平坦表面,具有(a)线性尺寸为至少约1um或更大,和(b)至少一个线性尺寸150um或更小的区域;
xxxiv.至少一个监测标记的平坦表面由在测定微特征时使用的成像器成像;以及
xxxv.平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距(a)在微特征的测定之前预定和已知,以及(b)在确定与微特征相关的特性的算法中用作参数。
其中一个构造是开放构造,在开放构造中:两个板是部分或完全分开的,板之间的间距不由间隔件调节,并且样品沉积在板中的一个或两个上;
其中构造中的另一个是闭合构造,闭合构造是在样品沉积在开放构造并且通过在受力区域上施加不精确按压力迫使板达到闭合构造之后配置的;并且在闭合构造中:样品的至少一部分被两个板压缩成厚度非常均匀的层并且相对于板基本上是停滞的,其中层的均匀厚度是由两个板的样品接触区域限定的并且是由板和间隔件调节的;并且
其中监测标记是(i)与间隔件不同的结构,或(ii)用作间隔件的相同结构。
N12.一种用于基于成像的测定的装置,包含:
如任一前述装置实施例的装置,其中所述装置具有至少五个监测标记,其中所述监测标记中的至少三个未在线性线上对准。
N12.一种用于使用成像器测定样品中的微特征的设备,所述系统包含:
(e)如任一前述装置实施例的装置;以及
(f)成像器,用于测定包含微特征的样品。
N14.一种用于执行基于成像的测定的系统,该系统包含:
(d)如任一前述装置实施例的装置;
(e)成像器,用于测定包含微特征的样品;以及
(f)包含指令的非瞬态计算机可读介质,这些指令在被执行时利用装置的监测标记来确定与微特征相关的特性。
NN8.一种使用成像器测定样品中的微特征的系统,所述系统包含:
(j)如任一前述装置实施例的装置;
(k)成像器,用于测定包含微特征的样品;以及
(l)包含指令的非瞬态计算机可读介质,这些指令在被执行时利用装置的监测标记来测定与微特征相关的特性,其中这些指令包含机器学习。
NN9.一种使用成像器测定样品中的微特征的方法,包含:
(d)获得如任一前述实施例的装置、设备或系统;
(e)获得样品并将所述样品沉积在(a)中的装置、设备或系统中的样品接触区域上,其中所述样品包含微特征;以及
(f)测定微特征。
140.一种使用成像器测定样品中的微特征的方法,包含:
(d)获得如任一前述实施例的装置、设备或系统;
(e)获得样品并将所述样品沉积在(a)中的装置、设备或系统中的样品接触区域上,其中所述样品包含微特征;
(f)测定所述微特征,其中所述测定包含使用机器学习的步骤。
T1.一种用于从失真图像确定样品保持器上的样品的真实横向尺寸(TLD)的方法,所述方法包含:
(p)获得如任一前述实施例的装置,其中所述装置在所述样品接触区域中包含一个或多个监测标记;
(q)获得成像器、计算硬件和包含算法的非暂时性计算机可读介质;
(r)在(a)的装置的样品接触区域中沉积包含微特征的薄样品层;
(s)使用成像器拍摄薄样品层的一个或多个图像以及监测标记,其中成像器位于薄样品层的上方;以及
(t)使用算法确定样品的真实横向尺寸;
其中
(i)该算法是在计算机系统上执行的计算机代码;以及
(ii)该算法使用监测标记的图像作为参数。
T2.一种用于从失真图像确定样品保持器上的样品的真实横向尺寸(TLD)的方法,所述方法包含:
(a)获得如任一前述实施例的装置,其中所述装置在所述样品接触区域中包含一个或多个监测标记;
(b)获得成像器、计算硬件和包含算法的非暂时性计算机可读介质;
(c)在(a)的装置的样品接触区域中沉积包含微特征的薄样品层;
(d)使用成像器拍摄薄样品层的一个或多个图像以及监测标记,其中成像器位于薄样品层的上方;以及
(e)使用所述算法通过物理度量(例如,微米)确定真实世界中的成像样品的真实横向尺寸和坐标;
其中
(i)该算法是在计算机系统上执行的计算机代码;以及
(ii)该算法使用监测标记的图像作为参数。
T3.如任一前述实施例的装置、方法或系统,其中来自样品的微特征和监测标记设置在样品保持装置内。
T4.如任一前述实施例的装置、方法或系统,其中所述确定包含在由所述成像器拍摄的所述样品的图像中检测和定位所述监测标记。
T5.如任一前述实施例的装置、方法或系统,其中所述确定包含基于从由所述成像器拍摄的所述样品的图像检测到的所述监测标记产生监测标记网格。
T6.如任一前述实施例的装置、方法或系统,其中所述确定包含从所生成的监测标记网格计算单应变换。
T7.如任一前述实施例的装置、方法或系统,其中所述确定包含从所述单应变换估计所述TLD,以及确定在所述基于图像的测定中所检测的微特征的面积、尺寸和浓度。
T8.如任一前述实施例的方法、装置或系统,其中所述TLD估计基于由所述成像器拍摄的样品图像中的区域,包含:
(a)获得样品;
(b)将样品装载到样品保持装置(例如QMAX装置)中,其中存在监测标记,其中所述监测标记未浸没在所述样品中且位于所述装置中,其可在所述基于图像的测定中通过成像器从顶部成像;
(c)拍摄包括微特征和监测标记的样品装载装置中的样品的图像;
(d)检测成像器拍摄的样品图像中的监测标记;
(e)将样品图像划分成非重叠区域;
(f)为每个非重叠区域生成基于区域的标记网格,其中在局部区域中检测到多于5个非共线监测标记;
(g)基于从由所述成像器拍摄的所述样品图像中检测到的所述监测标记,为不在(f)中的所有其他区域生成标记网格;
(h)基于由(f)生成的其自己的基于区域的标记网格来计算(f)中的每个区域的区域特定单应变换;
(i)基于在(g)中生成的标记网格来计算不是在(f)中的所有其他区域的单应变换;
(j)基于(g)的基于区域的单应变换,在(f)中估计每个区域的基于区域的TLD;
(k)基于(i)的单应变换来估计(f)中未包括的其他区域的TLD;以及
(l)应用来自(j)和(k)的估计的TLD以确定在基于图像的测定中在每个图像分区中成像的微特征的面积和浓度。
T9.如任一前述实施例的方法、装置或系统,其中所述样品保持装置中的所述监测标记根据具有定义的间距周期的周期性图案分布。
T10.如任一前述实施例的方法、装置或系统,其中检测所述监测标记并将其作为可检测锚用于校准和改善基于图像的测定中的测量准确度。
T12.如任一前述实施例的方法、装置或系统,其中由成像器拍摄的样品图像中的监测标记的检测利用样品保持装置中的监测标记分布的周期性用于误差校正和/或检测的可靠性。
T12.如任一前述实施例的方法、装置或系统,其中在基于图像的测定中所述监测标记的检测、识别、面积和/或形状轮廓估计是通过机器学习(ML)进行的,该机器学习具有基于ML的监测标记检测模型和在基于图像的测定中从所述装置上的成像器拍摄的图像构建或训练的设备。
T14.如任一前述实施例的方法、装置或系统,其中在基于图像的测定中所述监测标记的检测、识别、面积和/或形状轮廓估计是通过图像处理或与机器学习相结合的图像处理。
T14.如任一前述实施例的方法、装置或系统,其中将所检测的监测标记应用于基于图像的测定中的TLD估计以校准所述系统和/或提高基于成像的测定中的测量准确度。
T15.如任一前述实施例的方法、装置或系统,其中在基于图像的测定中应用所检测的监测标记而不限于微特征尺寸、体积和/或浓度估计以校准所述系统和/或改善测量准确度。
T16.如任一前述实施例的方法、装置或系统,其中将监测标记的检测和/或TLD估计应用于基于图像的测定中的故障检测,包括但不限于检测样品保持装置中的缺陷、样品保持装置在成像器中的错位和/或成像器的聚焦故障。
T17.如任一前述实施例的方法、装置或系统,其中所述监测标记被检测为锚,以应用于系统中来估计基于图像的测定中对象的面积,包含:
i.将所述样品装载至样品保持装置,所述样品保持装置具有在基于图像的测定中位于所述装置中的监测标记;
ii.拍摄包括微特征和监测标记的样品保持装置中的样品的图像;以及
iii.检测由样品保持装置上的成像器拍摄的样品的图像中的监测标记,确定TLD并在基于图像的测定中计算面积估计,以确定从图像中的像素到其在真实世界中的微米的物理尺寸的成像对象的尺寸。
T18.如任一前述实施例的方法、装置或系统,其中该系统包含:
i.检测数字图像中的监测标记;
ii.生成监测标记网格;
iii.基于监测标记网格计算图像变换;以及
iv.在基于图像的测定中估计样品的图像中的对象的面积及其在真实世界中的物理尺寸。
T19.如任一前述实施例的方法、装置或系统,其中使用从检测到的监测标记生成的监测标记网格来计算单应变换以估计TLD、由成像器拍摄的样品的图像中的对象的面积,以及真实世界中的对象的物理尺寸。
T20.如任一前述实施例的方法、装置或系统,其中该方法包含:
i.将成像器在基于图像的测定中拍摄的样品的图像划分成非重叠的区域;
ii.检测图像中的局部监测标记;
iii.如果在该区域中检测到多于5个的非共线监测标记,则为该区域生成基于区域的标记网格;
iv.基于在由成像器拍摄的样品的图像中检测到的监测标记,为所有其他区域生成标记网格;
v.从(iii)中为每个区域生成的基于区域的标记网格计算基于区域的单应变换;
vi.基于在(iv)中生成的标记网格来计算不是在(iii)中的所有其他区域的单应变换;以及
vii.基于从(v)和(vi)产生的单应变换估计每个区域的TLD,然后在基于图像的测定中确定每个区域的样品的图像中的对象的面积和它们在真实世界中的尺寸。
T21.如任一前述实施例的方法、装置或系统,其中所述测定是医学、诊断、化学或生物测试。
T22.如任一前述实施例的方法、装置或系统,其中所述微特征是细胞。
T23.如任一前述实施例的方法、装置或系统,其中所述微特征是血细胞。
T24.如任一前述实施例的方法、装置或系统,其中所述微特征是蛋白质、肽、DNA、RNA、核酸、小分子、细胞或纳米颗粒。
T25.如任一前述实施例的方法、装置或系统,其中所述微构件包含标签。
T26.如任一前述实施例的方法、装置或系统,其中所述算法包含计算机程序产品,所述计算机程序产品包含计算机程序代码装置,其在至少一个图像中适于:
(a)接收样品的图像,其中所述样品被装载到QMAX装置中,并且所述图像由连接到所述QMAX装置的成像器拍摄,其中所述图像包括所述样品和监测标记两者;以及
(b)利用检测模型对所述图像进行分析,并生成所述图像的二维数据阵列,其中所述二维数据阵列包括所述图像中每个位置的所述微特征的概率数据,所述检测模型通过训练过程建立,所述训练过程包含:
i.将注释的数据集送入卷积神经网络,其中注释的数据集来自与测试样品类型相同且针对相同微特征的样品;以及
ii.通过卷积训练和建立检测模型;以及
(c)分析二维数据阵列以通过以下来检测局部信号峰值:
i.信号列表过程,或
ii.局部搜索过程;以及
(d)基于局部信号峰值信息计算微特征的量。
T27.如任一前述实施例的方法、装置或系统,其中所述算法包含计算机程序产品,所述计算机程序产品包含计算机程序代码装置,其在至少一个图像中应用于和适于:
(a)表示样品中的对象与由样品保持装置上的成像器拍摄的样品的图像中的所述对象的像素等值线图之间的推断模式,
(b)在样品的图像中数字地重构从推断模式检测到的至少一个对象的图像,并且生成包围由推断模块识别的对象的轮廓掩模,其中所述对象处于焦点中,
(c)为样品图像的选定部分中的至少一个对象识别样品图像的至少一部分,以及
(d)从所述至少一个部分计算对象的至少一个特征以识别由成像器拍摄的样品的图像的选定部分中的对象,
(e)从样品的图像的选定部分计算选定部分中的检测对象的计数及其浓度,
当所述程序在计算装置上运行时,或者在通过网络连接的计算云中运行时。
T28.如任一前述实施例的方法、装置或系统,其中所述算法包含计算机程序产品,所述计算机程序产品包含计算机程序代码装置,其在至少一个图像中适于:
(a)接收样品的图像,其中所述样品被装载到QMAX装置中,并且所述图像由连接到所述QMAX装置的成像器拍摄,其中所述图像包括所述样品和监测标记两者;以及
(b)分析所述图像以计算所述微特征的量,其中所述分析使用基于机器学习的检测模型和由所述监测标记的图像提供的信息。
如任一前述实施例的方法、装置或系统还包含计算机可读存储介质或存储器存储单元,其包含如任一前述实施例的计算机程序。
如任一前述实施例的方法、装置或系统还包括计算装置或移动设备,其包含如任一前述实施例的计算装置。
如任一前述实施例的方法、装置或系统还包括计算装置或移动设备,其包含如任一前述实施例的计算机程序产品。
如任一前述实施例的方法、装置或系统还包括计算装置或移动设备,其包含如任一前述实施例的计算机可读存储介质或存储单元。
一种用于分析样品的系统,包含:
第一板、第二板、表面放大层、捕获剂,其中
(a)第一板和第二板可相对于彼此移动成为不同的构造,并且在其各自的内表面上具有用于接触含有目标分析物的样品的样品接触区域;
(b)表面放大层在一个样品接触区域上,
(c)捕获剂固定在表面放大层上,其中所述捕获剂特异性结合所述目标分析物,
其中当所述表面放大层与所述表面放大层邻近时,所述表面放大层放大来自所述目标分析物或附着到所述目标分析物的标签的光学信号,所述光学信号比当所述表面放大层相距微米或更远时的光学信号强得多,
其中一个构造是开放构造,其中两个板的内表面之间的平均间距为至少200um;并且
其中另一个构造为闭合构造,其中样品的至少一部分位于所述两个板之间并且所述板的内表面之间的平均间距小于200um。
一种用于分析样品的系统,包含:
第一板、第二板、表面放大层、捕获剂,其中
(d)第一板和第二板可相对于彼此移动成为不同的构造,并且在其各自的内表面上具有用于接触含有目标分析物的样品的样品接触区域;
(e)表面放大层在一个样品接触区域上,
(f)捕获剂固定在表面放大层上,其中所述捕获剂特异性结合所述目标分析物,
其中当所述表面放大层与所述表面放大层邻近时,所述表面放大层放大来自附着到所述目标分析物的标签的光学信号,所述光学信号比当所述表面放大层相距微米或更远时的光学信号强得多,
其中一个构造是开放构造,其中两个板的内表面之间的平均间距为至少200um;
其中另一个构造为闭合构造,其中样品的至少一部分位于所述两个板之间并且所述板的内表面之间的平均间距小于200um;
其中在闭合构造中的样品的厚度、在闭合构造中溶解在样品中的标签的浓度和表面放大层的放大因子被配置为使得在闭合构造中直接或间接结合至捕获剂的任何标签可见,而不洗去未结合的标签。
一种包含如任一前述实施例的装置和用于读取装置的读取器的设备。
使用如任一前述实施例的装置的均相测定法,其中处于闭合构造的样品的厚度、标签的浓度和放大表面的放大因子被配置为使结合在放大表面上的标签可见,而不洗去未结合的标签。
如任一前述实施例的方法,其中该方法通过以下执行:
获得如任一前述实施例的装置;
当板处于开放构造时将样品沉积在一个或两个板上;
将板闭合到闭合构造;以及
用读取装置读取样品接触区域以产生信号的图像。
如任一前述实施例的装置或方法,其中结合至放大表面的标签在少于60秒内是可见的。
如任一前述实施例的装置或方法,其中方法是均相测定,其中在不使用洗涤步骤去除未结合至所述放大表面的任何生物材料或标签的情况下读取所述信号。
如任一前述实施例的装置或方法,其中通过像素化读取方法读取结合至放大表面的标签。
如任一前述实施例的装置或方法,其中通过集总读取方法读取结合至放大表面的标签。
如任一前述实施例的装置或方法,其中测定具有0.1nM或更小的检测灵敏度。
如任一前述实施例的装置或方法,其中在读取之前通过海绵去除未结合至放大表面的方法生物材料或标签。
如任一前述实施例的装置或方法,其中信号放大层包含D2PA。
如任一前述实施例的装置或方法,其中信号放大层包含金属材料层。
如任一前述实施例的装置或方法,其中信号放大层包含连续金属膜,该连续金属膜由选自由以下各项组成的组的材料制成:金、银、铜、铝、其合金及其组合。
如任一前述实施例的装置或方法,其中不同金属层局部增强或用作反射器,或两者,以增强光信号。
如任一前述实施例的装置或方法,其中信号放大层包含金属材料层和在金属材料层顶部上的介电材料,其中捕获剂在介电材料上。
如任一前述实施例的装置或方法,其中金属材料层为均匀金属层、纳米结构金属层或组合。
如任一前述实施例的装置或方法,其中通过等离子体增强放大信号。
如任一前述实施例的装置或方法,其中测定包含通过拉曼散射检测标签。
如任一前述实施例的装置或方法,其中捕获剂是抗体。
如任一前述实施例的装置或方法,其中捕获剂是多核苷酸。
如任一前述实施例的装置或方法,其中装置进一步包含固定在一个板上的间隔件,其中间隔件在闭合构造中调节第一板与第二板之间的间距。
如任一前述实施例的装置或方法,其中调节表面放大层的放大因子以使得来自直接或间接结合至捕获剂的单个标签的光学信号可见。
如任一前述实施例的装置或方法,其中调节表面放大层的放大因子以使得来自直接或间接结合至捕获剂的单个标签的光学信号可见,其中单独计数结合至捕获剂的可见单个标签。
如任一前述实施例的装置或方法,其中处于闭合构造的第一板与第二板之间的间距被配置为使目标分析物与捕获剂的饱和结合时间为300秒或更短。
如任一前述实施例的装置或方法,其中处于闭合构造的第一板与第二板之间的间距被配置为使目标分析物与捕获剂的饱和结合时间为60秒或更短。
如任一前述实施例的装置或方法,其中调节表面放大层的放大因子以使得来自单个标签的光信号可见。
如任一前述实施例的装置或方法,其中捕获剂是核酸。
如任一前述实施例的装置或方法,其中捕获剂是蛋白质。
如任一前述实施例的装置或方法,其中捕获剂是抗体。
如任一前述实施例的装置或方法,其中第二板的样品接触区域具有试剂储存位点,并且在闭合构造中储存位点大约在第一板上的结合位点上方。
如任一前述实施例的装置或方法,其中试剂储存位点包含结合至目标分析物的检测剂。
如任一前述实施例的装置或方法,其中检测剂包含标签。
如任一前述实施例的装置或方法,其中捕获剂和检测剂都结合至目标分析物以形成包含标签的夹心。
如任一前述实施例的装置或方法,其中信号放大层包含金属材料层。
如任一前述实施例的装置或方法,其中信号放大层包含金属材料层和在金属材料层顶部上的介电材料,其中捕获剂在介电材料上。
如任一前述实施例的装置或方法,其中金属材料层为均匀金属层、纳米结构金属层或组合。
如任一前述实施例的装置或方法,其中放大层包含金属材料层和在金属材料层的顶部上的介电材料,其中捕获剂在介电材料上,且介电材料层具有的厚度为0.5nm、1nm、5nm、10nm、20nm、50nm、00nm、200nm、500nm、1000nm、2um、3um、5um、10um、20um、30um、50um、100um、200um、500um,或在任何两个值之间的范围内。
如任一前述实施例的装置或方法,其中方法进一步包含量化图像的区域中的信号以提供对样品中的一种或多种分析物的量的估计。
如任一前述实施例的装置或方法,其中方法包含识别和计数在图像区域中分析物与捕获剂之间的单独结合事件,从而提供对样品中一种或多种分析物的量的估计。
如任一前述实施例的装置或方法,其中识别和计数步骤包含:(1)确定背景信号的局部强度(2)确定一个标签、两个标签、三个标签、四个或多个标签的局部信号强度;(3)确定成像区域内标签总数。
如任一前述实施例的装置或方法,其中所述识别和计数步骤包含:(1)确定背景信号的局部谱(2)确定一个标签、两个标签、三个标签、四个或多个标签的局部信号谱;(3)确定成像区域内标签总数。
如任一前述实施例的装置或方法,其中识别和计数步骤包含:(1)确定背景信号的局部拉曼特征(2)确定一个标签、两个标签、三个标签、四个或多个标签的局部信号拉曼特征;(3)确定成像区域内标签总数。
如任一前述实施例的装置或方法,其中所述识别和计数步骤包含确定所述局部强度、光谱和拉曼特征中的一个或多个。
如任一前述实施例的装置或方法,其中方法包含量化所述图像的区域中的集总信号,从而提供对所述样品中一种或多种分析物的量的估计。
如任一前述实施例的装置或方法,其中所述第二板的所述样品接触区域具有试剂储存位点,并且在闭合构造中所述储存位点大约在第一板上的结合位点上方。
如任一前述实施例的装置或方法,其中所述方法还包含用检测剂标记所述目标分析物的步骤。
如任一前述实施例的装置或方法,其中所述检测剂包含标签。
如任一前述实施例的装置或方法,其中所述捕获剂和检测剂都结合至所述目标分析物以形成夹心。
如任一前述实施例的装置或方法,其中所述方法进一步包含在由该读取装置成像的区域中测量样品的体积。
如任一前述实施例的装置或方法,其中所述目标分析物是蛋白质、肽、DNA、RNA、核酸、小分子、细胞或纳米颗粒。
如任一前述实施例的装置或方法,其中图像示出信号的位置、局部强度和局部谱。
如任一前述实施例的装置或方法,其中信号是选自由以下各项组成的组的发光信号:荧光、电致发光、化学发光和电化学发光信号。
如任一前述实施例的装置或方法,其中信号是拉曼散射信号。
如任一前述实施例的装置或方法,其中所述信号是由于板与读取装置之间的局部电相互作用、局部机械相互作用、局部生物相互作用或局部光学相互作用而产生的力。
如任一前述实施例的方法或装置,其中间隔件具有柱状形状和几乎均匀的横截面。
如任一前述实施例的方法或装置,其中间隔距离(SD)等于或小于约120um(微米)。
如任一前述实施例的方法或装置,其中间隔距离(SD)等于或小于约100um(微米)。
如任一前述实施例的方法或装置,其中间隔距离(ISD)的四次方除以柔性板的厚度(h)和杨氏模量(E)(ISD4/(hE))为5×106um3/GPa或更小。
如任一前述实施例的方法或装置,其中间隔距离(ISD)的四次方除以柔性板的厚度(h)和杨氏模量(E)(ISD4/(hE))为5×105um3/GPa或更小。
如任一前述实施例的方法或装置,其中所述间隔件具有柱状形状,基本上平顶表面,预定的基本上均匀的高度和预定的恒定间隔距离,所述间隔距离比所述分析物的尺寸大至少约2倍,其中所述间隔件的杨氏模量乘以间隔件的填充因子等于或大于2MPa,其中填充因子是间隔件接触区域与总板区域的比例,且其中对于每一间隔件,间隔件的横向尺寸与其高度的比例至少为1(1)。
如任一前述实施例的方法或装置,其中所述间隔件具有柱状形状,基本上平顶表面,预定的基本上均匀的高度和预定的恒定间隔距离,所述间隔距离比所述分析物的尺寸大至少约2倍,其中所述间隔件的杨氏模量乘以间隔件的填充因子等于或大于2MPa,其中填充因子是间隔件接触区域与总板区域的比例,且其中对于每一间隔件,间隔件的横向尺寸与其高度的比例至少为1(1),其中间隔距离(ISD)的四次方除以柔性板的厚度(h)和杨氏模量(E)(ISD4/(hE))为5x106um3/GPa或更小。
如任一前述实施例的方法或装置,其中所述间隔件的间隔距离与所述间隔件的平均宽度的比例为2或更大,且所述间隔件的填充因子乘以所述间隔件的杨氏模量为2MPa或更大。
如任一前述实施例的方法或装置,其中分析物是蛋白质、肽、核酸、合成化合物或无机化合物。
如任一前述实施例的方法或装置,其中样品是生物样品,生物样品选自羊水、房水、玻璃体液、血液(例如,全血、分馏的血液、血浆或血清)、母乳、脑脊髓液(CSF)、耳垢(耳屎)、乳糜、食糜、内淋巴、外淋巴、粪便、呼吸、胃酸、胃液、淋巴液、粘液(包括鼻引流液和痰液)、心包液、腹膜液、胸膜液、脓液、风湿液、唾液、呼出的冷凝物、皮脂、精液、痰液、汗液、滑液、泪液、呕吐物和尿液。
如任一前述实施例的方法或装置,其中所述间隔件具有柱状形状,并且所述柱的宽度与高度的比例等于或大于1。
如任一前述实施例的方法或装置,其中沉积在板中的一个或两个上的样品具有未知体积。
如任一前述实施例的方法或装置,其中所述间隔件具有柱状形状,且所述柱具有基本上均匀的横截面。
如任一前述实施例的方法或装置,其中所述样品用于检测、纯化和量化与某些疾病的阶段相关的化合物或生物分子。
如任一前述实施例的方法或装置,其中样品与传染性和寄生虫病、损伤、心血管疾病、癌症、精神障碍、神经精神障碍、肺病、肾病以及其他和器质性疾病有关。
如任一前述实施例的方法或装置,其中所述样品涉及微生物的检测、纯化和量化。
如任一前述实施例的方法或装置,其中样品涉及来自环境(例如,水、土壤或生物样品)的病毒、真菌和细菌。
如任一前述实施例的方法或装置,其中样品涉及对食品安全或国家安全造成危害的化合物或生物样品(例如,有毒废物、炭疽)的检测、量化。
如任一前述实施例的方法或装置,其中样品与医学或生理监测中的生命参数的量化相关。
如任一前述实施例的方法或装置,其中样品与葡萄糖、血液、氧水平、总血细胞计数相关。
如任一前述实施例的方法或装置,其中样品与来自生物样品的特异性DNA或RNA的检测和量化相关。
如任一前述实施例的方法或装置,其中样品与用于基因组分析的染色体和线粒体中DNA的遗传序列的测序和比较相关。
如任一前述实施例的方法或装置,其中样品涉及例如在药物合成或纯化期间检测反应产物。
如任一前述实施例的方法或装置,其中样品是细胞、组织、体液和粪便。
如任一前述实施例的方法或装置,其中样品是人、兽医、农业、食品、环境和药物测试领域中的样品。
如任一前述实施例的方法或装置,其中样品是选自毛发、指甲、耳蜡、呼吸、结缔组织、肌肉组织、神经组织、上皮组织、软骨、癌样品或骨的生物样品。
如任一前述实施例的方法或装置,其中间隔距离在5um到120um的范围内。
如任一前述实施例的方法或装置,其中间隔距离在120um到200um的范围内。
如任一前述实施例的方法或装置,其中所述柔性板的厚度在20um到250um的范围内和杨氏模量在0.1到5GPa的范围内。
如任一前述实施例的方法或装置,其中对于柔性板,柔性板的厚度乘以柔性板的杨氏模量在60到750GPa-um的范围内。
如任一前述实施例的方法或装置,其中均匀厚度样品层在至少1mm2的横向区域上是均匀的。
如任一前述实施例的方法或装置,其中均匀厚度样品层在至少3mm2的横向区域上是均匀的。
如任一前述实施例的方法或装置,其中均匀厚度样品层在至少5mm2的横向区域上是均匀的。
如任一前述实施例的方法或装置,其中均匀厚度样品层在至少10mm2的横向区域上是均匀的。
如任一前述实施例的方法或装置,其中均匀厚度样品层在至少20mm2的横向区域上是均匀的。
如任一前述实施例的方法或装置,其中均匀厚度样品层在20mm2至100mm2的范围内的横向区域上是均匀的。
如任一前述实施例的方法或装置,其中均匀厚度样品层具有高达+/-5%或更好的厚度均匀性。
如任一前述实施例的方法或装置,其中均匀厚度样品层具有高达+/-10%或更好的厚度均匀性。
如任一前述实施例的方法或装置,其中均匀厚度样品层具有高达+/-20%或更好的厚度均匀性。
如任一前述实施例的方法或装置,其中均匀厚度样品层具有高达+/-30%或更好的厚度均匀性。
如任一前述实施例的方法、装置、计算机程序产品或系统具有五个或多个监测标记,其中监测标记中的至少三个不是直线的。
如任一前述实施例的方法、装置、计算机程序产品或系统,其中所述板中的每一个在其各自的外表面上包含受力区域,该受力区域用于施加不精确按压力,该按压力迫使板在一起;
如任一前述实施例的方法、装置、计算机程序产品或系统,其中一个或两个板是柔性的;
如任一前述实施例的方法、装置、计算机程序产品或系统,其中间隔距离(IDS)的四次方除以所述柔性板的厚度(h)和杨氏模量(E)(ISD4/(hE))为5x106um3/GPa或更小。
如任一前述实施例的方法、装置、计算机程序产品或系统,其中间隔件中的至少一个在样品接触区域内;
如任一前述实施例的方法、装置、计算机程序产品或系统,其中脂肪限定分析物
如任一前述实施例的方法、装置、计算机程序产品或系统,其中脂肪限定算法
如任一前述实施例的方法、装置、计算机程序产品或系统,其中脂肪限定压印力和手按压力。
如任一前述实施例的装置、系统或方法,其中所述算法存储在非暂时性计算机可读媒体上,且其中所述算法包含指令,所述指令在被执行时执行利用所述装置的监测标记来确定对应于所述分析物的性质的方法。
标记的一些示例
在本发明中,在一些实施例中,标记具有与间隔件相同的形状。
在一些实施例中,标记是周期性的或非周期性的。
在一些实施例中,两个标记之间的距离是预定的和已知的,但是板上的绝对坐标是未知的。
在一些实施例中,标记具有预定的和已知的形状。
在一些实施例中,标记被配置为在板中具有分布,使得不管板的位置如何,在成像光学器件的视场中总是存在标记。
在一些实施例中,标记被配置为在板中具有分布,使得不管板的位置如何,在成像光学器件的视场中总是存在标记,并且标记的数量足以用于局部光学信息。
在一些实施例中,标记用于控制样品局部区域的光学性质,而区域尺寸为1um^2、5um^2、10um^2、20um^2、50um^2、100um^2、200um^2、500um^2、1000um^2、2000um^2、5000um^2、10000um^2、100000um^2、500000um^2,或在任何两个值之间的范围内。
“有限成像光学器件”的使用
在本发明中,在一些实施例中,用于对测定进行成像的光学系统具有“有限成像光学器件”。有限成像光学器件的一些实施例包括但不限于:
1.一种有限成像光学系统,包含:
成像透镜;
成像传感器;
其中所述成像传感器是智能手机的相机的一部分;
其中所述成像透镜中的至少一个是智能手机的相机的一部分;
2.如任一前述实施例的有限成像光学系统,其中:所述物理光学分辨率小于1um、2um、3um、5um、10um、50um,或在任何两个值之间的范围内。
3.如任一前述实施例的有限成像光学系统,其中:所述每物理光学分辨率小于1um、2um、3um、5um、10um、50um,或在任何两个值之间的范围内。
4.如任一前述实施例的有限成像光学系统,其中:所述优选的每物理光学分辨率在约1um与3um之间;
5.如任一前述实施例的有限成像光学系统,其中:所述数值孔径小于0.1、0.15、0.2、0.2、0.25、0.3、0.35、0.4、0.45、0.5,或在任何两个值之间的范围内。
6.如任一前述实施例的有限成像光学系统,其中:所述优选数值孔径在0.2与0.25之间。
7.如任一前述实施例的有限成像光学系统,其中:所述工作距离为0.2mm、0.5mm、1mm、2mm、5mm、10mm、20mm,或在任何两个值之间的范围内。
8.如任一前述实施例的有限成像光学系统,其中:所述工作距离为0.2mm、0.5mm、1mm、2mm、5mm、10mm、20mm,或在任何两个值之间的范围内。
9.如任一前述实施例的有限成像光学系统,其中:所述优选工作距离在0.5mm至1mm之间。
10.如任一前述实施例的有限成像光学系统,其中:所述焦深为100nm、500nm、1um、2um、10um、100um、1mm,或在任何两个值之间的范围内。
11.如任一前述实施例的有限成像光学系统,其中:所述焦深为100nm、500nm、1um、2um、10um、100um、1mm,或在任何两个值之间的范围内。
12.如任一前述实施例的有限成像光学系统,其中:所述图像传感器是智能手机相机模块的一部分。
13.如任一前述实施例的有限成像光学系统,其中:图像传感器的对角线长度小于1英寸、1/2英寸、1/3英寸、1/4英寸,或在任何两个值之间的范围内;
14.如任一前述实施例的有限成像光学系统,其中:所述成像透镜包含至少两个透镜,并且一个透镜是智能手机的相机模块的一部分。
15.如任一前述实施例的有限成像光学系统,其中:至少一个外透镜与智能手机的内透镜配对。
16.如任一前述实施例的有限成像光学系统,其中:所述外透镜的光轴与所述智能手机的所述内透镜对准,所述对准公差小于0.1mm、0.2mm、0.5mm、1mm,或在任何两个值之间的范围内。
17.如任一前述实施例的有限成像光学系统,其中:所述外透镜的高度小于2mm、5mm、10mm、15mm、20m,或在任何两个值之间的范围内。
18.如任一前述实施例的有限成像光学系统,其中:所述外透镜的优选高度在3mm至8mm之间。
19.如任一前述实施例的有限成像光学系统,其中:所述外透镜的优选高度在3mm至8mm之间。
20.如任一前述实施例的有限成像光学系统,其中:所述外透镜的直径小于2mm、4mm、8mm、10mm、15mm、20mm,或在任何两个值之间的范围内。
21.如任一前述实施例的有限成像光学系统,其中:所述每物理光学放大率小于0.1X、0.5X、1X、2X、4X、5X、10X,或在任何两个值之间的范围内。
22.如任一前述实施例的有限成像光学系统,其中:所述优选每物理光学放大率小于0.1X、0.5X、1X、2X、4X、5X、10X,或在任何两个值之间的范围内。
术语“基于图像的测定”是指利用由成像器拍摄的样品的图像的测定程序,其中样品可以是但不限于医学、生物和化学样品。
术语“成像器”是指能够拍摄对象图像的任何装置。其包括但不限于显微镜中的相机、智能电话或可在各种波长下拍摄图像的特殊装置。
术语“样品特征”是指代表潜在感兴趣的条件的样品的一些性质。在某些实施例中,样品特征是出现在样品的图像中并且可以通过机器学习模型来分割和分类的特征。样品特征的示例包括但不限于样品中的分析物类型,例如红细胞、白细胞和肿瘤细胞,并且其包括分析物计数、尺寸、体积、浓度等。
术语“机器学习”是指人工智能领域中的算法、系统和设备,其通常使用统计技术和人工神经网络来向计算机提供从数据“学习”(即,逐步改善对特定任务的性能)而不被明确编程的能力。
术语“人工神经网络”是指由生物网络启发的分层连接系统,其可以通过考虑示例“学习”以执行任务,通常不用任何任务专用规则来编程。
术语“卷积神经网络”是指一类最常应用于分析视觉图像的多层前馈人工神经网络。
术语“深度学习”是指从具有一定深度网络结构的数据中学习的人工智能(AI)中的一大类机器学习方法。
术语“机器学习模型”是指从数据的机器学习中的训练过程构建的训练的计算模型。训练的机器学习模型在推断阶段由计算机应用,该计算机给予计算机执行特定任务(例如,检测和分类对象)的能力。机器学习模型的示例包括ResNet、DenseNet等,由于其网络结构中的分层深度,其也被称为“深度学习模型”。
术语“图像分割”是指将数字图像划分成多个段(像素组,通常具有覆盖由它们的段边界轮廓包围的图像段的一组位图掩模)的图像分析过程。图像分割可以通过图像处理中的图像分割算法来实现,例如watershed、grabcut、均值偏移等,以及通过机器学习算法来实现,例如MaskRCNN等。
术语“样品中的缺陷”是指不应在理想样品条件下存在或不应在样品的特征中考虑的伪影。它们可以来自但不限于污染物,例如灰尘、气泡等,以及来自样品中的外围对象,例如样品保持装置中的监测标记(例如柱)。缺陷可以具有显著的尺寸并且在样品中占据显著量的体积,例如气泡。除了它们在样品中的分布和数量之外,它们可以具有不同的形状-其是取决于样品的。
本文中的术语“阈值”是指例如用作以下的任何数字:将样品特征分类为特定类型的分析物的截止值,或样品中的异常细胞与正常细胞的比例。可以经验地或分析地识别阈值。
传统上,高质量(包括但不限于:高分辨率、良好照明、低噪声水平、低失真水平、良好聚焦、良好锐度等)显微图像需要由复杂且非常先进的成像光学器件收集,所述成像光学器件包括高数值孔径和高放大率复合透镜。并且我们发明了一种在显微成像中使用低成本有限光学器件借助于机器学习以高质量重建图像的方法。如图C-1所示,在训练过程中,我们使用高质量图像(用高质量光学器件捕获的)和低质量图像(用有限光学器件捕获和/或通过使用图像处理和/或机器学习从高质量图像(称为虚拟图像)产生)作为样品上的相同感兴趣视场(区域)的训练对。然后我们使用高质量和低质量图像对训练机器,让它学习高质量形式的低质量图像应该是什么。使用训练的模型,对于相同种类的对象的新样品,机器可以基于低质量输入来预测图像的高质量形式。
在一些实施例中,在机器学习中使用监测标记以使用较低分辨率光学系统实现高分辨率图像。
“有限样品操作”的使用
在本发明中,在一些实施例中,用于对测定进行成像的样品定位系统具有“有限样品操作”。有限样品操作的一些实施例包括但不限于:
有限样品操作系统的描述:
1.有限样品操作系统,包含:
样品保持器;
其中样品保持器具有用于接收样品卡的插座。
2.如任一前述实施例的有限样品操作系统,其中:在沿着所述光轴的方向上定位样品的准确度比0.1um、1um、10um、100um、1mm差,或在任何两个值之间的范围内。
3.如任一前述实施例的有限样品操作系统,其中:在沿着所述光轴的方向上定位样品的优选准确度在50um与200um之间。
4.如任一前述实施例的有限样品操作系统,其中:将样品定位在垂直于所述光轴的平面中的准确度比0.01um、0.1um、1um、10um、100um、1mm差,或在任何两个值之间的范围内。
5.如任一前述实施例的有限样品操作系统,其中:将样品定位在垂直于所述光轴的平面中的优选准确度在100um与1mm之间。
6.如任一前述实施例的有限样品操作系统,其中,定位样品卡的水平误差比0.01度、0.1度、0.5度、1度、10度差,或在任何两个值之间的范围内。
7.如任一前述实施例的有限样品操作系统,其中,定位样品卡的优选水平误差在0.5度至10度之间。
8.如任一前述实施例的有限样品操作系统,其中,定位样品卡的优选水平误差在0.5度至10度之间。
监测标记的尖锐边缘
术语“尖锐的光学边缘”是指由具有以下性质的特定光学系统拍摄的图像中的对象的边缘或边界:在图像中的对象的边缘或边界处,光强度(包括但不限于R、G、B、灰色、色调、亮度)相对于位置急剧变化。例如,定量地,如图1中所示,在边界处,其中归一化强度从90%减小到10%的距离(X90%)应当小于由这样的光学系统在图像中的对象的长度的5%。换句话说,边界梯度=90%/X90%/1800%/对象长度。尖锐边缘的示例是具有平坦顶部和接近90度侧壁的柱状间隔件的边缘。没有尖锐边缘的对象的示例是球体。
利用监测标记的TLD和体积估计的示例
图5示出了在本发明的一些实施例中使用的样品保持装置QMAX装置及其监测标记、柱的实施例。QMAX装置中的柱使得样品保持装置的两个平行板之间的间隙均匀。该间隙是狭窄的并且与分析物的尺寸相关,其中分析物在该间隙中形成单层。此外,QMAX装置中的监测标记是柱的特殊形式,因此它们不会被样品浸没,并且可以在基于图像的测定中通过成像器与样品一起成像。
利用监测标记的TLD(真实横向尺寸)估计的示例
在本发明的一些实施例中用于TLD和真实体积估计。监测标记(柱)用作可检测锚。然而,在基于图像的测定中以适合于TLD估计的准确度检测监测标记是困难的。这是因为这些监测标记被样品保持装置内的分析物渗透和包围,并且它们在图像中由于透镜的失真、微对象的光衍射、微水平的缺陷、聚焦的不对准、样品图像中的噪声等而发生失真和模糊。如果成像器是来自商品装置的相机(例如,来自智能电话的相机),则变得更加困难,因为这些相机一旦离开制造就没有由专用硬件校准。
在本发明中,在机器学习框架中制定作为用于TLD估计的可检测锚的监测标记的检测和定位,并且构建/训练专用机器学习模型以在显微成像中检测它们。此外,在本发明的一些实施例中,监测标记的分布被有意地设置为周期性的并且以预定的图案分布。这使得本发明的方法更鲁棒和可靠。
具体地,本发明的实施例包含:
(8)将样品装载到样品保持装置(例如QMAX装置)中,其中存在未浸没在所述样品中且可由成像器成像的装置中存在具有已知构造的监测标记;
(9)拍摄包括分析物和监测标记的样品保持装置中的样品的图像;
(10)构建和训练机器学习(ML)模型以检测样品的图像中的监测标记;
(11)使用来自(3)所述ML检测模型从样品的图像中检测并定位样品保持装置中的监测标记;
(12)根据(4)中检测到的监测标记生成标记网格;
(13)基于所生成的监测标记网格计算单应变换;
(14)根据来自(6)的单应变换估计并保存样品图像的真实横向尺寸;以及
(15)在随后的基于图像的测定中应用来自(7)的估计的TLD以确定分析物的面积、尺寸、体积和浓度。
在本发明的一些实施例中,在基于图像的测定中采用基于区域的TLD估计和校准。其包含:
(13)将该样品装载到样品保持装置(例如QMAX装置)中,其中在所述装置中存在监测标记未浸没在所述样品中且能够在所述基于图像的测定中通过成像器成像;
(14)拍摄包括分析物和监测标记的样品保持装置中的样品的图像;
(15)构建和训练机器学习(ML)模型,用于从由成像器拍摄的样品的图像中检测监测标记;
(16)将成像器拍摄的样品图像划分成非重叠区域;
(17)使用(3)的ML模型从由成像器拍摄的样品的图像中检测并定位监测标记;
(18)为在所述局部区域中检测到多于5个非共线监测标记的每个区域生成基于区域的标记网格;
(19)基于从由所述成像器拍摄的所述样品的图像中检测到的监测标记,为未在(6)中的所有区域生成标记网格;
(20)基于在(6)中生成的其自身的基于区域的标记网格,为在(6)中的每个区域计算区域特定单应变换;
(21)基于在(7)中生成的标记网格为所有其他区域计算单应变换;
(22)基于在(8)中生成的基于区域的单应变换来估计(6)中的每个区域的基于区域的TLD;
(23)基于来自(9)的单应变换来估计其他区域的TLD;以及
(24)在随后的基于图像的测定中,在分区上保存并应用来自(10)和(12)的估计TLD
当监测标记以预定义的周期性图案分布时,例如在QMAX装置中,它们以一定的间距周期性地出现和分布,结果,在上述过程中,监测标记的检测变得更加鲁棒和可靠。这是因为,如果检测到的位置和构造不遵循预定义的周期性图案,则利用周期性,可以仅从少量检测到的监测标记中识别和确定所有监测标记,并且可以校正和消除检测错误。
利用监测标记的体积估计
图3是用于基于图像的测定中的体积估计的本发明的框图。为了估计测定中样品的真实体积,需要从样品中的缺陷和周围对象去除体积,本发明的实施例包含:
(1)将该样品装载到具有多个监测标记的样品保持装置上(例如QMAX装置),通过成像器拍摄样品的图像;
(2)通过用上述方法和装置检测作为锚的样品图像中的监测标记来估计图像的真实横向尺寸(TLD);
(3)使用从样品的图像构建和训练的机器学习(ML)检测模型来检测和定位样品的图像中的缺陷,例如气泡、灰尘、监测标记等;
(4)使用从所述样品的图像构建和训练的机器学习(ML)分割模型来确定所述样品的图像中的所述检测到的缺陷的覆盖掩模;
(5)基于样品和样品保持装置中的分析物/对象的尺寸确定余量距离Δ(例如,最大分析物直径);
(6)确定用于所有检测到的缺陷的Δ+掩模,即具有从(4)到其覆盖掩模的额外余量Δ延伸的掩模;
(7)基于(6)中的Δ+掩膜去除样品图像中的检测到的缺陷;
(8)在随后的基于图像的测定中,保存来自(7)的图像,并且在用(7)的相应Δ+掩模去除体积之后保存相应的体积;以及
(9)如果去除的Δ+掩模的面积或样品的剩余真实体积超过某个预设阈值,则拒绝样品。
在本发明中,使用额外余量
掩模从样品的图像中去除缺陷。这是重要的,因为缺陷可影响其周围环境。例如,一些缺陷可以改变样品保持装置中的间隙的高度,并且缺陷周围的局部体积或浓度分布可以变得不同。
术语“监测标记(monitoring mark)”、“监测标记(monitor mark)”和“标记”在本发明的描述中是可以互换的。
术语“成像器”和“相机”在本发明的描述中是可以互换的。
术语“去噪”是指从接收信号中去除噪声的过程。一个示例是去除样品的图像中的噪声,因为来自成像器/相机的图像可以从各种源拾取噪声,包括但不限于白噪声、盐和胡椒噪声、高斯噪声等。去噪方法包括但不限于:线性和非线性滤波、小波变换、统计方法、深度学习等。
术语“图像归一化”是指改变经处理的图像中的像素强度值的范围的算法、方法和设备。例如,它包括但不限于通过直方图拉伸来增加对比度、从每个图像中减去平均像素值等。
术语“图像锐化”是指增强图像的边缘对比度和边缘内容的过程。
术语“图像缩放”是指调整图像大小的过程。例如,如果样品的图像中的对象太小,则可以应用图像缩放来放大图像以帮助检测。在本发明的一些实施例中,在输入到用于训练或推断目的的深度学习模型之前,图像需要被调整大小到指定的尺寸。
术语“对准”是指将不同的数据集变换到一个共同的坐标系中以便对它们进行比较和组合。例如,在图像处理中,不同的数据集来自并不限于来自多个成像器传感器的图像,以及来自同一传感器但在不同时间,聚焦深度等的图像。
术语“超分辨率”是指从一个或多个低分辨率图像获得更高分辨率图像的过程。
术语“去模糊”是指从图像中去除模糊伪影的过程,诸如在成像过程中去除由散焦、抖动、运动等引起的模糊。
在本发明的一些实施例中,设计了方法和算法以利用样品保持装置(例如QMAX装置)中的监测标记。这包括但不限于成像装置中的以下参数的估计和调整:
1.快门速度,
2.ISO,
3.聚焦(透镜位置),
4.曝光补偿,
5.白平衡:温度、色彩,以及
6.缩放(比例因子)。
与标记一起使用的图像处理/分析算法的示例
在本发明的一些实施例中,使用本发明中的监测标记来应用和增强图像处理/分析。它们包括但不限于以下图像处理算法和方法:
1.基于直方图的运算包括但不限于:
a.对比拉伸;
b.均衡;
c.最小滤波;
d.中值滤波;以及
e.最大滤波。
2.基于数学的运算包括但不限于:
a.二进制运算:NOT、OR、AND、XOR、SUB等,以及
b.基于算术的运算:ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、INVERT等。
3.在空间和频率域中的基于卷积的运算包括但不限于傅立叶变换、DCT、整数变换、小波变换等。
4.平滑运算包括但不限于:
a.线性滤波:均匀滤波、三角形滤波、高斯滤波等,以及
b.非线性滤波:中值滤波、kuwahara滤波等。
5.基于导数的运算包括但不限于:
a.一阶导数:梯度滤波、基本导数滤波、Prewitt梯度滤波、Sobel梯度滤波、备选梯度滤波、高斯梯度滤波等;
b.二阶导数:基本二阶导数滤波、频域Laplacian、高斯二阶导数滤波、备选laplacian滤波、梯度方向二阶导数(SDGD)滤波等,以及
c.具有更高阶导数的其它滤波等。
6.基于形态的运算包括但不限于:
a.膨胀和侵蚀;
b.布尔卷积;
c.开和闭;
d.命中和未命中操作;
e.分割和轮廓;
f.骨架;
g.传播;
h.灰度值形态处理:灰度级膨胀、灰度级腐蚀、灰度级开、灰度级闭等;以及
i.形态平滑、形态梯度,形态Laplacian等。
图像处理/分析技术的其他示例
在本发明的一些实施例中,图像处理/分析算法与本公开中所描述的监测标记一起使用并由其增强。它们包括但不限于以下:
1.图像增强和恢复包括但不限于
a.锐化和非锐化,
b.噪声抑制,以及
c.失真抑制。
2.图像分割包括但不限于:
a.阈值-固定阈值、直方图导出阈值、Isodata算法、背景对称算法、三角形算法等;
b.边缘找寻-基于梯度的过程、基于零交叉的过程、基于PLUS的过程等;
c.二元数学形态学-椒盐滤波、分离具有孔的对象、填充对象中的孔、去除边界触摸对象、外骨架,触摸对象等;以及
d.灰度值数学形态学-top-hat变换、自适应阈值化、局部对比度拉伸等。
3.特征提取和匹配包括但不限于:
a.独立成分分析;
b.等距映射;
c.主成分分析和核主成分分析;
d.潜在语义分析;
e.最小二乘和偏最小二乘;
f.多因子降维和非线性降维;
g.多线性主成分分析;
h.多线性子空间学习;
i.半定嵌入;以及
j.自动编码器/解码器。
4.目标检测、分类和定位
5.图像理解
示例E1.使用监测标记的显微成像的改善
使用本发明中的监测标记改善显微成像中的聚焦:
具有尖锐边缘的标记将为焦点评估算法提供可检测(可见特征)以分析特定聚焦设置的聚焦条件,特别是在低光照环境和显微成像中。在本发明的一些实施例中,焦点评估算法位于如图E1-1所示的自动聚焦实现中的核心部分。
对于一些诊断应用(例如,比色法、基于吸收的血红蛋白测试,以及对于具有非常低细胞浓度的样品的CBC),由样品的图像中的分析物提供的可检测特征通常不足以使焦点评估算法准确且平滑地运行。具有尖锐边缘的标记,例如QMAX装置中的监测标记,为焦点评估程序提供额外的可检测特征,以实现基于图像的测定中所需的准确度和可靠性。
对于一些诊断应用,样品中的分析物分布不均匀。单纯依靠由分析物提供的特征往往会产生一些不公平的聚焦设置,这给予一些局部高浓度区域聚焦的高权重,而低分析物浓度区域偏离目标。在本发明的一些实施例中,通过根据具有强边缘并且以精确处理的周期性图案均匀分布的监测标记的信息的聚焦调整来控制该效果。
利用单个图像的超分辨率生成较高分辨率的图像。
每个成像器具有部分地由其传感器中的像素数量限制的成像分辨率,该成像分辨率从一百万到数百万像素变化。对于一些显微成像应用,分析物在样品中具有小的或微小的尺寸,例如人血液中血小板的尺寸为约1.4um。当目标探测程序需要一定数目的像素时,除了FOV的可用尺寸之外,图像传感器中有限的分辨率对装置在基于图像的测定中的能力提出了重大约束。
单图像超分辨率(SISR)是使用图像处理和/或机器学习技术来将原始源图像上采样到更高的分辨率并且尽可能地去除由插值引起的模糊,使得对象检测程序也可以在新生成的图像上运行的技术。这将显着地减少上述约束,并且使得能够实现一些其它不可能的应用。具有已知形状和结构的标记(例如QMAX中的监测标记)可用作本地参考来评估SISR算法,以避免使用大多数现有技术算法所产生的过锐化效应。
在本发明的一些实施例中,执行图像融合以打破基于图像的测定中的物理SNR(信噪比)限制。
信噪比测量在显微成像中由成像器拍摄的样品的图像的质量。由于成本、技术、制造等原因,成像装置存在实际限制。在一些情况下,例如在移动保健中,应用需要比成像装置能够提供的SNR更高的SNR。在本发明的一些实施例中,拍摄并处理多个图像(具有相同和/或不同的成像设置,例如,用于将以不同焦深聚焦的多个图像合并为一个超聚焦图像的3D融合的实施例)以生成具有较高SNR的输出图像,从而使得这些应用成为可能。
然而,由一个成像器或多个成像器拍摄的图像趋于具有由物理限制和实现约束引起的一些缺点和缺陷。在基于图像的测定中,由于样品中的分析物具有微小的尺寸并且经常没有明显的边缘特征,因此在样品的显微成像中这种情况变得严重。在本发明的一些实施例中,在图像保持装置(例如QMAX装置)中的监测标记用于增强的解决方案。
一个这样的实施例是处理由成像器拍摄的样品的图像中的失真。图E1-2是对一般相机模型的改善的图。当已知失真参数,情况相对简单(大多数制造为它们的透镜给出曲线/表格以描述比例失真,其它失真可在定义良好的实验中测量)。然而,当失真参数是未知的时(在我们的情况下,它随聚焦位置甚至样品变化),利用监测标记,新的算法可以使用样品保持装置(例如QMAX装置)的有规律地甚至周期性地放置的监测标记来迭代地估计失真参数,而不需要如图E1-3所示的单个坐标参考。
图E1-3是在不知道的情况下的失真去除和相机细化图
在本发明中,在一些实施例中,样品保持装置具有平坦表面,该平坦表面具有用于在基于图像的测定中分析微特征的一些特殊监测标记。
一些示例性实施例列出如下:
A1:基于图像的测定中样品的显微图像的真实横向尺寸(TLD)估计。真实横向尺寸(TLD)确定真实世界中成像分析物的物理尺寸,并且还确定与基于图像的测定中的浓度估计相关的真实世界中样品的图像坐标。监测标记可用作可检测锚,以确定TLD并改善基于图像的测定的准确度。在本发明的实施例中,使用用于监测标记的机器学习模型来检测监测标记,从其中导出样品图像的TLD。此外,如果监测标记在样品保持装置的平坦表面上具有周期性分布图案,则监测标记和基于每个样品的TLD估计的检测在基于图像的测定中可以变得更可靠和鲁棒。
A2:使用所测量的分析物化合物在特定光波长或多个光波长下的响应来分析所述分析物,以预测所述分析物浓度。未浸没在样品中的监测标记可用于确定对应于无分析物化合物的背景的光吸收-以通过光吸收确定分析物浓度,例如在全血测试中的HgB测试。此外,每个监测标记可以作为背景吸收的独立检测器,以使浓度估计鲁棒和可靠。
A3:聚焦于基于图像的测定的显微图像。可以使用均匀分布的监测标记来改善聚焦准确度。(a)它可用于为不具有/少于进行可靠聚焦所需数量的特征的样品提供最小量的视觉特征,并且这可由于监测标记的边缘内容而在弱光下执行。(b)它可用于在样品中的特征分布不均匀时提供视觉特征,以使聚焦判定更公平。(c)它可提供对样品的含量没有/有较少/不同影响的局部照明条件的参考,以调整焦点评估算法中的权重。
A4:监测标记可用作检测和/或校正图像缺点的参考,图像缺点由但不限于:不均匀分布的照明、各种类型的图像失真、噪声和有缺点的图像预处理操作引起。(a)例如,如图E1-4所示,当3D世界中的直线映射到图像成曲线时,标记的位置可用于检测和/或校正比例失真。可以基于标记的位置变化来估计整个图像的比例分布参数。并且通过基于假定的比例失真参数的失真消除对再现图像中的水平/垂直线进行线性测试,可以迭代地估计比例失真参数的值。
机器学习(ML)计算的示例
B1:使用机器学习的一种方式是在处理的推断过程中使用训练的机器学习模型来执行检测样品的图像中的分析物并计算覆盖它们的位置的边界框。使用机器学习方法来检测和定位样品图像中的分析物的另一种方式是构建和训练检测和分割模型,其涉及在像素水平上注释样品图像中的分析物。在该方法中,在基于图像的测定中,可以使用覆盖样品图像中的分析物的紧密二元像素掩模来检测和定位样品图像中的分析物。
B2:在测定人血液中的血红蛋白时,在给定的窄带波长下拍摄图像,然后分析通过分析物区域和参考区域的平均能量。基于给定波长下分析物的已知吸收速率和分析物样品区域的高度,可以估计浓度。然而,该测量具有噪声。为了消除噪声,可以使用不同波长的光拍摄多个图像并且使用机器学习回归来实现更准确和鲁棒的估计。基于机器学习的推断取样品的多个输入图像,在不同波长下采集,并输出单个浓度值。
E.识别误差风险以改善测量可靠性的示例
在一些实施例中,提供了用于改善测定的可靠性的方法,所述方法包含:
(a)将样品在QMAX卡上成像;
(b)分析误差风险因子;以及
(c)如果误差风险因子高于阈值,则拒绝卡报告卡的测量结果;
其中误差风险因子是以下因子中的一个或其任何组合。这些因子是,但不限于,(1)血液的边缘,(2)血液中的气泡,(3)太小的血液体积或太大的血液体积,(4)间隔件下面的血细胞,(5)聚集的血细胞,(6)裂解的血细胞,(7)样品的过度曝光图像,(8)样品曝光不足图像,(8)样品聚焦不良,(9)光学系统误差,如错误杠杆位置,(10)卡未闭合,(12)为无间隔件卡的错误卡(12)卡中的灰尘,(14)卡中的油,(14)卡的聚焦平面之外的脏污,(15)卡不在读取器内部的正确位置,(16)卡空,(17)卡中的制造错误,(18)用于其他应用的错误卡,(19)干血,(20)过期卡,(21)血细胞分布的大变化,(22)没有血液样品或没有目标血液样品以及其他。
在一些实施例中,误差风险分析器能够在装置中的生物和化学应用中检测、区分、分类、修改和/或校正以下情况:(1)在样品边缘,(2)样品中的气泡,(3)太小的样品体积或太大的样品体积,(4)间隔件下面的样品,(5)聚集的样品,(6)裂解的样品,(7)样品的过度曝光图像,(8)样品曝光不足图像,(8)样品聚焦不良,(9)光学系统误差,如错误杠杆,(10)卡未闭合,(12)为无间隔件卡的错误卡(12)卡中的灰尘,(14)卡中的油,(14)卡的聚焦平面之外的脏污,(15)卡不在读取器内部的正确位置,(16)卡空,(17)卡中的制造错误,(18)用于其他应用的错误卡,(19)干样品,(20)过期卡,(21)血细胞分布的大变化,(22)错误样品以及其他。
其中所述阈值是从组测试确定的。
其中该阈值是从机器学习确定的。
其中所述监测标记用作比较以识别所述误差风险因子。
其中使用所述监测标记作为比较来评估所述误差风险因子的阈值。
其它实施例
除非另外定义,否则本文使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常理解的相同含义。尽管与本文所述类似或等同的任何方法和材料也可用于实践或测试本教导,但现在描述一些示例性方法和材料。
“QMAX”(Q:量化;M:放大;A:加入试剂;X:加速;还称为自校准压缩开放流(SCOF))装置、测定、方法、试剂盒和
系统描述于:2015年8月10日提交的美国临时专利申请第62/202,989号,2015年9月14日提交的美国临时专利申请第62/218,455号,2016年2月9日提交的美国临时专利申请第62/293,188号,2016年3月8日提交的美国临时专利申请第62/305,123号,以及2016年7月31日提交的美国临时专利申请第62/369,181号,2016年9月15日提交的美国临时专利申请第62/394,753号,2016年8月10日提交的PCT申请(指定美国)第PCT/US2016/045437号,2016年9月14日提交的PCT申请(指定美国)第PCT/US2016/051775号,2016年9月15日提交的PCT申请(指定美国)第PCT/US2016/051794号,以及2016年9月27日提交的PCT申请(指定美国)第PCT/US2016/054025号,所有这些公开内容在此通过引用整体并且用于所有目的并入本文。
如本文所用,术语“样品”涉及含有一种或多种感兴趣的分析物或实体的材料或材料混合物。在一些实施例中,样品可以获自生物样品,例如细胞、组织、体液和粪便。感兴趣的体液包括但不限于羊水、房水、玻璃体液、血液(例如、全血、分馏的血液、血浆、血清等)、母乳、脑脊髓液(CSF)、耳垢(耳屎)、乳糜、食糜、内淋巴、外淋巴、粪便、胃酸、胃液、淋巴液、粘液(包括鼻引流和痰)、心包液、腹膜液、胸膜液、脓液、发炎性分泌物、唾液、皮脂(皮肤油脂)、精液、痰、汗、滑液、泪液、呕吐物、尿以及呼出的冷凝物。在具体的实施例中,可以从受试者例如人获得样品,并且可以在用于受试者测定之前对其进行处理。例如,在分析之前,可以在使用之前从组织样品中提取蛋白质/核酸,其方法是已知的。在特定实施例中,样品可以是临床样品,例如,从患者收集的样品。
术语“分析物”是指具有不同形状的分子(例如蛋白质、肽、DNA、RNA、核酸或其它分子)、细胞、组织、病毒和纳米颗粒。在一些实施例中,如在此使用的“分析物”是适合于在本方法中测试的任何物质。
如本文所用,“诊断样品”是指来源于受试者的作为身体副产品例如体液的任何生物样品。诊断样品可以以液体形式直接从受试者获得,或者可以通过首先将身体副产品置于溶液例如缓冲液中来从受试者获得。示例性诊断样品包括但不限于唾液、血清、血液、痰、尿、汗、泪液、精液、粪便、呼吸、活组织检查、粘液等。
如本文所用,“环境样品”是指从环境获得的任何样品。环境样品可以包括来自河流、湖泊、池塘、海洋、冰川、冰山、雨、雪、污水、水库、自来水、饮用水等的液体样品;来自土壤、堆肥、砂、岩石、混凝土、木材、砖、污水等的固体样品;以及来自空气、水下热出口、工业废气、车辆废气等的气体样品。通常,在用本发明方法分析样品之前,将非液体形式的样品转化成液体形式。
如本文所用,“食物样品”是指适于动物消费(例如,人类消费)的任何样品。食物样品可以包括原料、熟食、食物的植物和动物来源、预处理的食物以及部分或完全加工的食物等。通常,在用本发明方法分析样品之前,将非液体形式的样品转化成液体形式。
如本文所用,术语“诊断”是指使用用于识别、预测感兴趣的疾病或状况的结果和/或预测感兴趣的疾病或状况的治疗响应的方法或分析物。诊断可包括预测患有疾病或状况的可能性或倾向,估计疾病或状况的严重程度,确定疾病或状况进展的风险,评估对治疗的临床反应和/或预测对治疗的反应。
本文所用的“生物标记”是在感兴趣的样品中发现的任何分子或化合物,并且已知其诊断或与该样品所来源的受试者中的感兴趣的疾病或状况的存在或倾向相关。生物标记包括但不限于已知与感兴趣的疾病或状况相关的多肽或其复合物(例如,抗原、抗体)、核酸(例如,DNA、miRNA、mRNA)、药物代谢物、脂质、碳水化合物、激素、维生素等。
本文所用的关于诊断健康状况的“状况”是指区别于其它生理状态的精神或身体的生理状态。在一些情况下,健康状况可能不被诊断为疾病。感兴趣的示例性健康状况包括但不限于营养健康;陈化;暴露于环境毒素、杀虫剂、除草剂、合成激素类似物;妊娠;绝经期;更年期;睡眠;应力;前驱糖尿病;锻炼;疲劳;化学平衡;等。
其他注释
必须注意,如本文和所附权利要求中所使用的,单数形式“一”、“一个”和“该”包括复数指示对象,除非上下文另外明确指出,例如当使用词语“单个”时。例如,提及“分析物”包括单个分析物和多个分析物,提及“捕获剂”包括单个捕获剂和多个捕获剂,提及“检测剂”包括单个检测剂和多个检测剂,提及“试剂”包括单个试剂和多个试剂。
如本文所用,关于多于一个实体的列表的短语“至少一个”和“一个或多个”是指实体列表中的任何一个或多个实体,并且不限于实体列表中具体列出的每个(each)和每个(every)实体中的至少一个。例如,“A和B中的至少一个”(或等效地,“A或B中的至少一个”,或等效地,“A和/或B中的至少一个”)可指单独的A、单独的B,或A和B的组合。
如这里所使用的,置于第一实体和第二实体之间的术语“和/或”是指(1)第一实体、(2)第二实体,以及(3)第一实体和第二实体中的一个。使用“和/或”列出的多个实体应当以相同的方式来解释,即如此结合的实体的“一个或多个”。除了由“和/或”子句具体标识的实体之外,可以可选地存在其他实体,无论其与具体标识的那些实体相关还是无关。
当本文提及数值范围时,本发明包括其中包括端点的实施例、其中排除两个端点的实施例、以及其中包括一个端点而排除另一个端点的实施例。应当假定包括两个端点,除非另有说明。此外,除非另有说明或本领域普通技术人员从上下文和理解中明显看出。
在任何专利、专利申请或其他参考文献通过引用并入本文并且(1)定义术语的方式与本公开的未并入部分或其他并入的参考文献不一致和/或(2)以其他方式与本公开的未并入部分或其他并入的参考文献不一致的情况下,应当以本公开的未并入部分为准,并且术语或其中并入的公开应当仅对于其中术语被定义和/或并入的公开最初存在的参考文献为准。