CN111801937B - 用于使用结构化照射检测颗粒的方法和系统 - Google Patents

用于使用结构化照射检测颗粒的方法和系统 Download PDF

Info

Publication number
CN111801937B
CN111801937B CN201980010553.6A CN201980010553A CN111801937B CN 111801937 B CN111801937 B CN 111801937B CN 201980010553 A CN201980010553 A CN 201980010553A CN 111801937 B CN111801937 B CN 111801937B
Authority
CN
China
Prior art keywords
target
intensity values
estimate
raw
modulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980010553.6A
Other languages
English (en)
Other versions
CN111801937A (zh
CN111801937B8 (zh
Inventor
柳济宽
李昊辰
吴雅琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rebas Biosystems
Original Assignee
Rebas Biosystems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rebas Biosystems filed Critical Rebas Biosystems
Priority to CN202210890287.4A priority Critical patent/CN115373127A/zh
Publication of CN111801937A publication Critical patent/CN111801937A/zh
Publication of CN111801937B publication Critical patent/CN111801937B/zh
Application granted granted Critical
Publication of CN111801937B8 publication Critical patent/CN111801937B8/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70408—Interferometric lithography; Holographic lithography; Self-imaging lithography, e.g. utilizing the Talbot effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/04—Recognition of patterns in DNA microarrays

Abstract

一种颗粒检测方法使用来自多个结构化照射图案的经测量的信号对目标上的颗粒的存在和位置进行检测。该颗粒检测方法使用通过利用结构化照射图案对目标进行照射而获得的经测量的信号来对颗粒进行检测。具体地，计算原始图像中这些测量信号的变化程度，以确定在目标上的特定的感兴趣区域处是否存在颗粒。

Description

用于使用结构化照射检测颗粒的方法和系统
相关申请的交叉引用
本申请要求于2018年1月30日提交的美国临时专利申请第 62/624,071号的权益，该美国临时专利申请的全部内容通过引用并入本文。
背景技术
1.技术领域
本发明总体上涉及使用结构化或选择性照射或激发的光学显微镜成像领域，更具体地，涉及使用来自结构化照射图案的测量信号来检测颗粒的方法。
2.相关技术的描述
合成孔径光学(SAO)成像是指下述光学成像方法，在该光学成像方法中，使用一系列图案化或结构化的光图案对成像目标进行照射，以实现超过由诸如透镜和摄像装置的成像装置的物理约束所设置的分辨率。在 SAO中，为了检测目标的空间频率信息，对成像目标进行选择性地激发。由于在频率(或傅里叶)域与对象(或目标)域之间存在一对一的关系，因此SAO可以通过获得原始成像目标的空间频率信息来对原始成像目标进行重建。
图1A示出了常规的SAO方法，并且图1B示出了常规的SAO系统。一起参照图1A和图1B，在常规的SAO中，将选择性激发(或照射)104 应用于成像目标102，并且由光学成像装置106捕获从成像目标102散射或荧光发射的光。成像目标102可以包括以随机分布图案或规则分布图案方式的微颗粒。可以通过照射装置(图1A和图1B中未示出)向成像目标102应用选择性激发(或照射)104，该选择性激发104被配置成引起两个或更多个光束131、132在成像目标102上的干涉122。与在常规的光学成像技术中使用的均匀照射不同，激发是选择性的或图案化的。例如，两个光束131、132可以在成像目标平面102上交叠或干涉，以产生二维(2D)正弦激发图案。
图1C示出了在空间域和频域中的选择性激发图案的示例。参照图1B 和图1C，通过两个光束131、132在成像目标平面102上的干涉来生成空间域中的示例性选择性激发图案140，从而产生2D正弦激发图案。两个光束131、132之间的角度
Figure BDA0002605797200000021
确定图案的间距143，该间距143表示2D 正弦条纹图案140的间隔或周期性。更具体地，间距143与sin
Figure BDA0002605797200000022
基本上成反比。图案的取向φ表示2D正弦条纹140与其参考图案相比的角度旋转的量，在图1C的该示例中，2D正弦条纹140的参考图案被示出为包括垂直线的2D正弦曲线，但是也可以使用例如包括水平线的2D正弦曲线的不同参考图案作为参考图案。在数学术语方面，取向φ可以被描述如下：如果u是平面中由两个光束131、132形成的法向矢量，并且如果u 在成像平面102上的投射矢量被称为v，那么正弦图案140的取向φ是矢量 v相对于参考系的角度取向。图案的“相位”是2D正弦曲线相对于参考系的周期性位置。2D正弦激发图案的相位的范围将为0至2π之间的值。通过改变一个光束的光学路径长度可以获得不同的相位。
如图1C所示，空间域中的2D正弦激发图案可以被示出为相应频域 (k空间)中的共轭对ki、ki′。k空间中的每个共轭对与相应的2D正弦图案的间距143和取向φ对应。2D正弦图案的间距143是通过k空间点的径向距离r来确定的，更准确地，在频域中，间距143基本上是径向距离 r的倒数(inverse)。在频域中，取向φ是k空间点在径向坐标系中的角度φ。因此，可以通过下述方式来生成许多不同的激发图案：改变2D正弦图案的间距143(或两个光束131、132之间的角度
Figure BDA0002605797200000023
)以及改变2D正弦图案的取向φ，其中，空间域中的2D正弦图案的每个不同的间距143 和取向φ对与k空间(频率)域中的不同共轭对(径向距离r和取向φ) 对应。
返回参照图1A和图1B，激发目标102发射信号(或光子)，并且在包括物镜124和成像传感器(或成像器)126的光学成像系统106中捕获信号。发射信号将具有波长λE。物镜具有放大率(Mag)和数值孔径 NA＝n×sinθ，其中，n是其中透镜124被置于的介质的折射率并且θ是可以进入或离开透镜124的最大光锥的半角。通常，成像传感器126可以为电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)图像传感器或者以包括多个像素m的矩阵形式或阵列形式的任何其他光子检测器。注意，在一些应用中，来自目标102的发射信号可以由成像器126直接捕获，而无需通过物镜124。
然后，确定108是否获得了与所有相位的2D正弦激发图案对应的图像。如果在步骤108中没有获得与所有相位的2D正弦激发图案对应的图像，则改变114激发相位，并且针对经改变的激发相位重复步骤104、106、 108。如果在步骤108中获得了与所有相位2D的正弦激发图案对应的图像，则确定110是否获得了与所有2D正弦选择性激发图案对应的图像。如果在步骤110中没有获得与所有2D正弦选择性激发图案对应的图像，则通过使用不同的空间频率来改变激发图案(例如，改变2D正弦图案的间距 143和取向φ)，并且针对下一个选择性激发图案重复步骤104、106、108、 114。
如果在步骤110中获得了与所有2D正弦选择性激发图案对应的图像，那么最终将所捕获的图像发送至计算机，以进行SAO后处理112和可视化。在常规成像中，SAO成像系统的分辨率由透镜124的数值孔径NA、发射光的波长λE和像素尺寸来确定。相比之下，在SAO成像中，成像系统的分辨率超出了可以通过透镜124的数值孔径NA、发射光的波长λE和像素尺寸而实现的分辨率。因此，如图1B所示，通过图1A的步骤104、 106、108捕获的图像是其中分辨率低于(不足于)分辨成像目标102上的对象所需的分辨率的原始图像RIi。然而，针对不同的激发相位和空间频率(激发图案)，捕获了多个低分辨率原始图像RIi集合，以获得完整的原始图像集合128，然后，该完整的原始图像集合128经历SAO后处理 112来合成最终图像FI，该最终图像FI具有比原始图像RIi的分辨率高的分辨率。通过SAO后处理获得的最终图像FI的分辨率足以用于成像目标 102上的对象的分辨率。用于根据较低分辨率原始图像RIi来合成高分辨率图像FI的SAO后处理112的方法是公知的。将原始图像RIi转换为高分辨率图像FI的k空间信息并且对该信息进行傅里叶变换，以对高分辨率图像FI进行合成或重建。例如，SAO后处理方法的一个示例可以在于 2000年1月18日授予Mermelstein的题为“Multiple Beam Pair Optical Imaging”的美国专利第6,016,196号中找到，该美国专利通过引用并入本文。
将SAO应用于DNA(脱氧核糖核酸)测序或RNA(核糖核酸)测序提出了许多挑战。本文的术语“核酸”包括DNA和RNA两者。在DNA 测序或RNA测序中，将DNA模板的单分子或扩增克隆(统称为“微粒”) 固定在平面基底上。然后，微粒阵列经历化学反应和光学检测的多个循环。图2A、图2B和图2C示出了可以用于DNA测序的不同类型的个体测序微粒。图2A示出了由覆盖有先前通过油包水乳液PCR技术扩增的克隆 DNA分子210的1微米直径的珠208形成的个体微粒202。在流体206 中，珠208直接地附接至基底204。图2B示出了作为附接至基底204并且被放置在流体206中的克隆DNA分子210的簇的个体微粒202。DNA 分子210是先前通过桥扩增技术被扩增的。图2C示出了作为附接至基底 204并且被放置在流体206中的单DNA分子210的个体微粒。在没有扩增的情况下对单DNA分子210进行测序。
DNA微粒的分布可以是随机的或规则的。图3A和图3B示出了DNA 微粒的分布的一些示例。如果将Δx限定为成像系统的空间分辨率(即，Δx是可以由成像系统分辨的两个点对象的最小距离)，则Δx通常被设计为是相邻微粒202之间距离的约一半(参见图3A)。在DNA测序应用中，对于光学成像系统，非常期望同时实现高分辨率和高扫描速度两者。SAO成像是有前景的，这是因为SAO成像可以在不牺牲分辨率的情况下，使用低放大率的透镜和摄像装置对大的区域进行成像。SAO成像的分辨率是根据高分辨率照射图案和后处理来获得的。然而，SAO需要对许多选择性激发图案重复进行选择性激发。常规的SAO成像使用大量的SAO激发图案，通常包括许多冗余或者甚至不相关的照射图案。常规的SAO中激发图案的数目仅基于照射系统的硬件结构来确定，而与其他因素无关。常规SAO中的大量激发图案使其用于DNA测序是不切实际的，这是因为与常规光学相比，常规SAO没有提供DNA测序的成本和生产量效益。另外，常规的SAO硬件大、复杂、难以缩放、且在机械和热方面不稳定，这需要大的空间并且对于连续运行的温度和机械振动要进行非常仔细的控制，从而使得常规SAO用于需要在非常大量的DNA微粒阵列上重复且连续运行SAO的DNA测序是特别不切实际的。
通常，考虑到最终的重建图像，检测系统通过基于重建图像的强度值生成重建估计集合来对目标上的多个区域上是否存在颗粒进行估计。例如，针对重建图像的像素位置的重建估计可以通过将针对像素位置的强度值与预定阈值进行比较来指示在目标的相应区域处是否存在颗粒。然而，由于例如目标的纹理导致噪声重建图像，因此以这样的方式通常难以以高准确度对颗粒进行检测。
发明内容
本发明的实施方式包括一种用于合成孔径光学(SAO)的方法，所述方法基于与来自经照射的目标的空间频率内容对应的目标物理特征和/或用于SAO的光学成像系统的一个或更多个参数来使对成像目标进行照射所使用的选择性激发图案的数目最小化。本发明的实施方式还包括SAO 装置，该SAO装置包括以半环形形状布置的多个干涉图案生成模块。
在一个实施方式中，一种SAO方法包括：以预定数目(N)的选择性激发图案对包括一个或更多个对象的目标进行照射，其中，选择性激发图案的数目(N)基于对象的与来自经照射的目标的空间频率内容对应的物理特征来确定；在不足以分辨目标上的对象的分辨率下对经照射的目标进行光学成像；以及使用关于选择性激发图案的信息对经照射的目标的光学图像进行处理，以在足以分辨目标上的对象的分辨率下获得经照射的目标的最终图像。在另一实施方式中，选择性激发图案的数目(N)对应于频域中的k空间采样空间中的k空间采样点的数目，其中k空间采样空间的范围与SAO要分辨的对象之间的最小距离(Δx)的倒数基本上成比例，并且其中，k个空间采样点之间的k个空间采样间隔的倒数比由用于光学成像的系统的像素捕获的检测区域的宽度(w)小。
在另一个实施方式中，一种SAO装置包括多个干涉图样生成模块 (IPGM)，其中每个IPGM被配置成生成光束对，所述光束对干涉成以预定的取向和预定间距生成针对目标的选择性激发图案，并且其中IPGM以半环形形状布置。SAO装置还包括光学成像模块，该光学成像模块被配置成在不足以分辨目标上的对象的分辨率下对经照射的目标光学地成像。使用关于选择性激发图案的信息对经照射的目标的光学图像进行进一步处理，以在足以分辨该目标的分辨率下获得经照射的目标的最终图像。 IPGM的数目等于用于对目标执行SAO的选择性激发图案的数目。IPGM 可以基本上对称地设置在具有半环形形状的整体式结构上。
根据本发明的各种实施方式，在SAO中使用了经优化的最小数目的激发图案，从而使得SAO能够用于例如需要在少量时间内进行大量并行的SAO成像的DNA测序的应用，以使利用SAO的DNA测序在商业上可行。因此，通过使用根据本发明的SAO可以实现用于DNA测序的生产量的显着增加和成本的降低。
本公开内容的实施方式还包括一种用于检测目标上的颗粒的方法。本公开内容的实施方式还包括一种用于检测目标上的颗粒的系统。
在一个实施方式中，一种颗粒检测方法包括：利用多个结构化照射图案来对目标进行照射，所述多个结构化照射图案均通过空间频率和照射相位来表征；通过对来自经照射的目标的光学信号进行测量来生成该目标的多个原始图像，每个原始图像包括至少一个原始强度值，所述每个原始图像通过对利用相应的结构化照射图案而照射的目标的测量来获得；以及针对该目标的一个或更多个区域中的每个区域生成第一估计，该第一估计指示在该目标的一个或更多个区域中的每个区域处是否存在颗粒。生成第一估计包括：针对该目标的一个或更多个区域中的每个区域，通过将来自多个原始图像的原始强度值集合进行结合来确定调制得分，该调制得分指示该目标的一个或更多个区域中的每个区域中的原始强度值集合的变化程度，以及通过将针对该目标的一个或更多个区域中的每个区域的调制得分与第一阈值进行比较来生成针对所述区域的第一估计。
在另一个实施方式中，一种用于检测目标上的颗粒的系统包括多个照射模块，该照射模块被配置成利用多个结构化照射图案来对目标进行照射，所述多个结构化照射图案均通过空间频率和照射相位来表征。该系统还包括光学成像模块，该光学成像模块被配置成通过对来自经照射的目标的光学信号进行测量来生成该目标的多个原始图像，每个原始图像包括至少一个原始强度值，所述每个原始图像通过对利用相应的结构化照射图案而照射的目标的测量来获得。该系统还包括检测模块，该检测模块被配置成：针对目标的一个或更多个区域中的每个区域生成第一估计，该第一估计指示在该目标的一个或更多个区域中的每个区域处是否存在颗粒，其中，该检测模块还被配置成：针对该目标的一个或更多个区域中的每个区域，通过将来自多个原始图像的原始强度值集合进行结合来确定调制得分，该调制得分指示目标的一个或更多个区域中的每个区域中的原始强度值集合的变化程度；以及通过将调制得分与第一阈值进行比较，来生成针对该目标的一个或更多个区域中的每个区域的第一估计。
说明书中描述的特征和优点并非是包括一切的，并且具体地，鉴于附图、说明书和权利要求书，许多附加的特征和优点对于本领域的普通技术人员将是明显的。此外，应当注意的是，在说明书中使用的语言主要出于可读性和指导性目的来进行选择，而可能并非被选择用于界定或限制本发明的主题。
附图说明
通过结合附图考虑以下详细描述可以容易地理解本发明的实施方式的教导。
图1A示出了常规的SAO方法。
图1B示出了常规的SAO系统。
图1C示出了空间域和频域中的选择性激发图案的示例。
图2A、图2B和图2C示出了可以用于DNA测序的不同类型的个体测序微粒。
图3A和图3B示出了DNA微粒的分布的一些示例。
图4示出了根据一个实施方式的SAO方法。
图5A示出了根据一个实施方式的在SAO中使用的k空间采样点(选择性激发图案)。
图5B示出了根据一个实施方式的在SAO中使用的k空间采样间隔的选择。
图5C示出了根据一个实施方式的使用与圆形区域内的k空间采样点对应的选择性激发图案。
图5D示出了根据一个实施方式的通过稀疏k空间采样来减少k空间采样点的数目。
图6A示出了根据一个实施方式的在SAO中通过使用比检测区域小的像素视场(PFOV)而如何会发生混叠。
图6B示出了根据一个实施方式的如何通过在像素处展开测量信号以去除混叠来确定成像系统的像素处的实际信号。
图6C示出了根据一个实施方式的在像素处展开测量信号以去除混叠的方法。
图7A示出了根据一个实施方式的用于选择性激发微粒的结构化照射装置。
图7B示出了根据一个实施方式的以半环形结构布置的照射图案生成模块。
图7C示出了根据一个实施方式的照射图案生成模块的内部结构。
图7D示出了根据另一实施方式的照射图案生成模块的内部结构。
图8示出了根据一个实施方式的颗粒检测方法。
图9示出了根据另一实施方式的颗粒检测方法。
图10示出了根据一个实施方式的对组织切片目标区域执行的颗粒检测方法的示例。
图11示出了根据一个实施方式的对单分子mRNAFISH(荧光原位杂交)样本执行的颗粒检测方法的示例。
具体实施方式
附图和下面的描述仅通过说明的方式涉及本发明的优选实施方式。应当注意的是，根据下面的讨论，在不脱离所要求保护的发明的原理的情况下，本文所公开的结构和方法的可替选实施方式将容易地被认为是可以采用的可行的替选方案。
现在将详细参照本发明的若干实施方式，所述若干实施方式的示例在附图中被示出。注意，在可行的情况下，类似或相似的附图标记可以在附图中使用并且可以指示类似或相似的功能。附图仅出于说明的目的描绘了本发明的实施方式。本领域的技术人员将根据下面的描述容易地认识到，在不脱离在本文所描述的发明的原理的情况下，可以采用在本文所示的结构和方法的替选实施方式。
根据本发明的各种实施方式的合成孔径光学(SAO)成像方法基于与来自经照射的目标的空间频率内容对应的目标物理特征以及/或者用于 SAO的光学成像系统的一个或更多个参数，使对成像目标进行照射所使用的选择性激发图案的数目最小化。本发明的实施方式还包括被优化以执行根据本发明的SAO方法的SAO装置。SAO装置包括以半环形形状布置的多个干涉图案生成模块，所述多个干涉图案生成模块中的每个干涉图案生成模块生成用于SAO的一个选择性激发图案。
转到图4，图4示出了根据一个实施方式的SAO方法。如对于SAO 成像的典型情况，将选择性激发(或照射)104应用于成像目标102并且由光学成像装置106捕获从成像目标102散射或荧光发射的光。此处，假设成像目标102是诸如图2A至图2C、图3A和图3B所示的那些的DNA 微粒、mRNA(信使RNA)片段、lncRNA(长的非编码RNA)或者在诸如图10和图11所示的那些被荧光标记和成像时表现为斑点或颗粒的蛋白质，但是不限于此。如下面将参照图7A至图7D更详细说明的，可以通过照射装置向成像目标102应用选择性激发104，该选择性激发104被配置成引起两个光束在成像目标102上的干涉。激发目标102发射信号(或光子)，并且在包括物镜和成像传感器(或成像器)的光学成像系统106 中捕获所发射的信号。然后，确定408是否获得了与所有M个相位的2D 正弦激发图案对应的图像。如果在步骤408中没有获得与所有相位的2D 正弦激发图案对应的图像，则改变402激发相位，并且针对经改变的激发相位重复步骤104、106、408。如果在步骤408中获得了与所有相位的2D 正弦激发图案对应的图像，则确定410是否获得了与所有2D正弦选择性激发图案对应的图像。如果在步骤410中没有获得与所有2D正弦激发图案对应的图像，则通过使用不同的空间频率(例如，改变2D正弦图案的间距143和取向φ)来改变激发图案，并且针对下一个选择性激发图案重复步骤104、106、408、402、410、404。然后，如果在步骤410中获得了与所有2D正弦激发图案对应的图像，那么将所捕获的图像发送至计算机用于SAO后处理412和可视化，以根据所捕获的低分辨率原始图像来获得成像目标102的高分辨率图像114。如上所述，由光学成像装置106 捕获的原始图像具有不足以分辨成像目标102上的对象的分辨率，而由 SAO后处理412重建的高分辨率图像114具有足以分辨成像目标102上的对象的分辨率。
本发明的SAO方法使用经优化的数目N的选择性激发图案和每个选择性激发图案的经优化的数目M的激发相位，使得SAO可以用于在少量时间内以大规模并行的方式对目标诸如DNA微粒进行成像。如上所述，在常规SAO中使用的选择性激发图案的数目仅由照射系统的硬件特征决定，独立于且不考虑成像目标或成像系统(物镜和摄像装置)。因此，在常规SAO中，与选择性激发图案对应的k空间采样点的数目没有被优化，并且所述k空间采样点具有许多冗余的且有时不相关的k空间采样点。相比之下，本文中根据本发明的实施方式的SAO使用下述选择性激发图案：所述选择性激发图案的数目N根据成像目标的与空间频率内容对应的物理特征(例如，成像目标上的对象的尺寸、形状和/或间隔)而被优化和最小化。本文中根据实施方式的SAO还可以使用下述选择性激发图案：所述选择性激发图案的数目N根据成像系统的各种参数(例如，物镜的放大率(Mag)、物镜的数值孔径(NA)、从成像目标发射的光的波长λE、和 /或CCD的像素敏感区域的有效像素尺寸p等)而替选地或附加地被优化。以这样的方式，在SAO中使用的激发图案的得到的数目N变得比常规 SAO中的数目小得多，从而使得SAO能够用于需要在少量时间内进行大量并行的SAO成像的DNA测序，以使DNA测序在商业上可行。因此，可以实现DNA测序的成本的显著降低和生产量的增加。
图5A示出了根据一个实施方式的在SAO中使用的k空间采样点(选择性激发图案)。在图5A中，假设CCD成像区域具有方形形状，并且因此还假设了用于SAO的方形形状的k空间采样空间500，但是下面针对图5A的描述也可以应用于非方形形状(例如，矩形)的k空间采样空间。 k空间采样空间500具有为FOV2的面积，其中k空间采样空间沿水平方向和竖直方向中的每个方向的范围为FOV。此处，FOV代表k空间视场。在k空间频域中，FOV应当等于(1/Δx)，其中Δx是成像系统的空间分辨率(即，Δx是可以由成像系统分辨的两个点对象的最小距离)。每个共轭对502、506及其DC点504对应于用于如在本发明中使用的SAO的一个选择性激发图案。因此，在SAO中使用的选择性激发图案的数目对应于 k空间采样空间500(FOV×FOV)中的k空间点的共轭对的数目。Δkx是 k空间采样间隔并且等于(1/PFOV)，其中PFOV是像素视场。k空间采样空间500中的k空间采样间隔Δkx越小，k空间点的数目和对应的激发图案的数目越大。具体地，以下式成立：
N＝floor(L/2)……(式1)，
其中，L是k空间中的k空间点的数目，N是选择性激发图案的数目，并且floor()将数目四舍五入至最接近且最小的整数；
L＝round((FOV/Δkx)2)＝round((PFOV/Δx)2)……(式2)，
其中，round()将数目四舍五入至最接近的整数，并且PFOV是要根据样本重建的采样空间(k空间)的倒易(或傅里叶)空间(reciprocal space) 的范围。
图5B示出了根据一个实施方式的在SAO中使用的k空间采样间隔的选择。如上所述，成像目标尺寸确定所需的空间分辨率Δx。放大率(Mag) 和CCD像素尺寸(Z)确定成像目标平面上的有效像素尺寸p，p＝Z/Mag。如图5B所示，检测区域w(x)(即，由像素捕获的区域)可以表示为像素灵敏度函数p(x)(例如，具有宽度p的矩形函数)和透镜的点扩展函数(PSF)h(x)的卷积(例如，钟形曲线)。宽度w可以被限定为检测区域w(x)的1/e2宽度。由于透镜的PSF是由透镜的NA来确定的，因此检测区域的范围(w) 和关于检测区域的权重(即，关于检测区域的有效灵敏度分布曲线)是透镜的放大率(Mag)、透镜的数值孔径(NA)和CCD像素尺寸(Z)的函数。
从上面可以看出，k空间采样空间(FOV)是由期望的空间分辨率Δx 确定的并且是由成像目标决定的。感兴趣的颗粒，诸如如DNA微粒或 mRNA片段的生物颗粒通常具有非常小的尺寸，从而产生了较大的k空间采样空间。在常规的SAO中，设置k空间采样间隔Δkx，不考虑成像目标的物理特征或成像系统的参数，而只是根据由SAO照射系统允许的任何间隔来随机设置。这使得用于使用SAO的DNA测序应用的k空间点和得到的选择性激发图案的数目过于大，这是因为在SAO中使用这样大量的选择性激发图案进行DNA测序会引起高成本和低生产量。
相比之下，本文中根据本发明的实施方式的SAO使用下述选择性激发图案：所述选择性激发图案的数目N根据成像目标的与空间频率内容对应的物理特征(例如，成像目标的尺寸、形状和/或间隔)而被优化。如图5B所示，在一个实施方式中，像素视场PFOV被选择成小于检测区域的范围(w)，即，PFOV<w。使用较小的PFOV会导致较大的k空间采样间隔Δkx，从而减少k空间采样空间500中的k空间点的数目(L)和用于SAO的选择性激发图案的得到的数目(N)。如下面将参照图6A和图 6B更详细说明的，使用比检测区域的范围(w)小的PFOV会导致根据 SAO获得的高分辨率图像中的混叠(aliasing)，但是可以使用如下面参照图6C描述的方法来去除这种混叠。在其他实施方式中，PFOV可以被设置成等于或大于检测区域的范围(w)，从而防止根据SAO获得的高分辨率图像发生混叠。还要注意，考虑到检测区域的范围(w)来设置PFOV 会基于成像系统的各种参数有效地设置k空间采样间隔(Δkx)和选择性激发图案的得到的数目(N)，这是因为如上所说明的，检测区域的范围(w) 是透镜的放大率(Mag)、透镜的数值孔径(NA)和CCD像素尺寸(Z) 的函数。
此外，根据本文的实施方式的SAO通过使相位变化的数目(图4的步骤402、408中的M)最小化来进一步减少选择性激发和成像的迭代数目。返回参照图5A并且如上所说明的，k空间点的一个共轭对502、506 对应于一个SAO干涉图案生成模块，所述SAO干涉图案生成模块产生一个选择性激发图案的特定的间距和取向。DC点504对应于2D正弦选择性激发图案的信号偏移。因此，在一个实施方式中，在干涉图案的三个不同相位处以相同的间距和取向进行三个不同的测量，以区分k空间中的两个共轭点502、506以及DC点504。这与常规的SAO对比，在常规的SAO 中，使用多于三个的相位来对用于SAO的每个选择性激发图案进行照射和成像。在另一实施方式中，由于DC点504对于所有共轭对502、506 是共用的，因此还可以利用在一个2D正弦图案中以特定的间距和取向的获得的DC点504来消除对于在另一选择性激发图案中以不同的间距和取向的DC点504处的对选择性激发图案进行照射和成像的需要，从而将在步骤402、408(图4)中成像所需的改变的相位的数目M减少为针对其他选择性激发图案的两个(2)相位。换句话说，除了一个模块以三个不同的相位产生图案以获取DC点504之外，每个干涉图案生成模块仅以两个不同的相位产生图案。为了对噪声的最佳耐受性，可以针对图案选择特定的相位。对于每特定的选择性激发图案的三个不同相位，最佳相位差可以为0度、120度和240度。对于每特定的选择性激发图案的两个不同的相位，最佳相位差可以为0度和90度。
由于感兴趣的对象(即，生物颗粒，诸如DNA微粒、mRNA片段、 lncRNA或蛋白质)通常是圆形对称的，因此感兴趣的对象的k空间光谱也将是圆形对称的，并且因此可能仅需要圆形区域中具有直径为FOV (＝1/Δx)的k空间样本以用于SAO。因此，在一个实施方式中，根据本发明的SAO使用与圆形区域512内的k空间采样点对应的选择性激发图案，如图5C所示。
图5D示出了根据一个实施方式的通过稀疏k空间采样来减少k空间采样点的数目。常规的SAO方法不利用图像场景中的对象的频率信息。在微粒中使用的诸如珠的固体对象在高空间频率中与低频相比具有少得多的能量。因此，与在低空间频率区域中的欠采样相比，在高空间频率下的欠采样更可容忍。因此，在本发明的一个实施方式中，通过傅里叶空间中的非均匀或可变密度的采样进一步减少了选择性激发图案的数目(N)，如图5D所示。在用于DNA测序应用的SAO中，对于在高空间频率中不满足奈奎斯特采样率的不利是可容忍的，并且因此，根据本文的实施方式的SAO放宽了在较高频率中的奈奎斯特采样标准，从而将选择性激发图案的数目减少了均匀采样所需的数目的几乎一半。例如，图5D的实施方式中的k空间样本的数目仅为图5C的实施方式中的k空间样本的数目的 54％。
图6A示出了根据一个实施方式的在SAO中通过使用比检测区域小的像素视场而如何会发生混叠。如上面参照图5B所提及的，使用比检测区域的范围(w)小的像素视场(PFOV)，即PFOV<w，会导致针对SAO 所获得的图像的混叠，这是因为CCD中的每个像素将检测比像素本身更大的区域。额外区域(即，p(x)外部的范围(w)的左部分和右部分)是也会被CCD中的其相邻像素检测到的区域。这在图6A中示出，其中在相邻像素的额外区域中检测到的对象602、604、606、608将进入中心像素610(假设k空间中进行直线采样)，从而导致降低图像质量的混叠和不期望的伪影。
图6B示出了根据一个实施方式的可以如何通过在像素处展开测量信号以去除混叠来确定成像系统的像素处的实际信号。为了去除经测量的图像信号的混叠并且获得实际的图像信号，在CCD的像素CCDi处的特定子像素k处可以制定以y＝Ax的形式的线性方程。参照图6B，mk,i表示在第 i个CCD像素CCDi内的特定第k个子像素位置处的测量信号(包括混叠)。注意，所有测量信号mk,i(i＝1，……，∞)在其第i个CCD像素内的相对位置相同。sk,i表示对象在第i个CCD像素CCDi内的第k个子像素位置处的实际信号或理想信号。α、β和γ分别表示第i个CCD像素在与sk,i-1、 sk,i和sk,i+1对应的位置处的加权函数w(x)的值，并且sk,i(i＝1，……，∞) 是第i个CCD像素CCDi内的特定第k个子像素位置处的实际(理想)信号。如上所说明的，加权函数w(x)可以表示为像素灵敏度函数p(x)(例如，具有宽度p的矩形函数)和透镜的点扩展函数(PSF)h(x)的卷积(例如，钟形曲线)。利用这些限定的参数并且假设CCD的像素的数目是无限的，可以将针对特定第k个子像素位置的信号方程序列写为线性矩阵方程 y＝Ax，其中y＝[mk,1，mk,2，……]，x＝[sk,1，sk,2，……]，并且A是具有为零的元素和加权函数值(例如α、β和γ)的矩阵。线性矩阵方程y＝Ax示出了“展开”处理(即，恢复实际信号sk,i)可以被视为y＝Ax的常见反问题(即x＝A-1y)。在其他实施方式中，如果使用非直线采样模式(例如，可变密度、径向采样等)，则si与mi之间的实际关系将根据图6B所示的关系改变，在这种情况下，可以在模拟实验或实际实验中测量点扩展函数 (即，脉冲响应)，以构造逆矩阵(A-1)。
图6C示出了根据一个实施方式的在像素处展开测量信号以去除混叠的方法。步骤652、654、656一起构成了用于SAO的后处理步骤。在常规的SAO中，后处理仅包括常规SAO重建652，所述常规SAO重建652 用于根据通过对成像目标的选择性激发获得的低分辨率图像(M×N)650 生成高空间分辨率图像653。然而，本文中，在根据本发明的实施方式的 SAO中，后处理包括“展开”步骤670，所述“展开”步骤670用于从包含由于使用比检测区域的范围(w)小的PFOV用于选择性激发而导致的混叠的高空间分辨率图像653中去除混叠。展开处理670包括求解线性方程y＝Ax，以在每个子像素位置处重复656来恢复针对所有CCD像素的实际信号x。因此，尽管在SAO中使用比检测区域的范围(w)小的PFOV 用于选择性激发，但是可以根据SAO获得没有混叠的高空间分辨率图像 658。
注意，在SAO中即使使用大于或等于检测区域的范围(w)的PFOV 用于选择性激发时，也可以使用本文所说明的“展开”来改善SAO图像重建质量。在常规的SAO中，重建的像素被简单地裁剪(至为p的宽度) 并且被拼接在一起。这种“裁剪和拼接”的方式仍然无法撤消由加权函数 w(x)引起的切趾。相比之下，在SAO中即使使用大于或等于检测区域的范围(w)的PFOV用于选择性激发时，也可以根据本发明使用“展开”，使得不会发生混叠。由于展开处理从根本上取消(即，未切趾 (unapodizing))了加权函数w(x)，因此，即使使用PFOV>＝w用于SAO 选择性激发时，也可以使用“展开”处理来改善图像重建。
图7A示出了根据一个实施方式的用于选择性激发微粒的结构化照射装置。图7A中所示的照射装置仅是示例性的，并且可以对根据本发明的用于SAO的照射装置的配置进行各种修改。图7A中的示例性照射装置仅示出了两个干涉图案生成模块(IPGM)712、713，但是对于生物测序应用诸如真实的DNA测序应用、mRNA测序应用或lncRNA测序应用，可以存在更多数目的IPGM。每个IPGM均具有模块化形式并且被配置成以给定的间距和取向生成一个选择性激发图案，所述间距和取向对应于k空间采样点的一个共轭对。因此，在IPGM与以给定的间距和取向的2-D正弦选择性激发图案以及k空间采样点的一个共轭对之间存在一对一的关系。较大数目的选择性激发图案将需要在SAO照射装置中的较大数目的 IPGM。
结构化照射装置700生成多个相互相干的激光束，所述激光束的干涉产生干涉图案。这样的干涉图案被投射至微粒阵列基底204上并且选择性地激发DNA微粒202。使用多个激光束的干涉来生成干涉图案由于许多原因而是有利的。例如，这实现了具有非常大的FOV和DOF的高分辨率激发图案。虽然图7A的结构化照射装置在本文中是以生成用于DNA微粒的激发图案的示例来描述的，但是应当注意，图7A的结构化照射装置可以用于任何其他类型的应用，以生成用于对任何其他类型的目标进行成像的激发图案，其他类型的目标例如生物颗粒，包括DNA片段、mRNA (信使RNA)片段、lncRNA(长的非编码RNA)或者当被荧光标记和成像时表现为斑点或颗粒的蛋白质。下面结合图10至图11描述使用选择性激发图案来对mRNA片段进行成像的示例。
参照图7A，结构化照射装置700包括：激光器702；分束器704；光闸705、707；光纤耦合器708、709；光纤710、711的对；以及干涉图案生成模块(IPGM)712、713的对。如上所述，每个IPGM 712、713生成干涉图案(选择性激发图案)，所述干涉图案对应于k空间采样点的一个共轭对。激光器702的光束703通过分束器704被分成两个光束740、742。使用高速光闸705、707的对，以将每个光束740、742分别“打开”或“关闭”或者分别调制每个光束740、742的幅度。这种经开关的激光束经由光纤耦合器709、708耦合至偏振保持光纤711、710的对中。每个光纤711、 710分别连接至对应的干涉图案生成模块713、712。干涉图案生成模块713包括准直透镜714'、分束器716'和平移镜718'，并且同样地，干涉图案生成模块712包括准直透镜714、分束器716和平移镜718。
来自光纤710的光束744通过准直透镜714被准直并且通过分束器 716被分成两个光束724、726。镜718通过致动器720进行平移以改变光束726的光学路径长度。因此，在基底204上在两个激光束724、726之间的交叠区域中生成干涉图案722，其中该图案的相位通过改变光束726 中的一个光束的光学路径长度(即，通过借助于平移镜718的使用来对光束726的光学相位进行调制)而改变。
类似地，来自光纤711的光束746通过准直透镜714'被准直，并且通过分束器716'被分成两个光束728、730。镜718'通过致动器720'进行平移以改变光束728的光学路径长度。因此，在基底204上在两个激光束728、 730之间的交叠区域中生成干涉图案722，其中该图案通过改变光束728 中的一个光束的光学路径长度(即，通过借助于平移镜718的使用来对光束728的光学相位进行调制)而改变。
如图7A所示，每个IPGM 712、713是以根据本文的实施方式的模块形式来实现的，并且一个IPGM产生与k空间点的一个共轭对对应的干涉图案。根据本文的实施方式，IPGM与k空间点之间的这种模块化的一对一关系大大简化了针对SAO的硬件设计处理。随着用于SAO的选择性激发图案的数目增加或减少，可以通过以模块化方式增加或减少IPGM的数目来简单地更改SAO硬件。相比之下，常规的SAO装置不具有离散的干涉图案生成模块，而是具有产生尽可能多的多个干涉的一系列分裂光束。这种设计SAO装置的常规方式产生了非优化图案或冗余图案，从而减慢了SAO系统的操作并且使SAO系统的操作复杂化。
虽然图7A所示的实现方式由于其简单性而被使用，但是在本发明的范围内可以使用各种其他方法。例如，除了光学振幅和光学相位之外或者代替光学振幅和光学相位，还可以对光束724、726、728、730中的一个或更多个光束的振幅、偏振、方向和波长进行调制，以改变激发图案722。另外，结构化照射可以相对于微粒阵列简单地进行平移，以改变激发图案。类似地，微粒阵列可以相对于结构化照射进行平移以改变激发图案。另外，除了平移镜718、718'之外或代替平移镜718、718'，还可以使用各种类型的光学调制器，例如声光调制器、电光调制器、由检流计调制的旋转窗以及微机电系统(MEMS)调制器。另外，虽然图7A的结构化照射装置在本文被描述为使用激光器702作为用于相干电磁辐射的照射源，但是可以使用诸如SLD(超发光二极管)的其他类型的相干电磁辐射源来代替激光器702。
另外，虽然图7A示出了使用四个光束724、726、728、730来生成干涉图案722，但是可以通过将源激光束分成多于两个的光束来使用更大数目的激光束。例如，可以使用64个光束来生成干扰图案722。另外，光束组合不需要被限制为成对组合。例如，可以使用三个光束724、726、 728，或三个光束724、726、730，或三个光束724、728、730，或三个光束726、729、730，或全部四个光束724、726、728、730来生成干涉图案722。通常，根据需要选择最小的光束组合集合(两个光束)，以使速度最大化。另外，光束可以被准直、会聚或发散。虽然与图7A的具体实现方式不同并且针对不同的应用，但是关于使用多个光束对来生成干涉图案的附加通用背景信息可以在下述专利中找到：(i)于2000年1月18日授予Mermelstein的题为“Multiple Beam Pair Optical Imaging”的美国专利第6,016,196号；(ii)于2000年10月31日授予Mermelstein的题为“Optical Synthetic Aperture Array”的美国专利第6,140,660号；以及(iii)于2003 年4月15日授予Mermelstein的题为“Optical SyntheticAperture Array”的美国专利第6,548,820号，上述三个美国专利的全部内容通过引用并入本文。
图7B示出了根据一个实施方式的具有半环形结构布置的照射图案生成模块。参照图7B，诸如IPGM 712、713(图7A)的多个IPGM(IPGM 1、IPGM 2、……、IPGM N)以半环形结构基本上对称地布置在半环形形状的整体式结构762上，以生成选择性激发图案。半环形结构762固定在系统台768上。在图7B的实施方式中，N个IPGM针对成像目标102生成用于SAO的N个选择性激发图案，并且散射光或荧光752穿过物镜124 并且被可以是CCD摄像装置的摄像装置126捕获756。
与其中每个光学部件被单独安装在其保持结构上的常规光学平台 SAO系统相比，图7B的实施方式中的IPGM的这些布置使得具有用于实现SAO系统的多个优点的整体式且紧凑的保持结构能够用于DNA测序应用。整体式结构762使得IPGM布置能够紧凑且对称，并且这种紧凑、对称和整体式的结构保留了更稳定的通道对通道以及光束对光束的几何形状，以防止机械变形和热变形。紧凑的整体式结构762也不易受到光学台 768的非平坦或扭转模式和弯曲模式的影响，并且IPGM围绕半环形结构 762的对称布置使得热收缩或热膨胀的影响对光束几何形状的损害较小，即，与非对称结构相比，激光束的通道对通道角度或光束对光束角度被改变较小。此外，紧凑的设计缩短了激光束在空气中的行进距离，这使得易于防止影响干涉图案的稳定性的空气扰动，所述空气扰动可能导致有效光学路径长度改变，由此产生干涉条纹位置的变化。这种稳定性使得能够更精确地校准光束几何形状。此外，图7B中的IPGM的半环形布置具有下述附加的优点：使得成像模块(即，摄像装置126和物镜124)、照射结构(即，半环形762)和成像目标102能够被放置在一个刚性结构(例如，光学台)768上。
图7C示出了根据一个实施方式的照射图案生成模块的内部结构。图 7C的实施方式具有在IPGM 750中被设置在镜762之后的旋转窗760。来自光纤710的光束770通过准直透镜754被准直并且通过分束器756将经准直的光束744分成两个光束773、774。通过反射镜758对光束773进行反射并且将经反射的光束778投射至成像目标上，以生成干涉图案780。通过镜762对光束774进行反射，并且通过使用检流计使其旋转的光学窗口760对经反射的光束776的光学路径长度进行调制，从而对相应光束 776的光学相位进行调制并且生成经调制的光束777。在两个激光束777、 778之间的交叠区域中生成干涉图案780，其中通过改变光束中的一个光束777的光学路径长度来改变图案。与下面所示的图7A和图7D的实施方式相比，通过将旋转窗760设置在镜762之后，可以减小IPGM 750的宽度WIPGM和尺寸。因此，可以使保持IPGM的半环形结构762更紧凑，这是因为IPGM的宽度WIPGM直接影响半环形的半径，例如如图7B所示。
图7D示出了根据另一实施方式的照射图案生成模块的内部结构。图 7A和7C的实施方式中的IPGM可以产生在成像目标处的干涉点与分离点 (即，分束器)之间不具有相等的路径长度的两个光束。如果使用相对较短的相干长度激光器并且还将SAO系统的适用性限制为仅特定波长(例如，532nm绿色激光器)，则非等路径长度可以显著地降低正弦对比度，这是因为为了良好的正弦对比度，仅较少数目的具有特定波长的激光器具有可以与这样的非等路径的IPGM一起使用的足够长的相干长度。与图 7A的实施方式相比，图7D的实施方式使用附加的折叠镜来实现两个分离光束之间的相等路径。通过分束器756将激光束744分成光束781、780 束。通过镜782对光束781进行反射并且通过旋转窗760对光束的光学路径长度进行调制，以生成光束788。另一方面，光束780被两个镜784、 787反射两次，以生成经反射的光束789。光束788和光束789最终在成像目标处干涉，以生成选择性激发图案。通过使用两个镜784、786，光学路径744-780-785-789被配置成具有与光学路径781-783-788的长度基本上相等的长度。这种等路径方案允许使用具有较短相干长度的激光器，以生成具有高对比度的干涉图案。此外，这种等路径方案使得SAO系统能够与不同于532nm的波长一起使用，从而使多色SAO变得可行。
使用结构化照射图案检测目标上的颗粒
常规地，检测系统通过基于重建图像的强度值生成重建估计集合来对在目标上的多个区域上是否存在颗粒进行估计。例如，针对重建图像的像素位置的重建估计可以通过将针对像素位置的强度值与预定阈值进行比较来指示在目标102的相应区域处是否存在颗粒。然而，由于例如目标的纹理导致噪声重建图像，因此以这样的方式通常难以以高准确度对颗粒进行检测。
根据本公开内容的各种实施方式的颗粒检测方法使用来自多个结构化照射图案的测量信号来对目标上颗粒的存在和位置进行检测。具体地，本文公开的颗粒检测方法使用通过利用结构化照射图案对目标进行照射而获得的测量信号来检测颗粒。颗粒对跨多个结构化照射图案的照射可能会作出不同的响应，并且原始图像中这些测量信号的变化程度可以针对确定在目标102上是否存在颗粒提供重要的见解。虽然重建处理以比原始图像更高的分辨率生成重建图像，但是重建图像的强度值通常不会保留这种对于颗粒检测有用的变化程度。
转至附图，图8示出了根据一个实施方式的颗粒检测方法。利用多个结构化照射图案对成像目标102进行照射806，所述多个结构化照射图案均由照射特征集合来表征。在一个实施方式中，结构化照射图案是本文描述的由至少空间频率和相位来表征的选择性激发图案。例如，可以利用具有照射特征集合{空间频率1，相位1}、{空间频率1，相位2}、和{空间频率1，相位3}的三个结构化照射图案来对成像目标102进行照射。可以将成像目标102假设为各种感兴趣的生物分子，例如，DNA片段、mRNA (信使RNA)片段、lncRNA(长的非编码RNA)或者当被荧光标记和成像时表现为斑点或颗粒的蛋白质，但是不限于此。相位可以是通过改变用于生成该图案的激光束中的一个激光束的光学路径长度来生成的，例如，通过使用平移镜对光束的光学相位进行调制来生成。通过对来自经照射的目标102的光学信号进行测量来生成808图像目标的多个原始图像。每个原始图像可以是通过利用特定的结构化照射图案对目标102进行照射来获得的，并且每个原始图像包括作为用于原始图像的像素集合布置的原始强度值。例如，当利用三个结构化照射图案中的每个结构化照射图案对图像目标102进行照射时，可以生成原始图像，从而产生三个原始图像——原始图像1、原始图像2和原始图像3。当激发的目标102发射信号(或光子)时，可以通过光学成像系统106捕获原始强度值。原始图像中的每个像素可以对应于目标102中的特定区域，并且当利用结构化照射图案对目标102进行照射时，通过测量从目标102的特定区域发射的信号来获得针对像素位置的强度值。
针对成像目标102的一个或更多个区域中的每个区域，生成使用原始图像的调制估计，所述调制估计指示在目标102的区域处是否存在颗粒。具体地，通过将对与目标102中的感兴趣区域对应的原始强度值集合进行结合来确定810针对每个感兴趣区域的调制得分。原始强度值集合是根据通过利用多个结构化照射图案对目标102进行成像而生成的多个原始图像来获得的。目标102的特定区域可以在每个原始图像中具有对应的像素位置，并且可以通过将来自对应的原始图像的每个原始强度值结合在一起来生成针对该特定区域的调制得分。例如，可以将针对原始图像1、原始图像2和原始图像3中对应于目标102的特定区域的像素位置的原始强度值进行结合来生成针对目标102的该区域的一个调制得分。可替选地，可以确定针对目标102中涵盖多于单个像素位置的区域的调制得分。在这种情况下，来自目标102的区域的测量可以在每个原始图像中具有对应的像素位置组，并且可以通过将来自对应原始图像的原始强度值的每个组结合在一起来生成针对该区域的调制得分。
调制得分指示原始强度值集合的变化程度，并且基于观察到的原始强度值来预测在目标102的区域上存在颗粒的可能性。将调制得分与第一预定阈值进行比较812，以生成指示在目标102的区域上存在颗粒的调制估计。因此，可以利用下述调制估计对原始图像中的每个像素位置或像素位置的组进行标记：该调制估计指示在目标102中与该像素位置对应的特定区域中是否存在颗粒或颗粒的一部分。在一个实施方式中，如果调制得分等于或高于预定阈值，则正调制估计指示在目标102上存在颗粒。通常，高的调制得分指示针对该像素存在颗粒的较高可能性。通常，如果在相应的位置存在颗粒，则根据例如相位变化的照射特征的变化的像素强度的变化会相对较小或恒定。因此，高的变化程度指示在像素位置中存在颗粒。
考虑到针对目标102的特定区域的一系列原始强度值集合，调制得分指示原始强度值集合的变化程度。在一个实例中，调制得分被确定为原始强度值集合之间的标准偏差。在另一实例中，调制得分被确定为通过原始强度值集合的平均值归一化(除原始强度值集合的平均值)的原始强度值集合之间的标准偏差。在另一实例中，调制得分被确定为原始强度值集合中指示该集合的最大值与最小值之间的差的范围。在又一实例中，调制得分被确定为指示当在成像目标102的区域处存在颗粒时原始强度值集合对期望曲线的拟合程度的拟合优度度量。例如，拟合优度可以指示原始强度值集合对于照射相位与强度的正弦曲线的拟合程度。此外，应当理解，调制得分也可以通过这些度量的任意变换例如将这些度量缩放了常数因子、对某些项进行加法或减法等来生成。
在一个实施方式中，针对目标102的特定区域的调制得分还可以通过下述方式来生成：根据原始图像的一个或更多个子集确定一个或更多个子调制得分；并且将子调制得分进行结合来确定针对目标102的区域的调制得分，如下面将结合表1更详细描述的。
表1示出了确定针对包括K个空间频率和M个相位(因此， N＝K×M)的结构化照射图案集合的调制得分的示例。特别地，表1示出了下述情况：K＝4个空间频率(空间频率1、空间频率2、空间频率3 和空间频率4)以及M＝3个相位(相位1、相位2和相位3)，代表总共 12个结构化照射图案。虽然表1中的示例对所有的空间频率使用相同数目的相位，但是这仅是示例，并且在其他实例中，针对每个不同的空间频率可以使用不同数目的相位。
在表1中，使用来自这些像素位置的原始强度值来确定针对目标102 中与每个原始图像中的单个像素位置对应的特定的感兴趣区域的调制得分。因此，目标102的特定区域与12个原始像素强度值关联，每个原始像素强度值均根据通过利用相应的结构化照射图案对目标102进行照射而生成的原始图像来获得的。在该示例中，针对目标102的该特定区域确定了四个调制得分MS1、MS2、MS3和MS4。通过将根据具有相同的空间频率的原始图像子集获得的原始像素强度值进行结合来确定每个调制得分。例如，“IS1”表示通过利用结构化照射图案{空间频率1，相位1}、 {空间频率1，相位2}、{空间频率1，相位3}对成像目标102进行照射而获得的针对成像目标102的区域的原始像素强度值；“IS2”表示通过利用结构化照射图案{空间频率2，相位1}、{空间频率2，相位2}、{空间频率2，相位3}对成像目标102进行照射而获得的原始像素强度值；“IS3”表示通过利用结构化照射图案{空间频率3，相位1}、{空间频率3，相位 2}、{空间频率3，相位3}对成像目标102进行照射而获得的原始像素强度值；并且“IS4”表示通过利用结构化照射图案{空间频率4，相位1}、 {空间频率4，相位2}、{空间频率4，相位3}对成像目标102进行照射而获得的原始像素强度值。“MS1”表示针对子集IS1的调制得分，“MS2”表示针对子集IS2的调制得分，“MS3”表示针对子集IS3的调制得分，“MS4”表示针对子集IS4的调制得分。如上所述，可以通过采用标准偏差、通过平均值对标准偏差进行归一化、范围、以及针对原始强度值的相应子集的拟合优度度量等用于确定变化程度的方式之一或组合来确定每个调制得分。另外，还可以通过将来自每个原始图像的像素强度值组进行结合来生成针对目标102的特定区域的调制得分。
在一个实例中，可以使用针对各个子集的调制得分用于生成在成像目标102的特定区域处是否存在颗粒的调制估计。例如，检测系统可以仅使用调制得分MS1以通过将该得分与预定阈值进行比较来确定颗粒的存在。在该示例中，如果调制得分MS1等于或高于阈值，则调制估计可以指示存在颗粒；或者如果MS1低于阈值，则调制估计可以指示不存在颗粒。在另一实例中，得分MS1、得分MS2、得分MS3和得分MS4中的两个或更多个得分可以被视为子调制得分，并且这些子调制得分被结合在一起以生成针对成像目标102的区域的最终调制得分。例如，最终调制得分“MS”可以被确定为对所有四个子调制得分的乘法运算 MS1×MS2×MS3×MS4，并且检测系统可以使用最终得分MS以通过将最终得分与预定阈值进行比较来确定颗粒的存在。类似地，如果最终调制得分MS等于或高于阈值，则调制估计可以指示存在颗粒；或者如果MS低于阈值，则调制估计可以指示不存在颗粒。虽然将乘法运算用作示例，但是在其他实施方式中可以使用诸如加法、乘法运算等其他运算以将子调制得分进行结合。
表1
Figure BDA0002605797200000221
IS：表示来自目标上特定的感兴趣区域的测量值的一系列像素强度
转到附图，图9示出了根据另一实施方式的颗粒检测方法。在本实施方式中，使用调制估计用于对根据重建图像获得的重建估计进行验证，以生成针对在目标102的多个区域上的颗粒检测的经结合的估计集合。将重建估计与调制估计进行比较，并且用于对重建估计进行验证。具体地，虽然重建估计可能不具有最佳准确度，但是如果重建图像与多个原始图像相比具有更高的图像分辨率，则重建图像可以以比原始图像更高的区域粒度来提供颗粒检测估计。例如，重建图像可以具有多个原始图像的2倍的分辨率，并且针对重建图像中的1个像素位置的重建估计与针对多个原始图像中的1个像素位置的调制估计相比可以对应于目标102中的较小的区域。通过利用更高准确度的调制估计对重建估计进行验证，该检测系统可以以更高的准确度和更高的粒度执行颗粒检测。
返回至图9，通过步骤906、908、910和912使用多个原始图像生成调制估计，所述步骤906、908、910和912与结合图8描述的步骤806、 808、810和812大部分相同。通过对多个原始图像进行重建914来生成目标102的重建图像。在一个实施方式中，当通过多个选择性激发图案生成多个原始图像时，重建处理是本文结合图1A至图1C和图6A至图6C 描述的生成高的空间分辨率重建图像的SAO重建处理步骤或后处理步骤。通过将重建图像的强度值与预定阈值进行比较916来生成针对重建图像的像素位置的重建估计集合。例如，可以针对重建图像的每个像素位置生成重建估计，并且如果针对像素位置的强度值等于或高于阈值，则正估计可以指示在目标102的相应区域处存在颗粒。将针对目标102的特定区域的重建估计与针对目标102的特定区域的调制估计进行比较918，以生成针对目标102的经结合的估计。当重建图像的分辨率高于原始图像的分辨率并且重建图像以较高的粒度捕获目标102时，重建图像中的像素可以对应于目标102上比通过原始图像中的像素成像的区域小的区域。在该实例中，可以将针对重建图像中的像素的重建估计与针对目标102的区域的调制估计进行比较，所述目标102的区域涵盖由重建像素包围的区域或以其他方式与由重建像素包围的区域交叠。
在一个实施方式中，使用调制估计用于减少针对重建估计的假阳性错误。当在目标102的特定区域中不存在颗粒但是重建估计指示在该区域中存在颗粒时会发生假阳性错误。这些错误可能是由于目标102中的噪声背景图像而发生的，所述噪声背景图像包括看起来像感兴趣的颗粒然而实际上它们却不是感兴趣的颗粒的缺陷或其他图案。为了减少假阳性错误，检测系统利用正重建估计来识别重建像素，将这些估计与相应的调制估计进行比较918，并且生成经结合的估计作为用于颗粒检测的最终估计。利用正重建估计的用于重建像素的经结合的估计指示仅在相应的调制估计为正的情况下才存在颗粒，以及指示在相应的调制估计为负的情况下不存在颗粒。以这样的方式，可以使用调制估计以在正重建估计错误地将目标 102的背景图案检测为感兴趣的颗粒的情况下对正重建估计进行验证。
在另一实施方式中，还可以使用调制估计用于减少针对重建估计的假阴性错误。当在目标102的特定区域中存在颗粒但是重建估计指示在该区域中不存在颗粒时会发生假阴性错误。为了减少假阴性错误，检测系统利用负重建估计来识别重建像素，将这些估计与相应的调制估计进行比较，并且生成经结合的估计作为用于颗粒检测的最终估计。利用负重建估计的用于重建像素的经结合的估计指示仅在相应的调制估计为负时才不存在颗粒，以及指示在相应的调制估计为负时存在颗粒。
用于获得生物分子和样本的图像的方法和装置在于2016年3月2日提交的美国专利申请第15/059,245号中有更详细的描述，该美国专利申请现在发布为美国专利第9,772,505号，其通过引用并入。
颗粒检测的示例
图10示出了根据一个实施方式的对组织切片目标区域执行的颗粒检测方法的示例。图10的部分(a)示出了通过具有油浸透镜(具有z-stack 的100x/1.4NA物镜)的常规高分辨率显微镜获得的组织切片的图像。如图10的部分(a)所示，感兴趣的颗粒(mRNA分子)被示出为跨组织切片的白色斑点。图10的部分(b)示出了通过对原始图像执行SAO重建处理而获得的目标区域的重建图像。原始图像是通过利用通过激光束的干涉形成的一系列12种不同结构化照射图案对目标区域进行照射来获得的。如图10的部分(b)所示，颗粒在图像上表现为白色斑点。图10的部分(c)示出了图10的部分(b)的下述图像：该图像注释(以“x”标记)有与如结合图9的方法所描述的正重建估计——具体地与具有高于阈值的强度值的像素——相关联的区域。如图10的部分(c)所示，由于假阳性错误，在目标区域上出现了比颗粒更多的注释。图10的部分(d)示出了图10的部分(b)的下述图像：该图像注释(以“x”标记)有与正经结合的估计相关联的区域，所述正经结合的估计是通过将图10的部分 (c)中的注释区域与相应的调制估计进行比较并且仅保留针对具有正调制估计的那些区域的注释来生成的，如结合图9的方法所描述的。调制估计是通过下述方式生成的：如表1所示，针对在相同的空间频率的情况下来自原始图像的子集的原始强度值各自分别确定4个子调制得分MS1、 MS2、MS3、MS4；并且将最终调制得分确定为 MS＝MS1×MS2×MS3×MS4。每个子调制得分被确定为通过原始强度值子集的平均值归一化的标准偏差。如图10的部分(d)所示，检测系统能够通过利用调制估计对重建估计进行验证来以改善的准确度和较低的假阳性错误率对颗粒进行检测。
图11示出了根据一个实施方式的对单分子mRNA FISH(荧光原位杂交)样本执行的颗粒检测方法的示例。图11的部分(a)示出了通过执行图9中的用于减少假阳性错误率的颗粒检测方法在标记为EGFR(表皮生长因子受体)mRNA的96孔板上的U2OS细胞的第一注释图像。mRNA 的标记是通过均来自LGC Biosearch Technologies的
Figure BDA0002605797200000241
mRNA FISH方法、使用与
Figure BDA0002605797200000242
670染料共轭的探针来完成的。所示出的图像对应于根据本文描述的实施方式的SAO装置的一个视场(0.33mm×0.33mm)。在该示例中，从一个视场中检测到总共146个细胞和3492个mRNA斑点。图11的部分(b)示出了图11的部分(a)中的图像的放大视图。所检测到的mRNA被示出为各个点，并且如示例为1102A所示，线示出了通过细胞核分割软件检测到的细胞核的边界。图11的部分(c)示出了来自小鼠脑组织的使用与Cy5染料共轭的探针标记为mRNA的区域的第二注释图像。基因靶标和用于标记mRNA的特定化学方法的名称是未知的。所示出的图像对应于根据本文的实施方式的SAO装置的一个视场(0.33mm x0.33mm)。在该示例中，从一个视场中检测到总共275个细胞和36,346 个mRNA斑点，如示例为1102B所示。图11的部分(d)示出了图11的部分(c)中的图像的放大视图。与培养的细胞相比，小鼠脑组织示出了显著更高的细胞密度和mRNA斑点。此外，与培养的细胞相比，组织中固有的背景信号使成像和斑点检测相对更具挑战性。表2总结了图11的部分(a)、(b)、(c)和(d)的结果。图11中所示的示例示出了结合图8 至图9描述的颗粒检测方法能够检测组织样本或孔板中mRNA片段的存在。
表2.针对两种不同类型的单分子mRNA FISH样本的斑点计数结果的比较
样本类型 96孔板上的U2OS细胞 小鼠脑组织
基因靶标 EGFR N/A
荧光染料 Q670 Cy5
每FOV细胞数 146 275
每FOV斑点数 3,492 36,341
每细胞的斑点平均数 24 132
计算时间 60秒 198秒
在阅读了本公开内容后，本领域技术人员还将理解针对用于合成孔径光学的方法和装置的附加替选结构和功能设计。因此，虽然已经示出和描述了本发明的具体实施方式和应用，但是应当理解，本发明不限于本文公开的精确结构和部件，并且在不脱离如所附权力要求书所限定的本发明的精神和范围的情况下，可以对本文公开的本发明的方法和装置的布置、操作及细节作出对于本领域的技术人员将是明显的多种修改、改变和变型。

Claims (20)

1.一种用于检测目标上的颗粒的方法，所述方法包括下述步骤：
利用多个结构化照射图案来对所述目标进行照射，所述多个结构化照射图案均通过空间频率和照射相位来表征；
通过对来自经照射的目标的光学信号进行测量来生成所述目标的多个原始图像，每个原始图像包括至少一个原始强度值，所述每个原始图像通过对利用相应的结构化照射图案而照射的所述目标的测量来获得；以及
针对所述目标的一个或更多个区域中的每个区域生成第一估计，所述第一估计指示在所述目标的所述一个或更多个区域中的每个区域处是否存在颗粒，所述生成第一估计包括：
针对所述目标的所述一个或更多个区域中的每个区域，通过将来自所述多个原始图像的原始强度值集合进行结合来确定调制得分，所述调制得分指示所述目标的所述一个或更多个区域中的每个区域中的所述原始强度值集合的变化程度，以及
通过将针对所述目标的所述一个或更多个区域中的每个区域的所述调制得分与第一阈值进行比较，来生成针对所述区域的所述第一估计。
2.根据权利要求1所述的方法，其中，将所述原始强度值集合进行结合包括：计算所述原始强度值集合中的两个或更多个原始强度值的方差；计算所述原始强度值集合中的两个或更多个原始强度值的范围；计算通过所述原始强度值集合中的所述两个或更多个原始强度值的平均值归一化的所述原始强度值集合中的所述两个或更多个原始强度值的方差，或者计算对所述原始强度值集合中的两个或更多个原始强度值的参考曲线的拟合优度度量。
3.根据权利要求1所述的方法，其中，所述多个结构化照射图案是选择性激发图案，并且照射特征集合至少包括所述选择性激发图案的空间频率和相位。
4.根据权利要求1所述的方法，其中，确定所述调制得分包括：
确定子调制得分集合，每个子调制得分通过将来自所述多个原始图像的相应子集的所述原始强度值的子集进行结合来确定；以及
将所述子调制得分进行结合来确定所述调制得分。
5.根据权利要求4所述的方法，其中，所述多个原始图像的子集通过相同的空间频率来表征。
6.根据权利要求1所述的方法，其中，所述颗粒为生物分子，所述生物分子包括DNA片段、mRNA片段或lncRNA中的至少一种。
7.根据权利要求1所述的方法，还包括：
通过对所述目标的所述多个原始图像中的至少一个原始图像进行处理来生成重建的图像，所述重建的图像包括通过对所述多个原始图像中的所述至少一个原始图像进行处理而获得的重建强度值集合；
针对所述目标的所述一个或更多个区域中的每个区域，通过将一个或更多个重建强度值与第二阈值进行比较来确定第二估计，所述第二估计指示在所述目标的所述区域处是否存在颗粒；以及
通过将针对所述目标的至少一个区域的所述第一估计与所述第二估计进行比较，来生成针对所述目标的所述至少一个区域的经结合的估计集合。
8.根据权利要求7所述的方法，其中，生成所述经结合的估计集合包括：
识别所述重建的图像中的像素位置的子集，其中，针对所识别出的像素位置的子集的所述第二估计指示在所述目标的相应区域处存在颗粒；以及
针对每个所识别出的像素位置，生成针对所述像素位置的经结合的估计，其中，如果针对所述目标的所述相应区域的所述第一估计为第一值，则针对所述像素位置的所述经结合的估计指示在所识别出的像素位置处存在所述颗粒；并且其中，如果针对所述目标的所述相应区域的所述第一估计为第二值，则针对所述像素位置的所述经结合的估计指示在所识别出的像素位置处不存在所述颗粒。
9.根据权利要求7所述的方法，其中，所述重建的图像的分辨率高于所述多个原始图像的分辨率。
10.根据权利要求7所述的方法，其中，生成所述重建的图像包括对所述多个原始图像中的所述至少一个原始图像执行合成孔径光学重建处理。
11.一种用于检测目标上的颗粒的系统，所述系统包括：
多个照射模块，被配置成利用多个结构化照射图案来对所述目标进行照射，所述多个结构化照射图案均通过空间频率和照射相位来表征；
光学成像模块，被配置成通过对来自经照射的目标的光学信号进行测量来生成所述目标的多个原始图像，每个原始图像包括至少一个原始强度值，所述每个原始图像通过对利用相应的结构化照射图案而照射的所述目标的测量来获得；
检测模块，被配置成针对所述目标的一个或更多个区域中的每个区域生成第一估计，所述第一估计指示在所述目标的所述一个或更多个区域中的每个区域处是否存在颗粒，其中，所述检测模块还被配置成：针对所述目标的所述一个或更多个区域中的每个区域，通过将来自所述多个原始图像的原始强度值集合进行结合来确定调制得分，所述调制得分指示所述目标的所述一个或更多个区域中的每个区域中的所述原始强度值集合的变化程度；以及通过将所述调制得分与第一阈值进行比较，来生成针对所述目标的所述一个或更多个区域中的每个区域的所述第一估计。
12.根据权利要求11所述的系统，其中，所述检测模块还被配置成通过下述将所述原始强度值集合进行结合：计算所述原始强度值集合中的两个或更多个原始强度值的方差；计算通过所述原始强度值集合中的所述两个或更多个原始强度值的平均值归一化的所述原始强度值集合中的所述两个或更多个原始强度值的方差；计算所述原始强度值集合中的两个或更多个原始强度值的范围，或者计算对所述原始强度值集合中的两个或更多个原始强度值的参考曲线的拟合优度度量。
13.根据权利要求11所述的系统，其中，所述多个结构化照射图案是选择性激发图案，并且照射特征集合至少包括所述选择性激发图案的空间频率和相位。
14.根据权利要求11所述的系统，其中，所述检测模块还被配置成：
确定子调制得分集合，每个子调制得分通过将来自所述多个原始图像的相应子集的所述原始强度值的子集进行结合来确定；以及
将所述子调制得分进行结合来确定所述调制得分。
15.根据权利要求14所述的系统，其中，所述多个原始图像的子集通过相同的空间频率来表征。
16.根据权利要求11所述的系统，其中，所述颗粒为生物分子，所述生物分子包括DNA片段、mRNA片段或lncRNA中的至少一种。
17.根据权利要求11所述的系统，还包括：
处理模块，被配置成通过对所述目标的所述多个原始图像中的至少一个原始图像进行处理来生成重建的图像，所述重建的图像包括通过对所述多个原始图像中的所述至少一个原始图像进行处理而获得的重建强度值集合，
其中，所述检测模块还被配置成：针对所述目标的所述一个或更多个区域中的每个区域，通过将一个或更多个重建强度值与第二阈值进行比较来确定第二估计，所述第二估计指示在所述目标的所述区域处是否存在颗粒；并且通过将针对所述目标的至少一个区域的所述第一估计与所述第二估计进行比较，来生成针对所述目标的所述至少一个区域的经结合的估计集合。
18.根据权利要求17所述的系统，其中，所述检测模块还被配置成：
识别所述重建的图像中的像素位置的子集，其中，针对所识别出的像素位置的子集的所述第二估计指示在所述目标的相应区域处存在颗粒；以及
针对每个所识别出的像素位置，生成针对所述像素位置的经结合的估计，其中，如果针对所述目标的所述相应区域的所述第一估计处于第一值，则针对所述像素位置的所述经结合的估计指示在所识别出的像素位置处存在所述颗粒；并且其中，如果针对所述目标的所述相应区域的所述第一估计处于第二值，则针对所述像素位置的所述经结合的估计指示在所识别出的像素位置处不存在所述颗粒。
19.根据权利要求17所述的系统，其中，所述重建的图像的分辨率高于所述多个原始图像的分辨率。
20.根据权利要求17所述的系统，其中，所述处理模块还被配置成对所述多个原始图像中的所述至少一个原始图像执行合成孔径光学重建处理。
CN201980010553.6A 2018-01-30 2019-01-30 用于使用结构化照射检测颗粒的方法和系统 Active CN111801937B8 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210890287.4A CN115373127A (zh) 2018-01-30 2019-01-30 用于检测目标上的颗粒的方法和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862624071P 2018-01-30 2018-01-30
US62/624,071 2018-01-30
PCT/US2019/015881 WO2019152539A1 (en) 2018-01-30 2019-01-30 Method for detecting particles using structured illumination

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210890287.4A Division CN115373127A (zh) 2018-01-30 2019-01-30 用于检测目标上的颗粒的方法和系统

Publications (3)

Publication Number Publication Date
CN111801937A CN111801937A (zh) 2020-10-20
CN111801937B true CN111801937B (zh) 2022-08-12
CN111801937B8 CN111801937B8 (zh) 2022-10-14

Family

ID=67393363

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980010553.6A Active CN111801937B8 (zh) 2018-01-30 2019-01-30 用于使用结构化照射检测颗粒的方法和系统
CN202210890287.4A Pending CN115373127A (zh) 2018-01-30 2019-01-30 用于检测目标上的颗粒的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210890287.4A Pending CN115373127A (zh) 2018-01-30 2019-01-30 用于检测目标上的颗粒的方法和系统

Country Status (4)

Country Link
US (2) US11366303B2 (zh)
EP (1) EP3747189A4 (zh)
CN (2) CN111801937B8 (zh)
WO (1) WO2019152539A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857284B1 (en) * 2013-07-15 2018-01-02 Stratedigm, Inc. Method and apparatus for detection and measurement of particles with a wide dynamic range of measurement
JPWO2021065349A1 (zh) * 2019-10-02 2021-04-08
CN117689673B (zh) * 2024-02-04 2024-04-23 湘潭大学 基于分水岭的wc颗粒电镜图像分割及粒度分布计算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103221806A (zh) * 2010-09-10 2013-07-24 奥林巴斯株式会社 使用两个以上的波长带的光的测量的光学分析方法
CN104764724A (zh) * 2006-12-12 2015-07-08 皇家飞利浦电子股份有限公司 用于检测标记颗粒的微电子传感器装置
WO2017060105A1 (en) * 2015-10-08 2017-04-13 Koninklijke Philips N.V. Particle sensor for particle detection
WO2017060164A1 (en) * 2015-10-08 2017-04-13 Koninklijke Philips N.V. Optical sensor for particle detection
CN106680159A (zh) * 2017-01-13 2017-05-17 浙江大学 基于动态光散射样本系综分析的颗粒快速检测方法及系统

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3785262A (en) 1969-12-09 1974-01-15 G Stroke Optical aperture synthesis
US3780217A (en) 1972-05-11 1973-12-18 Bendix Corp Heterodyne imaging device for providing high resolution images
US4890921A (en) 1986-08-11 1990-01-02 The Boeing Company Scanning interferometer
US5041733A (en) 1987-03-20 1991-08-20 Agency Of Industrial Science & Technology Method and apparatus for identifying chromosomes or cells
US5547839A (en) 1989-06-07 1996-08-20 Affymax Technologies N.V. Sequencing of surface immobilized polymers utilizing microflourescence detection
JPH03100628A (ja) 1989-09-14 1991-04-25 Sony Corp レーザ描画装置
US5751243A (en) 1990-10-29 1998-05-12 Essex Corporation Image synthesis using time sequential holography
US5341312A (en) 1991-09-26 1994-08-23 Eastman Kodak Company Method for assessing and correcting individual components of a non-monolithic imaging assembly
US5674698A (en) 1992-09-14 1997-10-07 Sri International Up-converting reporters for biological and other assays using laser excitation techniques
US5511060A (en) 1993-02-26 1996-04-23 Industrial Technology Research Institute Magneto-optical head with a three prism beam splitter to split a reflected beam into three beams
US5406412A (en) 1993-06-17 1995-04-11 Visidyne, Inc. High-resolution synthetic aperture adaptive optics system
US5470710A (en) 1993-10-22 1995-11-28 University Of Utah Automated hybridization/imaging device for fluorescent multiplex DNA sequencing
US6539805B2 (en) 1994-07-19 2003-04-01 Vesuvius Crucible Company Liquid metal flow condition detection
WO1998053300A2 (en) 1997-05-23 1998-11-26 Lynx Therapeutics, Inc. System and apparaus for sequential processing of analytes
US5695934A (en) 1994-10-13 1997-12-09 Lynx Therapeutics, Inc. Massively parallel sequencing of sorted polynucleotides
US6013445A (en) 1996-06-06 2000-01-11 Lynx Therapeutics, Inc. Massively parallel signature sequencing by ligation of encoded adaptors
US6654505B2 (en) 1994-10-13 2003-11-25 Lynx Therapeutics, Inc. System and apparatus for sequential processing of analytes
US5750341A (en) 1995-04-17 1998-05-12 Lynx Therapeutics, Inc. DNA sequencing by parallel oligonucleotide extensions
US5763175A (en) 1995-11-17 1998-06-09 Lynx Therapeutics, Inc. Simultaneous sequencing of tagged polynucleotides
US5780231A (en) 1995-11-17 1998-07-14 Lynx Therapeutics, Inc. DNA extension and analysis with rolling primers
US6969488B2 (en) 1998-05-22 2005-11-29 Solexa, Inc. System and apparatus for sequential processing of analytes
US6016196A (en) 1997-06-17 2000-01-18 Massachusetts Institute Of Technology Multiple beam pair optical imaging
WO1999053355A1 (fr) 1998-04-15 1999-10-21 Vincent Lauer Microscope generant une representation tridimensionnelle d'un objet et images generees par ce microscope
KR20000004675A (ko) 1998-06-30 2000-01-25 전주범 복층 압전 광변위소자를 이용한 페이스 멀티플렉싱 타입 홀로그램 데이타 스토레지 시스템
US6787308B2 (en) 1998-07-30 2004-09-07 Solexa Ltd. Arrayed biomolecules and their use in sequencing
AR021833A1 (es) 1998-09-30 2002-08-07 Applied Research Systems Metodos de amplificacion y secuenciacion de acido nucleico
US6140660A (en) 1999-03-23 2000-10-31 Massachusetts Institute Of Technology Optical synthetic aperture array
US6534266B1 (en) 1999-04-22 2003-03-18 Albert Einstein College Of Medicine Of Yeshiva University Assay of transcription sites by multi-fluor fish
US6818395B1 (en) 1999-06-28 2004-11-16 California Institute Of Technology Methods and apparatus for analyzing polynucleotide sequences
US7211390B2 (en) 1999-09-16 2007-05-01 454 Life Sciences Corporation Method of sequencing a nucleic acid
EP1218543A2 (en) 1999-09-29 2002-07-03 Solexa Ltd. Polynucleotide sequencing
EP1198596A1 (en) 2000-02-15 2002-04-24 Lynx Therapeutics, Inc. Data analysis and display system for ligation-based dna sequencing
US6515287B2 (en) 2000-06-15 2003-02-04 Kla-Tencor Technologies Corporation Sectored magnetic lens and method of use
EP1311839B1 (en) 2000-06-21 2006-03-01 Bioarray Solutions Ltd Multianalyte molecular analysis using application-specific random particle arrays
US20050099682A1 (en) 2000-11-06 2005-05-12 Vincent Lauer Microscope for diffracting objects
EP2309253A2 (en) 2001-09-05 2011-04-13 Life Technologies Corporation Apparatus for reading signals generated from resonance light scattered particle labels
WO2003050581A1 (en) 2001-12-06 2003-06-19 Florida Institute Of Technology Method and apparatus for spatial domain multiplexing in optical fiber communications
US6980677B2 (en) * 2002-05-24 2005-12-27 Niles Scientific, Inc. Method, system, and computer code for finding spots defined in biological microarrays
US7742172B2 (en) 2002-09-18 2010-06-22 Teraview Limited Apparatus for varying the path length of a beam of radiation
US7405114B2 (en) 2002-10-16 2008-07-29 Semiconductor Energy Laboratory Co., Ltd. Laser irradiation apparatus and method of manufacturing semiconductor device
US7122384B2 (en) 2002-11-06 2006-10-17 E. I. Du Pont De Nemours And Company Resonant light scattering microparticle methods
US8268551B2 (en) 2003-01-27 2012-09-18 San Diego State University Foundation Sensitive sensing based on optical nonlinear wave mixing
KR200327028Y1 (ko) 2003-06-17 2003-09-19 장시창 인체조직검사기구
TW200519919A (en) 2003-10-30 2005-06-16 Koninkl Philips Electronics Nv Multi-beam optical scanning device
US7169560B2 (en) 2003-11-12 2007-01-30 Helicos Biosciences Corporation Short cycle methods for sequencing polynucleotides
US7425703B2 (en) 2004-02-20 2008-09-16 Ebara Corporation Electron beam apparatus, a device manufacturing method using the same apparatus, a pattern evaluation method, a device manufacturing method using the same method, and a resist pattern or processed wafer evaluation method
CA2557841A1 (en) 2004-02-27 2005-09-09 President And Fellows Of Harvard College Polony fluorescent in situ sequencing beads
TW200602814A (en) 2004-03-29 2006-01-16 Fuji Photo Film Co Ltd Exposure device
US20050221351A1 (en) 2004-04-06 2005-10-06 Affymetrix, Inc. Methods and devices for microarray image analysis
DE202004009856U1 (de) 2004-06-23 2004-09-30 Raylase Ag Vorrichtung zur Regelung der Leistung eines Laserstrahls
US20060024711A1 (en) 2004-07-02 2006-02-02 Helicos Biosciences Corporation Methods for nucleic acid amplification and sequence determination
US7276720B2 (en) 2004-07-19 2007-10-02 Helicos Biosciences Corporation Apparatus and methods for analyzing samples
US20060012793A1 (en) 2004-07-19 2006-01-19 Helicos Biosciences Corporation Apparatus and methods for analyzing samples
WO2006055736A1 (en) 2004-11-16 2006-05-26 Illumina, Inc. And methods and apparatus for reading coded microbeads
US20070070349A1 (en) 2005-09-23 2007-03-29 Helicos Biosciences Corporation Optical train and method for TIRF single molecule detection and analysis
US7307700B1 (en) 2004-12-17 2007-12-11 The Boeing Company Ultra-linear signal processing for radar and laser radar
US7397018B1 (en) 2005-03-02 2008-07-08 Lockheed Martin Corporation Amplitude and phase controlled adaptive optics system
DK1907571T3 (en) 2005-06-15 2017-08-21 Complete Genomics Inc NUCLEIC ACID ANALYSIS USING INCIDENTAL MIXTURES OF NON-OVERLAPPING FRAGMENTS
US7916144B2 (en) 2005-07-13 2011-03-29 Siemens Medical Solutions Usa, Inc. High speed image reconstruction for k-space trajectory data using graphic processing unit (GPU)
CA2617509A1 (en) 2005-08-05 2007-02-15 Helicos Biosciences Corporation Signal pattern compositions and methods
US7967205B2 (en) 2005-11-17 2011-06-28 Hand Held Products, Inc. Optical reading device with programmable parameter control
US8053145B2 (en) 2006-05-30 2011-11-08 Semiconductor Energy Laboratory Co., Ltd. Method for manufacturing holographic recording medium and method for manufacturing semiconductor device
US7602501B2 (en) 2006-07-10 2009-10-13 The Board Of Trustees Of The University Of Illinois Interferometric synthetic aperture microscopy
US8821799B2 (en) * 2007-01-26 2014-09-02 Palo Alto Research Center Incorporated Method and system implementing spatially modulated excitation or emission for particle characterization with enhanced sensitivity
KR100969946B1 (ko) 2007-07-24 2010-07-14 주식회사 이오테크닉스 레이저 빔 분할을 이용한 레이저 가공 장치 및 방법
US8759077B2 (en) 2007-08-28 2014-06-24 Lightspeed Genomics, Inc. Apparatus for selective excitation of microparticles
US8222040B2 (en) * 2007-08-28 2012-07-17 Lightspeed Genomics, Inc. Nucleic acid sequencing by selective excitation of microparticles
US7873771B2 (en) 2007-09-04 2011-01-18 Apple Inc. Smart dock for chaining accessories
CN101925809B (zh) * 2007-12-04 2013-03-27 粒子监测系统有限公司 用于粒子检测的二维光学成像方法和系统
WO2009126546A1 (en) 2008-04-07 2009-10-15 University Of Florida Research Foundation, Inc. High-precision monolithic optical assemblies and methods for fabrication and alignment thereof
US8039776B2 (en) 2008-05-05 2011-10-18 California Institute Of Technology Quantitative differential interference contrast (DIC) microscopy and photography based on wavefront sensors
DE102008035770A1 (de) * 2008-07-31 2010-02-18 Eads Deutschland Gmbh Optischer Partikeldetektor sowie Detektionsverfahren
US9618369B2 (en) 2008-08-26 2017-04-11 The University Court Of The University Of Glasgow Uses of electromagnetic interference patterns
US8929630B2 (en) 2009-03-27 2015-01-06 Life Technologies Corporation Systems and methods for assessing images
US8705043B2 (en) 2009-12-14 2014-04-22 Academia Sinica Height measurement by correlating intensity with position of scanning object along optical axis of a structured illumination microscope
US8502867B2 (en) 2010-03-19 2013-08-06 Lightspeed Genomics, Inc. Synthetic aperture optics imaging method using minimum selective excitation patterns
US9465228B2 (en) 2010-03-19 2016-10-11 Optical Biosystems, Inc. Illumination apparatus optimized for synthetic aperture optics imaging using minimum selective excitation patterns
WO2012094523A2 (en) * 2011-01-06 2012-07-12 The Regents Of The University Of California Lens-free tomographic imaging devices and methods
JP6822765B2 (ja) * 2013-03-06 2021-01-27 オプティカル バイオシステムズ ホールディング インコーポレイテッド 分子イメージングおよび関連する方法
CN105431759B (zh) * 2013-07-31 2018-04-13 奥林巴斯株式会社 利用单个发光粒子检测技术的光学显微镜装置、显微镜观察法以及用于显微镜观察的计算机程序
JP2016534389A (ja) * 2013-07-31 2016-11-04 カリフォルニア インスティチュート オブ テクノロジー 開口走査フーリエタイコグラフィ撮像
US10012589B2 (en) * 2013-08-16 2018-07-03 The General Hospital Corporation Portable diffraction-based imaging and diagnostic systems and methods
FR3027107B1 (fr) * 2014-10-09 2019-09-13 Espci Paristech Methode et dispositif de detection optique de nanoparticules dans un echantillon fluide
WO2016106379A1 (en) * 2014-12-22 2016-06-30 California Institute Of Technology Epi-illumination fourier ptychographic imaging for thick samples
US10187626B2 (en) * 2015-04-10 2019-01-22 The Board Of Trustees Of The Leland Stanford Junior University Apparatuses and methods for three-dimensional imaging of an object
WO2016187591A1 (en) * 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods
US20170168285A1 (en) * 2015-12-14 2017-06-15 The Regents Of The University Of California Systems and methods for image reconstruction
WO2017112634A1 (en) * 2015-12-21 2017-06-29 Verily Life Sciences Llc Spectrally and spatially multiplexed fluorescent probes for in situ cell labeling
US10990797B2 (en) * 2016-06-13 2021-04-27 Nanolive Sa Method of characterizing and imaging microscopic objects
US20180246314A1 (en) * 2017-02-03 2018-08-30 Massachusetts Institute Of Technology Tunable microlenses and related methods
CN107065159B (zh) * 2017-03-24 2019-10-18 南京理工大学 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法
US10754140B2 (en) * 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104764724A (zh) * 2006-12-12 2015-07-08 皇家飞利浦电子股份有限公司 用于检测标记颗粒的微电子传感器装置
CN103221806A (zh) * 2010-09-10 2013-07-24 奥林巴斯株式会社 使用两个以上的波长带的光的测量的光学分析方法
WO2017060105A1 (en) * 2015-10-08 2017-04-13 Koninklijke Philips N.V. Particle sensor for particle detection
WO2017060164A1 (en) * 2015-10-08 2017-04-13 Koninklijke Philips N.V. Optical sensor for particle detection
CN106680159A (zh) * 2017-01-13 2017-05-17 浙江大学 基于动态光散射样本系综分析的颗粒快速检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Statistics of Particle Detection From Single-Channel Fluorescence Signals for Flow Cytometric Applications";Siegfried W. Kettlitz等;《 IEEE Transactions on Instrumentation and Measurement ( Volume: 62, Issue: 7, July 2013)》;20130329;全文 *
"生物颗粒流式成像关键技术的研究";朱险峰;《中国博士学位论文全文数据库》;20110715;全文 *

Also Published As

Publication number Publication date
US11841495B2 (en) 2023-12-12
CN115373127A (zh) 2022-11-22
CN111801937A (zh) 2020-10-20
US20190235222A1 (en) 2019-08-01
US20220334368A1 (en) 2022-10-20
CN111801937B8 (zh) 2022-10-14
WO2019152539A1 (en) 2019-08-08
US11366303B2 (en) 2022-06-21
EP3747189A4 (en) 2021-11-10
EP3747189A1 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
US11835734B2 (en) Illumination apparatus optimized for synthetic aperture optics imaging using minimum selective excitation patterns
US8502867B2 (en) Synthetic aperture optics imaging method using minimum selective excitation patterns
US11841495B2 (en) Method for detecting particles using structured illumination
JP5120873B2 (ja) 分光計測装置及び分光計測方法
EP2898312B1 (en) Methods for resolving positions in fluorescence stochastic microscopy using three-dimensional structured illumination.
CN104833311A (zh) 用于结构照明显微术的图像序列和评估方法及系统
US20160267658A1 (en) Scanning Microscope and Method for Determining the Point Spread Function (PSF)of a Scanning Microscope
EP2831657B1 (en) Improved confocal microscopy methods and devices
JP2001509612A (ja) ウェーブフィールド顕微鏡、ウェーブフィールド顕微鏡法、ｄｎａ順序決定のためのウェーブフィールド顕微鏡法、およびウェーブフィールド顕微鏡に対する較正方法
US20230393379A1 (en) Apparatus and method of estimating values from images
US10585272B2 (en) Coherent fluorescence super-resolution microscopy
Liu et al. Two-channel, quasi-confocal parallel scan fluorescence imaging for detection of biochips
Glasenapp et al. Biochip reader with dynamic holographic excitation and hyperspectral fluorescence detection
Marchese et al. Scan-less microscopy based on acousto-optic encoded illumination
WO2021063865A1 (en) Devices and methods for the characterization of the 3d orientation of light emitting dipoles
Fu et al. Dual-wavelength microarray fluorescence detection system using volume holographic filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Rebas biosystems

Address before: California, USA

Applicant before: Optical Bio System Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CI03 Correction of invention patent

Correction item: Inventor

Correct: Liu Jikuan|Li Haojin|Wu Yalin

False: Liu Jikuan|Li Haochen|Wu Yalin

Number: 32-02

Volume: 38

Correction item: Inventor

Correct: Liu Jikuan|Li Haojin|Wu Yalin

False: Liu Jikuan|Li Haochen|Wu Yalin

Number: 32-02

Page: The title page

Volume: 38

CI03 Correction of invention patent