CN110366707A - 用于通过卷积字典学习和编码进行全息无透镜成像中的对象检测的系统和方法 - Google Patents

用于通过卷积字典学习和编码进行全息无透镜成像中的对象检测的系统和方法 Download PDF

Info

Publication number
CN110366707A
CN110366707A CN201780068068.5A CN201780068068A CN110366707A CN 110366707 A CN110366707 A CN 110366707A CN 201780068068 A CN201780068068 A CN 201780068068A CN 110366707 A CN110366707 A CN 110366707A
Authority
CN
China
Prior art keywords
image
template
detected
correlation
hologram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780068068.5A
Other languages
English (en)
Inventor
弗洛伦斯·耶林
本杰明·D·哈菲勒
雷内·威尔达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medical Diagnostics Co
MiDiagnostics NV
Original Assignee
Medical Diagnostics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medical Diagnostics Co filed Critical Medical Diagnostics Co
Publication of CN110366707A publication Critical patent/CN110366707A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N15/0205—Investigating particle size or size distribution by optical means
    • G01N15/0227—Investigating particle size or size distribution by optical means using imaging; using holography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N15/0205—Investigating particle size or size distribution by optical means
    • G01N15/0227—Investigating particle size or size distribution by optical means using imaging; using holography
    • G01N2015/0233—Investigating particle size or size distribution by optical means using imaging; using holography using holography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/1454—Optical arrangements using phase shift or interference, e.g. for improving contrast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486—Counting the particles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/32—Holograms used as optical elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0033—Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • G03H2001/0038—Adaptation of holography to specific applications in hologrammetry for measuring or analysing analogue or digital holobjects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447—In-line recording arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G03H2001/0883—Reconstruction aspect, e.g. numerical focusing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Analytical Chemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Holo Graphy (AREA)

Abstract

一种用于检测样本中的对象的系统包括：腔室，用于保持该样本的至少一部分。该系统还包括：无透镜图像传感器，用于获得位于该腔室中的样本的该部分的全息图像。该系统进一步包括与该图像传感器通信的处理器，该处理器被编程用于获得其中描绘有一个或多个对象的全息图像。该处理器进一步被编程用于获得至少一个表示要检测的对象的对象模板，并且检测该全息图像中的至少一个对象。

Description

用于通过卷积字典学习和编码进行全息无透镜成像中的对象 检测的系统和方法
相关申请的交叉引用
本申请要求2016年11月4日提交的名称为“System and Method for ObjectDetection in Holographic Lens-Free Imaging by Convolutional DictionaryLearning and Encoding(用于通过卷积字典学习和编码进行全息无透镜成像中的对象检测的系统和方法)”的美国临时申请号62/417,720的优先权，该申请的整个披露内容通过引用结合在此。
背景技术
本披露涉及全息图像处理，并且更具体地涉及全息图像中的对象检测。
无透镜成像(LFI)，特别是与常规显微镜术相比时，由于其紧凑性、重量轻、硬件要求最低以及视场大而正逐渐成为生物应用的有利技术。一种这样的应用是在超宽视场中进行高通量细胞检测和计数。常规系统使用聚焦透镜并导致相对受限的视场。另一方面，LFI系统不需要此类视场限制的透镜。然而，检测无透镜图像中的对象是特别具有挑战性的，因为由两个非常接近的对象产生的全息图(即当光被对象散射时形成的干涉图案)可能相互干扰，这可能使得标准的全息重建算法(例如，广角谱重建)产生被环状伪像(比如图1(左)所示的伪像)困扰的重建图像。因此，比如阈值处理等简单的对象检测方法可能失败，因为重建伪像可能看起来像被成像的对象一样暗，这可能产生许多误报。
模板匹配是用于通过查找图像补丁与一个或多个预定义对象模板之间的相关性来检测图像中的对象的经典算法，并且典型地对于不太可能看起来像模板的重建伪像更稳健。但是，模板匹配的一个缺点是它需要用户预先指定对象模板：通常模板是从图像中手工提取的补丁，并且如果需要捕获对象实例之间的大的可变性，则模板的数量可能非常大。此外，模板匹配需要经由非最大抑制和阈值处理进行后处理，这些处理对几个参数敏感。
稀疏字典学习(SDL)是用于学习对象模板的无监督方法。在SDL中，图像中的每个补丁近似为字典原子(模板)的(稀疏)线性组合，这些字典原子是使用比如K-SVD等方法与稀疏系数一起学习的。然而，SDL效率不高，因为它需要高度冗余的模板数量以适应细胞可以出现在补丁内的多个位置的事实。此外，SDL需要使用字典对每个图像补丁进行编码，即使对象仅出现在图像的几个补丁中。
发明内容
本披露描述了用于LFI中的对象检测和计数的卷积稀疏字典学习方法。本发明的方法是基于卷积模型，该模型试图将输入图像表示为通过将对象模板与稀疏位置图卷积而形成的少量图像的总和(参见图1)。由于图像包含相对于像素数量的少量实例，因此可以使用卷积稀疏编码(CSC)来有效地进行对象检测，CSC是扩展了用于稀疏编码的匹配追踪算法的贪婪方法。此外，可以使用卷积稀疏字典学习(CSDL)自动地学习模板的集合，CSDL将K-SVD概括为卷积情形。
目前披露的方法克服了其他对象检测方法的许多限制和缺点，同时保留了它们的长处。与模板匹配类似，CSC不会受到重建伪像的欺骗，因为此类伪像与被检测的对象不相似。与模板匹配不同，CSC不使用图像补丁作为模板，而是直接从数据中学习模板，而不是使用预定义的示例对象。与模板匹配相比的另一个优点是CSC不依赖于后处理步骤和许多参数，因为编码步骤直接定位图像中的对象。此外，如果图像中的对象数量是先验已知的，则CSC完全不受参数约束；并且如果对象数量未知，则需要调整一个参数。另外，基于补丁的字典学习和编码方法必须与其他对象检测方法(如阈值处理)结合使用。相比之下，CSC和编码是独立的对象检测方法。CSC也不遭受基于补丁的字典编码的低效率。这是因为CSC的运行时间与图像中的对象数量和描述所有类型的对象事件所需的模板数量成比例，而基于补丁的方法的复杂性与补丁数量和(可能更大)模板数量成比例。这些优点使得目前披露的CSC技术特别适合于LFI中的细胞检测和计数。
附图说明
为了更全面地理解本披露的性质和目的，应当参考以下结合附图的详细描述，在附图中：
图1描绘了目前披露的技术，其中，左侧的图像是传统重建的全息图，所示出的六个模板是经由卷积字典学习学到的，在卷积字典编码期间，输入的图像被编码为具有不同强度的Δ函数的字典元素的卷积之和，从而导致右侧的图像。
图2是基于补丁的字典编码与CSC在计数精度和运行时间方面的比较；
图3是根据本披露的实施例的用于计数对象的方法的流程图；
图4描绘了根据本披露的另一个实施例的系统；
图5描绘了由根据本披露的另一个实施例的系统获取的全息图的局部重建；并且
图6描绘了由根据本披露的另一个实施例的系统获取的全息图的远程重建。
具体实施方式
参考图3，本披露可以体现为用于检测全息图像中的对象的方法100。方法100包括获得103全息图像，比如包含多个对象的流体的全息图像。获得106至少一个对象模板，其中该至少一个对象模板是要计数的对象的表示。可以使用一个以上对象模板，并且使用更大数量的对象模板可以改进对象检测。例如，每个对象模板可以是要检测的对象(在对象模板之中)的唯一表示，例如，处于不同的对象取向、形态等的对象的表示。在实施例中，对象模板的数量可以是2个、3个、4个、5个、6个、10个、20个、50个或更多个，包括它们之间的所有整数个对象。在一些实施例中，要检测的对象是不同的对象，例如，红细胞和白细胞。在此类实施例中，对象模板可以包括不同对象的表示，使得可以检测、计数和/或区分对象。
方法100包括检测109全息图像中的至少一个对象。在一些实施例中，检测至少一个对象的步骤包括计算130残差图像与至少一个对象模板之间的相关性。最初，残差图像是全息图像，但是当重复该方法的步骤时，利用该方法的每次迭代的结果来更新残差图像(如下文进一步描述的)。在获得106个一个以上对象模板的情况下，计算130残差图像与每个对象模板之间的相关性。通过确定残差图像中使所计算的130相关性最大化的位置，在残差图像中检测133对象。还确定了最大化相关性的强度。
通过从残差图像中减去在确定的位置处用Δ函数(下文进一步描述)卷积的检测到的133对象模板并且通过最大化相关性的强度对其进行加权来更新139残差图像。重复139计算130相关性、确定133最大化相关性的位置和更新136残差图像的步骤，直到相关性的强度达到预定阈值。对于每次迭代，利用更新的136残差图像。例如，在最初使用全息图像作为残差图像的情况下，在随后的迭代中使用更新的136残差图像。随着迭代的进行，相关性的强度降低，并且当例如相关性的强度小于或等于预定阈值时，可以停止该过程。预定阈值可以通过如根据本披露将显而易见的任何方法确定，例如通过交叉验证，其中将结果与已知良好的结果进行比较以确定是否应当进一步迭代该方法。可以通过任何模型选择技术来选择阈值，比如交叉验证。
在一些实施例中，获得106至少一个对象模板的步骤包括从全息图像中选择150至少一个补丁作为候选模板。使用候选模板来检测153全息图像中的至少一个对象。例如，可以使用上述相关性方法来检测153至少一个对象。将检测到的153对象与候选模板一起存储156。在使用一个以上候选模板的情况下，存储对象和相应的模板。基于与这个模板相对应的检测到的对象来更新159至少一个候选模板。重复162检测153对象、存储156对象和候选模板、以及基于检测到的对象更新159候选模板的过程，直到候选模板的变化小于预定阈值。为了学习模板，可以利用单个全息图像来完成该过程，其中选择随机补丁来初始化“模板”，并且对从其初始化模板的同一图像执行对象检测。一旦学习了模板，就可以使用它们在第二图像中进行对象检测。
方法100可以包括基于至少一个检测到的对象来确定112全息图像中的对象数量。例如，在用于检测109全息图像中的至少一个对象的上述示例性步骤中，每次检测到对象时，可以更新检测到的对象的总数，并且可以确定112全息图像中的对象数量。
在另一个方面，本披露可以体现为用于检测样本中的对象的系统10。样本90可以是例如流体。系统10包括用于保持样本90的至少一部分的腔室18。在样本是流体的示例中，腔室18可以是流体移动穿过的流体路径的一部分。例如，流体可以移动穿过管或微流体通道，并且腔室18是将对其中的对象进行计数的管或通道的一部分。系统10可以具有用于获得全息图像的无透镜图像传感器12。图像传感器12可以是例如有源像素传感器、电荷耦合装置(CCD)或CMOS有源像素传感器。系统10可以进一步包括光源16，比如相干光源。图像传感器12配置为当图像传感器12被致动时，获得腔室18中流体的由来自光源16的光照射的部分的全息图像。处理器14可以与图像传感器12通信。
处理器14可以被编程用于执行本披露的任何方法。例如，处理器14可以被编程用于：获得腔室18中的样本的全息图像；获得至少一个对象模板；并且基于该对象模板检测该全息图像中的至少一个对象。在获得全息图像的示例中，处理器14可以被编程用于致使图像传感器12捕获腔室18中的样本的全息图像，并且处理器14然后可以从图像传感器12获得所捕获的图像。在另一个示例中，处理器14可以从存储装置获得全息图像。
参考图5-6，系统10可以配置用于“局部”重建，例如，其中图像传感器12和处理器14构成系统10。系统10可以进一步包括光源16，用于照射样本。例如，光源16可以是相干光源，比如提供相干光的激光二极管。系统10可以进一步包括样本成像腔室18，该样本成像腔室配置为在获取全息图期间容纳样本。在其他实施例(例如，如图6所描绘的实施例)中，系统20配置用于“远程”重建，其中处理器24与图像传感器分离并且通过例如有线或无线网络连接、闪存驱动器等从图像传感器接收信息。
处理器可以与存储器通信和/或包括存储器。存储器可以是例如随机存取存储器(RAM)(例如，动态RAM、静态RAM)、闪存存储器、可移除存储器等。在一些实例中，与执行在此描述的操作相关联的指令(例如，操作图像传感器、生成重建图像)可以存储在存储器和/或存储介质(在一些实施例中，其包括存储指令的数据库)内并且这些指令在处理器处执行。
在一些实例中，处理器包括一个或多个模块和/或部件。由处理器执行的每个模块/部件可以是基于硬件的模块/部件(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP))、基于软件的模块(例如，存储在存储器和/或数据库中和/或在处理器处执行的计算机代码的模块)和/或基于硬件的模块和基于软件的模块的组合的任何组合。由处理器执行的每个模块/部件能够执行如在此描述的一个或多个特定功能/操作。在一些实例中，在处理器中包括和执行的模块/部件可以是例如过程、应用程序、虚拟机和/或某种其他硬件或软件模块/部件。处理器可以是配置为运行和/或执行这些模块/部件的任何合适的处理器。处理器可以是配置为运行和/或执行一组指令或代码的任何合适的处理装置。例如，处理器可以是通用处理器、中央处理单元(CPU)、加速处理单元(APU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP)等。
在此描述的一些实例涉及具有非暂态计算机可读介质(也可以称为非暂态处理器可读介质)的计算机存储产品，其上具有用于执行各种计算机实现的操作的指令或计算机代码。计算机可读介质(或处理器可读介质)在其本身不包括暂态传播信号(例如，在比如空间或电缆等传输介质上承载信息的传播电磁波)的意义上是非暂态的。介质和计算机代码(也可以称为代码)可以是设计和构造用于一个或多个特定目的的那些介质和计算机代码。非暂态计算机可读介质的示例包括但不限于：比如硬盘、软盘和磁带等磁存储介质；比如光盘/数字视频光盘(CD/DVD)、光盘只读存储器(CD-ROM)和全息装置等光盘存储介质；比如光盘等磁光存储介质；载波信号处理模块；以及专门配置为存储和执行程序代码的硬件装置，比如专用集成电路(ASIC)、可编程逻辑装置(PLD)、只读存储器(ROM)和随机存取存储器(RAM)装置。在此描述的其他实例涉及计算机程序产品，该计算机程序产品可以包括例如在此讨论的指令和/或计算机代码。
计算机代码的示例包括但不限于微代码或微指令、机器指令(比如由编译器产生)、用于产生web服务的代码，以及包含由计算机使用注释器执行的更高级指令的文件。例如，可以使用Java、C++、.NET或其他编程语言(例如，面向对象的编程语言)和开发工具来实现实例。计算机代码的附加示例包括但不限于控制信号、加密代码和压缩代码。
在示例性应用中，本披露的方法或系统可以用于检测和/或计数全息样本中的对象。例如，该系统的实施例可以用于计数全血中的红细胞和/或白细胞。在这种实施例中，(多个)对象模板可以是处于一个或多个取向的红细胞和/或白细胞的表示。在一些实施例中，可以在使用目前披露的技术之前对生物样本进行处理。
在另一个方面，本披露可以体现为非暂态计算机可读介质，其上存储有用于指示计算机执行在此披露的任何方法的计算机程序。例如，非暂态计算机可读介质可以包括计算机程序，用于：获得其中描绘有一个或多个对象的全息图像；获得至少一个表示要检测的对象的对象模板；并且检测该全息图像中的至少一个对象。
进一步说明
在给定使用例如广角谱重建获得的观察图像的情况下，假设图像包含位置处的对象的实例。假设实例数量及其位置两者都是未知的。还假设K个对象模板捕获跨多个实例的对象形状的变化。假定Ii是仅包含位置(xi,yi)处的对象的第i个实例的图像，并且假定ki是最接近第i个实例的模板。因此：
其中★表示卷积。I可以分解为使得
其中变量ai∈{0,1}是这样的：使得在第i个实例存在的情况下，ai=1，并且在其他情况下，ai=0，并且引入该变量以考虑当N是对象数量的上限时，I中存在较少对象实例的可能性。在实践中，可以放宽ai∈[0,1]，使得ai的量值测量检测的强度。观察到多个对象实例可以选择同一模板，使得K＜＜N。图1提供了方程(2)的图形描述。
方程(2)是一般稀疏卷积近似的特殊情况，其中图像被描述为稀疏(在l0的意义上)滤波器与模板的卷积之和：用于处理一般卷积字典学习和编码问题的一些方法包括使目标凸显以及使用贪婪方法。
通过卷积稀疏编码的细胞检测
暂时假设模板是已知的。在给定图像I的情况下，目标是找到对象实例的数量N(对象计数)及其位置(对象检测)。作为副产品，估计最接近第i个实例的模板Ki。这个问题可以表述为
其中是δ(x-xi,y-yi)的速记符号。
不是一步解决图像中所有N个对象的问题(3)，而是使用贪婪方法一次检测一个对象(需要N步)。这种方法是将稀疏编码的匹配追踪应用于卷积目标。假定Ri是尚未编码的输入图像的一部分，称为残差图像。最初，没有图像被编码，因此R0=I。在已经对所有N个对象进行编码之后，残差RN将包含背景噪声，但不包含任何对象。用于定位第i个对象的基本对象检测步骤可以表述为
针对固定的ai，可以证明，最小化问题(4)等同于最大化问题
其中⊙表示相关性并且<·,·>表示内积。应当注意，问题(5)的解是计算Ri-1与所有模板dk的相关性，并选择给出最大相关性的模板和位置(类似于模板匹配)。在给定最优ki、xi、yi的情况下，在(4)中求解ai是简单的二次问题，其解可以以封闭的形式计算。这些观察结果导致方法1中的CSC方法。
通过注意到以下情况可以有效地实现方法1：如果模板的大小是m2并且图像的大小是M2，则m＜＜M。因此，只能执行一次K[m2]*[M2]，并且在第一次迭代之后，可以仅使用m2规模上的本地更新来完成后续迭代。通过注意到Qi的更新涉及(xi,yi)周围的局部变化可以获得进一步的效率，因此可以使用最大堆实现方式来存储大型(KM2)矩阵Q。如果Q被存储为矩阵，则必须在每次迭代时执行昂贵的操作max(Q)。相反，如果Q被存储为最大堆，则更新该堆中的K(2m-1)2个元素的每次迭代会增加成本，但max(Q)不需要计算。消除Nmax(·)个操作所带来的计算收益远远超过添加NK(2m-1)2个堆更新的成本。卷积稀疏编码的终止准则。
因为在CSC方法的每次迭代期间定位了一个对象，所以计数精度受到何时终止迭代方法的影响。稀疏系数{αi}随着i减小，因为图像中的所选对象与模板的相似度逐渐减小。在一些实施例中，当时算法终止，其中T是通过例如交叉验证选择的阈值。当N不是先验已知的时，这种终止标准使得能够使用CSC来对N个对象进行编码。
利用卷积稀疏字典学习(CSDL)的模板训练
现在考虑学习模板的问题。CSDL方法使(3)中的目标最小化，但现在关于也以约束‖dk‖2=1为条件。一般而言，这将需要求解非凸优化问题，因此采用了使用K-SVD的卷积版本的贪婪近似，该贪婪近似在CSC与更新字典之间交替。在编码更新步骤期间，字典是固定的，并且使用CSC算法来更新稀疏系数和对象位置。在字典更新步骤期间，稀疏系数和对象位置是固定的，并且使用奇异值分解一次更新一个对象模板。与模板dp相关联的误差图像被定义为其中Δp={i∶ki=p}。更新dp的优化问题因此可以表述为
应当注意，可以从在处居中的Ep中提取补丁(与模板的大小相同)，并且问题(6)可以简化为标准的基于补丁的字典更新问题。这导致方法2中所描述的方法。一旦已经从训练图像中学习了字典，它就可以用于在新测试图像中经由CSC进行对象检测和计数。
示例性实施例
所披露的CSDL和CSC方法应用于对使用广角谱重建而重建的全息无透镜图像中的红细胞和白细胞进行检测和计数的问题。采用了来自十个供体的抗凝人血样本的图像数据集。从每个供体中，对两种类型的血液样本进行成像：(1)稀释的(300:1)全血，其主要含有红细胞(除了极少量的血小板和更少的白细胞之外)；以及(2)与裂解的红细胞混合的白细胞。由于裂解的红细胞碎片，白细胞更难以检测。所有血细胞在流过微流体通道时在悬浮液中进行成像。使用血液学分析仪从十个供体中的每一个获得“基础真实”红细胞和白细胞浓度。真实的计数是从由血液学分析仪提供的浓度、微流体通道的已知尺寸和已知的稀释比计算而来的。对于本发明比较，一旦使用目前披露的方法对图像中的细胞进行计数，就使用稀释比将计数转换为浓度。
使用CSDL学习四个字典，每个字典都是从单个图像中学习的：针对每个成像仪(I1和I2)和每种血液样本类型(RBC和WBC)学习字典。使用CSDL字典的十次迭代来学习六个红细胞模板和七个白血细胞模板。RBC和WBC模板分别为7×7和9×9像素(WBC典型地大于RBC)。然后将CSC应用于所有数据集，总共大约2,700个图像(分别来自数据集I1-RBC、I2-RBC、I1-WBC和I2-WBC的每个供体约240个、50个、200个和50个图像)。表1示出了与来自血液学分析仪的细胞计数相比的平均细胞计数的误差率。
表1.与来自血液学分析仪的外推细胞计数相比，使用CSDL和CSC获得的细胞计数的％误差。
最后，将使用卷积字典学习和编码获得的结果与从图2中的标准的基于补丁的字典编码获得的结果进行比较。应当注意，当使用基于补丁的稀疏字典编码时，在图像重建时间与重建质量之间存在折衷。另外应当注意，CSC的运行时间取决于图像中要检测的细胞数量以及描述细胞之中预期变化所需的模板数量(更多变化意味着需要更多模板)。典型的RBC图像包含约2,500个细胞，而WBC图像仅包含约250个细胞。
关于本说明书，本领域的普通技术人员将理解以下描述，使得在此提到的图像不需要在方法中的任何点显示，而是表示使用一种或多种无透镜成像技术产生的一个或多个数据文件，并且重建这些图像的步骤替代地意味着转换这些数据文件以产生随后可以用于产生更清晰的图像或者可以通过统计手段分析出有用输出的数据文件。例如，可以通过无透镜成像技术捕获血液样本的图像文件。这种文件将具有衍射图案，然后将该衍射图案数学地重建为包含表示血液样本的图像的数据的第二文件。第二文件可以替换第一文件或单独存储在计算机可读介质中。可以进一步处理任一文件以便更准确地表示血液样本的潜在视觉呈现，或者其在获得样本中包含的(任何类型)血细胞的计数方面的有用性。各种数据文件的存储将使用典型地用于图像处理领域中的数据存储的方法来完成。
尽管已经关于一个或多个特定实施例描述了本披露，但是应当理解，在不脱离本披露的精神和范围的情况下，可以做出本披露的其他实施例。以下是旨在仅说明本披露的实施例的非限制性示例权利要求。

Claims (15)

1.一种用于检测样本中的对象的系统，该系统包括：
腔室，用于保持该样本的至少一部分；
无透镜图像传感器，用于获得位于该腔室中的样本的该部分的全息图像；以及
处理器，该处理器与该图像传感器通信，该处理器被编程用于：
(a)获得其中描绘有一个或多个对象的全息图像；
(b)获得至少一个表示要检测的对象的对象模板；并且
(c)检测该全息图像中的至少一个对象。
2.如权利要求1所述的系统，其中，该处理器进一步被编程用于基于该至少一个检测到的对象来确定该全息图像中的对象数量。
3.如权利要求1所述的系统，其中，该处理器进一步被编程用于通过以下方式检测至少一个对象：
(c1)计算残差图像与该至少一个对象模板之间的相关性，其中，该残差图像是该全息图像；
(c2)确定该残差图像中使所计算的相关性最大化的位置作为检测到的对象，并且确定该最大化相关性的强度；
(c3)将该残差图像更新为该残差图像与在所确定的位置处用Δ函数卷积并且通过该最大化相关性的强度进行加权的对象模板之间的差异；以及
(c4)使用该更新的残差图像重复步骤(c1)-(c3)，直到该最大化相关性的强度达到预定阈值。
4.如权利要求1所述的系统，其中，该处理器进一步被编程用于通过以下方式获得至少一个对象模板：
(b1)从该全息图像中选择至少一个补丁作为候选模板；
(b2)使用该候选模板检测第二全息图像中的至少一个对象；
(b3)存储这些检测到的对象和相应的候选模板；
(b4)基于这些相应检测到的对象来更新该候选模板；以及
(b5)重复步骤(b2)-(b4)，直到该候选模板的变化小于预定阈值。
5.如权利要求1所述的系统，其中，该图像传感器是有源像素传感器、CCD或CMOS有源像素传感器。
6.如权利要求1所述的系统，进一步包括：相干光源。
7.一种用于检测全息图像中的对象的方法，该方法包括：
(a)获得其中描绘有一个或多个对象的全息图像；
(b)获得至少一个表示要检测的对象的对象模板；以及
(c)使用该至少一个对象模板来检测该全息图像中的至少一个对象。
8.如权利要求7所述的方法，进一步包括：基于该至少一个检测到的对象来确定该全息图像中的对象数量。
9.如权利要求7所述的方法，其中，检测至少一个对象的步骤包括：
(c1)计算残差图像与该至少一个对象模板之间的相关性，其中，该残差图像是该全息图像；
(c2)确定该残差图像中使所计算的相关性最大化的位置作为检测到的对象，并且确定该最大化相关性的强度；
(c3)将该残差图像更新为该残差图像与在所确定的位置处用Δ函数卷积并且通过该最大化相关性的强度进行加权的对象模板之间的差异；以及
(c4)使用该更新的残差图像重复步骤(c1)-(c3)，直到该最大化相关性的强度达到预定阈值。
10.如权利要求9所述的方法，其中，获得两个或更多个对象模板，并且其中，确定该残差图像中使所计算的相关性最大化的位置的步骤进一步包括确定使所计算的相关性最大化的对象模板。
11.如权利要求9所述的方法，其中，获得至少三个对象模板。
12.如权利要求7所述的方法，其中，获得至少一个对象模板的步骤包括：
(b1)从该全息图像中选择至少一个补丁作为候选模板；
(b2)使用该候选模板检测该全息图像中的至少一个对象；
(b3)存储这些检测到的对象和相应的候选模板；
(b4)基于这些相应检测到的对象来更新该候选模板；以及
(b5)重复步骤(b2)-(b4)，直到该候选模板的变化小于预定阈值。
13.如权利要求12所述的方法，其中，随机选择该至少一个补丁。
14.如权利要求12所述的方法，其中，选择两个或更多个补丁作为候选模板。
15.一种非暂态计算机可读介质，其上存储有用于指示计算机执行以下操作的计算机程序：
(a)获得其中描绘有一个或多个对象的全息图像；
(b)获得至少一个表示要检测的对象的对象模板；并且
(c)检测该全息图像中的至少一个对象。
CN201780068068.5A 2016-11-04 2017-11-03 用于通过卷积字典学习和编码进行全息无透镜成像中的对象检测的系统和方法 Pending CN110366707A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662417720P 2016-11-04 2016-11-04
US62/417,720 2016-11-04
PCT/US2017/059933 WO2018085657A1 (en) 2016-11-04 2017-11-03 System and method for object detection in holographic lens-free imaging by convolutional dictionary learning and encoding

Publications (1)

Publication Number Publication Date
CN110366707A true CN110366707A (zh) 2019-10-22

Family

ID=62075637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780068068.5A Pending CN110366707A (zh) 2016-11-04 2017-11-03 用于通过卷积字典学习和编码进行全息无透镜成像中的对象检测的系统和方法

Country Status (5)

Country Link
US (1) US20200103327A1 (zh)
EP (1) EP3535622A4 (zh)
JP (1) JP2019537736A (zh)
CN (1) CN110366707A (zh)
WO (1) WO2018085657A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110836867A (zh) * 2019-10-18 2020-02-25 南京大学 一种基于卷积神经网络的无透镜全息显微微粒表征方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3082943A1 (fr) * 2018-06-20 2019-12-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de comptage de particules de petite taille dans un echantillon
EP4042321B1 (en) * 2019-10-11 2024-04-03 miDiagnostics NV System and method for object detection in holographic lens-free imaging by convolutional dictionary learning and encoding with phase recovery
CN112365463A (zh) * 2020-11-09 2021-02-12 珠海市润鼎智能科技有限公司 高速图像中微小物体的实时检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160153959A1 (en) * 2007-01-22 2016-06-02 Isis Innovation Limited Method of detecting objects

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006093255A1 (ja) * 2005-03-03 2006-09-08 Pioneer Corporation マーカ選択方法、マーカ選択装置、マーカ、ホログラム記録装置及び方法、ホログラム再生装置及び方法、並びにコンピュータプログラム
US7616320B2 (en) * 2006-03-15 2009-11-10 Bahram Javidi Method and apparatus for recognition of microorganisms using holographic microscopy
WO2012082776A2 (en) * 2010-12-14 2012-06-21 The Regents Of The University Of California Method and device for holographic opto-fluidic microscopy
JP2014235494A (ja) * 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160153959A1 (en) * 2007-01-22 2016-06-02 Isis Innovation Limited Method of detecting objects

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARIUS PACHITARIU: "《Extracting regions of interest from biological images with convolutional sparse block coding》", 《PROCEEDINGS OF THE 27TH ANNUAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 *
MOZHDEH SEIFI: "《FAST DIFFRACTION-PATTERN MATCHING FOR OBJECT DETECTION AND RECOGNITION IN DIGITAL HOLOGRAMS》", 《21ST EUROPEAN SIGNAL PROCESSING CNFERENCE》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110836867A (zh) * 2019-10-18 2020-02-25 南京大学 一种基于卷积神经网络的无透镜全息显微微粒表征方法

Also Published As

Publication number Publication date
EP3535622A4 (en) 2020-05-13
US20200103327A1 (en) 2020-04-02
WO2018085657A1 (en) 2018-05-11
JP2019537736A (ja) 2019-12-26
EP3535622A1 (en) 2019-09-11

Similar Documents

Publication Publication Date Title
KR102213730B1 (ko) 반도체 애플리케이션을 위한 신경망 및 순방향 물리적 모델을 포함하는 방법 및 시스템
CN110366707A (zh) 用于通过卷积字典学习和编码进行全息无透镜成像中的对象检测的系统和方法
CN107636659B (zh) 使用深度神经网络检测医学图像中的地标的方法和系统
US10339651B2 (en) Simultaneous feature extraction and dictionary learning using deep learning architectures for characterization of images of heterogeneous tissue samples
JP7170037B2 (ja) 大オフセットダイ・ダイ検査用複数段階画像整列方法
CN114612479A (zh) 一种基于全局与局部特征重建网络的医学图像分割方法
Othman et al. A new deep learning application based on movidius ncs for embedded object detection and recognition
KR102246319B1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
US10908060B2 (en) Method for determining parameters of a particle
Hagos et al. ConCORDe-Net: cell count regularized convolutional neural network for cell detection in multiplex immunohistochemistry images
CN116612472B (zh) 基于图像的单分子免疫阵列分析仪及其方法
CN115471448A (zh) 基于人工智能的胸腺瘤组织病理的分型方法及装置
CN114842270A (zh) 一种目标图像的分类方法、装置、电子设备及介质
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其系统
CN110942097A (zh) 基于单像素探测器的免成像分类方法和系统
CN112200264B (zh) 基于散射复用的高通量免成像分类方法与装置
Voon et al. Evaluating the effectiveness of stain normalization techniques in automated grading of invasive ductal carcinoma histopathological images
US20210166433A1 (en) Domain matching methods for transportable imaging applications
Guay et al. Designing deep neural networks to automate segmentation for serial block-face electron microscopy
US11960102B2 (en) Pinpointing single molecule positions with in situ point spread function retrieval for three dimensional nanoscopy of whole cells and tissues
Valdiviezo-N et al. Autofocusing in microscopy systems using graphics processing units
Stallmann et al. Novel transfer learning schemes based on Siamese networks and synthetic data
Jayaraj Digital Pathology with Deep Learning for Diagnosis of Breast Cancer in Low-Resource Settings
Wang et al. vU-net: Accurate cell edge segmentation in time-lapse fluorescence live cell images based on convolutional neural network
Konathala Uncertainty Aware AI for MRI Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191022

WD01 Invention patent application deemed withdrawn after publication