CN104115074A - 全息图处理方法和系统 - Google Patents

Abstract

本发明涉及全息图或者全息强度数据处理方法和系统。所述系统实施所述方法，所述方法包括接收全息强度数据，全息强度数据至少包括传播空间中离散位置处的全息强度图案或者图像，传播空间包括三维空间，形成全息强度图案的光波或者光照在所述三维空间上传播。所述方法包括在所接收的全息强度数据中确定至少一个潜在感兴趣对象(19)的一个或者多个数据关键点；以及还包括将确定一个或者多个数据关键点和与对象关联的至少一个预先确定的传播空间不变量对象描述符比较以确定匹配，以便识别或者检测对象并且确定其在传播空间里的位置。

Description

全息图处理方法和系统

技术领域

本发明涉及全息图处理方法和系统。

背景技术

在例如数字式全息显微镜(离轴、同轴等)的全息应用中，通过来自记录装置(例如，CCD或者CMOS记录装置)表面处的光源的参照和对象的波的干扰生成感兴趣对象的全息图。得到的全息图特别是表示全息图的对象的全息强度图案然后用于重建原始目标位置处对象的虚拟图形。然后以常规方式分析这些重建的虚拟图形以研究对象，例如，对象的属性。

尽管全息强度图案典型地包括大量与相应对象关联的信息，但是这些信息并不经常被使用或者未被充分使用。因此，本发明的目的至少是解决这种情况。

发明内容

根据本发明的第一方面，提供一种方法，其包括：

接收全息强度数据，全息强度数据至少包括传播空间中离散位置处的全息强度图案或者图像，传播空间包括这样一种空间例如三维空间，其中，与生成全息强度图案关联的光照在该空间上传播，以至少助于全息强度数据的生成；

处理所接收的全息强度数据以确定所接收的全息强度数据中的至少一个潜在感兴趣对象的一个或者多个数据关键点；以及

将确定一个或者多个数据关键点和与对象关联的至少一个预先确定的对象描述符比较以确定匹配，其中对象描述符是传播空间不变量。

方法可以包括提供多个对象描述符，每个对象描述符包括与传播空间中的多个希望离散位置分别关联的多个描述符子集，其中每个描述符子集包括一个或者多个描述符关键点。

通过不同的定义，可以理解的是，在传播空间收集关键点因而关键点被局域化至传播空间。关键点的集合可以形成对于感兴趣对象的对象描述符。因而，对象描述符可以变成传播空间不变量以允许以传播空间不变量的方式检测和/或识别感兴趣对象，而导致检测的关键点的子集可以另外地允许传播空间中感兴趣对象的局域化。

方法可以包括在潜在感兴趣对象的一个或多个确定数据关键点和对象描述符的描述符关键点之间的匹配之后，助于潜在感兴趣对象的识别以及所识别对象关于传播空间的位置的确定中的一个或者两个和对象描述符的描述符关键点之间的匹配上的传播空间确定所识别对象的位置。

方法可以包括通过分析与所接收全息强度图案关联的像素的强度值而确定数据关键点。

方法可以包括：

接收对象的图像；

将波形传播算法应用于传播空间上的多个离散位置的接收图像，因而生成与在传播空间上的离散位置对应的多个全息强度图案；

确定传播空间上的每个生成全息强度图案的描述符关键点；以及

使用所确定描述符关键点和表示在传播空间上的关联的离散位置的信息，生成与对象关联的对象描述符。

可以注意的是，多个生成的全息强度图案可以通过波形传播等式人工地生成。尽管方法包括自动生成人工全息图并且训练该人工全息图，可以理解的是，在一些示例性实施例中，方法可以包括通过手动地生成多个物理全息图并将其训练，确定对象描述符的描述符关键点。

对象的图像典型地包括对象的显微镜图像。

通过将确定描述符关键点和传播空间中的对应离散位置关联，生成对象描述符子集；

通过关联与对象对应的每个生成的描述符子集，生成与该对象关联的对象描述符；以及

将生成对象描述符存储在数据库中。

在一个示例性实施例中，对象描述符另外是尺度空间不变量，方法因而可以包括：

通过应用模糊算法至每个生成全息强度图案，对于在传播空间上生成的多个全息强度图案中的每个全息强度图案生成尺度空间，因而生成模糊图案；

通过将生成模糊图像彼此相减，确定生成模糊图像之间的差；

定位确定差中的极值尺度不变量关键点；以及

使用尺度不变量关键点以生成尺度空间不变量对象描述符。

可以注意的是，方法可以包括通过以下步骤确定匹配的精度：

应用重建算法至接收全息强度数据，以重建接收全息强度数据回到与匹配关键点关联的传播空间中的离散位置；

在传播空间中该位置处得到关键点；

将新得到的关键点与数据库中的对象描述符比较，以增加匹配中的置信值。

在一个示例性实施例中，方法可以包括获取全息强度数据的步骤。

根据本发明的第二方法，提供一种用于处理全息强度数据的系统，系统包括：

存储数据的数据库；

数据接收器模块，其被配置为接收全息强度数据，全息强度数据至少包括传播空间中离散位置处的全息强度图案或者图像，传播空间包括三维空间，其中与生成全息强度图案关联的光照在该三维空间上传播以至少助于全息强度数据的生成；

数据关键点提取模块，其被配置为以确定接收全息强度数据中的至少一个潜在感兴趣对象的一个或者多个数据关键点；以及

比较器模块，其被配置为将确定的一个或者多个数据关键点与存储在数据库中与对象关联的至少一个预先确定对象描述符比较以确定匹配，其中对象描述符是传播空间不变量。

数据库存储多个对象描述符，每个对象描述符包括与传播空间中的多希望离散位置分别关联的多个描述符子集，其中每个描述符子集包括一个或者多个描述符关键点。每个描述符子集可以包括表示传播空间中关联的离散位置的信息。

系统包括分类器模块，其被配置为在由比较模块确定的在潜在感兴趣对象的一个或者多个确定数据关键点和数据库中存储的对象描述符的描述符关键点之间的匹配之后，执行潜在感兴趣对象的的识别以及所识别对象关于传播空间的位置的确定中的一个或者多个。

关键点提取模块被配置为通过分析与接收全息强度图案关联的像素的强度值，确定数据关键点。

系统可以包括描述符确定模块，其包括：

训练数据接收器模块，其被配置为接收对象的图像；

波形传播模块，其被配置为应用波形传播算法至传播空间上的多个离散位置的接收图像，因而生成与传播空间上的离散位置对应的多个全息强度图案；并且

训练关键点提取模块，其被配置为确定在传播空间上的每个生成全息强度图案的描述符关键点；

其中描述符确定模块被配置为使用确定描述符关键点和表示传播空间上的关联离散位置的信息以生成与对象关联的对象描述符。

描述符确定模块可以被配置为：

通过关联确定描述符关键点和传播空间里的对应离散位置，生成对象描述符子集；

通过关联对应于对象的每个生成描述符子集，生成与对象关联的对象描述符；以及

将生成对象描述符存储在数据库中。

在一个示例性实施例中，描述符确定模块可以被配置为：

通过应用模糊算法至每个生成全息强度图案，生成在传播空间上生成的多个全息强度图案中的每个全息强度图案的尺度空间，因而生成模糊图像；

通过将生成模糊图像彼此相减，确定生成模糊图像之间的差；

定位确定差中的极值尺度不变量关键点；以及

使用尺度不变量关键点以生成尺度空间不变量对象描述符。

可以理解的是，对象的形状和在传播空间中其它视觉特征可以改变，并且对象的尺寸可以改变。本发明有利地具体地解决了传播空间上的改变。对于微小尺度的对象，可以理解的是，传播空间上的对象属性的变化通常比尺寸变化更大。

分类器模块可以被配置为通过至少以下步骤确定匹配的精度：

应用重建算法至所接收全息强度数据，以重建接收全息强度数据回到与匹配关键点关联的传播空间中的离散位置；

在传播空间中的该位置处得到关键点；

比较所得到的关键点与对象描述符，以确定匹配。

系统还可以包括全息强度数据获取装置。

全息强度数据获取装置可以包括：

光照装置，其被配置为生成光照；

空间滤波器，其位于距离光照装置预定距离处，空间滤波器包括至少一个光照孔以用于来自光照装置的光照从光照孔通过；

样品保持器，其可去除地位于距离空间滤波器预定距离处，样品保持器被配置为在来自光照孔的光照的传播空间中保持样品材料；以及

图像记录装置，其与来自样品保持器的光照的传播空间中的样品保持器距离预定距离，图像记录装置被配置为至少生成样品保持器中的材料的数字全息强度图案。

根据本发明的第三方面，其提供非暂态计算机可读媒介，其包括一组计算机可读指令，当该组计算机可读指令在计算装置上执行时导致计算装置执行上文所描述的方法步骤。

附图说明

图1示出了根据本发明示例性实施例的处理全息强度数据的系统的示意性框图；

图2示出了根据本发明示例性实施例的全息强度数据获取装置；

图3(a)示出了包括多个对象的样品的示例性原始图像；

图3(b)示出了生成的全息强度图案的图像；

图3(c)示出了(b)中的全息强度图案的重建图像；

图4示出了根据示例性实施例的全息图的示意图；

图5示出了根示出据示例性实施例的向量位置的圆盘的示意图；

图6示出了根据示例性实施例的处理全息强度数据的方法的高级流程图；

图7示出了根据示例性实施例的方法的另一个流程图；

图8示出了根据示例性实施例的方法的另一个流程图；以及

图9示出了计算机系统的实例形式中的机器的图示法，其中可以执行使得机器执行文中所讨论方法的任意一个或多个的指令集。

具体实施方式

在下文的描述中，为了说明的目的，阐述许多具体细节以便提供对本公开的实施例的全面理解。然而，对本领域技术人员显而易见的是本公开可以实践而无须这些具体细节。

参考附图中的图1，其中根据本发明示例性实施例的系统通常由附图标记10指代。系统10典型地是处理全息强度数据以用于各种应用例如用于识别数字全息显微镜中感兴趣对象的处理系统10。

系统10包括存储非暂态数据的数据库或者存储装置12。数据库12可以是位于一个或者多个位置但是彼此数据通信的一个或者多个适合的装置，以提供信息的数字存储装置。

将会注意到的是，系统10可以是计算机实现或者操作的系统并且可以包括具有非暂态计算机可读介质的一个或者多个处理器，例如，存储指令或者软件的数据库12指令文中所描述的系统10的操作。参考文中所公开的方法而描述的步骤典型地由与文中所描述的描述关联的一个或者多个步骤的应用而实现。

通过不同的定义，系统10包括多个组件或者模块，其对应于系统10所执行的功能任务。说明书的上下文中的术语“模块”可以被理解为包括代码的可识别部分、计算机的或者可执行的指令、数据或计算对象以实现特定功能、操作、处理或过程。因而，模块不需要在软件中实现，模块可以在软件、硬件或者软件与硬件的组合来实现。另外，模块不一定需要被合并到一个装置中，而是可以在多个装置之间传播。所描述的一些模块在功能上可以重叠并且在实践中可以包括单模块。然而，为了易于解释，它们将视情况被分别描述和提及。

现在参考图2和图3，系统10包括数据接收器模块14，其被配置为接收至少包括全息强度图案或者图像的全息强度数据，全息强度图像的实例在图3(b)中示出。为了简便起见，在描述中，术语“全息”、“全息强度图案”和“全息图像”可以理解地指代相同的内容。

在一个实例性实施例中，数据接收器模块14可以配置为接收来自图2中示出的全息强度数据获取装置16的全息强度数据，装置16被配置为获取全息强度数据。因而模块14硬连接或者经由无线通信通道中的任意一种与数据获取装置16数据通信。全息强度图案典型地与包括多个感兴趣对象19例如血细胞的感兴趣材料关联。可以理解的是，在一些示例性实施例中，系统10可选择地包括数据获取装置16，系统10因而包括同轴(或者离轴，视情况而定)数字全息显微镜系统。

在图2中，数据获取装置16包括配置为生成光照的光照装置或者光照源18.光照装置18包括例如红外激光二极管(808纳米)或者蓝色激光二极管(408纳米)的二极管光源。平面空间滤波器20位于距离光照装置预定距离处。空间滤波器20包括直径约50微米的至少一个圆形光照孔20.1以用于来自光照装置18的光照从所述光照孔20.1通过。有利地选择光照孔20.1的形状和/或尺寸，改善来自光照装置18的光或者光照的准直。换句话说，将会注意到的是，孔20.1的功能是在波与对象相交之前创建准直光束。

滤波器20设置为垂直于来自光照装置18的光照的传播方向。从孔20.1发射的光照典型地包括在传播空间Z上传播的衍射光波。传播空间Z可以宽松地定义为这样一种空间，其中，来自装置18的光或者来自滤波器20的衍射光在该空间上传播以助于生成全息图。传播空间Z可以是三维的物理空间。然而，对于本说明书，传播空间Z与平行于来自光照装置18的光波或者光照传播的主轴的单维相对应。

传播空间可以与特定系统10或者装置16唯一地关联。

在任何情况下，装置16还包括可去除地位于从空间滤波器20预定距离处的样品保持器22，样品保持器22被配置为保持样品材料在来自光照孔20.1的光照的传播空间Z中。载物片中的材料典型地包括感兴趣对象19例如血细胞。样品保持器22可以包括玻璃构成的透明的显微镜载物片。

装置16最后包括图像记录装置或者图像传感器24，其在来自样品保持器22的光照的传播空间Z中位于与样品保持器22预定距离处。图像记录装置24典型地配置为至少响应从装置18经传播空间Z入射在其上的光照，生成样品保持器22中材料的数字全息强度图案。因而，装置24可以从电荷耦合装置(CCD)中选择或者优先地为互补金属氧化物半导体(CMOS)图像传感器，其基本上垂直于光照传播空间Z设置。

通过不同的定义，传播空间Z是这样一种空间，其中从装置18传播的光照或者光波或者来自滤波器20的衍射光在该空间上经过样品保持器18中的样品达到装置24以形成样品保持器18中样品的全息的空间。

装置16典型地具有较少透镜，并且CMOS图像传感器生成的数字全息强度图案可以包括具有这样一种像素值的像素矩阵，该像素值对应于与全息强度数据关联的参数例如像素强度等。在一些示例性实施例中，为了图像增强的目的，像素值可以从一个或者多个相邻图像计算。将会注意到的是，为了更好的估计像素值，工作人员应该使用来自相邻像素的信息。可采用超分辨率技术实现进一步的精度，其在此情况中可以基于光照装置18和传感器或者图像记录装置24之间的(单独或者共同)变化的相、波长和相对空间位移。

在任何情况下，返回到图1，可以注意到，模块14接收的全息强度图案基本上对应于传播空间Z中的单个离散位置。

系统10还包括数据关键点提取模块26，其配置为处理接收全息强度图案并且确定接收全息强度图像中的至少一个潜在感兴趣对象的一个或者多个数据关键点。在一个示例性实施例中，模块26垂直于接收全息强度图像的像素并且以常规方式选择具有感兴趣强度值的像素例如局部最大的位置和最小位置等。可以注意到，确定的数据关键点对应于模块26所选择的一个或者多个感兴趣像素。在某些示例性实施例中，极值点也可以从通过尺寸空间的两个相邻的瞬态图的差中提取。这可以降低所检测的更突出那些关键点的数量。

系统10还包括比较器模块28，其配置为将确定的一个或者多个数据关键点与存储在数据库12中的多个预定对象描述符比较以确定匹配。每个对象描述符与特定对象例如血细胞(例如白血细胞)关联。另外并且更重要的，可以注意的是，对象描述符有利地是传播空间Z不变量。为此，对应于对象的每个对象描述符典型地包括多个描述符子集，其中每个描述符子集包括至少描述符关键点和表示传播空间Z中的关联离散位置的信息。

描述符关键点在组成方面可以与数据关键点类似并且因而还可以包括与感兴趣像素关联的数据例如像素强度值。比较器模块28因而被配置为至少比较确定潜在感兴趣对象的数据关键点和对象描述符的描述符关键点，以确定匹配或者基本匹配。可以理解的是，为了确定基本匹配，比较器模块28通常将确定数据关键点和存储在数据库12中的所有对象描述符的描述符关键点比较，以确定基本匹配。

尽管系统10基本上处理像素或者与像素关联的信息、与所接收全息图关联的信息，但是为了易于说明，将参考关键点和感兴趣区域，其相应地包括一个或者多个感兴趣像素或者与该一个或者多个感兴趣像素关联的信息。

在一个示例性实施例中，每个描述符关键点包括向量，该向量存储例如与在传播空间Z上的特定的离散位置或者点处的描述符关键点关联的像素强度值。因而，描述符子集可以包括与关键点关联的向量，但是另外还包括表示与相应关键点关联的传播空间Z中的离散位置的信息。通过不同的定义，可以理解的是传播空间不变对象描述符将包括描述符关键点的描述符子集，其中每个描述符子集从传播空间中离散位置得到。如果在数据库12中存在与特定描述符子集的匹配，那么该描述符子集将表示传播空间中的位置。因此，在对象描述符中，或者对象描述符向量中，甚至可以排序子集，使得向量中的第一元素之间的描述符子集对应于传播空间的一端，并且向量端部的那些描述符子集对应于传播空间的另一端(取决于希望传播空间的尺寸)。

然而，取决于例如计算资源和效率各种因素，可以理解的是，每个关键点不需要包括向量而是可以包括单个像素值或者平均值等。

在任何情况下，可以理解的是，训练对象描述符以具有多个传播空间Z中各个离散位置的描述符子集，对象描述符的训练有利地导致所得到的对象描述符为关于传播空间Z的有利不变量。训练通常采用随后执行识别和/或检测的相同或者相似的装置16。

系统10典型地包括分类器模块30，其被配置为在由比较器模块28确定的匹配之后，识别接收全息强度图案中的潜在感兴趣对象19。

结果，分类器模块30还被配置为在模块28的匹配之后，确定所识别对象关于传播空间Z的离散位置，因为描述符子集中的描述符关键点与传播空间Z中的相应离散位置关联。后者可以按传播空间Z的离散化所允许的分辨率进行。在实际应用中，这意味着可以从全息图(全息强度数据)的单个瞬态图中识别对象，而不必重新聚焦和检索全息重建以首先找到对象，因而改善检测速度。

可以在运行系统10之前确定对象描述符以识别感兴趣对象。

针对这点，系统10包括描述符确定模块32，其被配置为以上文所描述的方式生成系统10使用的对象描述符。可以理解的是，对象描述符不必由系统10生成，并且对象描述符可以在外部生成的但是仅被系统10使用。

特别的，模块32还包括训练数据接收模块34，其被配置为接收对象的图像。在此情况下，模块34接收到的图像是传统的显微镜图像，例如，图3(a)所示出的图像但是不是全息图。在一些示例性实施例中，模块34接收全息图，其可以重建以与传统图像相似的方式使用。

模块32还包括波形传播模块36，其被配置为应用波形传播算法至模块34接收的图像以生成与在传播空间Z的不同离散位置对应的全息强度图案。特别地，模块36被配置为离散化传播空间Z并且对于在离散化的传播空间Z上的每个希望离散位置应用波形传播算法以在传播空间Z中的离散位置位生成全息图。

为了上文所描述的目的，例如取决于例如计算效率，分辨率和精度的标准，模块36可以被配置为将传播空间离散化为预定数量的位置或者区域。为此，应当理解的是，模块32有利地被配置为接收至少表示传播空间Z的尺寸的信息。

在优选地示例性实施例中，波形传播算法通常实施或者应用下面的波形传播等式(1)所描述的方法。

$I({\mathrm{\α}}^{\′},{\mathrm{\β}}^{\′})=\frac{j}{\mathrm{\λ}}\underset{-\∞}{\overset{\∞}{\∫}}\underset{-\∞}{\overset{\∞}{\∫}}h(x,y)E_R(x,y)\frac{e^{(-\mathrm{jkr})}}{r}\mathrm{dxdy}$   (等式1)

$r^{\′}=\sqrt{{(x-{\mathrm{\α}}^{\′})}^2+{(y-{\mathrm{\β}}^{\′})}^2+z^2}$   (等式2)

$k=\frac{2\mathrm{\π}}{\mathrm{\λ}}$   (等式3)

●在正向中，当等式1用于全息图生成时，等式1给出了I(α’，β’)，其为在成像/传感器平面上形成的复杂的衍射图案。

○然后，该复杂的衍射图案与参考波形结合，以给出全息强度图案。

○然后，h(x,y)被看作感兴趣对象的图像。

○E_R(x,y)为参考波形。

○r’为对象平面中的一点到用于形成全息图的复杂衍射图案平面中的一点的直线距离。

○λ为源波长

○z为传播轴

○(x,y)为对象现在处于的平面。

○(α’，β’)为其中用于形成全息图的衍射图案处于的平面。

●在反向中，当等式1用于对象重建时，等式1给出I(α’，β’)，其为感兴趣对象在原始对象位于的位置的重建。

○然后，h(x,y)被看作全息强度图案。

○E_R(x,y)为参考波形。

○r’为全息图平面中的一点到感兴趣对象平面中的一点的直线距离。

○λ为源波长

○z为传播轴

○(x,y)为全息图现在处于的平面。

○(α’，β’)为其中感兴趣对象处于的平面。

模块36使用等式(1)来生成与传播空间Z之上的特定离散位置对应的全息强度图案或者瞬态图，使用模块34接收的图像作为输入。

在确定对象描述符的环境下，传播空间Z将被理解为基本上相似于以上针对识别对象而完成的描述。换句话说，用于确定对象描述符的装置的相同硬件设定可以理想地基本上相似于用于识别对象的硬件设定，这样，系统10已知传播空间Z的尺寸。

关于由模块36使用的等式(1)的选择，应当明白的是，某种意义上，波形传播等式(1)用作镜头。该波形传播等式(1)使对象聚焦。当对象处于聚焦(如在典型的镜头中)时，光波在焦点同时发生，而在其它点，这些光波以各种不同分散角度存在。因为嵌入的相位信息可能允许深度重建，这意味着可以分离在不同距离处的对象。

另一个重要方面在于等式(1)描述了所有的光波在三维传播空间中的任何点处的关系。如果在三维空间中的一些点处获取了传播光的样品，则等式(1)将允许该点在另一个位置重建。

换句话说，波形传播等式(1)首先维持通过传播空间Z的光波的关系，并且其次用作镜头(或者对光波进行变换)，并且将光波彼此分离(或者聚焦光波)，这两个操作被组合(并且利用)以创建传播空间Z的变化。

模块32还包括训练关键点提取模块38，其被配置为针对在传播空间Z上的每个生成全息强度图案确定感兴趣的描述符关键点或者稳定的描述符关键点。这可以按照参考模块26所述的方式完成。相反或另外，各种各样的显著区检测器可以被应用在传播空间Z之上。在传播空间Z之上出现的显著点被识别为在传播空间Z之上不变的点。该特定子集将只不过以稳定方式有助于检测或者识别过程。

然后，模块32被配置为使用确定的描述符关键字和表示传播空间之上相关联的离散位置的信息来生成与对象例如对象19相关联的对象描述符。这可以通过如上文对于由波形传播模块36生成每个瞬态图所描述的方式相同方式，将由向量识别的描述符关键点与传播空间Z中的相应的或对应的离散位置相关联以生成描述符子集来完成。一旦传播空间Z之上的特定对象生成多个描述符子集，模块36就关联描述符子集并且将其存储在数据库18中作为对象描述符，以由系统12使用来识别与传播空间Z中的对象位置无关的对象。

在实际应用中，本发明允许对象从全息图的单个瞬态图中被有利地识别而不必重新聚焦和检索整个全息重建以首先发现对象，因而提高检测速度，其在处理重要资源的应用中是有利的。

在没有进一步描述的一些示例性实施例中，系统10可以使用上述原理并且实现被配置为应用学习算法例如神经网络的统计机器，其能够被训练以自动得出特征并且进一步使用这些特征以(自动地)生成用于识别的对象描述符而无须特征或者描述符集的更离散的派生。系统10可以被配置为生成用于训练统计机器的全息图。

在优选的示例性实施例中，除了作为传播空间Z不变量之外，可以使得对象描述符成为尺度空间不变量因而识别在传播空间Z和尺寸空间S上的感兴趣对象。

具有作为传播空间Z和尺寸空间S的不变量的对象描述符是有利的，因为，首先，在菲涅耳区域中，小对象的衍射图案的尺寸随着图像平面和感兴趣对象之间的距离增加而增加。这导致特定感兴趣对象的全息信息分散在图像平面上。追踪传播空间上特征的空间变化将说明这种变化。第二，由于所使用的放大率，对象将出现不同尺寸；训练样品和在观察中的样品可以具有不同的尺寸并且合并尺度空间不变量说明这个变化。还可以注意的是，在微观水平，传播空间上的变化比尺度空间上的变化要大，并且针对这点，本发明的尺度空间方面仅如此被描述为本发明的附加特征。

描述符确定模块32因此通常被配置为在传播空间上寻找由模块36生成的每个瞬态图的尺度空间S上极值关键点(对于感兴趣对象)并且使用这些描述符关键点构造旋转不变对象描述符。换句话说，模块32生成一组唯一的描述符关键点，其将允许在传播空间上任何相关尺寸的处感兴趣对象的识别。针对这点，可以注意的是，对象的全息图案在传播空间上改变。

在任何情况下，描述符确定模块32可以被配置为通过应用模糊算法至每个生成的全息强度图案因而生成模糊的图像，生成在重播空间生成的多个全息强度图案中的每个的尺度空间。模糊算法可以包括利用一系列高斯函数来卷积每个生成的瞬态图，每个高斯函数具有不同方差(其尺度相近)。然后原始图像被降采样并且再次利用一系列高斯函数来卷积。

然后模块32被配位为通过彼此相减以确定所生成模糊图像之间的差，换句话说确定尺度空间上的高斯差(DOG)。然后，模块32被配置为定位DOG中的极值尺度不变关键点，例如，用以上教导的方式类似的方式定位在不同尺度上的敢兴趣关键点。可以理解的是，因此排除作为线段的一部分并且具有低对比度的关键点。

然后，模块32被配置为使用所定位的尺度不变关键点以生成尺度空间中每个离散位置的尺度空间不变对象描述符。

现在参考图4和图5，应当注意的是，在创建方向不变对象描述符时，模块32被配置为确定围绕所定位的关键点的感兴趣像素邻域，例如，7×7邻域。然后，模块32通过应用下面的等式确定邻域中的每个像素。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

m(x,y)是图像L(x,y)内的关键点的局部邻域中的梯度幅值。θ(x,y)是局部邻域中的梯度方向。

然后，图4中示出的方向的全息图通常由模块32对于围绕所定位关键点的邻域而生成。然后，图5中示出的盘被离散化，并且落入扇区的相同方向内的所有的梯度被加起来(数值)并被分配至该扇区的方向。

模块32然后可操作以创建6个元素的向量。由模块32确定最大的扇区与最小的扇区之间的较小的角度差并且确定扇区距离的估计。模块32然后将(接近扇区的)差分配给6元素向量中的第一元素。

然后，模块32取最大扇区方向和下一个最小扇区之间的扇区差并将该扇区差分配给向量中的下一个元素，对于所有的向量都是这样。如果不存在更多的向量，则剩余的元素被分配0。例如，从图5中，这可以对于所定位的关键点分配向量[3,4,5,0,0,0]。模块32对于每个生成瞬态图中的所有的关键点相同地执行。这创建旋转不变量。现在每个关键点通过该6元素向量而被识别。

所定位的每个关键点将具有关联向量，当关联向量与表示传播空间中的离散位置的信息关联时，关联向量形成之前所描述的离散子集。所描述的向量说明尺度空间中的变化，但是应当注意的是，传播空间不变量描述符作为可选参数并且作为文中所描述的非本质属性。

所有的关键点，特别是描述符子集，可以用以生成对于对象的对象描述符，其有利地是对尺度和传播空间的不变量。

应当注意的是，分类器模块30可以被配置为通过重建模块14接收全息强度图案回到传播空间中的确定点(如通过与对象描述符的匹配而确定的)并且得到此位置处的关键点，以确定匹配精度。图3(c)示出了重建图像的实例。这些得到的关键点可被再次匹配至数据库12。与感兴趣相同对象的对应加强了系统10的识别。可以理解的是，这些步骤利用的实质概念是通过寻找与感兴趣对象一致的更关键点(从第一次检测中确定)，改善了检测/识别中的置信度或者其精度。

现在参考图6至图8进一步描述示例性实施例。参考图1至图5描述图6至图8中示出的示例性实施例，尽管可以理解的是示例性方法也可以应用至其它系统(未示出)。

图6中，根据本发明的示例性实施例的方法的高级流程图通常由附图标记50指代。

方法50通常由处理器或者例如系统10实现，例如用于通过上文所描述的相应模块处理全息图的系统10。就这点而言，方法50可以是处理全息图以识别其中感兴趣一个或者多个对象的方法。为了易于描述，参考应用描述方法50以识别血液样品的全息图中的白血细胞。

方法50通常包括在方框52处接收全息强度数据，全息强度数据至少包括传播空间Z中离散位置处的血液样品的全息强度图案或者图像。图像通常是数据接收器模块14从CMOS图像获取装置或者传感器24中电子地接收的数字全息图像。

方法50可能包括在方框54处处理接收全息强度数据，以确定潜在感兴趣对象的数据关键点，也就是，接收全息强度图像中的白血细胞。在一些示例性实施例中，数据关键点的确定需要通过模块26以例如参考图4和图5以上所描述的相似的方式从高斯差中提取极值点并且对于每个确定的数据关键点生成向量。

然后，方法50包括在方框56和58处例如通过模块28比较确定数据关键点和存储在数据库12中的至少一个预定对象描述符。方法50包括将每个确定的数据关键点(特别是与其关联的信息)与以上描述的描述符关键点比较，以为了确定匹配，其中描述符是传播空间不变量并且可选择地是尺度空间不变量。

如果比较步骤56/58得出匹配，那么方法50相应地在方框60处通过以上所描述的模块30的方式识别出与所确定数据关键点关联的对象是白血细胞，因为对象描述符的描述符关键点的匹配通常与白血细胞的这种情况中的对象关联。

对于接收全息图像中的感兴趣每个数据关键点可以重复方法50。

在图7中，根据示例性实施例的方法的另一个流程图通常通过附图标记70指代。方法70通常是用于生成或者创建具体对象的对象描述符的方法。因此可以对于需要被识别的感兴趣每个对象例如白血细胞、红血细胞或者类似物重复方法70。方法70典型地由对象描述符确定模块32执行。

方法70包括在方框72处通过模块34接收感兴趣对象的图像，需要对该感兴趣对象的图像生成对象描述符。如以上所描述的，接收图像典型地是对象的显微镜图像，例如，白血细胞的光学显微镜图像。

方法70包括在方框74处应用波形传播算法至在传播空间Z上的多个离散位置的接收图像，因而生成与传播空间上的离散位置对应的多个全息强度图案、瞬态图或者图像。因而方法70可以包括用于除非事先接收信息指示传播空间Z的维数以及离散传播空间Z的信息的在先步骤。

方法70然后包括在方框76处确定在传播空间Z的每个生成的全息强度图像的描述符关键点。换句话说，方法70遍历在传播空间Z生成的每个全息图以提取稳定的描述符关键点。

方法70然后包括在方框78处使用确定描述符关键点和表示在传播空间Z的关联离散位置以生成与对象关联的对象描述符。通过这种方式，对象描述符至少是传播空间Z不变量。

在图8中，根据本发明的示例性实施例的方法的另一个流程图通常由附图标记80指代。如以上所描述的，在本发明的优选示例性实施例中，对象描述符是传播空间Z和尺度空间S不变量。图8的方法提供在实现所期望的对象描述符中的步骤的至少一些，并且将注意到的是，图8仅仅描述在其中生成尺度空间不变量的传统方式。如文中所描述的，本发明中的对象描述符的尺度空间不变性是可选择的。

具体地，方法80首先包括未示出的离散化传播空间的步骤。

然后，方法80将用于实现如以上所描述的波形传播等式(1)的波形传播算法应用至感兴趣对象图像，以投射一系列全息数据瞬态图，其中每个瞬态图与传播空间Z中的位置对应。这些图像与参考图7所描述的图像就算不是完全相同也是相似的。

然后，方法80包括在方框82处确定：在方框84处对于每个瞬态图(全息图像)创建尺度空间。如以上所简要描述的，这些通过将图像与一系列高斯函数卷积以模糊图像而完成的，每个均卷积有不同的方差(其尺度相近)。对原始的图像进行降采样，并且再次以基本常规的方式将其与一系列高斯函数卷积。

方法80包括在方框86处，取得尺度空间上的高斯差(DOG)，并且在方框88处定位DOG中的极值关键点。

在方框90排除作为线段的一部分的关键点和那些低对比度的关键点。

然后，方法80包括在方框92处对于每个关键点创建或者生成方向不变唯一描述符关键点。

然后，方法80在方框94处包括对于所有的全息瞬态图重复方法80的步骤。

可以注意到的是，方法80可以包括以参考图4和图5所描述的方式操作模块32，以生成与尺度不变量关键点对应的向量。

图9示出计算机系统100的示例中的机器的示意图，在计算机系统之内可以执行用于使机器执行本文所讨论的这些方法中的任何一个或多个方法的一组指令。在其它示例性实施例中，机器可以作为单独的设备进行操作或者可以连接(网络化)到其它机器。在网络化示例性实施例中，机器可以在服务器-客户端网络环境中在服务器或者客户端机器的能力内进行操作，或者在对等(或者分布式)网络环境中作为对等机器进行操作。机器可以为私人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络设备、网络路由器、交换机或者网桥、或者能够(依次或者另外)执行一组指令的任何机器，该组指令指定由那个机器采取的动作。此外，虽然为了便利性仅示出了单个机器，但是术语“机器”还应当包括任何机器集合，这些机器集合单独地或者共同地执行一组(或者多组)指令以执行本文所讨论的方法中的任何一个或多个。

在任意情况中，示例性计算机系统100包括处理器102(例如，中央处理单元(CPU)、图形处理单元(GPU)或者两个)、主存储器104和静态存储器106，它们经由总线108彼此通信。计算机系统100还可以包括视频显示单元110(例如，液晶显示器(LCD)或者阴极射线管(CRT))。计算机系统100还包括字母数字输入设备112(例如，键盘)、用户接口(UI)导航设备114(例如，鼠标或者触摸板)、磁盘驱动器单元116、信号生成设备118(例如，扬声器)和网络接口设备120。

硬盘驱动器单元16包括机器可读介质112，该机器可读介质112存储实现本文所述的方法或者功能中的任何一个或者多个或者由本文所述的方法或者功能中的任何一个或者多个使用的一组或者多组指令和数据结构(例如软件124)。软件124还可以在构成机器可读介质的计算机系统100、主存储器104和处理器102执行该软件期间完整地或者至少部分地驻留在主存储器104之内和/或处理器102之内。

还可以经由使用已知传输协议(例如，HTTP)中的一个或者多个的网络接口设备120在网络126之上发送或者接收软件124。

虽然在示例性实施例中将机器可读介质122示出为单个介质，但是术语“机器可读介质”可以指代用于存储一组或者多组指令的单个介质或者多个介质(例如，集中式的或者分布式的数据库，和/或相关联的缓存和服务器)。术语“机器可读介质”还可以包括以下任何介质：该介质能够存储、编码或者携带由机器执行的一组指令，使机器执行本发明的方法中的任何一个或多个，或者能够存储、编码或者携带由一组指令使用的或者与这组指令相关联的数据结构。因此，术语“机器可读介质”可以包括但不限于固态存储器、光学介质和磁性介质和载波信号。

如以上所描述的本发明方便地提供识别和/或检测在传播空间和(可选地)尺度空间上的感兴趣对象的装置，其可有利地用于使用单个数字地获取的全息图来检测和定位体积中对象。在一些情况下，这样试图以降低与使用全息原理的与定位对象关联的计算冗长和低效率。本发明允许将被提取的稳定的一系列特征用于感兴趣对象的分类。为了做到这一点，本发明寻找在整个转换空间上的稳定的特征，转换空间包括使用现有全息签名获得技术的更宽得多的范围，，其中只使用沿着传播轴一个点或者单个瞬态图。通过使用更宽的范围以提取全息特征码，本发明提供比仅使用单个瞬态图更健壮的识别符具，有较高容限。

本发明的特征提取过程对于将成功实现的任何类型的深度测量也是有利的，因为该过程独立于对象沿着传播轴所位于的位置。因此，感兴趣对象将位于体积内不同的深度和层次，但是对于每个对象无论其在体积中的位置是什么都仍然可以提取单独的签名。对于具有多层的样品的分析，本发明因而提供改进的和更健壮的对象识别符。

本发明还有利地利用在全息图中提供的大量信息，以电子方式识别全息图中的对象，而无须图像重建以及使用专家来识别感兴趣对象等。

Claims (21)

1.一种处理全息强度数据的方法，其中，所述方法包括：

接收全息强度数据，全息强度数据至少包括传播空间中离散位置处的全息强度图案或者图像，传播空间包括这样一种空间，其中，与生成全息强度图案关联的光照在该空间上传播，以至少助于全息强度数据的生成；

处理所接收的全息强度数据以确定所接收的全息强度数据中的至少一个潜在感兴趣对象的一个或者多个数据关键点；以及

将确定的一个或者多个数据关键点和与对象关联的至少一个预先确定的对象描述符比较以确定匹配，其中对象描述符是传播空间不变量。

2.根据权利要求1所述的方法，其中，所述方法包括：提供多个对象描述符，每个对象描述符包括与传播空间中的多个希望离散位置分别关联的多个描述符子集，其中每个描述符子集包括一个或者多个描述符关键点。

3.根据权利要求2所述的方法，其中，所述方法包括：在潜在感兴趣对象的一个或多个确定数据关键点和对象描述符的描述符关键点之间的匹配之后，助于潜在感兴趣对象的识别和检测以及所识别对象关于传播空间的位置的确定中的一个或者多个。

4.根据前述权利要求中任一项所述的方法，所述方法包括通过分析与接收全息强度图案关联的像素的强度值，确定数据关键点。

5.根据权利要求2至4中的任一项所述的方法，其中，所述方法包括：

接收对象的图像；

将波形传播算法应用于传播空间上的多个离散位置的接收图像，因而生成与在传播空间上的离散位置对应的多个全息强度图案；

确定传播空间上的每个生成全息强度图案的描述符关键点；以及

使用所确定描述符关键点和表示在传播空间上的关联的离散位置的信息，生成与对象关联的对象描述符。

6.根据权利要求5所述的方法，其中，对象的图像包括对象的显微镜图像。

7.根据权利要求5至6中的任一项所述的方法，其中，所述方法包括：

通过将确定描述符关键点和传播空间中的对应离散位置关联，生成对象描述符子集；

通过关联与对象对应的每个生成的描述符子集，生成与该对象关联的对象描述符；以及

将生成对象描述符存储在数据库中。

8.根据权利要求5至7中的任一项所述的方法，其中，对象描述符另外是在尺度空间上的尺度空间不变量。

9.根据权利要求8所述的方法，其中，所述方法包括：

通过应用模糊算法至每个生成全息强度图案，对于在传播空间上生成的多个全息强度图案中的每个全息强度图案生成尺度空间，因而生成模糊图案；

通过将生成模糊图像彼此相减，确定生成模糊图像之间的差；

定位确定差中的极值尺度不变量关键点；以及

使用尺度不变量关键点以生成尺度空间不变量对象描述符。

10.根据前述权利要求中任一项所述的方法，其中，所述方法包括通过以下步骤确定匹配的精度：

应用重建算法至接收全息强度数据，以重建接收全息强度数据回到与匹配关键点关联的传播空间中的离散位置；

在传播空间中该位置处得到关键点；

将新得到的关键点与数据库中的对象描述符比较，以增加匹配中的置信值。

11.一种处理全息强度数据的系统，所述系统包括：

存储数据的数据库；

数据接收器模块，其被配置为接收全息强度数据，所述全息强度数据至少包括传播空间中离散位置处的全息强度图案或者图像，所述传播空间包括这样一种空间，其中与生成全息强度图案关联的光照在该种空间上传播以至少助于全息强度数据的生成；

数据关键点提取模块，其被配置为处理接收全息强度数据以确定接收全息强度数据中的至少一个潜在感兴趣对象的一个或者多个数据关键点；以及

比较器模块，其被配置为将确定的一个或者多个数据关键点与存储在数据库中与对象关联的至少一个预先确定对象描述符比较以确定匹配，其中对象描述符是传播空间不变量。

12.根据权利要求11所述的系统，其中，所述数据库存储多个对象描述符，每个对象描述符包括与传播空间中的多希望离散位置分别关联的多个描述符子集，其中每个描述符子集包括一个或者多个描述符关键点。

13.根据权利要求12所述的系统，其中，所述系统包括分类器模块，其被配置为在由所述比较模块确定的在潜在感兴趣对象的一个或者多个确定数据关键点和数据库中存储的对象描述符的描述符关键点之间的匹配之后，执行潜在感兴趣对象的的识别和检测以及所识别对象关于传播空间的位置的确定中的一个或者多个。

14.根据权利要求11至13中的任一项所述的系统，其中，数据关键点提取模块被配置为通过分析与接收全息强度图案关联的像素的强度值，确定数据关键点。

15.根据权利要求12至14中的任一项所述的系统，其中，所述系统包括描述符确定模块，其包括：

训练数据接收器模块，其被配置为接收对象的图像；

波形传播模块，其被配置为应用波形传播算法至传播空间上的多个离散位置的接收图像，因而生成与传播空间上的离散位置对应的多个全息强度图案；并且

训练关键点提取模块，其被配置为确定在传播空间上的每个生成全息强度图案的描述符关键点；

其中描述符确定模块被配置为使用确定描述符关键点和表示传播空间上的关联离散位置的信息以生成与对象关联的对象描述符。

16.根据权利要求15所述的系统，其中，对象的图像包括对象的显微镜图像。

17.根据权利要求15所述的系统，其中，描述符确定模块可以被配置为：

通过关联确定描述符关键点和传播空间里的对应离散位置，生成对象描述符子集；

通过关联对应于对象的每个生成描述符子集，生成与对象关联的对象描述符；以及

将生成对象描述符存储在数据库中。

18.根据权利要求15至17中的任一项所述的系统，其中，对象描述符另外是尺度空间不变量，其中描述符确定模块被配置为：

通过应用模糊算法至每个生成全息强度图案，生成在传播空间上生成的多个全息强度图案中的每个全息强度图案的尺度空间，因而生成模糊图像；

通过将生成模糊图像彼此相减，确定生成模糊图像之间的差；

定位确定差中的极值尺度不变量关键点；以及

使用尺度不变量关键点以生成尺度空间不变量对象描述符。

19.根据权利要求13所述的系统，其中，分类器模块被配置为通过至少以下步骤确定匹配精度：

应用重建算法至所接收全息强度数据，以重建接收全息强度数据回到与匹配关键点关联的传播空间中的离散位置；

在传播空间中的该位置处得到关键点；

比较所得到的关键点与对象描述符，以确定匹配。

20.根据权利要求11至19中的任一项所述的系统，其中，所述系统包括全息强度数据获取装置，其包括：

光照装置，其被配置为生成光照；

空间滤波器，其位于距离光照装置预定距离处，空间滤波器包括至少一个光照孔以用于来自光照装置的光照从所述光照孔通过；

样品保持器，其可去除地位于距离空间滤波器预定距离处，样品保持器被配置为在来自光照孔的光照的传播空间中保持样品材料；以及

图像记录装置，其与来自样品保持器的光照的传播空间中的样品保持器距离预定距离，图像记录装置被配置为至少生成样品保持器中的材料的数字全息强度图案。

21.一种非暂态计算机可读媒介，其包括一系列指令，当该指令被计算装置执行时导致该计算装置执行以下步骤：

接收全息强度数据，全息强度数据至少包括传播空间中离散位置处的全息强度图案或者图像，传播空间包括这样一种空间，其中，与生成全息强度图案关联的光照在该空间上传播，以至少助于全息强度数据的生成；

处理所接收的全息强度数据以确定所接收的全息强度数据中的至少一个潜在感兴趣对象的一个或者多个数据关键点；以及

将确定一个或者多个数据关键点和与对象关联的至少一个预先确定的对象描述符比较以确定匹配，其中对象描述符是传播空间不变量。