CN105913386A

CN105913386A - 实时数字图像处理体系结构

Info

Publication number: CN105913386A
Application number: CN201610204924.2A
Authority: CN
Inventors: J·A·H·M·卡尔曼
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Siemens Medical Systems Holland Ltd; Koninklijke Philips NV
Priority date: 2008-03-12
Filing date: 2008-12-18
Publication date: 2016-08-31
Anticipated expiration: 2028-12-18
Also published as: US20110007183A1; CN105913386B; US8537237B2; CN101971210A; EP2266098B1; WO2009112905A3; WO2009112905A2; EP2266098A2

Abstract

本发明涉及一种数字图像处理体系结构，尤其用于处理由生物传感器读取器(100)的照相机(101)提供的数字图像。该体系结构包括像素处理单元(112)，用于关于图像区域中给定组的处理点(PS_i(t))评估图像值流(I(x，y，t))，因而确定例如处理点(PS_i(t))中的像素值的积分(E_i(t))的特征参数。像素处理单元(112)与高级数字控制单元(130)通信，其设置将评估的处理点(PS_i(t))，并且读出像素处理单元(112)的结果并对所述结果进行后处理。

Description

实时数字图像处理体系结构

本申请是2008年12月18日提交的申请号为200880127968.3、名称为“实时数字图像处理体系结构”的发明专利申请的分案申请。

技术领域

本发明涉及一种用于实时评估照相机提供的图像帧序列的方法和数字图像处理设备。而且，其涉及一种用于执行这种方法的计算机程序产品。

背景技术

在如DE69915481T2所述的便携式光学生物传感器中，具有待研究样本的盒体(cartridge)的大部分区域可以在一个步骤中光学地读出，并且同时，通过使用数字照相机可以获得高空间分辨率。随后，这种照相机提供的帧序列需要参考样本中发生的局部处理而得以评估。使用通用处理器上的软件进行这种处理需要在小型便携式设备中通常不可获得的高处理能力。

在文献(MASON等的“Quantiative real time imaging of optical probes in livingcells”，12章，FLUORESCENT AND LUMINESCENT PROBES FOR BIOLOGICALACTIVITY:A PRACTICAL GUIDE TO TECHNOLOGY FOR QUANTITATIVEREAL-TIME ANALYSIS(BIOLOGICAL TECHNIQUES),1993,第155-179页)中描述了用于分析生物处理的视频图像的过程。一种已知的方法包括对视频信号进行数字化，然后进行若干连续视频帧的可能积分和求平均。然后存储经处理的帧并进一步离线评估，从而例如允许以光笔监视由用户选择的像素区域中的图像值。

US2001/041347A1公开了用于测量孔板中荧光的仪器。扫描该孔板并自动监测荧光细胞。然而，没有提供关于数据采集和/或数据处理硬件的细节。

发明内容

基于该背景，本发明的目的是提供用于有效评估数字图像的装置，其中需要这些装置允许在如生物传感器的便携式设备中实时评估图像。

由根据权利要求1所述的数字图像处理设备、根据权利要求14所述的方法以及根据权利要求15所述的计算机程序产品实现该目的。在从属权利要求中公开了优选实施例。

根据本发明的数字图像处理设备用于实时评估诸如CCD或CMOS照相机的数字照相机提供的图像帧序列。该图像尤其可以描述某些光学生物传感器中的盒体区域，但是本发明不局限于该应用。图像处理设备包括下列两个主要部件：

a)数字“像素处理单元”，其用于确定与图像区域中的一组处理点相关的至少一个特征参数，其中，根据图像值流进行所述确定。像素处理单元尤其可以由一些特定数字硬件实现，例如，现场可编程门阵列(FPGA)。“处理点”应当指照相机所成像的整个区域中的感兴趣子区域。所提及的“一组处理点”可以包括仅一个要素，然而优选地是包括多个这种处理点。通常(但是并非必须)，处理点将不重叠。最后，应当注意到，“图像值”指构成整个帧的独立图像点或像素的数字值；图像值通常表示亮度和/或颜色(例如，以RGB坐标)。

b)高级“数字控制单元”，其与像素处理单元耦合用于与其通信，并且适于设置(确定和规定)当前要由像素处理单元处理的该组处理点。而且，数字控制单元适于读出和后处理由像素处理单元确定的特征参数。数字控制单元通常将包括一些通用数字数据处理硬件，例如具有相关软件的微型计算机或微控制器。

所述图像处理设备提供了一种体系结构，其最优地适于快速、实时地处理来自照相机的帧，这是因为其实现了智能任务共享：一方面，由像素处理单元快速(但简单地)持续处理不断引入的图像值流；另一方面，由数字控制单元对整个过程进行高级控制并且对原始结果进一步更精密地评估。这样，设备的通用计算容量免于直接处理输入数据流，并且作为替代地集中在高级控制和评估任务上。

已经提及的是，处理点一般指(已连接的或未连接的)成像区域的子区域。优选地，处理点涉及矩形图像区域，该区域的边缘分别平行于图像帧的行和列定向。然后，这种处理点能够顺利地仅由第一/最后行/列的四个坐标而描述。而且，这种形状尤其适于处理逐行表示图像的像素流。

该组处理点可以仅包括一个单一处理点。优选地，其包括由像素处理单元并行处理的多个处理点。多个处理点可以散布在整个图像区域上，因而覆盖整个帧，或者处理点可以仅位于图像条纹中。在后者情况下，处理整个图像帧通常将通过逐个处理一系列图像条纹而进行。

一般地，由像素处理单元确定的至少一个特征参数可以是能够根据图像值(像素)流计算的感兴趣的任何参量。在大部分情况下，特征参数将是根据图像值流容易一次确定的参量，例如图像值的一些积分(总和)。尤其，特征参数可以包括所考虑的处理点中的所有图像值(例如灰阶)和/或所有这些图像值与给定参考值的偏差的(例如，绝对偏差或者平方偏差的)函数的(归一化)积分。第一这些积分涉及处理点的亮度，而第二这些积分表示点区域中该值的空间变化(噪声)。

前述参考值和/或其变化率可以任选地由数字控制单元基于在先帧的特征参数确定。

数字图像处理设备可以特别地包括至少一个寄存器，称为“影子寄存器(shadow register)”，用于暂时存储要在像素处理单元和数字控制单元之间交换的数据。这样，可以缓和对数据交换速度的需求。

根据特定应用，不同的方法将最适于由数字控制单元设置像素处理单元中的当前组处理点。因而，例如，可以在评估整个帧序列之前一次设置该组处理点。如果在所有连续帧中处理点都是相同的并且如果有足够的容量来存储所有处理点数据，该方法是可行的。

然而，如果处理点的位置和/或形状在不同帧之间发生变化，该组处理点将宁愿在每个新帧开始时在像素处理单元中重新设置。类似地，该组处理点可以在整个帧的每个预定子帧开始时设置，例如始终在照相机图像的新条纹(包括给定数量的图像线)的开始处。如果像素处理单元不具有足够的容量以并行处理整个帧的所有处理点，那么通常将对子帧应用这种处理。

最后，能够在像素处理单元要求时设置当前组处理点。每次像素处理单元已经完成处理点的评估时，例如其可以向数字控制单元发布中断，以指示可获得处理点的结果(特征参数)并且能够设置待评估的新处理点的坐标。该方法关于处理点的位置和/或形状具有最高灵活性，即它们可以非常任意地(在一种情况下为蘑菇形)分布在图像区域上。

在本发明的又一演变中，设计数字控制单元以迭代地使处理点适配于标记物的图像，即适配于照相机提供的图像中已知外观(形状、尺寸、强度和/或颜色)的结构。使处理点适配于标记物，通常基于逐个帧进行，并且将最终产生关于图像中的标记物的信息，例如其位置、尺寸和/或形状。该标记物例如可以由线、十字交叉、圆环或被成像的对象所包括的一些其他符号。已知一个或多个标记物的位置将允许推断区域中其他区域的位置，例如(至少最初)不可检测或者几乎不可检测的研究区域。一旦经由标记物确定了这些区域，可以将处理点分配给它们，用于评估照相机的观察力(observation)。然而，光学像差，例如正或负(枕形)失真和/或变化的光学放大倍数，能够借助于对准标记物而被检测和校正。

在本发明的又一演变中，图像处理设备包括聚焦模块，其用于基于至少一个确定的特征参数而改变照相机的焦点。聚焦模块可以例如包括机电机构，其能够移动照相机的透镜。而且，焦点改变可以尤其基于在处理点中所有图像值与参考值的偏差函数的积分，例如基于在所述点中图像值的标准偏差。这种偏差相关值的最大值通常是靶图像区域的最优焦点的良好指示器。

图像处理设备可以进一步任选地包括状态指示器，例如声学或光学信号发出设备，其用于在检测到至少一个图像帧中的异常状态(尤其是劣化的光学质量)时发出信号。检测这种误差状态对于避免错误测量结果的不正确解释是重要的。劣化的光学质量可以例如经由前述标准偏差(或者更一般地，所有图像值与参考值的经积分的偏差)的异常值来检测。

数字控制单元的后处理可以优选地包括对针对图像帧的选定子组已经获得的特征参数进行时间滤波。时间滤波可以特别地包括带通或低通滤波，例如，通过对与图像帧的选定子组对应的特征参数求平均而实现。通过滤波，可以移除诸如不相关噪声的一些噪声成分。

根据前述实施例的又一演变，数字控制单元的后处理还包括使经时间滤波的特征参数与针对不属于选定子组(这通常可以是所有其余图像帧)的图像帧已经获得的对应特征参数相关。所应用的相关可以特别地包括相减，即从对应特征参数中减去经滤波的特征参数(或者反之亦然)。由于滤波处理，能够从经滤波的特征参数中选择性地移除噪声成分，并且因此当经滤波的特征参数与未滤波的特征参数相关时，该噪声成分将不起作用。

在时间滤波方法中，与其余图像帧相比，针对图像帧的选定子组，处理点的尺寸和/或位置可以改变。如果选定子组的图像帧应当例如捕获一些背景或参考值，其可以有利于扩大其中计算对应特征参数的处理点。

根据本发明的又一演变，数字图像处理设备可以进一步包括可控照明单元，借助其能够选择性地对不同图像帧设置曝光条件。照明单元可以例如包括光源，其主动地对照相机所记录的场景进行照明，或者其可以控制确定进入照相机的光的量的光圈。照明单元适于为独立的图像帧选择性地设置照明条件，即适于从一个图像帧到下一个图像帧切换照明条件。在光源的情况下，照明可能例如每隔两个图像帧而中断(关闭)。

前述实施例尤其可以与后处理组合，所述后处理包括对图像帧的选定子组进行时间滤波。然后，能够分别针对图像帧的选定子组和其余图像帧设置不同的曝光条件。因而，例如对属于选定子组并且应当进行时间滤波的图像帧关闭照明是可行的。

本发明还涉及一种用于评估由照相机提供的图像帧序列的方法，所述方法包括下列步骤：

a)使用像素处理单元，根据帧值流确定图像区域中当前组处理点的至少一个特征参数。

b)使用高级数字控制单元，确定(下一)组处理点并且对至少一个(在先)特征参数进行后处理。

c)在像素处理单元已经完成对当前帧的当前组处理点的处理之后，在数字控制单元和像素处理单元之间交换数据。

通常，该方法包括能够使用上述类型的图像处理设备执行的步骤。因而，可以参考在先描述以获得关于该方法的细节、优点和改进的更多信息。

本发明还涉及将上述数字图像处理设备用于分子诊断、生物样本分析或化学样本分析、食物分析和/或法医鉴定的用途。分子诊断可以例如借助于直接或间接附着于靶分子的磁珠或荧光微粒而实现。

图像处理设备通常将是可编程的，例如，其可以微处理器或FPGA。因此，本发明还包括计算机程序产品，其当在计算设备上执行时，提供了根据本发明的方法中的任意一种的功能。

此外，本发明包括数据载体，例如ROM、存储卡、软盘、硬盘或光盘(CD－ROM)，其以机器可读形式存储计算机产品，并且当在计算设备上执行存储在数据载体上的程序时，其执行本发明的至少一种方法。

现在，在因特网或公司内部互联网上常常提供这种软件的下载，因而，本发明还包括通过局域网或广域网传送根据本发明的计算机产品。计算设备可以包括个人计算机或工作站。计算设备可以包括微处理器或FPGA中之一。

附图说明

从下文所述实施例中，本发明的这些和其他方面将变得显而易见，并且将参考下文所述的实施例加以阐明。这些实施例将借助于随附附图通过实例而描述，其中：

图1示意性地示出了在光学生物传感器中使用的根据本发明的数字图像处理设备；

图2示出了由图1的照相机提供的图像区域；

图3示出了用于处理一个处理点的点处理块(SPB)的第一体系结构；

图4示出了用于计算标准偏差的SPB的变型；

图5示出了使用点亮度的估计斜率处理一个处理点的第二SPB体系结构；

图6示出了具有划分成条纹的结合部位的规则图案的图像区域；

图7示出了用于处理处于图6的情形中的一个处理点的第三SPB体系结构；

图8示出了第三SPB体系结构中的时间数据流；

图9示出了具有结合部位的不规则图案的图像区域；

图10示出了用于处理处于图9的情形中的一个处理点的第四SPB体系结构；

图11示出了第四SPB体系结构中的时间数据流；

图12至16示出了基于相关处理点的亮度检测图像中对准标记物的各个实施例；

图17和18示出了基于相关处理点的标准偏差检测图像中对准标记物的两个实施例；

图19示意性地示出了变型后的图像处理设备，使用其能够产生和处理暗图像帧的子组；

图20示出了在不同照明条件下针对一个处理点获得的亮度的处理。

附图中相同的附图标记指示相同或相似的部件。

下文将参考其在光学生物传感器中的应用，描述根据本发明的图像处理体系结构，但是其用途不局限于此。

具体实施方式

图1示意性地示出了(未按比例，并且以逻辑部件和硬件部件混合表示)用于生物测定的盒体10和相关的(便携式)读取器100。一次性盒体10通常包括生物样本(例如血液或唾液)，该生物样本包含感兴趣的靶分子1，其应当经由接触表面3上的特异性结合位点2而检测。在将盒体10插入读取器100之后，由光源102照射接触表面3，并且由(CCD)照相机101持续对反射光成像。照相机101可以特别地用于观察在接触表面上的(已占据)结合位点处发生的荧光和/或受阻总内部反射。

图2示出了照相机101所见的典型图像。照常地，表示图像的帧由图像像素(例如L＝480和M＝752)的L行(x－方向)和M列(y－方向)构成。结合点BS分布在图像区域中，所述点与覆盖有(不同的)特异性结合分子2的盒体10的接触表面3上的区域相对应。虽然结合点规则地分布在成像区域的上部中，下部示出了结合点的尺寸和位置的更一般、不规则的分布。通过(主要)对接触表面3的均匀照明并且经由光学系统将反射光投射至照相机101上来获得图片。与周围白区域相比，结合点BS的暗色化是对结合位点2和靶分子1之间的结合数目的量度。

图2还示出了两个十字交叉形的对准标记物AM，其印记或刻在接触表面3上，关于结合点BS位于已知的相对位置处。由于它们的高对比度，能够从每个帧的开始处检测标记物AM。因而，它们能够用于精确地确定在测定期间尚不可见的结合点BS的位置。

而且，图2中示出了两个典型的矩形“处理点”PS_i和PS_a，其分别设置在结合位点BS和对准标记物AM处。第一处理点PS_i用于评估盒体的相应结合点BS的测量值，而第二处理点PS_a用于寻找相关对准标记物的位置。由于处理点是矩形区域，它们能够由四个坐标简单地加以描述(起始行a、起始列b、结束行c、结束列d)。

应当注意到，出于参考或校准的目的，处理点还能够与(不包括结合位点的)“白区域”相关。而且，处理点能够任选地限制于结合点的子区域，因而避免还覆盖“白区域”。这样，由多个矩形处理点可以例如近似环形结合点。

处理点PS_i与结合点BS对准的准确度通常在对准标记物AM更接近结合点时是较好的。此外，当由于例如结合或接近定位的对准标记物结合点BS可见时，结合点BS本身能够用于更准确地对准对应的处理点PS_i。

基于标记物或基于结合点自身的所述对准(当例如在结合之后或者由于印刷技术而可见时)还能够用于实时追踪结合点位置。因而，例如在手持应用中接触、摇晃和振动盒体所引起的盒体关于读取器的可能机械位移，例如可以得以抑制，或者至少使用持续追踪得以补偿。

为了正确地解释盒体10中的(生物)化学处理，通常每秒必须处理来自752H×480V(CCD/CMOS)视频照相机的至少十帧I_t。对于每个帧I_t，必须计算来自结合点BS和围绕其的白区域中的每个的平均和质量(噪声)。在软件中，这将需要大量处理能力来实现。而且，在大量测定中，软件还将必须照顾(用于操作磁交互标记微粒)实时磁致动电流驱动器。尤其在手持读取器设备中，这将花费大量功率耗散和昂贵的μP。

为了解决上述问题，在此建议了图1的读取器100的体系结构。该体系结构包括两个主要部件：

－“像素处理单元(PPU)”112，其用于关于给定当前组处理点PS_i(t)评估引入图像值(像素)流I(x，y，t)。像素处理单元112是低级硬件模块110的一部分，其还包括用于照相机101提供的图像帧I_t的中间存储器111，以及用于控制读取器的光源102的亮度的具有LED驱动器114的类似硬件(AH)113。

－高级“数字控制单元(DCU)”130，其包括具有相关软件的微处理器(μP)131。数字控制单元130从像素处理单元112读取结果(例如，处理点的亮度E_i)，并且向像素处理单元112提供控制数据(例如，将处理的活动组处理点PS_i(t))。

像素处理单元112和数字控制单元130之间的数据交换优选经由影子寄存器120进行，以缓和时间需求。而且，数字控制单元130可能经由附加PDA(＝个人数字助理，未示出)，与显示器141和控制按钮142通信，以与用户交互。

像素处理单元112(例如，现场可编程门阵列FPGA)在每个视频帧I_t期间计算多个预定区域、即上述类型的一组处理点PS_i(t)中的积分光强度E_i(t)和积分质量σ'_i(t)，其中σ'_i是“噪声”指示器，其应当合适地限定以获得显著性、复杂性和功耗之间的折衷。像素处理单元112与数字控制单元130中的软件(例如μP131或Labview应用程序)通信，其：

－启动时(在插入盒体10之后)，基于已获得的视频帧计算视频帧I_t的处理点PS_i(t)中的活动像素(对应于结合点和/或白区域)的坐标，并且将所述坐标写入像素处理单元112。应当注意到，这可以由低速微处理器执行，因为无需实时计算。

－以按帧方式从像素处理单元112收集每个所述处理点PS_i(t)中的积分E_i(t)和质量σ'_i(t)，并且根据这些数据计算平均强度/噪声。

－对每个处理点PS_i(t)，将平均信号E_i(t)解释为时间t的函数，并且对于下一个帧I_t+1(基于前一帧)将已推断得的积分值ê_i(t)递交至用于质量测量的像素处理单元112。

该方法提供了通过量的优点，其可能具有高帧率、低功耗、低复杂性(无需帧存储器)和高灵活性。其包括硬件和软件处理之间的最佳平衡。

图3示意性地示出了“点处理块(SPB)”，即像素处理单元112所需用于评估单一处理点PS_i的硬件部件(即，处理块112通常包括并行操作的多个这种SPB)。

从照相机101中，将图像值流I(x，y，t)(例如，10b像素)持续提供给SPB的第一积分器INT1和第二积分器INT2的输入。

定时控制器TC分别从照相机像素时钟和帧同步接收时钟信号clk(指示新像素)和帧信号frm(指示新帧)。而且，定时控制器TC设置有(启动时)待处理当前处理点PS_i的坐标。定时控制器TC能够在每个新帧I_t开始时(经由输入rs)重新设置积分器INT1、INT2，并且在一个帧内指示应当(经由输入int)对图像值(像素)求和与否。

在视频帧I_t期间，积分器INT1根据下列公式确定所考虑的处理点PS_i(t)中的像素值I(x，y，t)的积分E_i(t)：

E_{i} (t) = 2^{- m} \underset{p &Element; {PS}_{i} (t)}{Σ} I (x, y, t) - - - (1)

(其中m是比例因子，以使该结果适合于接口－总线－宽度)

在视频帧I_t期间，积分器INT2根据下列公式确定所考虑的处理点PS_i(t)中的噪声的积分σ'_i(t)：

{σ^{'}}_{i} (t) = 2^{- m} \underset{p &Element; {PS}_{i} (t)}{Σ} | I (x, y, t) - {\hat{e}}_{i} (t) | . - - - (2)

在此，是每个像素的平均强度的推断值，其由数字控制单元130中的软件根据在先帧(并非必须最后视频帧)计算而得，并且提供在所谓的“影子寄存器”121中。

未进行进一步尝试以计算精确的平均值，因为这易于以软件执行，并且将仅花费不必要的复杂性和功耗。应当注意到，公式(2)的σ'_i基于绝对噪声，并且并非标准偏差。还可以使用对于噪声指示器的其他定义。以更多的硬件/能力作为代价，例如，像素处理单元112可能根据下列公式计算平方和，而不是绝对值(|...|)：

{σ^{'}}_{i} (t) = 2^{- m} \underset{p &Element; {PS}_{i} (t)}{Σ} {(I (x, y, t) - {\hat{e}}_{i} (t))}^{2}, - - - (3)

从而，数字控制单元130能够计算标准偏差(RMS值)。

SQ的两个输入必须连接以实现平方功能。

图4示出了点处理块的相关变型部分，其现在包括附加乘法SQ以确定平方。如果未涉及其他，下文中将对于σ_i'应用两个定义(2)或(3)(其中SPB的附图通常示出公式(2))。

结果E_i(t)和σ'_i(t)使用数字控制单元130中的软件以低频帧率(通常30帧/秒)被传送。当帧I_t结束时，结果存储在影子寄存器122、123中，以便对传送速度设置不实际的需求。这样，能够实现高达60Hz的帧率，而对处理不设置大的需求。

图5示出了用于评估单一处理点PS_i的SPB的备选实施例。在该情况下，数字控制单元130中的软件评估积分E_i随着时间的斜率(每帧增量)，并且将其写入影子寄存器121。在每个视频帧I_t结束时，将所评估的斜率添加至第一积分器INT1的输出E_i(t)，并且在将其除以相关像素的数量N_i之后用作为下一帧I_t+1的估计值ê_i(t+1)。

该方法可能是有益的，因为在两个视频帧之间无需读取、处理和写入数据。

下文将描述涉及以下事实的本发明的又一演变，在特定应用中需要大量(通常以25的等级)结合点BS，用于例如改进鲁棒性(robustness)或者检测许多不同的靶分子。而且，由于制造(测点定位)公差和/或结合处理对于给定致动(线圈)形状的故意最优化，处理点不能规则地遍布在矩形栅格上。

通过将照相机帧区域分成“条纹”而解决了上述问题，该条纹包括具有像素处理单元中相关“点处理块(SPB)”的大量N处理点。使用影子寄存器来存储结果、下一条纹的坐标以及噪声测量所需的预测值。当条纹完成时，其结果存储在影子寄存器中，并且装载用于下一条纹的每个结合点的坐标和已推断像素值。这缓解了软件的时间要求。

在甚至更灵活的应用中，使用大量SPB，其中每一个SPB基于中断而与数字控制单元DCU中的微控制器独立通信。DCU中的软件将各个SPB分配给结合点，而且最优化时间要求。随后，可以处理任意尺寸的任意定位的结合点的“蘑菇形”。

图6示出了分成五个“条纹”S_j(j＝0，...4)的视频帧I_t的上述概念。每个条纹S_j包括多个结合点BS(其中将发生生物测定的结合)和相关的处理点PS_i。

从视频照相机101(参考图1)接收图像值流I(x，y，t)的像素处理单元112，现在每次仅对视频帧I_t的一部分、例如在“条纹”S_j期间，计算多个处理点PS_i(t)中的积分光强度E_i(t)和噪声σ'_i(t)。为此目的，在像素处理单元112中存在多个点处理块(SPB)，每一个能够选择对应条纹S_j中的处理点PS_i，并且计算上述参数。与数字控制单元130中的软件的通信是以条纹方式组织的。

图7示出了与给定处理点PS_i相关的SPB的对应结构图。SPB定时如下：

1、在对应处理点PS_i中根据公式(1)和(2)以条纹方式计算和(积分)E_i(t)和σ'_i(t)。

2、当条纹S_j结束时，将结果E_i(t)、σ'_i(t)存储在影子寄存器122、123中，并且从影子寄存器124中复制下一条纹S_j+1中结合点的坐标。

3、直到下一条纹S_j+1的结束，数字控制单元130中的软件获得时间以与影子寄存器121－124通信，用于：读取结果E_i(t)和σ'_i(t)，存储下一估计值ê_i(t)，并且存储下一条纹S_j+2的坐标。

图8示出了关于处理点PS_i的图像的该定时表。

不考虑上述方法相当灵活的事实，其用途局限于垂直对准的结合点(因为在其它情况下条纹变得过高)。图9中示出了最坏的情况。

图10示出了点处理块，其能够处理这种情况。为此，建议基于中断允许每个SPB与数字控制单元130中的软件独立通信。

在完成处理点PS_i的处理之后，结果E_i、σ'_i和新数据ê_k、PS_k通过硬件被传送到影子寄存器121－124。此外，将状态“已准备好”写入状态寄存器STAT的位置i处，并且由定时控制器TC产生中断intr。其后，允许传送数字控制单元130中的软件(读取结果、装载新数据)直到当前处理点PS_k结束为止。为了不在微处理器上装载过多中断，该实现方式使得对每个视频线仅产生一个中断，其中STAT的内容指示点已准备好。

图11示出了关于两个处理点PS_i和PS_k的定时表。

在数字控制单元130上运行的软件中实现将处理点PS_i分配给SPB。根据结合点的位置，能够选择大部分定时最优的SPB分配场景以最小化与软件的其它“实时”任务(例如显示、控制按钮)的干扰。

所述体系结构能够检测任意尺寸和位于任意位置的多点，例如蘑菇情况中的蘑菇。该体系结构的其它优点是：

－仅需要低速微控制器，因为所有通信基于帧·N速率(N＝一帧中的条纹数量)；

－可获得通过量、高帧率

－低功耗

－低复杂性(无帧存储器)

－灵活性。

下文将描述的本发明的又一演变涉及下列事实，由于盒体10和读取器设备100中的机械公差，照相机图片I_t中的结合点BS的位置可以在不同测量之间或者甚至在一个测量期间发生移动。一般地，当结合点变得可见并且逐渐清楚的是在它们的实际和假定位置、尺寸和/或形状之间具有(静态)未对准时，对测得数据应用回溯(补偿)技术是可行的。

在近似回溯过程中，能够使用积分器值(而不是完整的帧)来进行回溯。这实质上不需要额外的存储器，这是因为所有的数据(整数值)已经存储在微处理器中。根据点的已知形状，那么能够进行补偿。

然而，为了使回溯精确，必须的是存储在先图像帧，这需要通常在低功率手持读取器设备中不可获得的大视频存储器。因而，为了正确地解释(生物)化学结合处理，优选的是在结合点的位置在照相机图片中可见之前(即，测定之前)结合点的位置是已知的。

为了实现前述目的，所述结合点的位置与所谓的对准标记物的位置相关。

在读取器设备中使用微处理器(微控制器)来识别所述标记物将是可行的。然而，这将对存储器容量和所述微控制器的传输速率设置严格的要求。因而需要缓解微处理器对于能耗、总线传输速率、处理功率和价格的需求。

为此，使用连接至像素处理单元112(参考图1)的视频照相机101来在每个视频帧I_t期间计算与盒体10上的对准标记物对应的大量处理点PS_a中的积分光强度E_a。随后，数字控制单元130中的相关软件

1、按帧方式收集应当与对准标记物对应的处理点PS_a中的积分E_a；

2、经由迭代处理，通过控制连续视频帧期间处理点PS_a的位置而最优化所述积分；

3、当最优化已经结束时，计算与结合点BS对应的新处理点PS_i的坐标，并且开始如上所述的检测。

图12示出了在最优化之前(左侧)和之后(右侧)一个对准标记物AM和垂直定向的矩形处理点PS_a的照相机图片。通过改变预定区域的位置执行处理点PS_a的水平对准，直到通过例如最小化所述区域内的积分像素值E_a而使其与对准标记AM的垂直线完全符合为止。

根据图13，水平定向的处理点PS_a类似地提供垂直对准信息。

应当注意到，在该配置中，显然当处理点宽度小于或等于对准标记物AM的宽度时，在垂直对准期间还能够最优化水平对准。

如图14中所示，通过使用两个处理点PS_a、PS_b或者通过使用根据图15的单一“十字交叉形”处理点PS_a，能够执行混合的水平－垂直对准。

在上述情形下，图1的数字控制单元130中的软件可以在启动时(在插入盒体10之后)经由迭代处理对准处理点PS_a的位置，直到所述点最优地与对准标记物符合为止。该最优化可以基于在如上所述(例如图3)的像素处理单元112中计算的所述处理点PS_a中的积分像素值E_a。

为了加速对准处理，通过使用如图16中所示的两个对准标记物AM_a、AM_b和两个已耦合处理点PS_a、PS_b，能够为最优化循环添加符号信息。在所述两个处理中减去积分像素值E_a和E_b会产生有符号的位置误差e，其加速了采集处理。

显然的，可以对垂直对准类似地使用水平标记物。

所述方法的许多变形是可行的，例如：

－可以使用对准标记物AM外侧的附加“白区域”，来对标记物信号进行归一化和对包括LED输出、透镜、盒体反射和照相机的光学传输进行归一化/稳定化。

－在处理点PS_a中使用的像素(区域)的数量可以改变以简化采集并且克服机械公差。例如，开始时，可以使用相对大的区域以确保对准标记物位于处理点PS_a中。在已经实现合理的采集之后，可以减小该区域以最优化控制循环的SNR。

－例如，其它对准标记物的几何形状也是可行的，以产生用于快速采集的推拉和求和信号。因而，例如能够使用环形对准标记物以与四个矩形处理点中的每一个组合来检测水平和垂直位移。

－可以使用处理点在尺寸和/或形状上的修改，来检测局部或全局地影响图像的光学像差，其随后能够得以校正。

下文中，可以解决所述数字图像处理设备(图1)中的图片质量和焦点的问题。出于下列理由，需要明确地评价盒体10的光学图像：

－在测定期间、之前和/或结束时或者在校准循环期间，对光学系统的图片质量(焦点)检查；

－在生产和校准期间对准读取器100。

如上所述，由于低的总线传输速率和大量的像素，将视频帧传输至外部计算机或手持LCD屏幕对于实时评价而言太慢。而且，可视检查并非明确的。因而需要对图片质量和焦点的快速和明确测量。

在此建议使用由SPB根据上述公式(1)和(3)(或(2))实时计算的处理点的亮度E_i(t)及其偏差σ'_i作为焦点和/或质量指示器。尤其，能够使用σ'_i值来最优化焦点和位置，然而σ'_i或或的绝对值指示盒体表面处的纳米微粒以及光学系统中灰尘的数量和聚集。通过改变预定处理点的位置和尺寸，获得焦点和灰尘的空间信息(尺寸、位置)。下文将更详细地对其进行说明。

正如σ'_i值指示与平均强度的强度偏差，其在最优焦点处达到其最大值。因而，能够使用该值在生产时、在测定期间或在校准期间对准焦点。当噪声功率σ²最大时，实现最优焦点。在该情况下，光学跃迁最可见。如上讨论的对准标记物或者如图17所示的附加最优化对准标记物AM良好地适于给出对各个位置处焦点质量的直接量度。甚至能够通过关于它们最大化σ'_i，使用存在于表面上的灰尘或纳米微粒来最优化焦点。而且，在结合发生之后(即在测定结束时)，还能够使用结合点的锐度(偏差σ'_i)作为焦点指示器。在优选实施例中，能够使用偏差σ'_i作为用于适应性聚焦模块143(图1)的误差信号，该适应性聚焦模块143使用机械致动器或其它装置来适配焦点。

此外，在白区域(不存在微粒处)，σ'_i或σ'_i/E_i的绝对值给出了对包括盒体的总光学系统的清洁度的直接量度。在良好定义的结构上(例如，对准标记物)，通过校正所述结构的作用，还能够获得清洁度。随后，能够使用已确定的清洁度作为质量量度，以防止(或警告)用户由于拙劣的光学质量而要进行进一步测量。经由合适的光学或声学状态指示器、例如显示器141，可以发出警告。

而且，通过朝向σ'_a的最大值最优化处理点PS_a的位置，能够使用偏差值σ'_a作为如图12至16中所示的对准过程中的追踪指示器。操作原理在图17中示出。当对准标记物AM和处理点PS_a的中心彼此对应时，实现正确的对准(右侧)。在该情况下，存在最大数量的光学跃迁，从而产生了σ'_a的最大值。显然地，该实施例能够延伸至备选对准标记物的几何形状，例如图12至16所示的那些形状。

如上已提及的，处理点PS_a的最优焦点和最优位置处的绝对σ'_a值或者σ'_a/E_a指示光学系统中存在的灰尘。这基于如下假设，即良好地限定了对准标记物，并且能够校正它们对σ'_a值或者σ'_a/E_a的作用。

图18示出了一个实例，其中通过从两个处理点PS_a和PS_b中减去σ'_a和σ'_b值，获得有符号版本的位置信号。

在另一优选实施例中，能够使用σ'_i值检测是否存在磁微粒聚集。通过将磁微粒从盒体10的样本腔吸引朝向表面3(图1)，对于单一磁微粒而言，与聚集相比，σ'_i值更大。通过改变处理点的尺寸和位置，那么能够确定所述磁微粒和聚集的尺寸和位置。

本发明还包括一种方法，其处理由低频(例如DC)背景和附加不相关噪声引起的信号劣化。所检测的信号例如可以被低频伪背景光和照相机的(波动)暗电流干扰。当所检测的信号较小时，该作用更严重。

通过减去参考信号而抑制干扰是可行的，但是由于减去了两种噪声信号，将使得剩余不相关噪声的信噪比减少至少3db。这对于使用来自白区域的参考信号以稳定化(归一化)检测增益而言，同样成立。因而，需要提供装置来校正所述误差，而不增加额外噪声和光学机械部件(例如，照相机)的额外成本。

通过按帧方式调整光源为至少两个强度、按帧方式对每个强度确定至少一个处理点PS_i中的响应E_i，并且减去经滤波版本的至少一个响应以抑制所述附加误差而不减少不相关噪声的信噪比，能够实现该目的。应当对滤波进行最优化，以允许背景信号的通过，同时最大限度地抑制不相关噪声。

图19示出了实现了前述概念的数字图像处理设备的读取器100的变型。盒体10、照相机101、光源102、低级硬件模块110以及影子寄存器120基本上与图1中所示相同，并且因而将不再描述。而且，为清楚起见，已经省略了监视器141，键盘142和聚焦模块143。图19的读取器100与图1的不同之处在于，其包括调制器115，并且数字控制单元130内部实现了上述滤波处理。

调制器115控制光源102，例如通过重复地打开和闭合开关。因而，产生亮暗图像帧的交替序列，其中“亮图像帧”应当对应于对盒体10进行照明(光源102“打开”)的情况，而“暗图像帧”对应于未对盒体10进行照明(光源102“关闭”)的照相机图片。

暗图像帧构成所有图像帧的选定子组，其在数字控制单元中被时间滤波。这由数字控制单元130中的开关所示，其由调制器115操作，并且将上述子组的所有亮度值E_i(t)发送至平均滤波器132。随后，从亮图像帧的未滤波亮度E_i减去暗图像帧的经滤波亮度<E_i>，以产生背景校正输出值E*_i(t)。

图20示出了时域中的对应信号。上部的图示出了从调制器115对光源102的控制信号c，其中明亮阶段S_b与暗阶段S_d逐帧改变。

在第二幅图中示出了源自明暗帧的原始信号E_i。它们均包括低频(在此指示为DC)背景信号加上附加不相关噪声ξ。

在第三幅图中，已经对暗图像帧的信号求平均，以产生没有不相关噪声ξ的经滤波值<E_i>。

在底部的图中，已经从亮图像帧中减去了经滤波值<E_i>，以产生输出值E*_i(t)。通过首先平均暗帧，未将它们的噪声添加至经补偿信号，然而使背景信号通过。由于主要减去了相关背景的频谱，而不是还添加了非背景相关的、不相关噪声，该方法避免SNR的劣化。

如上所述通过对暗帧的值E_i求平均，可以执行上述滤波。滤波还包括(适应性)高通或带通部分、梳状滤波器结构等，以从电照明或EMC中使例如50Hz、100Hz的干扰通过。而且，在暗帧期间，处理点任选地可以放大超出结合点区域，以便进一步减少噪声。

插入暗帧减少了测定或对准控制将使用的亮帧的有效数量，但是这是可以容忍的。暗帧与亮帧的比例能够根据要补偿的背景信号的谱内容而改变。另外，暗帧可以仅在有效结合处理之前或之后应用，以便于预先或后来对背景进行补偿。

为了校准系统中的(光学、电)增益，可以使用“白参考”进行归一化或作为参考。随后使得盒体上的专用区域为“白色”，即与结合或磁微粒的数量无关。使用从该白区域中检测的信号归一化系统中的白色等级(照明、光学传输、照相机增益)。在减法或归一化之前，可以首先以所述方式对该白参考进行(低通)滤波。由于添加了不相关噪声，该增益抑制了SNR的减少。

当使用图1或19的读取器100执行生物测定时，在开始测定之前和插入盒体10之前，通常进行下列步骤：

1、检查对准标记物AM的焦点(例如，使用参考图17和18所述的过程)

2、检查结合区域是否存在灰尘或尘埃(例如，使用参考图17和18所述的过程)。通过使盒体10轻微位移，可以检查这种灰尘或尘埃存在于盒体10自身上或是存在于光路(照相机等)中。

如果在这些过程中发现误差，通常将放弃测量。

最后，应当指出，在本申请中，词语“包括”不排除其它元件或步骤，“一”或“一个”不排除复数，单一处理器或其它单元可以满足数个装置的功能。本发明在于每个新颖的特有特征以及这些特有特征的每个组合。而且，权利要求中的附图标记不应理解为限制它们的范围。

Claims

1.一种数字图像处理设备(100)，其用于在数字像素处理单元(112)和高级数字控制单元(130)之间实现智能任务共享，从而使得能够实时评估由照相机(101)提供的图像帧(I_t)序列，所述数字图像处理设备包括：

a)所述数字像素处理单元(112)，其用于在时间上受所述图像帧序列控制、根据图像值(I(x，y，t))流确定图像区域中的一组处理点(PS_i，PS_a，PS_b)的至少一个特征参数(E_i，σ'_i)；

b)所述高级数字控制单元(130)，其与所述像素处理单元(112)通信，从而设置供所述数字像素处理单元(112)使用的所述组处理点以及读出由所述数字像素处理单元(112)确定的特征参数并对所述确定的特征参数进行后处理。

2.根据权利要求1所述的图像处理设备(100)，其特征在于

所述处理点涉及矩形图像区域(PS_i，PS_a，PS_b)。

3.根据权利要求1所述的图像处理设备(100)，其特征在于

每组处理点(PS_i，PS_a，PS_b)包括仅仅单一处理点、来自图像条纹(S_j)的多个处理点，和/或来自整个图像区域的多个处理点。

4.根据权利要求1所述的图像处理设备(100)，其特征在于

所述特征参数包括处理点(PS_i)中所有图像值(I(x，y，t))的积分(E_i)和/或它们与参考值(ê_i)的偏差的函数的积分(σ'_i)。

5.根据权利要求4所述的图像处理设备(100)，其特征在于

所述参考值(ê_i)和/或其变化率由所述数字控制单元(130)基于在先帧的特征参数(E_i)确定。

6.根据权利要求1所述的图像处理设备(100)，其特征在于

其包括至少一个影子寄存器(120－124)，所述影子寄存器用于存储在所述像素处理单元(112)和所述数字控制单元(130)之间待交换的数据。

7.根据权利要求1所述的图像处理设备(100)，其特征在于

在评估帧序列之前、在每帧开始时、在子帧(S_j)开始时和/或根据所述像素处理单元(112)的要求，一次设置每组处理点(PS_i，PS_a，PS_b)。

8.根据权利要求1所述的图像处理设备(100)，其特征在于

所述数字控制单元(130)使至少一个处理点(PS_a，PS_b)迭代地与标记物(AM)的图像位置适配。

9.根据权利要求1所述的图像处理设备(100)，其特征在于

其包括聚焦模块(143)，所述聚焦模块用于基于所述特征参数(E_i，σ'_i)来改变所述照相机(101)的焦点。

10.根据权利要求9所述的图像处理设备(100)，其特征在于

所述特征参数(E_i，σ'_i)是在处理点(PS_a，PS_b)中所有图像值(I(x，y，t))与参考值(ê_i)的偏差的函数。

11.根据权利要求1所述的图像处理设备(100)，其特征在于

其包括状态指示器(141)，所述状态指示器用于在检测到至少一个图像帧(I_t)中的异常状态时发出信号。

12.根据权利要求11所述的图像处理设备(100)，其特征在于

所述状态指示器(141)用于在检测到至少一个图像帧(I_t)中劣化的光学质量时发出信号。

13.根据权利要求1所述的图像处理设备(100)，其特征在于

所述数字控制单元(130)的所述后处理包括对所述特征参数(E_i(t∈S_d))进行时间滤波，所述特征参数是针对所述图像帧(I_t)的选定子组获得的。

14.根据权利要求13所述的图像处理设备(100)，其特征在于

滤波后的特征参数(<E_i>)与针对不属于所述选定子组的图像帧(I_t)获得的对应特征参数(E_i(t∈S_b))相关。

15.根据权利要求14所述的图像处理设备(100)，其特征在于

通过从针对不属于所述选定子组的图像帧(I_t)获得的对应特征参数(E_i(t∈S_b))中减去所述滤波后的特征参数(<E_i>)来实现所述相关。

16.根据权利要求1所述的图像处理设备(100)，其特征在于

其包括可控照明单元(102)，借助于所述可控照明单元能够针对不同图像帧(I_t)选择性地设置曝光条件。

17.一种用于在数字像素处理单元(112)和高级数字控制单元(130)之间实现智能任务共享，从而使得能够实时评估由照相机(101)提供的图像帧(I_t)序列的方法，包括

使用所述高级数字控制单元(130)确定多组处理点中的一组处理点(PS_i，PS_a，PS_b)，所述组处理点在根据图像值流的图像区域中；

使用所述像素处理单元(112)在时间上受所述图像帧序列控制、根据所述图像值(I(x，y，t))流确定所述图像区域中的所述组处理点(PS_i，PS_a，PS_b)的至少一个特征参数(E_i，σ'_i)；

使用所述高级数字控制单元(130)对由所述像素处理单元(112)确定的所述至少一个特征参数进行后处理；

在所述像素处理单元(112)已经完成对一帧的当前组处理点(PS_i，PS_a，PS_b)的处理之后，在所述数字控制单元(130)和所述像素处理单元(112)之间交换数据。

18.一种用于在数字像素处理单元(112)和高级数字控制单元(130)之间实现智能任务共享，从而使得能够实时评估由照相机(101)提供的图像帧(I_t)序列的装置，包括

用于使用所述高级数字控制单元(130)确定多组处理点中的一组处理点(PS_i，PS_a，PS_b)的模块，所述组处理点在根据图像值流的图像区域中；

用于使用所述像素处理单元(112)在时间上受所述图像帧序列控制、根据所述图像值(I(x，y，t))流确定所述图像区域中的所述组处理点(PS_i，PS_a，PS_b)的至少一个特征参数(E_i，σ'_i)的模块；

用于使用所述高级数字控制单元(130)对由所述像素处理单元(112)确定的所述至少一个特征参数进行后处理的模块；

用于在所述像素处理单元(112)已经完成对一帧的当前组处理点(PS_i，PS_a，PS_b)的处理之后，在所述数字控制单元(130)和所述像素处理单元(112)之间交换数据的模块。