CN108133490A - 一种晶体反应过程监测中的高效目标识别方法 - Google Patents

Abstract

本发明涉及晶体监测、晶体属性测量、过程控制、工业生产自动化等领域，一种晶体反应过程监测中的高效目标识别方法。本方法利用晶体反应过程中背景环境几乎恒定不变的特性，采用均值背景目标构建方法构建初始化背景目标，再通过差分法去除水珠干扰及复杂背景，最后对目标进行二值化处理得到最终的目标。考虑到晶体反应过程中溶液浓度不断发生变化，提出一种迭代更新背景目标的方法，以确保晶体目标识别的准确性。实验证明本方法不仅在水珠干扰去除以及复杂背景去除方面效果显著，在时间性能上也有可观优势，不仅在实时晶体反应过程监测等工业生产中有重要意义，对于其他领域复杂背景下微粒识别提取处理也有重要的借鉴意义。

Description

一种晶体反应过程监测中的高效目标识别方法

技术领域

本发明涉及晶体监测、晶体属性测量、过程控制、工业生产自动化等领域，具体涉及晶体反应过程监测中的晶体目标识别技术。

背景技术

晶体属性测量(晶体尺寸、形状等)一直是生物制药及化学工程领域的重点研究内容。结晶反应过程中晶体晶型及尺寸等属性好坏会对晶体产品最终属性(如生物可用性、压缩性、稳定性、溶解率等)及过滤、干燥等后续操作的有效性产生极其重要的影响。晶体生长状况对于生产实践也有着十分重要的意义。由于晶体属性易受反应环境中微小变化的影响，对反应过程中晶体属性的实时监测与控制显得尤为重要。

基于图像分析的晶体反应过程监测方法在晶体属性测量方面展现出巨大的潜力，硬件设备的逐渐成熟也使得基于图像分析的实时监测成为可能。为了尽可能高效地处理在线过程控制，晶体反应过程监测方法必须满足准确性高、快速、鲁棒性好等条件。基于图像分析的晶体反应过程监测方法通常可分为以下步骤：

(1)晶体目标获取

目标获取是晶体反应过程监测的第一步，也是后续晶体属性测量的首要前提。目标获取的途径多种多样，在基于图像分析的晶体反应过程监测方法中，在线成像系统是目前最常用也是最高效的手段。在线成像系统是一种可用于实时监测晶体生长的目标获取技术，通过在反应容器周围或容器中放置摄像头进行目标获取。成熟的在线成像系统可分为两类：侵入式成像系统和非侵入式成像系统。

侵入式成像系统：此种系统将摄像头插入到反应容器中以获取高分辨率的晶体图像，如Mettler Toledo公司制造的the Process Vision and Measurement(PVM)设备。

非侵入式成像系统：此种系统使用一个或多个放置在反应容器外部的摄像头以监测晶体生长，如Malvern SysmexFPIA3000。

(2)晶体目标识别

为方便对晶体进行尺寸、形状等属性测量，需要对晶体目标进行识别并将其从背景环境中提取出来。晶体目标识别的精确与否将直接影响到后续晶体属性测量的准确性及最终晶体晶型的分析。

晶体目标识别的精确程度往往受光照等外界环境的影响，另外，由于晶体反应过程中晶体对象的特定性及反应环境的特殊性，识别方法与反应过程特殊性的结合也是需要考虑的重要因素之一。

(3)晶体目标属性测量

在完成晶体目标识别后，即可对晶体进行尺寸测量、形状分类、矩形度计算等晶体形态学信息统计操作。

其中，实时、高效的晶体目标识别方法是实现晶体反应过程监测自动化的瓶颈所在。

由于对结晶过程理解的缺乏、精确数学模型的不可构建以及对用于直接测量产品质量的实时传感器的缺乏，晶体结晶过程在制药工业及精细化工业中很少实现先进自动化控制。近年来随着硬件设备的飞速发展，实时测量传感器逐渐普及。而对晶体目标进行精确识别与分离，可在很大程度上提升对结晶过程的理解以及细节信息的获取，进而加速晶体结晶监测过程的自动化进程。

另外，晶体目标识别的困难程度也决定了它在晶体目标监测过程中的重要地位。晶体目标在透视光照下轮廓较为清晰，与背景环境的差异较为明显，因而晶体目标识别也更容易实现；但对于高浓度反应溶液下，晶体目标获取被限制在反射光照下进行，在这种光照条件下，获取的目标信息中往往会有很多因光照不均匀产生的噪声干扰，特别的，对于侵入式目标获取系统而言，不可避免的会有水珠的干扰，而这些干扰因素都在不同程度上加大了晶体目标识别的难度。如何实现高效晶体目标识别也成为晶体反应过程监测首当其冲的技术难题。

目前使用最为广泛的基于图像分析的晶体目标识别方法是阈值法。该方法利用晶体目标和背景环境的差异性，通过设置阈值把晶体目标和背景环境分开，从而实现晶体目标的识别。阈值法计算公式如下所示：

该方法的优势在于实现简单，对于晶体目标和背景环境差异明显的对象识别效果显著。但该方法严重依赖识别目标与背景环境的显著差异性，且要求背景尽可能简单，对于前景背景差异不明显或背景复杂的对象识别效果不尽如人意。对于侵入式目标获取系统而言，水珠等干扰也无法通过该方法有效去除。

此外，也可通过对复杂背景建模，在待识别对象中去除复杂背景来实现目标识别。典型的复杂背景建模方法是多元统计量背景建模方法，该方法建立在理想微粒(晶体)可通过去除图像中代表背景的部分来进行识别的准则上。

该方法通过对复杂背景建模克服了阈值法对于简单背景及前景背景差异性的依赖限制，可较好地去除背景，实现目标识别。但该方法需要大量的计算来对复杂背景建模，时间效率低下，这显然不符合对实时性要求极高的工业生产实践的要求。

发明内容

通过对大量获取的目标的观察对比发现，尽管受到光照不均匀、水珠等外界条件的干扰，获取到的目标背景环境较为复杂，但在晶体反应过程中背景环境几乎恒定不变(除溶液浓度外，详见下文)，特别是相隔时间较短的几个目标之间，背景环境差异微乎其微。基于这个特性，本发明设计实现了一种高效的晶体目标识别方法，有效去除复杂背景，从而实现高效晶体目标识别。

本方法利用晶体反应过程中背景环境几乎恒定不变的特性，采用均值背景目标构建方法构建初始化背景目标，再通过差分法去除水珠干扰及复杂背景，最后对目标进行二值化处理得到最终的目标。考虑到晶体反应过程中溶液浓度不断发生变化，提出一种迭代更新背景目标的方法，以确保晶体目标识别的准确性。方法流程图如图1所示。实验证明本方法不仅在水珠干扰去除以及复杂背景去除方面效果显著，在时间性能上也有可观优势，可适用于工业生产中晶体或其他目标高效识别场景。

从宏观角度来看，在晶体反应过程中，摄像机采集到的图像背景是恒定不变的，也就是说采集到的图像之间晶体的形状、尺寸及位置不同，但背景相似。考虑到晶体反应速度极快，很难获取不含晶体的背景目标，本方法采用一种基于均值建模思想进行背景构建的方法，用晶体反应过程中获取到的目标图像构建背景，实验证明，此法求得的背景和不含晶体的背景差别甚微，且随着目标获取数量的增加，此差别也将趋近于零。

具体技术方案为：

考虑采用侵入式目标获取系统进行目标采集，采集后的目标为集合A。就本方法而言，目标集合A即为图像集合。每一幅图像f(x,y)为一个像素矩阵，每个像素点(x,y)的值代表取值范围在0-255的灰度级，其中0代表黑色，1代表白色。

(一)若不考虑浓度变化，包括如下步骤：

(1)采用均值法背景目标构建方法，构建背景目标B_m；对于采集得到的晶体反应目标集合f_i(x,y)，i＝1…n，根据公式：

式中n表示晶体反应目标个数；

(2)对于待识别目标P与步骤(1)中构建得到的背景目标B_m，根据公式：

B_sub＝f_sub(x,y)＝B_m–P (3)

得到去除复杂背景及水珠干扰的晶体目标B_sub；

由于晶体反应过程中背景恒定不变，目标B_m，P中表示背景部分像素的灰度级几乎相等，二者相减即可将晶体反应过程图像中的背景部分像素清零，剩余元素即晶体对象。

再按照公式：

对识别后的目标做二值化处理，即得到识别后的晶体目标g(x,y)；式中T表示二值化阈值。

对于做差分运算后的图像B_sub，由于去掉了复杂背景，剩余的像素中晶体部分和非晶体部分灰度级差别明显，按照公式(4)对其做阈值二值化处理，便可快速精确获得识别后的二值化目标晶体对象：

尽管在一段反应时间内背景环境几乎不发生变化，但随着时间的推移和结晶反应的进行，溶液浓度会随之发生改变，从而造成背景目标的变化。因此，随着反应的进行定期对背景目标进行更新对于本方法实施的可靠性和准确性有着十分重要的作用。背景目标的更新可采用在不同时间间隔内重复执行均值背景目标构建方法，但由于每次构建都需要大量计算，并且为了保证背景目标与真实背景尽可能相似，需要采用足够多的图像进行均值计算，如此一来时间复杂度会大大提升，系统实时性无法达到工业生产要求。为了在保证背景目标构建准确性的前提下降低时间复杂度，计算当前时间间隔内目标对象的改变量，并在上一背景目标的基础上进行叠加得到新的背景目标，具体方法为：

(二)若考虑浓度变化,

在上述步骤(2)完成后，按照指定时间间隔t对背景目标B_m进行迭代更新，之后继续执行步骤(2)操作；所述背景目标迭代方法为：

对于上一背景目标B_m-1，当前晶体图像P_m以及第前m-N幅晶体图像P_m-N，N为上一背景目标B_m-1到当前背景目标B_m的待识别目标数量，根据公式：

对上一背景目标叠加改变量，即可得到当前背景目标B_m。

本发明的有益效果为：本发明设计实现的方法本质上是通过去除晶体反应过程复杂背景及水珠干扰以达到晶体目标识别的目的。本发明采用的高效晶体目标识别方法及均值法背景构建方法晶体目标识别效果好，可有效去除水珠及复杂背景干扰，且时间复杂度低，相较其他先进晶体识别方法识别速度提升20％，不仅在实时晶体反应过程监测等工业生产中有重要意义，对于其他领域复杂背景下微粒识别提取处理也有重要的借鉴意义。

附图说明

附图1为方法流程图。

附图2为待识别晶体图。

附图3为均值背景目标构建图。

附图4为晶体目标识别效果图。

具体实施方式

为了获得精确识别的晶体，采用本发明设计实现的高效晶体识别方法。同时，为了得到不含晶体的背景目标，采用均值法背景构建方法构建背景目标。

具体实施可以遵从如下处理过程：

考虑采用侵入式目标获取系统采集到待识别目标集合A，即晶体图像集合。每一幅图像P为一个像素矩阵，维度为1200×1600。

1)从集合A中选取n个目标P_i，(i＝1…n)，根据式(2)计算得到初始化背景目标B₀，如图3所示。其中n为用于计算背景目标的原始目标对象个数，其取值可根据反应背景复杂程度及背景目标计算效果进行人为设定；

2)如图2所示，设当前待识别目标为P，采用本发明提出的晶体目标识别方法按照式(3)与初始化背景目标B₀相减，得到去除背景及水珠干扰后的目标对象B_sub；

3)采用OTSU阈值选择算法计算B_sub的阈值T，并根据式(4)对B_sub做二值化处理，得到识别后的晶体目标对象，如图4所示；

4)按照用户指定的时间间隔，采用迭代更新背景目标方法(式(5))，在上一幅背景目标基础上叠加晶体图像改变增量，得到当前背景目标B_m，之后返回步骤2)循环执行。

实验结果表明，本发明设计实现的方法相较于其他先进的晶体目标识别方法如Multi-scale算法、SIAS(Segmentation Algorithm of a Synthetic Image AnalysisStrategy)等算法不仅在去除水珠、复杂背景干扰等问题上效果显著，在算法时间性能上也有了较大幅度的提升(本方法：1-3s；Multi-scale：5s；SIAS算法：4s)。

Claims (2)

1.一种晶体反应监测过程中的高效晶体目标识别方法，其特征在于，若不考虑浓度变化，包括如下步骤：

(1)采用均值法背景目标构建方法，构建背景目标B_m；对于采集得到的晶体反应目标集合f_i(x,y)，i＝1…n，根据公式：

式中n表示晶体反应目标个数；

(2)对于待识别目标P与步骤(1)中构建得到的背景目标B_m，根据公式：

B_sub＝f_sub(x,y)＝B_m–P (3)

得到去除复杂背景及水珠干扰的晶体目标B_sub；再按照公式：

对识别后的目标做二值化处理，即得到识别后的晶体目标g(x,y)；式中T表示二值化阈值。

2.根据权利要求1所述的一种晶体反应监测过程中的高效晶体目标识别方法，其特征在于，若考虑浓度变化,

在步骤(2)完成后，按照指定时间间隔t对背景目标B_m进行迭代更新，之后继续执行步骤(2)操作；所述背景模型迭代方法为：

对于上一背景目标B_m-1，当前晶体图像P_m以及第前m-N幅晶体图像P_m-N，N为上一背景目标B_m-1到当前背景目标B_m的待识别目标数量，根据公式：

对上一背景目标叠加改变量，即可得到当前背景目标B_m。