CN103558129B - 一种探头式在线立体成像检测系统及方法 - Google Patents

Abstract

本发明公开了一种探头式在线立体成像检测系统，包括晶体生长反应器、三维成像探头、光源与频闪控制器、对图像进行处理的计算机以及显示器，其中三维成像探头将2D图像传输给计算机，计算机首先用分割技术对其背景进行删除，然后使用角/边缘/线检测技术，从2D图像中识别对应的点和线，对于少数有检测困难的角/线，基于已获得的角和线，利用分子建模和晶体形状模型来预测/估算那些不清晰的角/线，再用已确定的点和线实现3D图像重建，接着结合在线测量的溶液参数，得到3D晶体的颗粒描述特性，最后由晶形粒数衡算模型和计算流体力学来实现反应器中结晶过程优化和控制及放大。本发明的系统及方法，可以直接从溶液中采集图像、实现3D晶形的重建，且图像处理速度快。

Description

一种探头式在线立体成像检测系统及方法

技术领域

本发明涉及晶体生长的研究应用领域，特别涉及一种探头式在线立体成像检测系统及方法。

背景技术

颗粒形状被公认为对很多固体形态药品、生物药品、人类健康产品和专业化学品极为重要。例如，在制药行业，形态可以影响到干燥粉末密度、凝聚度和流动性等重要属性，从而可以对一个公司转变药物微粒为成品的能力有重大的影响。此外，晶体形态可以影响药物的溶解度，有可能影响成品生物属性，并在极端情况下导致一家公司去药物生产的许可证。尽管其重大的潜在重要性，颗粒形状的直接测量一直相当有限，很大程度上依赖于离线仪器的测量方法。相当一段时间内没有有效的在线工具能够提供颗粒形状实时信息，特别是能用于颗粒在结晶、沉淀、造粒和磨制(干态或湿态）等单元操作的处理过程中的仪器。近几年开发的二维在线测量系统仅能提供二维信息，且其图像处理功能极为薄弱。总体而言，缺乏在线测量颗粒三维形状的仪器系统极大地限制了在颗粒形成和处理系统中对颗粒形状监测，优化和控制。

通过系统的文献搜索和信息收集，已开发的并被广泛使用的过程分析技术(PAT)如声，中/近红外光谱分析，激光衍射等，使用应用化学计量学，通过仔细的光谱数据分析可以区分不同的晶型，但不能给出颗粒形状的详细信息。由于晶体形状和大小分布对过程监控及产品优化和控制的重要性，最近几年，一些使用高速在线成像技术测量颗粒形状的新仪器仪表产品已被开发出来并推向市场。下面介绍在科学研究和颗粒产品工业生产中使用的几种典型系统。

1.过程视窗和测量系统（PVM）

过程视窗和测量系统由梅特勒托莱多有限公司开发，专利号为US5815264A。该系统将视频探头放置在一个流动的媒介中来获取移动颗粒的图像，因此可以直接显示在一个过程中的移动颗粒、细胞、泡沫、晶体。它声称，系统可以进行连续的可视化和储存颗粒大小、形状、夹杂物、表面结构、结块等信息，也可用于多相系统（气泡和液滴和固体）。PVM探针系统已广泛应用于学术和工业界来研究晶体成核、生长，特别是尺寸分布，2D形状分布。在美国威斯康星大学麦迪逊分校的罗林斯教授和合作者使用PVM成像系统和图像分析软件系统：SHARC（分割高纵横比晶体)来测量晶体形状和尺寸（氯酸钠、甘氨酸一和其他针样药品）。瑞士联邦技术研究所的Mazzotti教授使用PVM成像系统与FBRM探针研究了L-谷氨酸的多态转化和成核动力学并2D估算乙酰氨基酚增长率。PVM系统也由在都柏林大学学院的巴雷特和格伦农博士用于测量介稳区和成核动力学。阿斯利康的布莱克博士和合作者也进行了药品的形态调查。在新加坡国立大学的斯里尼瓦森博士和合作者使用多元图像分析研究了产品质量特性。

2.在线显微系统(葛兰素史克公司)

频闪在线成像系统是由葛兰素史克的威尔金森、詹宁斯和哈代开发的。该系统由索尼CCD单色扫描视频摄像机和镜头，一氙灯频闪的光源照明与光纤光缆，摄像机采集和频闪灯同步及图像采集的接口盒组成。相机系统置于反应器玻璃壁外。他们利用Matlab开发了图像图像分析软件来分析针形晶体(测量长度和循环)。该系统已使用在利兹大学的实时产品形态监测、实时测量晶体面成长率，以及晶体分类和控制等研究中。这一系统也由罗林斯教授和合作者用于研究针状晶体的结晶过程。

3.过程图像分析仪(PIA)

过程图像分析仪(PIA)由德国海德汉施瓦茨公司研发，专利号为DE10052384A1。颗粒图像分析4000LUT视频显微镜可以插入结晶器内收集在线图像。该系统已用于研究两种钾盐添加剂（乙烯二胺乙酸二钾盐和盐焦）对磷酸二氢钾(KDP)冷却结晶的影响。使用PIA视频显微镜拍摄的在线图像被用来确特定晶面的晶体生长速率。基于颗粒的投影面积，用400张以每秒五个图像的速度采集的图像包获得了二维晶体的大小和形状特征。

4.现场(In-Situ)颗粒查看器(ISPV)

现场(In-Situ)颗粒查看器(ISPV)是由荷兰的perdix公司开发的，专利号为NL1026306C2。该系统曾在利兹大学用于考查晶体生长过程中形状和在后续变化。使用常规热阶段显微镜的研究显示结合商业图像分析软件和ISPV探测器系统是能够产生适合进一步处理和分析的具有代表性的高质量图像。在20L反应器中的L-谷氨酸结晶研究显示，ISPV能够有效地定性结晶和多态相转化过程，因而表明其在小型和大型反应器系统中的潜在应用价值。研究提出了对探头的一些改进的建议如增加分辨率和使用热涂层以减少探头的晶体沉积垢等。该系统由荷兰Delft工业大学的克雷默博士及同事用于研究谷氨酸从α晶形到β晶形的转化。该专利提到使用多个相机和光源来获得3D颗粒视图，但它不是用于探头。

5.三相机摄像系统

三相机摄像系统分别由荷兰Delft工业大学的Boersmaetal.和德国特里尔应用科学大学的博特林格教授开发。在Boersmaetal.的研究中，三个摄像头被放置在带有小角度的三角位置，使摄影机可聚焦于同一区域。基于数字表面模型(DSM)的图像分析方法被用来分析三个图像对，从而生成三个数字表面模型，然后他们的组合将提供一个伤口区域的3D信息。这套系统的测量精度为0.4毫米左右。博特林格教授最近为测量自由落体颗粒（100毫米～4毫米)的3D形状开发了正交定位的三相机成像系统。

6.立体成像系统的矿物和岩石颗粒

Helgasonetal.发明了用于对矿物，岩石颗粒及类似颗粒大小和形状的3D测量和成分分析的设备(专利号CA2579553A1）。颗粒混合物或具有相同或不同大小的矿物或岩石或类似颗粒被单独上传到传送带。使用激光和两个摄像头实现3D机器视觉测量并随后使用可见光和红外进行光谱测量，最后收集于输送机的末尾。计算机软件根据内置测量过程或用户指定的方法来自动执行测量并计算大小、形式、圆度和最好的岩相组成和其他单个对象的特征属性及相关属性的统计分布。专利保护的每个设备和方法不是探头并只可以用来测量单个粒子。

7.小物体立体成像系统

Gorpasetal.开发了用于的使用双目机器视觉系统的体积方法，其标准偏差为0.04mm。系统包括两个带有IEEE1394a接口的逐行扫描彩色数码CCD摄像机。远望中心镜头旨在尽量减少视窗误差，并获得无失真的图像。结构化光投影仪被用来增加不同立体图像之间匹配的准确性。通过摄像机标定、图像预处理和分割、立体匹配和三维坐标计算来实现重建3D肿瘤表面（～10毫米的大小）。

8.内窥镜系统

允许用户在远程控制和操纵真实环境中的真实世界对象的交互式内窥镜系统被称为teleoperator或遥操作机器人系统。这种系统通常用于医疗应用中证实诊断结果并进行远程手术。为此研发了多种2D/3D内窥镜。DaVinciTM遥操作机器人外科手术系统和ZEUSTM使用两个光纤摄像机，是最具盛名的遥操作机器人手术系统。这种系统是由外科医生通过立体系统远程查看手术部位并控制立体摄像机和机器手术臂来实现手术。内窥镜必须是可插入的，其大小通常是小于10毫米。在他们的论文中，胡etal.开发了带平移和倾斜功能的用于微创手术的2D和3D外科成像设备。所有内窥镜主要都用于远程诊断和手术，并不采集在反应器中移动颗粒的高分辨率图像。

现有可以用于结晶、造粒和磨削过程中的在线监测成像探头测量系统如过程视窗和测量系统（PVM），过程图像分析仪(PIA)，现场(In-Situ)颗粒查看器(ISPV)，仅限于二维(2D)成像，无法实现三维重建（仅使用单一像机）。内窥镜探头系统主要都用于远程诊断和手术，探测对象为非移动物体。因此不能用于在反应器中采集移动颗粒的高分辨率图像，从而无法实现三维重建。三维颗粒成像测量系统如三相机摄像系统，矿物和岩石颗粒的立体成像系统，小物体立体成像系统，共聚焦显微镜，InfiniteFocus垂直扫描光学装置，均不是探头测量系统，并且仅适用于非移动物体（或移动速度非常缓慢的物体）和单个粒子。现有产品和原型系统对许多复杂的物系和过程图像的质量不理想，并且其图像处理功能极为薄弱。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种探头式在线立体成像检测系统及方法。

本发明的目的通过以下的技术方案实现：

一种探头式在线立体成像检测系统，包括装有待测晶体的晶体生长反应器、设置在晶体反应器内部三维成像探头，其中三维成像探头包括呈固定的立体角设置的两个以上的摄像头和光源，该系统还包括控制光源工作的光源与频闪控制器、将三维成像探头采集的图像进行处理的计算机以及与计算机连接的显示器，所述的光源与频闪控制器和计算机相连，其中

三维成像探头将其获得的晶体样本的2D图像传输给计算机，计算机首先用分割技术对晶体样本的2D图像的背景进行删除，然后使用角/边缘/线检测技术，从晶体样本的2D图像中识别对应的点和线，对于少数有检测困难的角/线，基于已获得的角和线，利用分子建模和晶体形状模型来预测/估算那些不清晰的角/线，再用已确定的点和线实现晶体样本的3D图像重建，接着结合在线测量的溶液参数，得到3D晶体的颗粒描述特性，最后由晶形粒数衡算模型和计算流体力学来实现反应器中结晶过程优化和控制及放大。

所述的溶液参数是由设置在晶体生长反应器溶液中的多个探头测得的，多个探头将测得的数据传输给计算机。

所述的探头式在线立体成像检测系统，还包括设置在三维成像探头中的冷却装置，冷却装置根据计算机的指令对三维成像探头进行冷却。光源、摄像头会产生热，且三维成像探头处在溶液中，会与溶液发生热传递，而过热的环境会影响三维成像探头的工作。

本发明的另一目的通过以下的技术方案实现：

一种探头式在线立体成像检测方法，包含以下顺序的步骤：

1）通过三维成像探头在频闪同步条件下获得晶体样本的2D图像；

2）通过分割技术对2D图像的背景进行删除；

3）从2D图像中识别对应的点和线：

a、使用角/边缘/线检测技术，从处理过的图像中获得颗粒的角和线；

b、对于少数有检测困难的角/线，基于已获得的角和线，利用分子建模和晶体形状模型来预测/估算那些不清晰的角/线；

c、从匹配好的2D图像中获得的角和线，软件将产生相同的次序/编号；

d、通过角和线相同的次序/编号，可直接标识相应的左、右功能特征；

4）用已确定的点和线实现3D图像重建：

a、使用获得的对应线条，角点，和像机及像机之间的参数来进行三维重建；

b、晶体形状的三维坐标可以使用立体三角剖分算法来获得；

c、利用获得的三维坐标，可显示晶体的三维图像，并计算各个晶面到晶体中心的距离；

5）温度，浓度，pH在线测量：

a、使用温度探头，FTIR浓度探头和pH探头，对温度，浓度，pH进行在线测量；

b、由FTIR探头获得的图谱，和预先测定的同一物系的标定结果，利用最小二乘算法来获得浓度；

6）3D晶体的颗粒描述特性：

a、由于晶体在反应器中持续旋转和运动，在不同时间采集的图像中的晶体不同，故采用统计分析来获得各个时间的颗粒尺寸及形状；

b、使用在三维重建中获得的各个晶面到晶体中心的平均距离与其相对应的时间，可获得各个距离与时间的关系；

c、对各个距离用时间求导获得晶体各个晶面的生长速率：各个距离与时间的关系有上下波动，当图像间时差很小时，其产生的晶面生长速率可能不真实，如负的晶面生长速率；在此情况下，可先用函数关联各个距离与时间的关系，再将关联的函数对时间求导，从而获得光滑的晶面生长速率；

d、结合获得的各个晶面的生长速率和溶液浓度，通过时间将它们关联成各个晶面生长速率与溶液浓度的关系；

e、如果其他溶液参数也影响晶面生长速率，则用多变量关联生成晶面生长速率与溶液浓度、pH的关系；

f、由步骤d和e产生的关联函数就是可用于结晶过程优化、控制及放大的晶体生长动力学模型；

7）通过晶形粒数衡算模型和计算流体力学，对晶体反应器中结晶过程进行优化、控制和放大。

所述的步骤2），通过分割技术对2D图像的背景进行删除，具体包含以下步骤：

a、如图像格式为非灰度格式，可将其转换成灰度格式；

b、使用不同的边缘检测参数对晶体进行多重边缘检测，然后将它们集合；

c、对获得的晶形边缘实施晶形闭合/晶形填充/晶形开启，从而产生清晰晶体边缘；

d、对极其微小的颗粒将予以剔除；

e、删除图像背景，只保留具有清晰晶体边缘的晶体。

步骤3）中，所述的步骤b，具体包含以下步骤：

（1）利用晶体样本进行X射线扫描获得X射线衍射图谱，进而计算晶体单元的参数：边长a,b,c和内角α,β,γ；

（2）由已知的晶体分子结构和获得的晶体单元参数，通过分子模型确定分子在晶体单元中的有序排列；

（3）通过晶体形状模型，晶体的分子结构和分子在晶体单元中的有序排列预测晶体的三维形状；

（4）对于预测得到的晶体形状，各晶面到晶体中心距离为已知，因而使用像机模型可将晶体按立体角及相关像机参数投影成2D图像；

（5）使用从成像系统获得的图像中检测到的部分清晰角和线，通过调整从晶体形状模型中获得的晶体晶面到晶体中心距离，进而由像机模型产生调整后的模型的角和线，并用其来匹配检测到的部分清晰对应角和线；

（6）匹配好的2D图像将补齐所有三维重建所需的角和线。

步骤6）中，所述的步骤a，具体包含以下步骤：

（1）首先定义一个时间窗口的大小：在本时间窗口内通过三维重建来获得的颗粒将进行统计处理，从而获得在每个时间由时间窗口产生的颗粒尺寸分布，进而得到在当前时间的平均颗粒尺寸及形状；

（2）移动时间窗口到下一时间，使用相同的统计处理方法得到其颗粒尺寸分布，平均颗粒尺寸及形状；

（3）当统计处理完成后，各个晶面随时间变化的尺寸分布系列及可获得；

（4）在各个时间点的尺寸分布用来产生各个晶面平均尺寸，即各个晶面到晶体中心的平均距离。

步骤6）中，所述的3D晶体的颗粒描述特性，还包括附加类型的形状描述符，用于颗粒的分类和聚类分析，分类和聚类技术可以根据遇到的数据来分组，存在以下四种形式之一:

（1）数据库的一部分为已知，即已知类别数量和描述以及各自数据模式的分配，任务是将未知的数据模式分配给既定的类别；

（2）只有类别数是已知的；

（3）只有类别的数目和描述已知；

（4）类别的数量和描述都不知道：其目的是要确定类别的数量和描述以及数据模式的分配；

分类和聚类的技术可以被应用在所有四个类型的数据中。

所述的步骤7），包含以下顺序的步骤：

a、定义每一个从晶面到晶体中心的距离为晶形粒数衡算模型的一维，本晶形粒数衡算模型中各维之间不要求正交；

b、晶形粒数衡算模型包括各晶面粒数变化、各晶面生长、晶体成核、晶体聚集、晶体破裂；

c、从获得的晶面生长动力学中，每一个晶面的生长速率方程已知并用于晶面生长项；

d、当加入晶种来研究各晶面生长时，晶体成核、晶体聚集、晶体破裂项可去除，由晶种分布及边界条件求解在一定冷却条件下的晶形粒数衡算方程以获得每一个晶面的生长过程和三维晶体分布；

e、如有预定的最终三维晶体分布，可对晶形粒数衡算方程进行优化，从而获得优化的冷却条件，同样，如要实现衡定过饱和度结晶过程，优化的冷却条件可从求解晶形粒数衡算模型中获得；

f、由于结晶过程中存在不稳定因素，晶形粒数衡算模型和探头式在线立体成像检测系统结合可实现对晶形的在线实时控制：探头式在线立体成像检测系统可在线提供晶形分布，晶形粒数衡算模型可实时调整冷却速率，以期获得预定的三维晶体分布；

g、当结晶器内处于非均匀混和状态时，结晶器中液体浓度/温度不均匀，进而产生非均匀的过饱和度及晶面生长率，计算流体力学提供结晶器中各计算单元的液体浓度/温度，获得其精确分布，晶形粒数衡算模型应用于各计算单元，从而获得其计算单元中各个晶体的晶面生长过程和三维晶体分布，集合来自所有单元中的三维晶体分布就产生整个结晶器中的晶体生长过程和三维分布；

h、当结晶过程中存在晶体成核，晶体聚集，晶体破裂时，通过产生的微-积分偏微分方程求解。

所述的步骤1）中，所述的频闪同步具体通过以下步骤实现：

a、由摄像头的图像采集速率，获得采集每张图像所需时间；

b、同时设置采集每张图像时快门的开启延迟时间，开启时间及重新开启时间，并且使其总和等于由步骤a确定的采集每张图像所需时间；

c、相同的开启时间信号同时激发摄像机快门和LED光源，从而实现其同步。

本发明与现有技术相比，具有如下优点和有益效果：

1、可直接采集在晶体反应器溶液中移动的微粒的图像，实现其3D形状的重建。

2、图像处理速度快，实用性高：本发明所使用的分割技术，能对待测晶体与背景进行精确分割，而现有技术中要实现较为准确的分割，需要高清晰的晶体样本图像，当晶体样本图像不是很清晰时，处理速度就慢很多，且处理结果的精确度也下降许多，甚至无法处理。

3、在反应器中晶体的不断运动和旋转使得在不同时间通过采样区域的晶体样本不尽相同，本发明采用统计分析来合理地去除其影响，从而获得各个时间的颗粒尺寸及形状，能保证所得结果的准确性。

4、三维成像探头可直接伸入晶体反应器内部溶液中，在不带流动通道或不带点光源时还可以设置在晶体反应器的外部，也可应用于静态下的干湿颗粒。

5、设计更加合理：

（1）摄像头和光源同步设计，主摄像头以及从摄像头与灯光的同步触发通过摄像机本身或光源信号来实现。

（2）多个照明光源的强度可调，此前2D探头的光源是不可调的。

（3）摄像机间的角度可调。

（4）在透射光模式下，透射光源和摄像机之间的距离可调整，以实现最佳的图像质量。

（5）在使用反射/透射双光源时，可形成透射/反射光混合模式。通过调整透射/反射光源的相对亮度，可进一步提高图像质量。

附图说明

图1为本发明所述的一种探头式在线立体成像检测系统的结构示意图；

图2为图1所述系统的三维成像探头的结构示意图：由A-A剖视图和B-B剖视图组成；

图3为图1所述系统的三维成像探头的结构示意图；

图4为图1所述系统的三维成像探头的结构示意图；

图5为图1所述系统的三维成像探头的结构示意图；

图6为图1所述系统的三维成像探头的结构示意图；

图7为本发明所述的一种探头式在线立体成像检测方法的流程图；

图8为三维直线的重建示意图；

图9为三维长方形的重建示意图；

图10为三维长方形的重建示意图；

图11为三维长方体的重建示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

如图1、2、3所示，一种探头式在线立体成像检测系统，包括装有待测晶体的晶体生长反应器1、设置在晶体反应器内部三维成像探头，其中三维成像探头包括呈固定的立体角设置的两个摄像头2、3和光源，摄像头2、3的镜头为中心远望镜头，成像更清晰；晶体生长反应器中设置有叶片搅拌器6；该系统还包括控制光源工作的光源与频闪控制器4、将三维成像探头采集的图像进行处理的计算机5以及与计算机连接的显示器，所述的光源与频闪控制器4和计算机5相连，其中三维成像探头将其获得的晶体样本的2D图像传输给计算机5，计算机5首先用分割技术对晶体样本的2D图像的背景进行删除，然后使用角/边缘/线检测技术，从晶体样本的2D图像中识别对应的点和线，对于少数有检测困难的角/线，基于已获得的角和线，利用分子建模和晶体形状模型来预测/估算那些不清晰的角/线，再用已确定的点和线实现晶体样本的3D图像重建，接着结合在线测量的溶液参数，得到3D晶体的颗粒描述特性，最后由晶形粒数衡算模型和计算流体力学来实现反应器中结晶过程优化和控制及放大，其中溶液参数是由设置在晶体生长反应器溶液中的多个探头测得的，多个探头将测得的数据传输给计算机，如温度探头7、PH探头8、浓度探头9，如图2，该系统还包括设置在三维成像探头中的冷却装置10，冷却装置10根据计算机的指令对三维成像探头进行冷却，三维成像探头的底部为玻璃视窗11。

如图3，三维成像探头的玻璃视窗11的下方没有设置反光盘。

实施例2

如图4、5，本实施例除下述特征外其他结构同实施例1：

如图4，三维成像探头的玻璃视窗11下方设置有反光盘12，反光盘12与玻璃视窗11之间的空隙形成料浆流动通道13。对快速移动的晶体和反应器中的晶体浓度很高时，料浆流动通道可以对溶液中的晶体进行“整流”，晶体按顺序依次通过料浆流动通道，可以提高采集的2D图像质量。

实施例3

如图5，本实施例除下述特征外其他结构同实施例1：

三维成像探头的底部设置一锥形末端13。以便于探头插入小尺寸结晶反应器中。

实施例4

如图6，本实施例除下述特征外其他结构同实施例1：

三维成像探头的光源为LED环状光，其透视视窗的下端设置有点状高亮度透射光源14。以进一步提高图像质量。

如图7，一种探头式在线立体成像检测方法，包含以下顺序的步骤：

1）通过三维成像探头在频闪同步条件下获得晶体样本的2D图像，其中所述的频闪同步具体通过以下步骤实现：

a、由摄像头的图像采集速率，获得采集每张图像所需时间；

b、同时设置采集每张图像时快门的开启延迟时间，开启时间及重新开启时间，并且使其总和等于由步骤a确定的采集每张图像所需时间；

c、相同的开启时间信号同时激发摄像机快门和LED光源，从而实现其同步；

2）通过分割技术对2D图像的背景进行删除：

a、如图像格式为非灰度格式，可将其转换成灰度格式；

b、使用不同的边缘检测参数对晶体进行多重边缘检测，然后将它们集合；

c、对获得的晶形边缘实施晶形闭合/晶形填充/晶形开启，从而产生清晰晶体边缘；

d、对极其微小的颗粒将予以剔除；

e、删除图像背景，只保留具有清晰晶体边缘的晶体；

3）从2D图像中识别对应的点和线：

a、使用角/边缘/线检测技术，从处理过的图像中获得颗粒的角和线；

b、对于少数有检测困难的角/线，基于已获得的角和线，利用分子建模和晶体形状模型来预测/估算那些不清晰的角/线：

（1）利用晶体样本进行X射线扫描获得X射线衍射图谱，进而计算晶体单元的参数：边长a,b,c和内角α,β,γ；

（2）由已知的晶体分子结构和获得的晶体单元参数，通过分子模型确定分子在晶体单元中的有序排列；

（3）通过晶体形状模型，晶体的分子结构和分子在晶体单元中的有序排列预测晶体的三维形状；

（4）对于预测得到的晶体形状，各晶面到晶体中心距离为已知，因而使用像机模型可将晶体按立体角及相关像机参数投影成2D图像；

（5）使用从成像系统获得的图像中检测到的部分清晰角和线，通过调整从晶体形状模型中获得的晶体晶面到晶体中心距离，进而由像机模型产生调整后的模型的角和线，并用其来匹配检测到的部分清晰对应角和线；

（6）匹配好的2D图像将补齐所有三维重建所需的角和线；

c、从匹配好的2D图像中获得的角和线，软件将产生相同的次序/编号；

d、通过角和线相同的次序/编号，可直接标识相应的左、右功能特征；

4）用已确定的点和线实现3D图像重建：

a、使用获得的对应线条，角点，和像机及像机之间的参数来进行三维重建；

b、晶体形状的三维坐标可以使用立体三角剖分算法来获得；

c、利用获得的三维坐标，可显示晶体的三维图像，并计算各个晶面到晶体中心的距离；

5）温度，浓度，pH在线测量：

a、使用温度探头，FTIR浓度探头和pH探头，对温度，浓度，pH进行在线测量；

b、由FTIR探头获得的图谱，和预先测定的同一物系的标定结果，利用最小二乘算法来获得浓度；

6）3D晶体的颗粒描述特性：

a、由于晶体在反应器中持续旋转和运动，在不同时间采集的图像中的晶体可能不尽相同，故采用统计分析来获得各个时间的颗粒尺寸及形状：

（1）首先定义一个时间窗口的大小：在本时间窗口内通过三维重建来获得的颗粒将进行统计处理，从而获得在每个时间由时间窗口产生的颗粒尺寸分布，进而得到在当前时间的平均颗粒尺寸及形状；

（2）移动时间窗口到下一时间，使用相同的统计处理方法得到其颗粒尺寸分布，平均颗粒尺寸及形状；

（3）当统计处理完成后，各个晶面随时间变化的尺寸分布系列及可获得；

（4）在各个时间点的尺寸分布用来产生各个晶面平均尺寸，即各个晶面到晶体中心的平均距离；

b、使用在三维重建中获得的各个晶面到晶体中心的平均距离与其相对应的时间，可获得各个距离与时间的关系；

c、对各个距离用时间求导获得晶体各个晶面的生长速率：各个距离与时间的关系有上下波动，当图像间时差很小时，其产生的晶面生长速率可能不真实，如负的晶面生长速率；在此情况下，可先用函数关联各个距离与时间的关系，再将关联的函数对时间求导，从而获得光滑的晶面生长速率；

d、结合获得的各个晶面的生长速率和溶液浓度，通过时间将它们关联成各个晶面生长速率与溶液浓度的关系；

e、如果其他溶液参数也影响晶面生长速率，则用多变量关联生成晶面生长速率与溶液浓度、pH的关系；

f、由步骤d和e产生的关联函数就是可用于结晶过程优化、控制及放大的晶体生长动力学模型；

g、所述的3D晶体的颗粒描述特性，还包括附加类型的形状描述符，用于颗粒的分类和聚类分析，分类和聚类技术可以根据遇到的数据来分组，存在以下四种形式之一:

（1）数据库的一部分为已知，即已知类别数量和描述以及各自数据模式的分配，任务是将未知的数据模式分配给既定的类别；

（2）只有类别数是已知的；

（3）只有类别的数目和描述已知；

（4）类别的数量和描述都不知道：其目的是要确定类别的数量和描述以及数据模式的分配；

分类和聚类的技术可以被应用在所有四个类型的数据中；

7）通过晶形粒数衡算模型和计算流体力学，对晶体反应器中结晶过程进行优化、控制和放大：

a、定义每一个从晶面到晶体中心的距离为晶形粒数衡算模型的一维，本晶形粒数衡算模型中各维之间不要求正交；

b、晶形粒数衡算模型包括各晶面粒数变化、各晶面生长、晶体成核、晶体聚集、晶体破裂；

c、从获得的晶面生长动力学中，每一个晶面的生长速率方程已知并用于晶面生长项；

d、当加入晶种来研究各晶面生长时，晶体成核、晶体聚集、晶体破裂项可去除，由晶种分布及边界条件求解在一定冷却条件下的晶形粒数衡算方程以获得每一个晶面的生长过程和三维晶体分布；

e、如有预定的最终三维晶体分布，可对晶形粒数衡算方程进行优化，从而获得优化的冷却条件，同样，如要实现衡定过饱和度结晶过程，优化的冷却条件可从求解晶形粒数衡算模型中获得；

f、由于结晶过程中存在不稳定因素，晶形粒数衡算模型和探头式在线立体成像检测系统结合可实现对晶形的在线实时控制：探头式在线立体成像检测系统可在线提供晶形分布，晶形粒数衡算模型可实时调整冷却速率，以期获得预定的三维晶体分布；

g、当结晶器内处于非均匀混和状态时，结晶器中液体浓度/温度不均匀，进而产生非均匀的过饱和度及晶面生长率，计算流体力学提供结晶器中各计算单元的液体浓度/温度，获得其精确分布，晶形粒数衡算模型应用于各计算单元，从而获得其计算单元中各个晶体的晶面生长过程和三维晶体分布，集合来自所有单元中的三维晶体分布就产生整个结晶器中的晶体生长过程和三维分布；

h、当结晶过程中存在晶体成核，晶体聚集，晶体破裂时，通过产生的微-积分偏微分方程求解。

下面用具体的实验来说明本发明的技术效果：

实验一

如图8，直线实际长度为1000微米，重建直线长度为977～1018微米，本发明重建所获得的三维直线长度与实际直线长度的误差小于3%，精确率较高。由于投影关系，在直线与摄像机光轴不等于90度时，若只用二维图像来获得直线长度，其长度会小于实际直线长度，极端情况下直线会投影成一个点，精确率较低。

实验二

如图9、10，重建三维片状长方形晶体，进而获得其尺寸（长度、宽度）与生长速率。

实验三

如图11，重建长方体晶体的三维坐标，从而获得长方体晶体的尺寸和各个面的生长速率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种探头式在线立体成像检测系统，其特征在于：包括装有待测晶体的晶体生长反应器、设置在晶体反应器内部三维成像探头，其中三维成像探头包括呈固定的立体角设置的两个以上的摄像头和光源，该系统还包括控制光源工作的光源与频闪控制器、将三维成像探头采集的图像进行处理的计算机以及与计算机连接的显示器，所述的光源与频闪控制器和计算机相连，其中

三维成像探头通过光源与频闪控制器同步控制摄像机和光源而获得晶体样本的2D图像并将该图像传输给计算机，计算机首先用分割技术对晶体样本的2D图像的背景进行删除，然后使用角/边缘/线检测技术，从晶体样本的2D图像中识别对应的点和线，对于少数有检测困难的角/线，基于已获得的角和线，利用分子建模和晶体形状模型来预测/估算那些不清晰的角/线，再用已确定的点和线实现晶体样本的3D图像重建，接着结合在线测量的溶液参数，得到3D晶体的颗粒描述特性，最后由晶形粒数衡算模型和计算流体力学来实现反应器中结晶过程优化和控制及放大。

2.根据权利要求1所述的探头式在线立体成像检测系统，其特征在于：所述的溶液参数是由设置在晶体生长反应器溶液中的多个探头测得的，多个探头将测得的数据传输给计算机。

3.根据权利要求1所述的探头式在线立体成像检测系统，其特征在于：该系统还包括设置在三维成像探头中的冷却装置，冷却装置根据计算机的指令对三维成像探头进行冷却。

4.一种探头式在线立体成像检测方法，包含以下顺序的步骤：

1)通过三维成像探头在频闪同步条件下获得晶体样本的2D图像；

2)通过分割技术对2D图像的背景进行删除；

3)从2D图像中识别对应的点和线：

a、使用角/边缘/线检测技术，从处理过的图像中获得颗粒的角和线；

b、对于少数有检测困难的角/线，基于已获得的角和线，利用分子建模和晶体形状模型来预测/估算那些不清晰的角/线；

c、从匹配好的2D图像中获得的角和线，软件将产生相同的次序/编号；

d、通过角和线相同的次序/编号，可直接标识相应的左、右功能特征；

4)用已确定的点和线实现3D图像重建：

a、使用获得的对应线条，角点，和像机及像机之间的参数来进行三维重建；

b、使用立体三角剖分算法获取晶体形状的三维坐标；

c、利用获得的三维坐标，可显示晶体的三维图像，并计算各个晶面到晶体中心的距离；

5)温度，浓度，pH在线测量：

a、使用温度探头，FTIR浓度探头和pH探头，对温度，浓度，pH进行在线测量；

b、由FTIR探头获得的图谱，和预先测定的同一物系的标定结果，利用最小二乘算法来获得浓度；

6)3D晶体的颗粒描述特性：

a、由于晶体在反应器中持续旋转和运动，在不同时间采集的图像中的晶体不同，故采用统计分析来获得各个时间的颗粒尺寸及形状；

b、使用在三维重建中获得的各个晶面到晶体中心的平均距离与其相对应的时间，可获得各个距离与时间的关系；

c、对各个距离用时间求导获得晶体各个晶面的生长速率：各个距离与时间的关系有上下波动，当图像间时差很小时，其产生的晶面生长速率可能不真实；在此情况下，先用函数关联各个距离与时间的关系，再将关联的函数对时间求导，从而获得光滑的晶面生长速率；

d、结合获得的各个晶面的生长速率和溶液浓度，通过时间将它们关联成各个晶面生长速率与溶液浓度的关系；

e、如果其他溶液参数也影响晶面生长速率，则用多变量关联生成晶面生长速率与溶液浓度、pH的关系；

f、由步骤d和e产生的关联函数就是可用于结晶过程优化、控制及放大的晶体生长动力学模型；

7)通过晶形粒数衡算模型和计算流体力学，对晶体反应器中结晶过程进行优化、控制和放大。

5.根据权利要求4所述的探头式在线立体成像检测方法，其特征在于：所述的步骤2)，通过分割技术对2D图像的背景进行删除，具体包含以下步骤：

a、如图像格式为非灰度格式，将其转换成灰度格式；

b、使用不同的边缘检测参数对晶体进行多重边缘检测，然后将它们集合；

c、对获得的晶形边缘实施晶形闭合/晶形填充/晶形开启，从而产生清晰晶体边缘；

d、对极其微小的颗粒将予以剔除；

e、删除图像背景，只保留具有清晰晶体边缘的晶体。

6.根据权利要求4所述的探头式在线立体成像检测方法，其特征在于：步骤3)中，所述的步骤b，具体包含以下步骤：

(1)利用晶体样本进行X射线扫描获得X射线衍射图谱，进而计算晶体单元的参数：边长a,b,c和内角α,β,γ；

(2)由已知的晶体分子结构和获得的晶体单元参数，通过分子模型确定分子在晶体单元中的有序排列；

(3)通过晶体形状模型，晶体的分子结构和分子在晶体单元中的有序排列预测晶体的三维形状；

(4)对于预测得到的晶体形状，各晶面到晶体中心距离为已知，因而使用像机模型可将晶体按立体角及相关像机参数投影成2D图像；

(5)使用从成像系统获得的图像中检测到的部分清晰角和线，通过调整从晶体形状模型中获得的晶体晶面到晶体中心距离，进而由像机模型产生调整后的模型的角和线，并用其来匹配检测到的部分清晰对应角和线；

(6)匹配好的2D图像将补齐所有三维重建所需的角和线。

7.根据权利要求4所述的探头式在线立体成像检测方法，其特征在于：步骤6)中，所述的步骤a，具体包含以下步骤：

(1)首先定义一个时间窗口的大小：在本时间窗口内通过三维重建来获得的颗粒将进行统计处理，从而获得在每个时间由时间窗口产生的颗粒尺寸分布，进而得到在当前时间的平均颗粒尺寸及形状；

(2)移动时间窗口到下一时间，使用相同的统计处理方法得到其颗粒尺寸分布，平均颗粒尺寸及形状；

(3)当统计处理完成后，各个时间点的尺寸分布用来产生各个晶面平均尺寸，即各个晶面到晶体中心的平均距离。

8.根据权利要求4所述的探头式在线立体成像检测方法，其特征在于：步骤6)中，所述的3D晶体的颗粒描述特性，还包括附加类型的形状描述符，用于颗粒的分类和聚类分析，分类和聚类技术根据遇到的数据来分组，存在以下四种形式之一:

(1)数据库的一部分为已知，即已知类别数量和描述以及各自数据模式的分配，任务是将未知的数据模式分配给既定的类别；

(2)只有类别数是已知的；

(3)只有类别的数目和描述已知；

(4)类别的数量和描述都不知道：其目的是要确定类别的数量和描述以及数据模式的分配；

分类和聚类的技术被应用在所有四个类型的数据中。

9.根据权利要求4所述的探头式在线立体成像检测方法，其特征在于：所述的步骤7)，包含以下顺序的步骤：

a、定义每一个从晶面到晶体中心的距离为晶形粒数衡算模型的一维，本晶形粒数衡算模型中各维之间不要求正交；

b、晶形粒数衡算模型包括各晶面粒数变化、各晶面生长、晶体成核、晶体聚集、晶体破裂；

c、从获得的晶面生长动力学中，每一个晶面的生长速率方程已知并用于晶面生长项；

d、当加入晶种来研究各晶面生长时，去除晶体成核、晶体聚集、晶体破裂项，由晶种分布及边界条件求解在一定冷却条件下的晶形粒数衡算方程以获得每一个晶面的生长过程和三维晶体分布；

e、如有预定的最终三维晶体分布，对晶形粒数衡算方程进行优化，从而获得优化的冷却条件，同样，如要实现衡定过饱和度结晶过程，优化的冷却条件可从求解晶形粒数衡算模型中获得；

f、由于结晶过程中存在不稳定因素，晶形粒数衡算模型和探头式在线立体成像检测系统结合可实现对晶形的在线实时控制：探头式在线立体成像检测系统可在线提供晶形分布，晶形粒数衡算模型可实时调整冷却速率，以期获得预定的三维晶体分布；

g、当结晶器内处于非均匀混和状态时，结晶器中液体浓度/温度不均匀，进而产生非均匀的过饱和度及晶面生长率，计算流体力学提供结晶器中各计算单元的液体浓度/温度，获得其精确分布，晶形粒数衡算模型应用于各计算单元，从而获得其计算单元中各个晶体的晶面生长过程和三维晶体分布，集合来自所有单元中的三维晶体分布就产生整个结晶器中的晶体生长过程和三维分布；

h、当结晶过程中存在晶体成核，晶体聚集，晶体破裂时，通过产生的微-积分偏微分方程求解。

10.根据权利要求4所述的探头式在线立体成像检测方法，其特征在于：所述的步骤1)中，所述的频闪同步具体通过以下步骤实现：

a、由摄像头的图像采集速率，获得采集每张图像所需时间；

b、同时设置采集每张图像时快门的开启延迟时间，开启时间及重新开启时间，并且使其总和等于由步骤a确定的采集每张图像所需时间；

c、相同的开启时间信号同时激发摄像机快门和LED光源，从而实现其同步。