CN103575734B - 晶体三维晶面生长动力学的立体成像测定系统及方法 - Google Patents

Abstract

本发明公开了晶体三维晶面生长动力学的立体成像测定系统，包括晶体面生长反应器、两个以上的摄像机头、光源、光源与频闪控制器、计算机以及显示器，其中两个以上的摄像机头将获得的晶体样本的2D图像传输给计算机，计算机首先用分割技术对2D图像的背景进行删除，然后使用角-边缘-线检测技术，从2D图像中识别对应的角点和线条，再用已确定的角点和线条实现3D图像重建，由3D图像可获得晶体样本各个晶面的生长速率，最后根据溶液参数，通过时间将溶液参数与生长速率关联起来，得到的关联函数即为可用于结晶过程优化、控制及放大的晶体生长动力学模型。本发明的系统及方法，实现3D晶形的重建，且图像处理速度快。

Description

晶体三维晶面生长动力学的立体成像测定系统及方法

技术领域

本发明涉及晶体生长的研究应用领域，特别涉及晶体三维晶面生长动力学的立体成像测定系统及方法。

背景技术

在医药,生物医药,生命科学,精细化工,无机有机材料,纳米材料,能源,日用品,食品,环保等领域,许多产品是以固体形式生产销售的。例如,当今的医药(西药)产品90％是以固体形式销售。固体的形状和尺寸是产品最重要的特性参数,因为它们影响产品的流动性等加工参数(例如影响过滤机的操作),溶解度,以及医药产品的药性.这些参数的不合格会影响公司的竞争力,产品的销售,出口,以及人身健康。因此对颗粒的形状和尺寸大小进行实时的优化控制是极其重要的。

为实现这一目标，晶体晶面生长速率的准确测量及晶面生长动力学的建立极为关键。尽管有极其重大的重要性，精确建立晶面生长动力学的方法一直相当有限，并且很大程度上依赖于一维或二维的测量方法。因此获得的不是晶体的晶面生长动力学模型而是简化成球形或长方形的晶体(直径或长/宽)生长动力学模型。因此无法用这样的模型来实现对晶体结晶过程的精确优化及控制。

最近的研究活动发现使用高速在线成像来测量晶体形状是可行的。在英国，葛兰素史克的威尔金森等已开发出在线、非侵入式显微镜成像系统原型可用于监测制药的结晶过程。该系统置于反应器玻璃壁外。可用于实时产品形态监测、实时测量晶体成长率，以及晶体分类和控制等研究。这一系统也由罗林斯教授和合作者用于研究针状晶体的结晶过程。阿斯利康测试了一种名为PVM的商用成像探测器的使用情况。过程视窗和测量系统(PVM)由梅特勒托莱多有限公司开发，专利号为US5815264A。该系统已广泛应用于学术和工业界来研究晶体成核、生长，特别是一维/二维尺寸分布。过程图像分析仪(PIA)由德国海德汉施瓦茨公司研发，专利号为DE10052384A1。使用PIA视频显微镜拍摄的在线图像可用来确定2D晶体的生长速率。现场(In-Situ)颗粒查看器(ISPV)是由荷兰的perdix公司开发的，专利号为NL1026306C2。该系统曾在利兹大学用于考查晶体生长过程中形状和在后续的变化。三相机摄像系统分别由荷兰Delft工业大学的Boersmaetal.和德国特里尔应用科学大学的博特林格教授开发。在Boersmaetal.的研究中，三个摄像头被放置在带有小角度的三角位置，使摄影机可聚焦于同一区域。重建的3D图像将提供一个伤口区域的3D信息。博特林格教授最近为测量自由落体颗粒(100毫米～4毫米)的3D形状开发了正交定位的三相机成像系统。Gorpasetal.开发了使用双目机器视觉系统的体积方法来实现重建3D肿瘤表面(小于10毫米的大小)。

远程操作或遥控机器人系统通常用于医疗应用中证实诊断结果并进行远程手术。为此研发了很多种类的二维/三维内窥镜。DaVinciTM遥操作机器人外科手术系统和ZEUSTM是最具盛名的遥操作机器人手术系统。胡etal.开发了带平移和倾斜功能的用于微创手术的2D和3D外科成像设备。然而，这些成像系统仍有很大的局限性，特别是它们的图像处理功能以及如何关联形状监测和控制的信息。事实上目前他们主要是向运营商显示信息并将数据存储到硬盘。所有内窥镜主要都用于远程诊断和手术，并不适用于在反应器中采集颗粒的高分辨率图像。

虽然共聚焦显微镜承诺能够重建3D图像，但它是通过扫描许多薄片样品来提供颗粒的3D信息，因此其非常低的操作处理速度使其不具实用性。来自Alicona影像有限公司的InfiniteFocus是一种使用垂直扫描来实现3D表面测量的光学装置。它能通过变换聚焦提供地形和色彩信息。其低运行速度会限制它的3D在线测量适用性。

综上所述，现有产品和原型系统具有它们的局限性,主要为:对许多复杂的物系和过程图像的质量不理想；图像处理功能极为薄弱；所有的产品都是二维系统，只能提供二维信息。还没有一样产品能直接测量3D晶体生长的面生长动力学。共聚焦显微镜通过扫描许多薄片样品来提供颗粒的3D信息，InfiniteFocus使用垂直扫描来实现3D表面测量。其非常低的操作处理速度使其不具实用性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供晶体三维晶面生长动力学的立体成像测定系统及方法。

本发明的目的通过以下的技术方案实现：

晶体三维晶面生长动力学的立体成像测定系统，包括装有待测晶体的晶体面生长反应器、对应晶体面生长反应器的两个以上的摄像机头、与摄像机头对应的光源、控制光源工作的光源与频闪控制器、将两个以上的摄像机头取的像进行图像处理的计算机以及与计算机连接的显示器，所述的光源与频闪控制器与计算机相连，其中

两个以上的摄像机头呈固定的立体角设置，摄像机参数设置相同并聚焦于同一样本区域，其获得的晶体样本的2D图像传输给计算机，计算机首先用分割技术对晶体样本的2D图像的背景进行删除，然后使用角-边缘-线检测技术，从晶体样本的2D图像中识别对应的角点和线条，再用已确定的角点和线条实现晶体样本的3D图像重建，由3D图像可获得晶体样本各个晶面的生长速率，最后根据在线测量的溶液参数，通过时间将溶液参数与生长速率关联起来，得到的关联函数即为可用于结晶过程优化、控制及放大的晶体三维晶面生长动力学模型。

所述的晶体面生长反应器，包括反应器腔体、设置在反应器腔体中部的叶片搅拌器、以及检测溶液参数的探头，所述的光源照射的位置与摄像机聚焦的区域相一致，反应器腔体外部设置有加热/冷却夹套，所述的光源设置在反应器腔体相互对应位置的上、下方。叶片搅拌器能够均匀混合溶液，并且对扁平反应器中底部的平整度无特殊要求。

所述的晶体面生长反应器，包括反应器腔体、设置在反应器腔体内部的磁力搅拌器、以及检测溶液参数的探头，所述的光源照射的位置与摄像机聚焦的区域相一致，反应器腔体外部设置有加热/冷却夹套，所述的光源设置在反应器腔体相互对应位置的上、下方。反应器腔体的底部要有一定的平整度，以免搅拌子在搅拌过程中跳动，磁力搅拌器直接设置在反应器腔体内部对溶液进行搅拌，相比于叶片搅拌器，在反应器腔体的上盖不占据空间，节省了空间，光源和摄像机头的设置空间选择更大。

所述的晶体面生长反应器，其反应器腔体在光轴方向上的形状为扁平，反应器腔体的上盖为具有超低反光率的石英玻璃。扁平状的腔体这有利于光源的穿透，超低反光率的石英玻璃可以减少穿过玻璃时光强的损失。

所述的晶体面生长反应器，包括反应器腔体，还包括晶体流动单元，晶体流动单元的相互对应位置的上、下方分别设置有光源，光源照射的位置与摄像机聚焦的区域相一致，晶体流动单元通过导管与反应器腔体相连接，反应器腔体内设置有叶片搅拌器和检测溶液参数的探头。聚焦区域在晶体流动单元那里，晶体流动单元的上、下夹层可以做的更薄，透光性更好而不必考虑会影响溶液的参数，如温度，反应器墙体外层也不必设置加热/冷却夹套。

所述的摄像机头呈固定的立体角设置，所述的摄像机头与立体角中轴线间的角度范围为10到80度。

本发明的另一目的通过以下的技术方案实现：

晶体三维晶面生长动力学的立体成像测定方法，包含以下顺序的步骤：

1)两个以上的摄像机头呈固定的立体角设置，摄像机参数设置相同并聚焦于同一样本区域，获得晶体样本的2D图像；

2)通过分割技术对2D图像的背景进行删除：

a、如图像格式为非灰度格式，可将其转换成灰度格式；

b、使用不同的边缘检测参数对晶体进行多重边缘检测，然后将它们集合；

c、对获得的晶形边缘依次实施晶形闭合、晶形填充、晶形开启，从而产生清晰晶体边缘；

d、对极其微小的颗粒将予以剔除；

e、删除图像背景，只保留具有清晰晶体边缘的晶体；

3)从2D图像中识别对应的角点和线条；

4)用已确定的角点和线条实现3D图像重建：

a、使用获得的对应线条，角点，和摄像机及摄像机之间的参数来进行三维重建；

b、晶体形状的三维坐标可以使用立体三角剖分算法来获得；

c、利用获得的三维坐标，可显示晶体的三维图像，并计算各个晶面到晶体中心的距离；

5)温度，浓度，pH在线测量：

a、使用温度探头，FTIR浓度探头和pH探头，对温度，浓度，pH进行在线测量；

b、由FTIR探头获得的图谱，和预先测定的同一物系的标定结果，利用最小二乘算法来获得浓度；

6)构建3D晶体的生长动力学模型：

a、使用在三维重建中获得的各个晶面到晶体中心的距离与其相对应的时间，可获得各个距离与时间的关系；

b、对各个距离用时间求导就可获得晶体各个晶面的生长速率：若各个距离与时间的关系有上下波动，先用函数关联各个距离与时间的关系，再将关联的函数对时间求导，从而获得光滑的晶面生长速率；

c、结合获得的各个晶面的生长速率和溶液浓度，通过时间将它们关联成各个晶面生长速率与溶液浓度的关系；

d、如果其他溶液参数也影响晶面生长速率，可用多变量关联生成晶面生长速率与溶液浓度，pH的关系；

e、由步骤c和d产生的关联函数就是可用于结晶过程优化，控制及放大的晶体三维晶面生长动力学模型。

所述的步骤3)，从2D图像中识别对应的角点和线条，具体包含以下步骤：

a、使用角-边缘-线检测技术，将从处理过的图像中获得颗粒的角和线；

b、对于来自不同摄像机的多张对应的立体图像，其检测到的角和线，软件将产生相同的次序或编号；

c、通过角和线相同的次序或编号，可直接标识相应的左、右功能特征。

步骤3)中的步骤c中，所述的左、右功能特征为对应线条或角。

本发明与现有技术相比，具有如下优点和有益效果：

1、能够实现3D晶形的重建，据此构造出3D晶体的生长动力学模型，进而能够达到晶体结晶过程的精确优化及控制的目的。

2、图像处理速度快，实用性高：本发明所使用的分割技术，能对待测晶体与背景进行精确分割，而现有技术中要实现较为准确的分割，需要高清晰的晶体样本图像，当晶体样本图像不是很清晰时，处理速度就慢很多，且处理结果的精确度也下降许多，甚至无法处理。

3、设计更加合理：

(1)摄像机和光源同步设计，主摄像机以及从摄像机与灯光的同步触发通过摄像机本身或光源信号来实现。

(2)多个照明光源的强度可调，此前2D探头的光源是不可调的。

(3)摄像机间的角度可调。

(4)在透射光模式下，透射光源和摄像机之间的距离可调整，以实现最佳的图像质量。

(5)在使用上下双光源系统时，可形成透射/反射光混合模式。通过调整透射/反射光源的相对亮度，可进一步提高图像质量。

附图说明

图1为本发明所述的晶体三维晶面生长动力学的立体成像测定系统的结构示意图；

图2为图1所述系统的晶体面生长反应器的结构示意图；

图3为图1所述系统的晶体面生长反应器的结构示意图；

图4为图1所述系统的晶体面生长反应器的结构示意图；

图5为本发明所述的晶体三维晶面生长动力学的立体成像测定方法的流程图；

图6为三维直线重建示意图；

图7为三维长方形平板重建示意图；

图8为重建获得的三维长方体示意图；

图9为图8所述的三维长方体的角点处理示意图；

图10为图8所述的三维长方体的晶体面生长速率。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

如图1、2所示，晶体三维晶面生长动力学的立体成像测定系统，包括装有待测晶体的晶体面生长反应器1、对应晶体面生长反应器的两个摄像机头2、3，与摄像机头2、3对应的光源、控制光源工作的光源与频闪控制器4、将两个摄像机头取的像进行图像处理的计算机5以及与计算机连接的显示器，所述的光源与频闪控制器与计算机相连，其中

两个摄像机头2、3呈固定的立体角设置，所述的摄像机头与立体角中轴线间的角度范围为10到80度，优选45度，摄像机参数设置相同并聚焦于同一样本区域，其获得的晶体样本的2D图像传输给计算机5，计算机5首先用分割技术对晶体样本的2D图像的背景进行删除，然后使用角-边缘-线检测技术，从晶体样本的2D图像中识别对应的角点和线条，再用已确定的角点和线条实现晶体样本的3D图像重建，由3D图像可获得晶体样本各个晶面的生长速率，最后根据在线测量的溶液参数，通过时间将溶液参数与生长速率关联起来，得到的关联函数即为可用于结晶过程优化、控制及放大的晶体生长动力学模型。

所述的晶体面生长反应器1，包括反应器腔体6、设置在反应器腔体6中部的叶片搅拌器7、以及检测溶液参数的探头，如温度探头8、浓度探头9；所述的光源10设置在反应器腔体6相互对应位置的上、下方，光源为LED环形光源，提供更为均匀的光照，成像更清晰；所述的光源10照射的位置与摄像机2、3聚焦的区域相一致，反应器腔体6外部设置有加热/冷却夹套11；所述的晶体面生长反应器1，其反应器腔体6在光轴方向上的形状为扁平，反应器腔体6的上盖12为具有超低反光率的石英玻璃。

实施例2

如图1、3，本实施例除下述特征外其他结构同实施例1：

所述的晶体面生长反应器，包括反应器腔体13、设设置在反应器腔体13内部的磁力搅拌器15、以及检测溶液参数的探头，如温度探头16、浓度探头17，所述的光源14设置在反应器腔体13相互对应位置的上、下方，其照射的位置与摄像机聚焦的区域相一致，反应器腔体13外部设置有加热/冷却夹套18，所述的光源14为LED环形光源，反应器腔体13的上盖19为具有超低反光率的石英玻璃。

实施例3

如图1、4，本实施例除下述特征外其他结构同实施例1：

所述的晶体面生长反应器，包括反应器腔体20，还包括晶体流动单元21，晶体流动单元21的上下方设置有光源22，光源22照射的位置与摄像机聚焦的区域相一致，晶体流动单元21通过导管23与反应器腔体20相连接，反应器腔体20内设置有叶片搅拌器24和检测溶液参数的探头，如温度探头25、浓度探头26、PH探头27。

对于以上三个实施例，需要做以下说明：

一、待测晶体是否需要固定：

1、当反应器腔体中的搅拌器搅拌速度较慢或不搅拌、晶体流动单元中溶液流动速度较慢或不流动时，待测晶体是不需要固定的，即在实际的操作过程中，在不搅拌的情况下，本发明也能正常实施；

2、当反应器腔体中的搅拌器搅拌速度较快、晶体流动单元中溶液的流动速度较快，待测晶体固定住，摄像机头才能较好地对待测晶体进行拍照，如通过棍绳粘剂固定于反应器内或内壁上。

二、偏振光的使用：

1、对于待测晶体未固定或者待测晶体被柔性固定的情形，如果需要获取待测晶体选择性的面生长率，可以通过使用偏振光光源代替原有光源或加装偏振光光源，通过偏振光的使用，对带磁极的待测晶体实现晶面选择；

2、对于待测晶体被刚性固定的情形，偏振光则无法使用。

三、摄像机头的设置：

上述三个实施例，摄像机头均在晶体面生长反应器的上方，且与晶体面生长反应器相分离，除此实施方式外，摄像机头还可以直接伸入晶体面生长反应器溶液中，或与晶体面生长反应器设置成连体结构。

如图5，晶体三维晶面生长动力学的立体成像测定方法，包含以下顺序的步骤：

1)两个以上的摄像机头呈固定的立体角设置，摄像机参数设置相同并聚焦于同一样本区域，获得晶体样本的2D图像；

2)通过分割技术对2D图像的背景进行删除：

a、如图像格式为非灰度格式，可将其转换成灰度格式；

b、使用不同的边缘检测参数对晶体进行多重边缘检测，然后将它们集合；

c、对获得的晶形边缘依次实施晶形闭合、晶形填充、晶形开启，从而产生清晰晶体边缘；

d、对极其微小的颗粒将予以剔除；

e、删除图像背景，只保留具有清晰晶体边缘的晶体；

3)从2D图像中识别对应的角点和线条：

a、使用角-边缘-线检测技术，将从处理过的图像中获得颗粒的角和线；

b、对于来自不同摄像机的多张对应的立体图像，其检测到的角和线，软件将产生相同的次序或编号；

c、通过角和线相同的次序或编号，可直接标识相应的左、右功能特征，如对应线条或角；

4)用已确定的角点和线条实现3D图像重建：

a、使用获得的对应线条，角点，和摄像机及摄像机之间的参数来进行三维重建；

b、晶体形状的三维坐标可以使用立体三角剖分算法来获得；

c、利用获得的三维坐标，可显示晶体的三维图像，并计算各个晶面到晶体中心的距离；

5)温度，浓度，pH在线测量：

a、使用温度探头，FTIR浓度探头和pH探头，对温度，浓度，pH进行在线测量；

b、由FTIR探头获得的图谱，和预先测定的同一物系的标定结果，利用最小二乘算法来获得浓度；

6)构建3D晶体的生长动力学模型：

a、使用在三维重建中获得的各个晶面到晶体中心的距离与其相对应的时间，可获得各个距离与时间的关系；

b、对各个距离用时间求导就可获得晶体各个晶面的生长速率，如果各个距离与时间的关系有上下波动，特别是图像间时差很微小时，先用函数关联各个距离与时间的关系，再将关联的函数对时间求导，从而获得光滑的晶面生长速率；

c、结合获得的各个晶面的生长速率和溶液浓度，通过时间将它们关联成各个晶面生长速率与溶液浓度的关系；

d、如果其他溶液参数也影响晶面生长速率，可用多变量关联生成晶面生长速率与溶液浓度，pH的关系；

e、由步骤c和d产生的关联函数就是可用于结晶过程优化，控制及放大的晶体生长动力学模型。

下面用具体的实验来说明本发明的技术效果：

实验一：

如图6，直线实际长度为1000微米，重建直线长度为977～1018微米，本发明重建所获得的三维直线长度与实际直线长度的误差小于3％，精确率较高。由于投影关系，在直线与摄像机光轴不等于90度时，若只用二维图像来获得直线长度，其长度会小于实际直线长度，极端情况下直线会投影成一个点，精确率较低。

实验二：

如图7，长方形平板的长度为300微米，宽度为180微米，重建的长方形平板的长度为280～310微米，宽度为178～193微米，本发明重建获得的三维长方形平板尺寸与实际尺寸的误差小于7％，误差率较低。同样由于投影关系，仅基于二维图像重建的长度、宽度及其生长速率会与实际尺寸及塑料杯相差甚远。

实验三：

如图8、9、10，一种工业用长方体形晶体的三维重建过程。在相对应的两张2D图像中，长方体晶体有8个角点，如图9。通过获得的角点有序编号产生角点的对应关系，进而由三角剖分算法实现三维重建。如图10，本实验中长方晶体的三个独立晶面到其晶体中心之距离与时间成线性关系。因此其三个独立晶面的生长率在本实验条件下为常数，分别为1.25，1.76和1.94微米/分钟。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.晶体三维晶面生长动力学的立体成像测定方法，包含以下顺序的步骤：

1)两个以上的摄像机头呈固定的立体角设置，摄像机参数设置相同并聚焦于同一样本区域，获得晶体样本的2D图像；

2)通过分割技术对2D图像的背景进行删除：

a、如图像格式为非灰度格式，将其转换成灰度格式；

b、使用不同的边缘检测参数对晶体进行多重边缘检测，然后将它们集合；

c、对获得的晶形边缘依次实施晶形闭合、晶形填充、晶形开启，从而产生清晰晶体边缘；

d、对极其微小的颗粒将予以剔除；

e、删除图像背景，只保留具有清晰晶体边缘的晶体；

3)从2D图像中识别对应的角点和线条；

4)用已确定的角点和线条实现3D图像重建：

a、使用获得的对应线条，角点，和摄像机及摄像机之间的参数来进行三维重建；

b、晶体形状的三维坐标使用立体三角剖分算法来获得；

c、利用获得的三维坐标，显示晶体的三维图像，并计算各个晶面到晶体中心的距离；

5)温度，浓度，pH在线测量：

a、使用温度探头，FTIR浓度探头和pH探头，对温度，浓度，pH进行在线测量；

b、由FTIR探头获得的图谱，和预先测定的同一物系的标定结果，利用最小二乘算法来获得浓度；

6)构建3D晶体的生长动力学模型：

a、使用在三维重建中获得的各个晶面到晶体中心的距离与其相对应的时间，获得各个距离与时间的关系；

b、对各个距离用时间求导获得晶体各个晶面的生长速率：当各个距离与时间的关系有上下波动，先用函数关联各个距离与时间的关系，再将关联的函数对时间求导，从而获得光滑的晶面生长速率；

c、结合获得的各个晶面的生长速率和溶液浓度，通过时间将它们关联成各个晶面生长速率与溶液浓度的关系；

d、如果其他溶液参数也影响晶面生长速率，用多变量关联生成晶面生长速率与溶液浓度，pH的关系；

e、由步骤c和d产生的关联函数就是用于结晶过程优化，控制及放大的晶体三维晶面生长动力学模型。

2.根据权利要求1所述的晶体三维晶面生长动力学的立体成像测定方法，其特征在于：所述的步骤3)，从2D图像中识别对应的角点和线条，具体包含以下步骤：

a、使用角-边缘-线检测技术，将从处理过的图像中获得颗粒的角和线；

b、对于来自不同摄像机的多张对应的立体图像，其检测到的角和线，软件将产生相同的次序或编号；

c、通过角和线相同的次序或编号，直接标识相应的左、右功能特征。

3.根据权利要求2所述的晶体三维晶面生长动力学的立体成像测定方法，其特征在于：步骤3)中的步骤c中，所述的左、右功能特征为对应线条或角。