CN211696237U

CN211696237U - 一种目标物显微图像采集设备

Info

Publication number: CN211696237U
Application number: CN202020273406.8U
Authority: CN
Inventors: 左忠斌; 左达宇
Original assignee: Tianmu Aishi Beijing Technology Co Ltd
Current assignee: Tianmu Aishi Beijing Technology Co Ltd
Priority date: 2020-03-09
Filing date: 2020-03-09
Publication date: 2020-10-16
Anticipated expiration: 2030-03-09

Abstract

本实用新型提供了一种目标物显微图像采集设备，包括图像采集装置、微动装置；其中微动装置包括转盘和摆动盘，转盘和摆动盘之间设置有间隔体；间隔体安装于转盘上，且与摆动盘滚动连接；图像采集装置设置于摆动盘上。首次提出适合环绕微小物体采集的结构，避免了旋转出视野的问题。

Description

一种目标物显微图像采集设备

技术领域

本实用新型涉及形貌测量技术领域，特别涉及微小物体3D形貌测量技术领域。

背景技术

目前在研究细胞、微生物时，传统显微镜由于只能观察平面情况，已经不满足目前的立体观察测量的需求。而在目前进行三维显微成像设备中，常用的通常为共焦成像法，形成不同深度下的图像，从而合成3D图像。但这种方式通常需要主动发射激光或荧光，这些光本身可能就会对生物体造成影响，导致观测的不准确。同时，由于不同深度逐层成像，因此3D成像速度非常慢，对于活动的生命体来说并不合适。现在也有采用透镜阵列分光进行多焦点成像的方式，但这种方式的分辨率依赖于透镜阵列的密度。而加工高精度高密度透镜阵列并不容易。

因此本实用新型提出了采用机器视觉的方式进行3D合成建模。但传统机器视觉进行3D建模的方式并不适合微小物体成像，特别是显微级别的微小物体。这是由于对于显微成像系统而言，通常镜头的景深非常小，轻微的移动就会导致对焦不准。因此无法使用旋转相机的方式进行图像采集。同时显微镜头的视野通常较小，传统使用转臂进行相机旋转的模式容易导致轻微的旋转就将目标物转出了显微镜头的视野范围，导致采集失败。而如果使用多个固定相机采集多个角度图像的方式，也会受到相机体积的限制，导致无法在微小物体周边布置足够多的相机。另外，在进行显微成像时，由于景深较小，每次转动后均无法准确对焦，因此使用普通显微镜头将必须进行人工对焦，费时费力。并且对于显微镜而言，只能通过转换镜头来实现变焦，由于微小物体的尺寸差别也较大，操作起来非常不方便。因此，对于利用机器视觉方式进行微小物体3D建模而言，目前还没有更好的方案。

最后，在现有技术中，在进行3D采集建模时也曾提出使用包括转动角度、目标物尺寸、物距的经验公式限定相机位置，从而兼顾合成速度和效果。然而在实际应用中发现：除非有精确量角装置，否则用户对角度并不敏感，难以准确确定角度；而且在目标物为显微级别时，其尺寸难以准确确定，导致该方案无法在微小物体的3D采集建模中使用。

因此，目前急需解决以下技术问题：①对于微小物体3D采集合成而言，能够同时大幅度提高合成速度和合成精度；②方便操作，无需使用专业设备，无需过多测量，能够快速获得优化的相机位置。③适合微小物体，特别是显微级别的微小物体旋转采集。

实用新型内容

鉴于上述问题，提出了本实用新型提供一种克服上述问题或者至少部分地解决上述问题的采集设备。

本实用新型提供了一种目标物显微图像采集设备，包括图像采集装置、微动装置；

其中微动装置包括转盘和摆动盘，转盘和摆动盘之间设置有间隔体；

间隔体安装于转盘上，且与摆动盘滚动连接；

图像采集装置设置于摆动盘上。

在可选的实施例中，间隔体为两个或多个。

在可选的实施例中，间隔体大小不同。

在可选的实施例中，满足

其中D₁为转盘与摆动盘之间的最小距离，D₂为转盘与摆动盘之间的最大距离，D为上述最大距离点与最小距离点之间的距离，

为图像采集装置的垂直半视场角，

为图像采集装置的水平半视场角；k为经验系数。

在可选的实施例中，k<0.96。

在可选的实施例中，间隔体为滚珠，滚珠嵌入转盘上的滚珠座中。

在可选的实施例中，图像采集装置包括镜头；

镜头包括变焦镜头和显微镜头；

变焦镜头和显微镜头光学连接。

在可选的实施例中，图像采集装置的采集位置符合如下条件：

δ<0.582

其中L为图像采集装置在相邻两个采集位置时光心的直线距离；f为图像采集装置的焦距；d为图像采集装置感光元件的矩形长度或宽度；T为图像采集装置感光元件沿着光轴到目标物表面的距离；δ为调整系数。

在可选的实施例中，δ<0.412。

在可选的实施例中，δ<0.335。

在可选的实施例中，所述变焦镜头和显微镜头至少之一属于自动对焦镜头。

发明点及技术效果

1、首次提出适合环绕微小物体采集的结构，避免了旋转出视野的问题。

2、设计了适合微小物体采集的镜头结构，便于操作，且清晰成像。特别是便于3D合成建模。

3、针对微小物体3D采集合成，通过优化相机采集图片的位置，保证能够同时提高合成速度和合成精度。优化位置时，无需测量角度，无需测量目标尺寸，适用性更强。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本实用新型的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本实用新型实施例提供的目标物显微图像采集设备的结构示意图；

图2为本实用新型实施例提供的微动装置的示意图；

图3为本实用新型实施例提供的图像采集装置在微动装置上转动到一位置的采集原理示意图；

图4为本实用新型实施例提供的图像采集装置在微动装置上的转动到另一位置的示意图；

图5为本实用新型实施例提供的图像采集装置镜头的结构示意图。

附图标记与设备各部件的关系如下：

1图像采集装置、2微动装置、3载物台、4驱动装置、21转盘、22摆动盘、23间隔体、11显微镜头、12变焦镜头。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为解决上述技术问题，本实用新型一实施例提供了一种目标物显微图像采集设备，如图1，包括图像采集装置1、微动装置2、载物台3、驱动装置4。

其中微动装置包括转盘21和摆动盘22，转盘21和摆动盘22之间设置有两个直径大小不同的间隔体23，两个间隔体23相对设置，位于转盘21某一直径的两端，即转盘21的圆周上。间隔体23可以为球体。其与摆动盘22滚动连接，与转盘21固定连接。转盘21与驱动装置4连接，受驱动装置驱动进行旋转。当然，间隔体23也可以为多个，但直径应当均不相同。且间隔体23也可以为凸起、圆柱等其他多种形状。从而使得转盘21在使用是基本水平，而摆动盘22与水平面具有一定夹角。

转盘21旋转带动间隔体23一起旋转。由于两个间隔体23直径不同，从而导致摆动盘22发生摆动，即摆动盘22不同圆周部分依次向前运动，并又逐渐归位。请参考图2，在大间隔体与摆动盘22上A点接触时，摆动盘22上与A点相对的B点必然与小间隔体接触，此时摆动盘22上A点向前倾，B点向后撤，两点分别位于水平基准面两侧。从侧面来看，AB两点的连线与水平基准面呈一定的角度。在下一时刻，大间隔体逐渐远离摆动盘上A点，此时摆动盘22上A点逐渐回撤，向基准面逐渐靠拢，B点逐渐向前，也向基准面靠拢。直到大间隔体转到B点，小间隔体转到A点，此时摆动盘22上A点向后撤，B点前倾，两点分别位于水平基准面两侧，正好与初始状态相反。依次类推，当转盘继续旋转时，A点和B点继续向基准面靠拢，直到回到初始状态，完成一个周期。可以理解，在整个周期中，摆动盘上每个点都经历了类似的过程。因此整体来看，摆动盘22圆周上不同部位依次前倾和后撤，从而带动摆动盘22上安装的图像采集装置1光轴微小转动。

如图3、图4，图像采集装置1位于摆动盘22的中心，在摆动盘22进行上述运动时，图像采集装置1的光轴围绕竖直轴线转动，从而使得图像采集装置1可以采集到竖直轴线上的微小目标物各个角度的图像。

图像采集装置1的光轴转动角度与大间隔体和小间隔体的直径差有关。并且为了使得图像采集装置1在摆动过程中能够从多个角度采集到目标物，大间隔体和小间隔体以及它们之间的距离应当满足一定的条件。根据大量实验，该条件如下：

其中D₁为转盘与摆动盘之间的最小距离，D₂为转盘与摆动盘之间的最大距离，D为上述最大距离点与最小距离点之间的距离。

为图像采集装置的垂直半视场角，

为图像采集装置的水平半视场角；k为经验系数。

经过实验，k<0.96时能够完整采集，k<0.83时采集效果较佳。最终采集的图像再进行3D合成建模时能够兼顾速度和效果，因此也是发明点之一。

当间隔体为球体时，D₁为小球直径，D₂为大球直径，D为两个球体圆心之间的距离。

在一种实施例中，间隔体23并不与转盘21固定连接，而是滚动连接。例如转盘21上具有滚珠座，滚珠(间隔体)嵌入其中，并且滚珠能够在滚珠座中滚动。这样在转盘21转动时，滚珠与摆动盘22之间也是滚动关系，可以有效减小摩擦，提高转动精度。

当然，摆动盘22具有限位装置，使得摆动盘只在基准面附近的一定范围内摆动，而不会脱落。

本实用新型图像采集装置的镜头包括两部分，如图5：显微镜头11和变焦镜头12。两个镜头光学连接在一起。变焦镜头可以根据显微放大需要进行更换变焦倍数，显微镜头可实现放大和对焦调整清晰度的作用。

传统显微成像只能通过变换显微镜头来调整焦距、放大倍数和视场，费时费力。本实用新型提出设置变焦镜头，可以在不更换镜头的基础上，直接寻找适合该微小目标物的成像方式。

(1)驱动装置驱动微动装置，使得图像采集装置光轴转动到某一位置后静止，即从某一方向对准微小目标物；

(2)通过手动或者自动调整变焦镜头焦距，寻找适合该微小目标物的镜头焦距，使得成像大小合适，且清晰。

(3)其余步骤同如下自动对焦采集步骤。

传统显微观测只能手动对焦。即只能通过手动对焦完成显微拍摄，但手动对焦时手触碰镜头可能会对镜头的位置造成细微的位移，导致无法在精确的位置准确拍摄，同时由于需要拍摄较多角度照片，因此手动对焦费事费力。本实用新型实施例中镜头可以为自动对焦镜头，自动对焦镜头可实现显微拍摄时的自动对焦，从而使图像采集装置自动完成清晰度的调整。也就是在图像采集装置光轴转动时，在不同转动位置镜头必然需要重新对焦，此时利用自动对焦镜头可以实现自动对焦，步骤如下：

(2)处理器控制图像采集装置的自动对焦镜头进行自动对焦；

(3)对焦完成后进行目标物图像采集；

(4)采集完毕后驱动装置驱动微动装置，使得图像采集装置光轴转动到下一位置，重复步骤(1)-(3)；(图像采集装置采集位置之间的关系下面将详细陈述)

(5)以此类推，完成目标物多个方向的图像采集。

当然，本实用新型另一实施例中还可在显微镜头中设置对焦控制部件，通过对对焦控制部件的调整，来实现显微镜头的自动对焦功能。

光源

通常情况下，光源位于图像采集装置4的镜头周边分散式分布，例如光源为在摆动盘周边的环形LED灯。由于在一些应用中，被采集对象为生物体，因此需要控制光源强度，避免造成生物体损伤。特别是可以在光源的光路上设置柔光装置，例如为柔光外壳。或者直接采用LED面光源，不仅光线比较柔和，而且发光更为均匀。更佳地，可以采用OLED光源，体积更小，光线更加柔和，并且具有柔性特性，可以贴附于弯曲的表面。光源也可以设置于其他能够为目标物提供均匀照明的位置。光源也可以为智能光源，即根据目标物及环境光的情况自动调整光源参数。同时，为了生物学的某些需要，光源不仅可以使用可见光，也可以采用红外光、紫外光或荧光等。

图像采集装置位置优化

在进行3D采集时，图像采集装置在不同采集位置光轴方向相对于目标物发生变化，此时相邻两个图像采集装置的位置，或图像采集装置相邻两个采集位置满足如下条件：

δ<0.582

其中L为相邻两个采集位置图像采集装置光心的直线距离；f为图像采集装置的焦距；d为图像采集装置感光元件(CCD)的矩形长度或宽度；T为图像采集装置感光元件沿着光轴到目标物表面的距离；δ为调整系数。

当上述两个位置是沿图像采集装置感光元件长度方向时，d取矩形长度；当上述两个位置是沿图像采集装置感光元件宽度方向时，d取矩形宽度。

图像采集装置在两个位置中的任何一个位置时，感光元件沿着光轴到目标物表面的距离作为T。除了这种方法外，在另一种情况下，L为A_n、A_n+1两个图像采集装置光心的直线距离，与A_n、A_n+1两个图像采集装置相邻的A_n-1、A_n+2两个图像采集装置和A_n、A_n+1两个图像采集装置各自感光元件沿着光轴到目标物表面的距离分别为T_n-1、T_n、T_n+1、T_n+2，T＝(T_n-1+T_n+T_n+1+T_n+2)/4。当然可以不只限于相邻4个位置，也可以用更多的位置进行平均值计算。

如上所述，L应当为两个图像采集装置光心的直线距离，但由于图像采集装置光心位置在某些情况下并不容易确定，因此在某些情况下也可以使用图像采集装置的感光元件中心、图像采集装置的几何中心、图像采集装置与云台(或平台、支架)连接的轴中心、镜头近端或远端表面的中心替代，经过试验发现由此带来的误差是在可接受的范围内的，因此上述范围也在本实用新型的保护范围之内。

通常情况下，现有技术中均采用物体尺寸、半视场角等参数作为推算相机位置的方式，并且两个相机之间的位置关系也采用角度表达。由于角度在实际使用过程中并不好测量，因此在实际使用时较为不便。并且，物体尺寸会随着测量物体的变化而改变。上述不方便的测量以及多次重新测量都会带来测量的误差，从而导致相机位置推算错误。而本方案根据大量实验数据，给出了相机位置需要满足的经验条件，不仅避免测量难以准确测量的角度，而且不需要直接测量物体大小尺寸。经验条件中d、f均为相机固定参数，在购买相机、镜头时，厂家即会给出相应参数，无需测量。而T仅为一个直线距离，用传统测量方法，例如直尺、激光测距仪均可以很便捷的测量得到。因此，本实用新型的经验公式使得准备过程变得方便快捷，同时也提高了相机位置的排布准确度，使得相机能够设置在优化的位置中，从而在同时兼顾了3D合成精度和速度，具体实验数据参见下述。

从上述实验结果及大量实验经验可以得出，δ的值应当满足δ<0.582，此时已经能够合成部分3D模型，虽然有一部分无法自动合成，但是在要求不高的情况下也是可以接受的，并且可以通过手动或者更换算法的方式弥补无法合成的部分。特别是δ的值满足δ<0.412时，能够最佳地兼顾合成效果和合成时间的平衡；为了获得更好的合成效果可以选择δ<0.334，此时合成时间会上升，但合成质量更好。而当δ为0.697时，已经无法合成。但这里应当注意，以上范围仅仅是最佳实施例，并不构成对保护范围的限定。

并且从上述实验可以看出，对于相机拍照位置的确定，只需要获取相机参数(焦距f、CCD尺寸)、相机CCD与物体表面的距离T即可根据上述公式得到，这使得在进行设备设计和调试时变得容易。由于相机参数(焦距f、CCD尺寸)在相机购买时就已经确定，并且是产品说明中就会标示的，很容易获得。因此根据上述公式很容易就能够计算得到相机位置，而不需要再进行繁琐的半视场角测量和物体尺寸测量。特别是在一些场合中，需要更换相机镜头，那么本实用新型的方法直接更换镜头常规参数f计算即可得到相机位置；同理，在采集不同物体时，由于物体大小不同，对于物体尺寸的测量也较为繁琐。而使用本实用新型的方法，无需进行物体尺寸测量，能够更为便捷地确定相机位置。并且使用本实用新型确定的相机位置，能够兼顾合成时间和合成效果。因此，上述经验条件是本实用新型的发明点之一。

以上数据仅为验证该公式条件所做实验得到的，并不对发明构成限定。即使没有这些数据，也不影响该公式的客观性。本领域技术人员可以根据需要调整设备参数和步骤细节进行实验，得到其他数据也是符合该公式条件的。

3D合成方法

在图像采集设备通过图像采集装置采集到目标物多个方向的图像后，通过数据传输方式将多张图像传输至处理器。处理器可以在本地设置，也可以将图像上传至云平台利用远程处理器。在处理器中使用如下方法进行3D模型的合成。

根据上述采集方法，图像采集装置4通过与目标物相对运动而采集目标物一组图像；

处理单元根据上述一组图像中的多个图像得到目标物的3D信息。具体算法如下。当然，处理单元可以直接设置在图像采集装置4所在的壳体内，也可以通过数据线或通过无线方式与图像采集装置4连接。例如可以使用独立的计算机、服务器及集群服务器等作为处理单元，图像采集装置4采集到的图像数据传输至其上，进行3D合成。同时，也可以将图像采集装置4的数据传输至云平台，利用云平台的强大计算能力进行3D合成。

利用上述采集到的图片进行3D合成时，可以采用现有算法实现。

生物3D模型的应用

利用本发明构建观测的生物体(例如细胞、细菌等)3D模型后，可以将3D模型数据传递至云平台，通过直观的三维模型可供科研人员从形貌上研究该生物体。同时也可以用于生物教学。

在另一种应用中，可以将常见细菌的三维数据进行采集并生物三维形貌数据存储在数据库中，作为标准三维数据。当检测装置检采集到被检测样本中的细菌时，构建待识别细菌的三维模型。这些待识别的三维数据实际上反映了待检测细菌的生物三维形貌。因此将待识别的三维数据和数据库中标准三维数据进行比对，即可识别出该待识别的细菌属于哪一类，从而实现细菌的检测。

本发明所述的转动运动，为在采集过程中前一位置采集平面和后一位置采集平面发生交叉而不是平行，或前一位置图像采集装置光轴和后一位置图像采集位置光轴发生交叉而不是平行。也就是说，图像采集装置的采集区域环绕或部分环绕目标物运动，均可以认为是两者相对转动。虽然本发明实施例中列举更多的为有轨道的转动运动，但是可以理解，只要图像采集设备的采集区域和目标物之间发生非平行的运动，均是转动范畴，均可以使用本发明的限定条件。本发明保护范围并不限定于实施例中的有轨道转动。

本发明所述的相邻采集位置是指，在图像采集装置相对目标物移动时，移动轨迹上的发生采集动作的两个相邻位置。这通常对于图像采集装置运动容易理解。但对于目标物发生移动导致两者相对移动时，此时应当根据运动的相对性，将目标物的运动转化为目标物不动，而图像采集装置运动。此时再衡量图像采集装置在转化后的移动轨迹中发生采集动作的两个相邻位置。

虽然上述实施例中记载图像采集装置采集图像，但不应理解为仅适用于单张图片构成的图片组，这只是为了便于理解而采用的说明方式。图像采集装置也可以采集视频数据，直接利用视频数据或从视频数据中截取图像进行3D合成。但合成时所利用的视频数据相应帧或截取的图像的拍摄位置，依然满足上述经验公式。

上述目标物体、目标物、及物体皆表示预获取三维信息的对象。可以为一实体物体，也可以为多个物体组成物。例如可以为头部、手部等。所述目标物的三维信息包括三维图像、三维点云、三维网格、局部三维特征、三维尺寸及一切带有目标物三维特征的参数。本实用新型里所谓的三维是指具有XYZ三个方向信息，特别是具有深度信息，与只有二维平面信息具有本质区别。也与一些称为三维、全景、全息、三维，但实际上只包括二维信息，特别是不包括深度信息的定义有本质区别。

本发明所说的采集区域是指图像采集装置(例如相机)能够拍摄的范围。本发明中的图像采集装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本实用新型的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于本发明装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。