CN113267141A - 一种显微三维信息采集设备 - Google Patents

一种显微三维信息采集设备 Download PDF

Info

Publication number
CN113267141A
CN113267141A CN202110509416.6A CN202110509416A CN113267141A CN 113267141 A CN113267141 A CN 113267141A CN 202110509416 A CN202110509416 A CN 202110509416A CN 113267141 A CN113267141 A CN 113267141A
Authority
CN
China
Prior art keywords
image acquisition
acquisition device
image
lens
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110509416.6A
Other languages
English (en)
Other versions
CN113267141B (zh
Inventor
左忠斌
左达宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianmu Aishi Beijing Technology Co Ltd
Original Assignee
Tianmu Aishi Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianmu Aishi Beijing Technology Co Ltd filed Critical Tianmu Aishi Beijing Technology Co Ltd
Priority to CN202110509416.6A priority Critical patent/CN113267141B/zh
Publication of CN113267141A publication Critical patent/CN113267141A/zh
Application granted granted Critical
Publication of CN113267141B publication Critical patent/CN113267141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种显微三维信息采集设备,包括图像采集装置、微动装置、载物台;其中微动装置包括转盘和摆动盘,转盘和摆动盘之间设置有间隔体,间隔体随转盘转动,从而驱动摆动盘在基准平面附近摆动;图像采集装置设置于摆动盘上。首次提出适合环绕微小物体采集的结构,避免了旋转出视野的问题。

Description

一种显微三维信息采集设备
技术领域
本发明涉及形貌测量技术领域,特别涉及微小物体3D形貌测量技术领域。
背景技术
目前在研究细胞、微生物时,传统显微镜由于只能观察平面情况,已经不满足目前的立体观察测量的需求。而在目前进行三维显微成像设备中,常用的通常为共焦成像法,形成不同深度下的图像,从而合成3D图像。但这种方式通常需要主动发射激光或荧光,这些光本身可能就会对生物体造成影响,导致观测的不准确。同时,由于不同深度逐层成像,因此3D成像速度非常慢,对于活动的生命体来说并不合适。现在也有采用透镜阵列分光进行多焦点成像的方式,但这种方式的分辨率依赖于透镜阵列的密度。而加工高精度高密度透镜阵列并不容易。
因此本发明提出了采用机器视觉的方式进行3D合成建模。但传统机器视觉进行3D建模的方式并不适合微小物体成像,特别是显微级别的微小物体。这是由于对于显微成像系统而言,通常镜头的景深非常小,轻微的移动就会导致对焦不准。因此无法使用旋转相机的方式进行图像采集。同时显微镜头的视野通常较小,传统使用转臂进行相机旋转的模式容易导致轻微的旋转就将目标物转出了显微镜头的视野范围,导致采集失败。而如果使用多个固定相机采集多个角度图像的方式,也会受到相机体积的限制,导致无法在微小物体周边布置足够多的相机。另外,在进行显微成像时,由于景深较小,每次转动后均无法准确对焦,因此使用普通显微镜头将必须进行人工对焦,费时费力。并且对于显微镜而言,只能通过转换镜头来实现变焦,由于微小物体的尺寸差别也较大,操作起来非常不方便。因此,对于利用机器视觉方式进行微小物体3D建模而言,目前还没有更好的方案。
最后,在现有技术中,在进行3D采集建模时也曾提出使用包括转动角度、目标物尺寸、物距的经验公式限定相机位置,从而兼顾合成速度和效果。然而在实际应用中发现:除非有精确量角装置,否则用户对角度并不敏感,难以准确确定角度;而且在目标物为显微级别时,其尺寸难以准确确定,导致该方案无法在微小物体的3D采集建模中使用。
因此,目前急需解决以下技术问题:①对于微小物体3D采集合成而言,能够同时大幅度提高合成速度和合成精度;②方便操作,无需使用专业设备,无需过多测量,能够快速获得优化的相机位置。③适合微小物体,特别是显微级别的微小物体旋转采集。
发明内容
鉴于上述问题,提出了本发明提供一种克服上述问题或者至少部分地解决上述问题的采集设备。
本发明提供了一种显微三维信息采集设备,包括图像采集装置、微动装置、载物台;
其中微动装置包括转盘和摆动盘,转盘和摆动盘之间设置有间隔体,间隔体随转盘转动,从而驱动摆动盘在基准平面附近摆动;
图像采集装置设置于摆动盘上;
图像采集装置的镜头依次为变焦镜头和显微镜头;两个镜头光学连接;图像采集装置的采集位置符合如下条件:
Figure BDA0003059707560000021
δ<0.582,
其中L为图像采集装置在相邻两个采集位置时光心的直线距离;f为图像采集装置的焦距;d为图像采集装置感光元件的矩形长度或宽度;T为图像采集装置感光元件沿着光轴到目标物表面的距离;δ为调整系数。
可选的:间隔体为两个。
可选的:两个间隔体相对设置。
可选的:间隔体为滚珠,滚珠嵌入转盘上的滚珠座中。
可选的:所述变焦镜头和显微镜头至少之一属于自动对焦镜头。
可选的:图像采集装置采集目标物多个角度的图像,处理器利用上述多个图像合成目标物三维模型。
可选的:δ<0.412。
可选的:δ<0.335。
本发明还提供了一种三维标准数据库生成方法,使用任一所述的设备采集目标物图像,并生成三维模型,将三维模型数据存储在数据库中。
本发明还提供了一种生物检测设备,将使用
任一所述的设备采集到的图像合成三维将模型数据,并与标准三维模型数据进行比对。
本发明还提供了一种生物检测方法,将使用任一所述的设备采集到的图像合成三维模型数据,并与标准三维模型数据进行比对。
发明点及技术效果
1、首次提出适合环绕微小物体采集的结构,避免了旋转出视野的问题。
2、设计了适合微小物体采集的镜头结构,便于操作,且清晰成像。特别是便于3D合成建模。
3、针对微小物体3D采集合成,通过优化相机采集图片的位置,保证能够同时提高合成速度和合成精度。优化位置时,无需测量角度,无需测量目标尺寸,适用性更强。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例提供的显微三维信息采集设备的结构示意图;
图2为本发明实施例提供的微动装置的示意图;
图3为本发明实施例提供的图像采集装置设置在微动装置上转动到一位置的采集原理示意图;
图4为本发明实施例提供的图像采集装置在微动装置上的转动到另一位置的示意图;
图5为本发明实施例提供的图像采集装置镜头的结构示意图。
附图标记与设备各部件的关系如下:
1图像采集装置、2微动装置、3载物台、4驱动装置、21转盘、22摆动盘、 23间隔体、11显微镜头、12变焦镜头。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为解决上述技术问题,本发明一实施例提供了一种显微三维信息采集设备,如图1,包括图像采集装置1、微动装置2、载物台3、驱动装置4。
其中微动装置包括转盘21和摆动盘22,转盘21和摆动盘22之间设置有两个直径大小不同的间隔体23,两个间隔体23相对设置,位于转盘21某一直径的两端,即转盘21的圆周上。间隔体23可以为球体。其与摆动盘22滚动连接,与转盘21固定连接。转盘21与驱动装置4连接,受驱动装置驱动进行旋转。当然,间隔体23也可以为多个,但直径应当均不相同。且间隔体23也可以为凸起、圆柱等其他多种形状。
转盘21旋转带动间隔体23一起旋转。由于两个间隔体23直径不同,从而导致摆动盘22发生摆动,即摆动盘22不同圆周部分依次向前运动,并又逐渐归位。请参考图2,在大间隔体与摆动盘22上A点接触时,摆动盘22上与A 点相对的B点必然与小间隔体接触,此时摆动盘22上A点向前倾,B点向后撤,两点分别位于水平基准面两侧。从侧面来看,AB两点的连线与水平基准面呈一定的角度。在下一时刻,大间隔体逐渐远离摆动盘上A点,此时摆动盘22上A点逐渐回撤,向基准面逐渐靠拢,B点逐渐向前,也向基准面靠拢。直到大间隔体转到B点,小间隔体转到A点,此时摆动盘22上A点向后撤,B 点前倾,两点分别位于水平基准面两侧,正好与初始状态相反。依次类推,当转盘继续旋转时,A点和B点继续向基准面靠拢,直到回到初始状态,完成一个周期。可以理解,在整个周期中,摆动盘上个每个点都经历了类似的过程。因此整体来看,摆动盘22圆周上不同部位依次前倾和后撤,从而带动摆动盘 22上安装的图像采集装置1光轴微小转动。
如图3,图4,图像采集装置1位于摆动盘22的中心,在摆动盘22进行上述运动时,图像采集装置1的光轴围绕竖直轴线转动,从而使得图像采集装置 1可以采集到竖直轴线上的微小目标物各个角度的图像。
图像采集装置1的光轴转动角度与大间隔体和小间隔体的直径差有关。并且为了使得图像采集装置1在摆动过程中能够从多个角度采集到目标物,大间隔体和小间隔体以及它们之间的距离应当满足一定的条件。根据大量实验,该条件如下:
Figure BDA0003059707560000051
其中D1为转盘与摆动盘之间的最小距离,D2为转盘与摆动盘之间的最大距离,D为上述最大距离点与最小距离点之间的距离。
Figure BDA0003059707560000053
为图像采集装置的垂直半视场角,
Figure BDA0003059707560000052
为图像采集装置的水平半视场角;k为经验系数。
经过实验,k<0.96时能够完整采集,k<0.83时采集效果较佳。最终采集的图像再进行3D合成建模时能够兼顾速度和效果,因此也是发明点之一。
当间隔体为球体时,D1为小球直径,D2为大球直径,D为两个球体圆心之间的距离。
在一种实施例中,间隔体23并不与转盘21固定连接,而是滚动连接。例如转盘21上具有滚珠座,滚珠(间隔体)嵌入其中,并且滚珠能够在滚珠座中滚动。这样在转盘21转动时,滚珠与摆动盘22之间也是滚动关系,可以有效减小摩擦,提高转动精度。
当然,摆动盘22具有限位装置,使得摆动盘只在基准面附近的一定范围内摆动,而不会脱落。
本发明图像采集装置的镜头包括两部分,如图5:显微镜头11和变焦镜头 12。两个镜头光学连接在一起。变焦镜头可以根据显微放大需要进行更换变焦倍数,显微镜头可实现放大和对焦调整清晰度的作用。
传统显微成像只能通过变换显微镜头来调整焦距、放大倍数和视场,费时费力。本发明提出设置变焦镜头,可以在不更换镜头的基础上,直接寻找适合该微小目标物的成像方式。
(1)驱动装置驱动微动装置,使得图像采集装置光轴转动到某一位置后静止,即从某一方向对准微小目标物;
(2)通过手动或者自动调整变焦镜头焦距,寻找适合该微小目标物的镜头焦距,使得成像大小合适,且清晰。
(3)其余步骤同如下自动对焦采集步骤。
传统显微观测只能手动对焦。即只能通过手动对焦完成显微拍摄,但手动对焦时手触碰镜头可能会对镜头的位置造成细微的位移,导致无法在精确的位置准确拍摄,同时由于需要拍摄较多角度照片,因此手动对焦费事费力。本发明实施例中镜头可以为自动对焦镜头,自动对焦镜头可实现显微拍摄时的自动对焦,从而使图像采集装置自动完成清晰度的调整。而本发明图像采集装置的镜头包括两部分:显微镜头和自动对焦镜头。两个镜头光学连接在一起。显微镜头可以根据显微放大需要进行更换。变焦镜头主要实现自动变焦。也就是在图像采集装置光轴转动时,在不同转动位置镜头必然需要重新对焦,此时利用自动对焦镜头可以实现自动对焦,步骤如下:
(1)驱动装置驱动微动装置,使得图像采集装置光轴转动到某一位置后静止,即从某一方向对准微小目标物;
(2)处理器控制图像采集装置的自动对焦镜头进行自动对焦;
(3)对焦完成后进行目标物图像采集;
(4)采集完毕后驱动装置驱动微动装置,使得图像采集装置光轴转动到下一位置,重复步骤(1)-(3);(图像采集装置采集位置之间的关系下面将详细陈述)
(5)以此类推,完成目标物多个方向的图像采集。
当然,本发明另一实施例中还可在显微镜头中设置对焦控制部件,通过对对焦控制部件的调整,来实现显微镜头的自动对焦功能。
光源
通常情况下,光源位于图像采集装置4的镜头周边分散式分布,例如光源为在摆动盘周边的环形LED灯。由于在一些应用中,被采集对象为生物体,因此需要控制光源强度,避免造成生物体损伤。特别是可以在光源的光路上设置柔光装置,例如为柔光外壳。或者直接采用LED面光源,不仅光线比较柔和,而且发光更为均匀。更佳地,可以采用OLED光源,体积更小,光线更加柔和,并且具有柔性特性,可以贴附于弯曲的表面。光源也可以设置于其他能够为目标物提供均匀照明的位置。光源也可以为智能光源,即根据目标物及环境光的情况自动调整光源参数。同时,为了生物学的某些需要,光源不仅可以使用可见光,也可以采用红外光、紫外光或荧光等。
图像采集装置位置优化
在进行3D采集时,图像采集装置在不同采集位置光轴方向相对于目标物发生变化,此时相邻两个图像采集装置的位置,或图像采集装置相邻两个采集位置满足如下条件:
Figure BDA0003059707560000071
δ<0.582
其中L为相邻两个采集位置图像采集装置光心的直线距离;f为图像采集装置的焦距;d为图像采集装置感光元件(CCD)的矩形长度或宽度;T为图像采集装置感光元件沿着光轴到目标物表面的距离;δ为调整系数。
当上述两个位置是沿图像采集装置感光元件长度方向时,d取矩形长度;当上述两个位置是沿图像采集装置感光元件宽度方向时,d取矩形宽度。
图像采集装置在两个位置中的任何一个位置时,感光元件沿着光轴到目标物表面的距离作为T。除了这种方法外,在另一种情况下,L为An、An+1两个图像采集装置光心的直线距离,与An、An+1两个图像采集装置相邻的An-1、An+2两个图像采集装置和An、An+1两个图像采集装置各自感光元件沿着光轴到目标物表面的距离分别为Tn-1、Tn、Tn+1、Tn+2,T=(Tn-1+Tn+Tn+1+Tn+2)/4。当然可以不只限于相邻4个位置,也可以用更多的位置进行平均值计算。
如上所述,L应当为两个图像采集装置光心的直线距离,但由于图像采集装置光心位置在某些情况下并不容易确定,因此在某些情况下也可以使用图像采集装置的感光元件中心、图像采集装置的几何中心、图像采集装置与云台(或平台、支架)连接的轴中心、镜头近端或远端表面的中心替代,经过试验发现由此带来的误差是在可接受的范围内的,因此上述范围也在本发明的保护范围之内。
通常情况下,现有技术中均采用物体尺寸、半视场角等参数作为推算相机位置的方式,并且两个相机之间的位置关系也采用角度表达。由于角度在实际使用过程中并不好测量,因此在实际使用时较为不便。并且,物体尺寸会随着测量物体的变化而改变。上述不方便的测量以及多次重新测量都会带来测量的误差,从而导致相机位置推算错误。而本方案根据大量实验数据,给出了相机位置需要满足的经验条件,不仅避免测量难以准确测量的角度,而且不需要直接测量物体大小尺寸。经验条件中d、f均为相机固定参数,在购买相机、镜头时,厂家即会给出相应参数,无需测量。而T仅为一个直线距离,用传统测量方法,例如直尺、激光测距仪均可以很便捷的测量得到。因此,本发明的经验公式使得准备过程变得方便快捷,同时也提高了相机位置的排布准确度,使得相机能够设置在优化的位置中,从而在同时兼顾了3D合成精度和速度,具体实验数据参见下述。
Figure BDA0003059707560000081
从上述实验结果及大量实验经验可以得出,δ的值应当满足δ<0.582,此时已经能够合成部分3D模型,虽然有一部分无法自动合成,但是在要求不高的情况下也是可以接受的,并且可以通过手动或者更换算法的方式弥补无法合成的部分。特别是δ的值满足δ<0.412时,能够最佳地兼顾合成效果和合成时间的平衡;为了获得更好的合成效果可以选择δ<0.334,此时合成时间会上升,但合成质量更好。而当δ为0.697时,已经无法合成。但这里应当注意,以上范围仅仅是最佳实施例,并不构成对保护范围的限定。
并且从上述实验可以看出,对于相机拍照位置的确定,只需要获取相机参数(焦距f、CCD尺寸)、相机CCD与物体表面的距离T即可根据上述公式得到,这使得在进行设备设计和调试时变得容易。由于相机参数(焦距f、CCD 尺寸)在相机购买时就已经确定,并且是产品说明中就会标示的,很容易获得。因此根据上述公式很容易就能够计算得到相机位置,而不需要再进行繁琐的半视场角测量和物体尺寸测量。特别是在一些场合中,需要更换相机镜头,那么本发明的方法直接更换镜头常规参数f计算即可得到相机位置;同理,在采集不同物体时,由于物体大小不同,对于物体尺寸的测量也较为繁琐。而使用本发明的方法,无需进行物体尺寸测量,能够更为便捷地确定相机位置。并且使用本发明确定的相机位置,能够兼顾合成时间和合成效果。因此,上述经验条件是本发明的发明点之一。
以上数据仅为验证该公式条件所做实验得到的,并不对发明构成限定。即使没有这些数据,也不影响该公式的客观性。本领域技术人员可以根据需要调整设备参数和步骤细节进行实验,得到其他数据也是符合该公式条件的。
3D合成方法
在图像采集设备通过图像采集装置采集到目标物多个方向的图像后,通过数据传输方式将多张图像传输至处理器。处理器可以在本地设置,也可以将图像上传至云平台利用远程处理器。在处理器中使用如下方法进行3D模型的合成。
根据上述采集方法,图像采集装置4通过与目标物相对运动而采集目标物一组图像;
处理单元根据上述一组图像中的多个图像得到目标物的3D信息。具体算法如下。当然,处理单元可以直接设置在图像采集装置4所在的壳体内,也可以通过数据线或通过无线方式与图像采集装置4连接。例如可以使用独立的计算机、服务器及集群服务器等作为处理单元,图像采集装置4采集到的图像数据传输至其上,进行3D合成。同时,也可以将图像采集装置4的数据传输至云平台,利用云平台的强大计算能力进行3D合成。
利用上述采集到的图片进行3D合成时,可以采用现有算法实现,也可以采用本发明提出的优化的算法,主要包括如下步骤:
步骤1:对所有输入照片进行图像增强处理。采用下述滤波器增强原始照片的反差和同时压制噪声。
Figure BDA0003059707560000091
式中:g(x,y)为原始影像在(x,y)处灰度值,f(x,y)为经过Wallis滤波器增强后该处的灰度值,mg为原始影像局部灰度均值,sg为原始影像局部灰度标准偏差,mf为变换后的影像局部灰度目标值,sf为变换后影像局部灰度标准偏差目标值。c∈(0,1)为影像方差的扩展常数,b∈(0,1)为影像亮度系数常数。
该滤波器可以大大增强影像中不同尺度的影像纹理模式,所以在提取影像的点特征时可以提高特征点的数量和精度,在照片特征匹配中则提高了匹配结果可靠性和精度。
步骤2:对输入的所有照片进行特征点提取,并进行特征点匹配,获取稀疏特征点。采用SURF算子对照片进行特征点提取与匹配。SURF特征匹配方法主要包含三个过程,特征点检测、特征点描述和特征点匹配。该方法使用 Hessian矩阵来检测特征点,用箱式滤波器(Box Filters)来代替二阶高斯滤波,用积分图像来加速卷积以提高计算速度,并减少了局部影像特征描述符的维数,来加快匹配速度。主要步骤包括①构建Hessian矩阵,生成所有的兴趣点,用于特征提取,构建Hessian矩阵的目的是为了生成图像稳定的边缘点(突变点);②构建尺度空间特征点定位,将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较,初步定位出关键点,再经过滤除能量比较弱的关键点以及错误定位的关键点,筛选出最终的稳定的特征点;③特征点主方向的确定,采用的是统计特征点圆形邻域内的harr小波特征。即在特征点的圆形邻域内,统计60度扇形内所有点的水平、垂直harr小波特征总和,然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后,最后将值最大的那个扇形的方向作为该特征点的主方向;④生成64 维特征点描述向量,特征点周围取一个4*4的矩形区域块,但是所取得矩形区域方向是沿着特征点的主方向。每个子区域统计25个像素的水平方向和垂直方向的haar小波特征,这里的水平和垂直方向都是相对主方向而言的。该haar 小波特征为水平方向值之后、垂直方向值之后、水平方向绝对值之后以及垂直方向绝对值之和4个方向,把这4个值作为每个子块区域的特征向量,所以一共有4*4*4=64维向量作为Surf特征的描述子;⑤特征点匹配,通过计算两个特征点间的欧式距离来确定匹配度,欧氏距离越短,代表两个特征点的匹配度越好。
步骤3:输入匹配的特征点坐标,利用光束法平差,解算稀疏的目标物三维点云和拍照相机的位置和姿态数据,即获得了稀疏目标物模型三维点云和位置的模型坐标值;以稀疏特征点为初值,进行多视照片稠密匹配,获取得到密集点云数据。该过程主要有四个步骤:立体像对选择、深度图计算、深度图优化、深度图融合。针对输入数据集里的每一张影像,我们选择一张参考影像形成一个立体像对,用于计算深度图。因此我们可以得到所有影像的粗略的深度图,这些深度图可能包含噪声和错误,我们利用它的邻域深度图进行一致性检查,来优化每一张影像的深度图。最后进行深度图融合,得到整个场景的三维点云。
步骤4:利用密集点云进行目标物曲面重建。包括定义八叉树、设置函数空间、创建向量场、求解泊松方程、提取等值面几个过程。由梯度关系得到采样点和指示函数的积分关系,根据积分关系获得点云的向量场,计算指示函数梯度场的逼近,构成泊松方程。根据泊松方程使用矩阵迭代求出近似解,采用移动方体算法提取等值面,对所测点云重构出被测物体的模型。
步骤5:目标物模型的全自动纹理贴图。表面模型构建完成后,进行纹理贴图。主要过程包括:①纹理数据获取通过图像重建目标的表面三角面格网;②重建模型三角面的可见性分析。利用图像的标定信息计算每个三角面的可见图像集以及最优参考图像;③三角面聚类生成纹理贴片。根据三角面的可见图像集、最优参考图像以及三角面的邻域拓扑关系,将三角面聚类生成为若干参考图像纹理贴片;④纹理贴片自动排序生成纹理图像。对生成的纹理贴片,按照其大小关系进行排序,生成包围面积最小的纹理图像,得到每个三角面的纹理映射坐标。
应当注意,上述算法是本发明的优化算法,本算法与图像采集条件相互配合,使用该算法兼顾了合成的时间和质量,是本发明的发明点之一。当然,使用现有技术中常规3D合成算法也可以实现,只是合成效果和速度会受到一定影响。
生物3D模型的应用
利用本发明构建观测的生物体(例如细胞、细菌等)3D模型后,可以将 3D模型数据传递至云平台,通过直观的三维模型可供科研人员从形貌上研究该生物体。同时也可以用于生物教学。
在另一种应用中,可以将常见细菌的三维数据进行采集并生物三维形貌数据存储在数据库中,作为标准三维数据。当检测装置检采集到被检测样本中的细菌时,构建待识别细菌的三维模型。这些待识别的三维数据实际上反映了待检测细菌的生物三维形貌。因此将待识别的三维数据和数据库中标准三维数据进行比对,即可识别出该待识别的细菌属于哪一类,从而实现细菌的检测。
本发明所述的转动运动,为在采集过程中前一位置采集平面和后一位置采集平面发生交叉而不是平行,或前一位置图像采集装置光轴和后一位置图像采集位置光轴发生交叉而不是平行。也就是说,图像采集装置的采集区域环绕或部分环绕目标物运动,均可以认为是两者相对转动。虽然本发明实施例中列举更多的为有轨道的转动运动,但是可以理解,只要图像采集设备的采集区域和目标物之间发生非平行的运动,均是转动范畴,均可以使用本发明的限定条件。本发明保护范围并不限定于实施例中的有轨道转动。
本发明所述的相邻采集位置是指,在图像采集装置相对目标物移动时,移动轨迹上的发生采集动作的两个相邻位置。这通常对于图像采集装置运动容易理解。但对于目标物发生移动导致两者相对移动时,此时应当根据运动的相对性,将目标物的运动转化为目标物不动,而图像采集装置运动。此时再衡量图像采集装置在转化后的移动轨迹中发生采集动作的两个相邻位置。
虽然上述实施例中记载图像采集装置采集图像,但不应理解为仅适用于单张图片构成的图片组,这只是为了便于理解而采用的说明方式。图像采集装置也可以采集视频数据,直接利用视频数据或从视频数据中截取图像进行3D合成。但合成时所利用的视频数据相应帧或截取的图像的拍摄位置,依然满足上述经验公式。
上述目标物体、目标物、及物体皆表示预获取三维信息的对象。可以为一实体物体,也可以为多个物体组成物。例如可以为头部、手部等。所述目标物的三维信息包括三维图像、三维点云、三维网格、局部三维特征、三维尺寸及一切带有目标物三维特征的参数。本发明里所谓的三维是指具有XYZ三个方向信息,特别是具有深度信息,与只有二维平面信息具有本质区别。也与一些称为三维、全景、全息、三维,但实际上只包括二维信息,特别是不包括深度信息的定义有本质区别。
本发明所说的采集区域是指图像采集装置(例如相机)能够拍摄的范围。本发明中的图像采集装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于本发明装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序 (例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (11)

1.一种显微三维信息采集设备,其特征在于:包括图像采集装置、微动装置、载物台;
其中微动装置包括转盘和摆动盘,转盘和摆动盘之间设置有间隔体,间隔体随转盘转动,从而驱动摆动盘在基准平面附近摆动;
图像采集装置设置于摆动盘上;
图像采集装置的镜头依次为变焦镜头和显微镜头;两个镜头光学连接;图像采集装置的采集位置符合如下条件:
Figure FDA0003059707550000011
δ<0.582,
其中L为图像采集装置在相邻两个采集位置时光心的直线距离;f为图像采集装置的焦距;d为图像采集装置感光元件的矩形长度或宽度;T为图像采集装置感光元件沿着光轴到目标物表面的距离;δ为调整系数。
2.如权利要求1所述设备,其特征在于:间隔体为两个。
3.如权利要求1所述设备,其特征在于:两个间隔体相对设置。
4.如权利要求3所述设备,其特征在于:间隔体为滚珠,滚珠嵌入转盘上的滚珠座中。
5.如权利要求1所述的设备,其特征在于:所述变焦镜头和显微镜头至少之一属于自动对焦镜头。
6.如权利要求1所述的设备,其特征在于:图像采集装置采集目标物多个角度的图像,处理器利用上述多个图像合成目标物三维模型。
7.如权利要求1所述的设备,其特征在于:δ<0.412。
8.如权利要求1所述的设备,其特征在于:δ<0.335。
9.一种三维标准数据库生成方法,其特征在于:使用权利要求1-8任一所述的设备采集目标物图像,并生成三维模型,将三维模型数据存储在数据库中。
10.一种生物检测设备,其特征在于:将使用权利要求1-8任一所述的设备采集到的图像合成三维将模型数据,并与标准三维模型数据进行比对。
11.一种生物检测方法,其特征在于:将使用权利要求1-8任一所述的设备采集到的图像合成三维模型数据,并与标准三维模型数据进行比对。
CN202110509416.6A 2020-03-09 2020-03-09 一种显微三维信息采集设备 Active CN113267141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110509416.6A CN113267141B (zh) 2020-03-09 2020-03-09 一种显微三维信息采集设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110509416.6A CN113267141B (zh) 2020-03-09 2020-03-09 一种显微三维信息采集设备
CN202010155359.1A CN111398274B (zh) 2020-03-09 2020-03-09 一种微小目标物3d采集设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010155359.1A Division CN111398274B (zh) 2020-03-09 2020-03-09 一种微小目标物3d采集设备

Publications (2)

Publication Number Publication Date
CN113267141A true CN113267141A (zh) 2021-08-17
CN113267141B CN113267141B (zh) 2022-09-13

Family

ID=71432238

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110509416.6A Active CN113267141B (zh) 2020-03-09 2020-03-09 一种显微三维信息采集设备
CN202010155359.1A Active CN111398274B (zh) 2020-03-09 2020-03-09 一种微小目标物3d采集设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010155359.1A Active CN111398274B (zh) 2020-03-09 2020-03-09 一种微小目标物3d采集设备

Country Status (1)

Country Link
CN (2) CN113267141B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115105035A (zh) * 2022-06-16 2022-09-27 深圳市华屹医疗科技有限公司 生理特征检测方法、装置、计算机设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112254671B (zh) * 2020-10-15 2022-09-16 天目爱视(北京)科技有限公司 一种多次组合式3d采集系统及方法
CN112254680B (zh) * 2020-10-15 2022-08-12 天目爱视(北京)科技有限公司 一种多自由度的智能视觉3d信息采集设备
CN112254653B (zh) * 2020-10-15 2022-05-20 天目爱视(北京)科技有限公司 一种用于3d信息采集的程序控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034240A (zh) * 2006-03-10 2007-09-12 鸿富锦精密工业(深圳)有限公司 用于相机模组测试中的自动对焦方法
CN104994263A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种摄像装置及具有该摄像装置的终端
CN105225224A (zh) * 2015-08-30 2016-01-06 大连理工大学 提高景深测量精度的相机布局与标定方法
CN106596550A (zh) * 2016-12-14 2017-04-26 河南工业大学 一种微小昆虫标本图像采集系统
US20180203217A1 (en) * 2015-07-17 2018-07-19 Leica Microsystems Cms Gmbh Light sheet microscope for simultaneously imaging a plurality of object planes
EP3365722A1 (en) * 2015-10-21 2018-08-29 Fondazione Istituto Italiano di Tecnologia Optical adapter connectable to an image acquisition device, in particular intended to be used for microscopic observation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2855496C2 (de) * 1978-12-22 1986-11-13 Novoflex Fotogerätebau Karl Müller, 8940 Memmingen Vorrichtung zum Verschieben und/oder Kippen des Objektivs einer Spiegelreflexkamera
JP3587517B2 (ja) * 2002-04-09 2004-11-10 株式会社エレマック 監視用カメラの支持機構
JP4322157B2 (ja) * 2004-03-31 2009-08-26 株式会社ベテル カメラ作動装置
CN201242649Y (zh) * 2008-08-12 2009-05-20 陆伟明 摄像机摇臂转盘
CN101930153B (zh) * 2009-06-23 2012-06-27 承奕科技股份有限公司 外接式显微镜头装置
CN103075960B (zh) * 2012-12-30 2015-06-03 北京工业大学 多视角大深度显微立体视觉特征融合测量方法
JPWO2017169979A1 (ja) * 2016-03-30 2019-02-28 パナソニックIpマネジメント株式会社 アクチュエータおよびコイルユニット
CN109204857A (zh) * 2017-07-04 2019-01-15 深圳市道通智能航空技术有限公司 云台及具有此云台的摄像组件和无人机
CN107869962B (zh) * 2017-10-31 2020-12-15 南京农业大学 一种基于空间雕刻技术的高通量设施作物三维形态信息测量系统
JP6910936B2 (ja) * 2017-11-27 2021-07-28 キヤノン株式会社 振動型モータ、レンズ装置、および、電子機器
CN110580732B (zh) * 2018-09-10 2023-06-23 天目爱视(北京)科技有限公司 一种3d信息获取装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034240A (zh) * 2006-03-10 2007-09-12 鸿富锦精密工业(深圳)有限公司 用于相机模组测试中的自动对焦方法
CN104994263A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种摄像装置及具有该摄像装置的终端
US20180203217A1 (en) * 2015-07-17 2018-07-19 Leica Microsystems Cms Gmbh Light sheet microscope for simultaneously imaging a plurality of object planes
CN105225224A (zh) * 2015-08-30 2016-01-06 大连理工大学 提高景深测量精度的相机布局与标定方法
EP3365722A1 (en) * 2015-10-21 2018-08-29 Fondazione Istituto Italiano di Tecnologia Optical adapter connectable to an image acquisition device, in particular intended to be used for microscopic observation
CN106596550A (zh) * 2016-12-14 2017-04-26 河南工业大学 一种微小昆虫标本图像采集系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115105035A (zh) * 2022-06-16 2022-09-27 深圳市华屹医疗科技有限公司 生理特征检测方法、装置、计算机设备和存储介质
CN115105035B (zh) * 2022-06-16 2023-06-16 深圳市华屹医疗科技有限公司 生理特征检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111398274A (zh) 2020-07-10
CN113267141B (zh) 2022-09-13
CN111398274B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
CN111292364B (zh) 一种三维模型构建过程中图像快速匹配的方法
CN113267141B (zh) 一种显微三维信息采集设备
CN111076674B (zh) 一种近距离目标物3d采集设备
CN111292239B (zh) 一种三维模型拼接设备及方法
CN111238374B (zh) 一种基于坐标测量的三维模型构建及测量方法
CN113327291B (zh) 一种基于连续拍摄对远距离目标物3d建模的标定方法
CN111060008B (zh) 一种3d智能视觉设备
CN102221331B (zh) 一种基于不对称双目立体视觉技术的测量方法
CN111028341B (zh) 一种三维模型生成方法
CN112304222B (zh) 一种背景板同步旋转的3d信息采集设备
CN108446596A (zh) 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法
WO2014171418A1 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
CN111445529A (zh) 一种基于多激光测距的标定设备及方法
CN111340959B (zh) 一种基于直方图匹配的三维模型无缝纹理贴图方法
CN113066132A (zh) 一种基于多设备采集的3d建模标定方法
CN112254680B (zh) 一种多自由度的智能视觉3d信息采集设备
CN111208138B (zh) 一种智能木料识别装置
CN112254638B (zh) 一种可俯仰调节的智能视觉3d信息采集设备
CN106934110B (zh) 一种由聚焦堆栈重建光场的反投影方法和装置
CN111325780B (zh) 一种基于图像筛选的3d模型快速构建方法
CN211696237U (zh) 一种目标物显微图像采集设备
CN113115024B (zh) 一种3d信息采集设备
Oberlin et al. Time-lapse light field photography with a 7 dof arm
Sathirasethawong Light Field Imaging and Reconstruction Tools for Small Objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant