CN112805607A - 计测装置、计测方法和显微镜系统 - Google Patents

计测装置、计测方法和显微镜系统 Download PDF

Info

Publication number
CN112805607A
CN112805607A CN201880098344.7A CN201880098344A CN112805607A CN 112805607 A CN112805607 A CN 112805607A CN 201880098344 A CN201880098344 A CN 201880098344A CN 112805607 A CN112805607 A CN 112805607A
Authority
CN
China
Prior art keywords
unit
image
image pickup
rotation angle
measurement device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880098344.7A
Other languages
English (en)
Inventor
古贺隼一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijingtong Co ltd
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN112805607A publication Critical patent/CN112805607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/22—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

计测装置(1)具备：摄像部(5)，其具备至少物体侧为远心的光学系统(8)，取得被摄体(A)的图像；旋转移动部(6)，其使摄像部(5)和被摄体(A)绕与光学系统(8)的光轴交叉的轴线相对地旋转移动；角度检测部(7)，其检测通过旋转移动部(6)而旋转的旋转角度；以及计算部，其基于在通过旋转移动部(6)进行的旋转移动前后由摄像部(5)取得的2张图像和由角度检测部(7)检测出的旋转角度，计算被摄体(A)的高度尺寸。

Description

计测装置、计测方法和显微镜系统
技术领域
本发明涉及计测装置、计测方法以及显微镜系统。
背景技术
已知有如下的显微镜系统：使物体与摄像部的光轴方向的距离变化，从而计测在由摄像部取得的图像上合焦的位置的高度尺寸(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本专利第5730696号公报
发明内容
发明要解决的问题
然而，在专利文献1的显微镜系统中，物镜光学系统一般是远心光学系统，在通过上述方法进行三维形状计测的情况下，特别是在用于宽视野观察的低倍率的透镜中，合焦范围宽，因此存在无法高精度地计测高度的不良情况。
本发明的目的在于提供一种能够使用远心光学系统以宽视野且高精度计测高度尺寸的计测装置、计测方法以及显微镜系统。
用于解决问题的手段
本发明的一个方式是一种计测装置，其具备：摄像部，其具备至少物体侧为远心的光学系统，并取得被摄体的图像；旋转移动部，其使所述摄像部和所述被摄体绕与所述光学系统的光轴交叉的轴线相对地旋转移动；角度检测部，其检测通过该旋转移动部进行旋转的旋转角度；以及计算部，其基于在通过所述旋转移动部进行的旋转移动前后由所述摄像部取得的2张所述图像和由所述角度检测部检测出的所述旋转角度，计算所述被摄体的高度尺寸。
根据本方式，将被摄体和摄像部配置在规定的相对位置，通过摄像部取得被摄体的图像，之后，通过旋转移动部的动作，使被摄体和摄像部围绕与光学系统的光轴交叉的轴线相对地旋转移动，由旋转角度检测部检测旋转角度。然后，在旋转后的相对位置，通过摄像部取得被摄体的图像。由此，通过计算部，基于在旋转移动前后取得的2张图像和旋转角度，计算被摄体的高度尺寸。
即，能够通过摄像部计测与光轴正交的二维方向的被摄体的各位置，并且通过上述方法，能够计算被摄体的各位置的高度尺寸，能够使用远心光学系统，广视野且高精度地计测高度尺寸。
在上述方式中，也可以是，所述被摄体被固定在所述光轴上，所述旋转移动部使所述摄像部绕所述轴线旋转移动。
根据该结构，能够将被摄体固定在光轴上，通过旋转移动部使摄像部旋转移动，取得2张图像和旋转角度。
另外，在上述方式中，也可以是，所述摄像部被固定为使得所述被摄体被配置在所述光轴上，所述旋转移动部使所述被摄体绕所述轴线旋转移动。
根据该结构，能够在被固定的摄像部的光轴上配置被摄体，通过旋转移动部使被摄体旋转移动，取得2张图像和旋转角度。
另外，在上述方式中，也可以是，所述计算部通过匹配处理来确定2张所述图像上的同一关注点的与所述光轴正交的2个方向上的坐标。
根据该结构，通过计算部进行匹配处理，能够确定2张图像上共同的关注点的与光轴正交的二维坐标。并且，能够基于该二维坐标，计算该关注点处的被摄体的高度，其结果，能够得到关注点的三维坐标。
另外，在上述方式中，也可以是，所述计算部针对所述旋转角度不同的多对所述图像分别计算高度尺寸，并计算所计算出的多个高度尺寸的统计值作为所述被摄体的高度尺寸。
通过该结构，能够提高被摄体的高度尺寸的计测精度。在通过图像的匹配处理来确定关注点的情况下，图像的纹理由于旋转角度的变化而变化，因此成为匹配处理的误差的主要原因，但通过计算多个高度尺寸并将其统计值设为高度尺寸，能够进行健壮的计测。
另外，在上述方式中，也可以是，所述计算部计算2张所述图像上的多个同一关注点的三维坐标值。
根据该结构，能够取得多个三维点组，能够计测被摄体的三维形状。
另外，在上述方式中，也可以是，所述计算部使用所述三维坐标值生成三维形状信息。
根据该结构，能够使用所取得的三维坐标值，生成三维图像信息，从各种方向观察被摄体，对被摄体的任意的截面的形状进行计测。
另外，在上述方式中，也可以是，所述计算部针对所述旋转角度不同的多对所述图像分别计算所述三维坐标值，并对计算出的所述三维坐标值进行综合。
根据该结构，根据摄像部相对于三维被摄体的角度，有时无法取得被摄体的详细形状，但通过利用旋转移动部变更摄像部与被摄体的旋转角度，能够取得没能取得的形状。因此，通过将使用多对图像计算出的三维坐标值综合，能够取得欠缺少的三维点组。
另外，在上述方式中，也可以是，所述计算部在对计算出的所述三维坐标值进行综合时，使用由所述角度检测部检测出的所述旋转角度来进行所述三维坐标值之间的位置对准。
通过该结构，能够进行所取得的三维点组的高精度的位置对准。
另外，在上述方式中，也可以是，所述计测装置具有显示部，所述显示部显示计算出所述三维坐标值的多个所述同一关注点，所述计算部在每次由所述摄像部取得2张所述图像时计算所述三维坐标值。
根据该结构，在通过计算部计算出关注点的三维坐标值时，所取得的三维点组被实时地显示于显示部。由此，观察者能够进一步迅速地掌握需要拍摄的光轴方向。
另外，本发明的其他方式是一种计测方法，其具有如下步骤：将摄像部和被摄体配置为绕与光学系统的光轴交叉的轴线的第1旋转角度，并通过所述摄像部取得第1图像，其中，所述摄像部具备至少物体侧为远心的所述光学系统并取得所述被摄体的图像；将所述摄像部和所述被摄体配置为绕所述轴线的第2旋转角度，并通过所述摄像部取得第2图像；以及基于由所述摄像部取得的所述第1图像和所述第2图像、以及所述第1旋转角度与所述第2旋转角度的差分，计算所述被摄体的高度尺寸。
另外，本发明的其他方式是一种显微镜系统，其具备显微镜和图像处理装置，所述显微镜具备：载台，其搭载被摄体；摄像部，其具备至少物体侧为远心的物镜光学系统，并取得所述被摄体的图像；旋转移动部，其使所述摄像部和所述载台绕与所述物镜光学系统的光轴交叉的轴线相对地旋转移动；以及角度检测部，其检测通过该旋转移动部而使所述摄像部与所述载台进行旋转的旋转角度，所述图像处理装置基于在通过所述旋转移动部进行的旋转移动前后由所述摄像部取得的2张所述图像和由所述角度检测部检测出的所述旋转角度，计算所述被摄体的高度尺寸。
发明的效果
根据本发明，起到能够使用远心光学系统以宽视野且高精度计测高度尺寸的效果。
附图说明
图1是表示本发明的一个实施方式的显微镜系统的整体结构图。
图2是表示使图1的显微镜系统的显微镜的臂绕y轴旋转的状态的示意图。
图3是表示图1的显微镜系统所具备的图像处理装置的框图。
图4是说明使用图1的显微镜系统的被摄体的高度计测的图。
图5是说明使用图1的显微镜系统的计测方法的流程图。
图6是对在图5的计测方法中将显微镜设定为U中心(日文：ユーセントリック)的状态的图。
图7是示出在图5的计测方法中由摄像部取得的第1图像的一例的图。
图8是示出在图5的计测方法中由摄像部取得的第2图像的一例的图。
图9是说明图4的高度计测的变形例的图。
图10是说明通过使用图1的显微镜系统的计测方法的变形例而取得的三维点组的示意图。
具体实施方式
以下，参照附图对本发明的一实施方式所涉及的显微镜系统(计测装置)1以及计测方法进行说明。
如图1所示，本实施方式的显微镜系统1具备显微镜2和图像处理装置3。
如图1所示，显微镜2具备：载台4，其搭载被摄体A；摄像部5，其朝下配置在载台4的上方，取得被摄体A的图像；旋转移动部6，其使摄像部5和载台4相对地旋转移动；以及角度检测部7，其检测旋转移动部6的旋转角度。
摄像部5具备至少物体侧为远心的物镜光学系统(光学系统)8、和包含对由物镜光学系统8聚光后的来自被摄体A的光进行拍摄的未图示的摄像元件的摄像光学系统9。
旋转移动部6具备搭载摄像部5的臂10，如图2所示，通过使臂10绕与物镜光学系统8的光轴(z轴)正交的轴线(y轴)旋转，从而使摄像部5相对于载台4旋转移动。
角度检测部7例如是编码器。
图像处理装置3与摄像部5和角度检测部7连接，根据在旋转移动部6的旋转移动前后由摄像部5取得的2张图像和由角度检测部7检测出的旋转角度，计算被摄体A的高度尺寸。
更具体而言，如图3所示，图像处理装置3具备：数据取得部13，其具备取得从摄像部5发送来的图像的图像取得部11和取得从角度检测部7发送来的旋转角度的角度取得部12；存储部14，其将由数据取得部13取得的图像和旋转角度对应起来进行存储；图像处理部15，其根据由数据取得部13取得的图像和旋转角度、以及在存储部14中存储的前1次取得的图像和旋转角度，进行图像处理；监视器(显示部)16，其显示图像；以及计测点指定部17，其在监视器16上指定计测点。
存储部14是存储器，数据取得部13和图像处理部15是处理器，计测点指定部17是使光标在监视器16上移动的鼠标、键盘等输入装置。
图像处理部15具备：立体匹配处理部18，其利用使用了所指定的计测点的周边像素的信息的以模板匹配为代表的图像间匹配技术，确定与在一个图像中由计测点指定部17指定的计测点对应的另一个图像上的计测点的坐标；以及计算部19，其基于所确定的坐标以及旋转角度的差分，计算该计测点处的被摄体A的高度。
在本实施方式中，如图1及图2所示，2个图像是在使臂10绕y轴旋转的前后取得的，因此在两图像中对应的像素的y坐标相同。因此，立体匹配处理部18仅通过相同的y坐标进行匹配处理即可。另外，为了实现伴随变形的图像间的匹配处理的稳定化，也可以使用Affine-SIFT算法等公知技术进行匹配处理。
计算部19使用下式(1)的运算式，计算计测点(关注点)处的被摄体A的高度。
为了简化说明，如图4所示，将臂10的角度(第1旋转角度、旋转角度)设为β＝β1＝0°，将在物镜光学系统8的光轴配置于铅垂方向的状态下由摄像部5取得的第1图像(第1图像)中的计测点P1的坐标设为(x1，y1)，将臂10的角度(第2旋转角度、旋转角度)设为β＝β2，将由摄像部5取得的第2图像(第2图像)中的计测点P2的坐标设为(x2，y2)。另外，将要测定的计测点P1的高度尺寸设为z1。在该情况下，角度的差分Δβ为Δβ＝β2-β1。
z1＝(x1cosΔβ-x2)/sinΔβ (1)
参照图5的流程图对使用这样构成的本实施方式的显微镜系统1的计测方法进行说明。
为了使用本实施方式的显微镜系统1计测被摄体A的高度，首先，如图1所示，在载台4上搭载被摄体A(步骤S1)，如图6所示，将载台4的高度方向位置设定为U中心(步骤S2)。
这里，U中心是指如下情况：即使包括远心的物镜光学系统8的摄像部5相对于被摄体A旋转，也处于在图像中央拍摄到被摄体A的状态，并且也维持对焦。
为了设为U中心，载台4具备根据被摄体A的高度来调整载台4的z方向位置的机构。另外，也调节摄像部5的z方向位置，以使被摄体A整体包含在物镜光学系统8的焦点深度内。
接着，将计数器n设定为初始值(步骤S3)，使旋转移动部6工作，使臂10绕y轴旋转(步骤S4)。通过作为角度检测部7的编码器检测旋转角度β(步骤S5)，判定检测出的旋转角度β是否为规定的角度βn(步骤S6)。
在成为规定的角度βn的情况下，使摄像部5动作而取得图像(步骤S7)。所取得的图像以及旋转角度βn被发送到图像处理装置3(步骤S8)。然后，由图像处理装置3的图像取得部11以及角度取得部12接收图像以及旋转角度βn，使计数器n递增(步骤S9)。判定计数器n是否大于2(步骤S10)，在为2以下的情况下，重复从步骤S4起的工序。
在计数器n大于2的情况下，图像处理装置3将发送来的第1图像显示于监视器16(步骤S11)，观察者操作计测点指定部17，使光标在显示于监视器16的第1图像上移动，指定想要计测高度尺寸z1的计测点P1(步骤S12)。由此，设定第1图像中的计测点P1的坐标(x1，y1)。
当指定了计测点P1时，立体匹配处理部18通过立体匹配处理在第2图像内搜索并确定与在第1图像中指定的计测点P1对应的计测点P2。由此，设定第2图像中的计测点P2的坐标(x2，y2)。
通过将所设定的2个计测点P1、P2的x坐标x1、x2以及旋转角度β1、β2发送至计算部19，能够使用式(1)高精度地计算计测点P1的高度尺寸z1(步骤S13)。
这样，根据本实施方式的显微镜系统1以及计测方法，具有如下优点：通过进行使具有远心的物镜光学系统8的摄像部5的光轴相对于被摄体A的倾斜角度不同而配置该光轴的倾斜操作，从而产生视差，能够根据所取得的2张图像和旋转角度β1、β2的差分Δβ，通过立体计测高精度地计算计测点P1的高度尺寸z1。
另外，在本实施方式中，优选的是，除了计测点之外，观察者还定义基准平面。例如，在图7和图8中，在计测配置于基板20上的电子部件(被摄体)21的高度尺寸z1的情况下，也可以在基板20的表面指定未图示的至少3个计测点Q1、Q2、Q3，计测三维坐标值而确定基板20所在的平面之后，计测计测点P1的三维坐标值，基于从所决定的三维空间上的平面到计测点P1的距离计测高度尺寸z1。
另外，由于远心的对物光学系统8连结平行投影的像，因此如果摄像光学系统9的摄像元件的像素间距和透镜倍率已知，则能够将图像上的xy坐标换算成实际空间的尺度(scale)。由此，能够用实际空间的尺度求出计测点的三维坐标值和高度尺寸。
另外，在本实施方式中，例示了使用在臂10的旋转角度β1、β2下取得的一对2张图像来计算高度尺寸z1的情况，但并不限定于此，也可以使用2对以上的图像来计算。
例如，如图9所示，也可以在臂10的旋转角度β1、β2、β3这3个部位取得第1图像至第3图像这3张图像，使用第1图像与第2图像的对、以及第1图像与第3图像的对这2对图像，通过式(1)分别计算高度，通过相加平均或者中央值等统计处理来计算高度尺寸z1。在该例子中，图5的计数器n的判定(步骤S10)显示为“n＞3？”。
更具体而言，在设为β1＝0°、β2＝20°、β3＝40°时，也可以使用0°和20°的图像的对和0°和40°的图像的对。
通过改变光轴相对于被摄体A的角度，图像的纹理发生变化，成为立体匹配处理中的误差的主要原因，但通过利用多个高度的统计处理来计算高度尺寸z1，能够进行健壮(robust)的高度计测。通过增加数据的数量，能够提高健壮性。
另外，也能够使用20°和40°的图像的对。在该情况下，由于求出绕y轴旋转了从β1＝0°到β2＝20°的z坐标方向的高度，所以为了变换为β1＝0°的情况下的z坐标方向的高度，乘以cos 20°即可。
另外，也可以加上基于通过立体匹配处理确定出的计测点P1、P2的图像间的亮度值的差异的权重来计算统计值。或者，也可以如公知的多基线立体处理那样，将多个立体匹配的评价值综合而计算出1个稳定的高度尺寸z1。
另外，在本实施方式中，对由计测点指定部17指定的计测点P1计测高度，但也可以取而代之，将以β1＝0°取得的第1图像上的所有像素作为计测点P1来计测高度。但是，关于原理上无法进行立体匹配处理的无纹理的区域，由于无法进行高度计测，因此参照第1图像内的局部区域的对比度，将对比度为规定的阈值以下的区域从计测对象中排除。
由此，如图10所示，能够生成摄像部5的视野整体的三维点组。
在此，在第1图像中存在无法观察的遮挡区域(遮挡区域)。例如，与物镜光学系统8的光轴平行的被摄体A的侧面不包含在第1图像中。因此，如图8所示，按照同样的步骤，根据使光轴相对于被摄体A的角度不同而取得的第2图像和第3图像生成第2图像的视点下的三维点组，并与第1图像的视点下的三维点组进行综合。
在用于综合的三维点组之间的位置对准中，使用公知的ICP算法等。
由此，也能够得到在第1图像的视点中欠缺的三维点组。另外，对于在多个三维点组之间共同的计测点，通过利用统计值进行综合，能够提高健壮性。
通过同样地在其他视点也得到三维点组，能够生成被摄体A整体的欠缺少的三维点组。
仅通过使臂10向一个方向倾斜无法进行整个周围的视点的拍摄，因此搭载被摄体A的载台4也可以具备绕沿铅垂方向延伸的轴线旋转的机构。载台4的旋转角度也可以通过未图示的编码器另行检测。另外，通过将载台4的旋转角度、臂10的旋转角度β以及在U中心的设定中调整的z位置利用于ICP算法的初始值等，能够进行三维点组的高精度的对位。
而且，计算部19通过对包含最后未能取得三维点组的无纹理区域等在内的三维点组进行公知的网格处理等来实施插值，生成最终的三维图像即可。通过生成三维图像，观察者能够简单地掌握被摄体A整体的外观，进行被摄体A的任意截面的形状计测等。
另外，在上述实施方式中，在取得了所有视点下的图像以及旋转角度β之后对三维形状进行了测定，但也可以像公知的SLAM技术那样，每当取得图像以及旋转角度β时，构建三维点组并进行综合，并显示于监视器16。与观察者使臂部10倾斜或者使载台4旋转的操作相应地，在由作为角度检测部7的编码器检测出的旋转角度β与预先设定的角度一致的时间点，取得图像以及旋转角度β，实时地计算三维点组并显示于监视器16即可。
或者，也可以与观察者使臂部10倾斜或者使载台4旋转的操作相应地，以规定的时间间隔取得图像以及旋转角度β，生成三维点组。由此，观察者能够容易地掌握三维点组的取得不充分的视点的位置。
另外，在本实施方式中，例示了观察者手动使臂部10动作的情况，但也可以取而代之，采用如下的电动式的旋转移动部6，该旋转移动部6根据观察者对未图示的操作部的操作而利用马达驱动臂部10以及载台4。
标号说明
1 显微镜系统(计测装置)
2 显微镜
3 图像处理装置
4 载台
5 摄像部
6 旋转移动部
7 角度检测部
8 物镜光学系统(光学系统)
16 监视器(显示部)
19 计算部
21 电子部件(被摄体)
A 被摄体
P1、P2、P3 计测点(关注点)
z1 高度尺寸
β，β3 旋转角度
β1 第1旋转角度(旋转角度)
β2 第2旋转角度(旋转角度)
Δβ 差分

Claims (12)

1.一种计测装置，其具备：
摄像部，其具备至少物体侧为远心的光学系统，并取得被摄体的图像；
旋转移动部，其使所述摄像部和所述被摄体绕与所述光学系统的光轴交叉的轴线相对地旋转移动；
角度检测部，其检测通过该旋转移动部进行旋转的旋转角度；以及
计算部，其基于在通过所述旋转移动部进行的旋转移动前后由所述摄像部取得的2张所述图像和由所述角度检测部检测出的所述旋转角度，计算所述被摄体的高度尺寸。
2.根据权利要求1所述的计测装置，其中，
所述被摄体被固定在所述光轴上，
所述旋转移动部使所述摄像部绕所述轴线旋转移动。
3.根据权利要求1所述的计测装置，其中，
所述摄像部被固定为使得所述被摄体被配置在所述光轴上，
所述旋转移动部使所述被摄体绕所述轴线旋转移动。
4.根据权利要求1至3中的任意一项所述的计测装置，其中，
所述计算部通过匹配处理来确定2张所述图像上的同一关注点的与所述光轴正交的2个方向上的坐标。
5.根据权利要求1至4中的任意一项所述的计测装置，其中，
所述计算部针对所述旋转角度不同的多对所述图像分别计算高度尺寸，并计算所计算出的多个高度尺寸的统计值作为所述被摄体的高度尺寸。
6.根据权利要求1所述的计测装置，其中，
所述计算部计算2张所述图像上的多个同一关注点的三维坐标值。
7.根据权利要求6所述的计测装置，其中，
所述计算部使用所述三维坐标值生成三维形状信息。
8.根据权利要求6或7所述的计测装置，其中，
所述计算部针对所述旋转角度不同的多对所述图像分别计算所述三维坐标值，并对计算出的所述三维坐标值进行综合。
9.根据权利要求8所述的计测装置，其中，
所述计算部在对计算出的所述三维坐标值进行综合时，使用由所述角度检测部检测出的所述旋转角度来进行所述三维坐标值之间的位置对准。
10.根据权利要求8所述的计测装置，其中，
所述计测装置具有显示部，所述显示部显示计算出所述三维坐标值的多个所述同一关注点，
所述计算部在每次由所述摄像部取得2张所述图像时计算所述三维坐标值。
11.一种计测方法，其具有如下步骤：
将摄像部和被摄体配置为绕与光学系统的光轴交叉的轴线的第1旋转角度，并通过所述摄像部取得第1图像，其中，所述摄像部具备至少物体侧为远心的所述光学系统并取得所述被摄体的图像；
将所述摄像部和所述被摄体配置为绕所述轴线的第2旋转角度，并通过所述摄像部取得第2图像；以及
基于由所述摄像部取得的所述第1图像和所述第2图像、以及所述第1旋转角度与所述第2旋转角度的差分，计算所述被摄体的高度尺寸。
12.一种显微镜系统，其具备显微镜和图像处理装置，
所述显微镜具备：
载台，其搭载被摄体；
摄像部，其具备至少物体侧为远心的物镜光学系统，并取得所述被摄体的图像；
旋转移动部，其使所述摄像部和所述载台绕与所述物镜光学系统的光轴交叉的轴线相对地旋转移动；以及
角度检测部，其检测通过该旋转移动部而使所述摄像部与所述载台进行旋转的旋转角度，
所述图像处理装置基于在通过所述旋转移动部进行的旋转移动前后由所述摄像部取得的2张所述图像和由所述角度检测部检测出的所述旋转角度，计算所述被摄体的高度尺寸。
CN201880098344.7A 2018-10-09 2018-10-09 计测装置、计测方法和显微镜系统 Pending CN112805607A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037497 WO2020075213A1 (ja) 2018-10-09 2018-10-09 計測装置、計測方法および顕微鏡システム

Publications (1)

Publication Number Publication Date
CN112805607A true CN112805607A (zh) 2021-05-14

Family

ID=70164119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880098344.7A Pending CN112805607A (zh) 2018-10-09 2018-10-09 计测装置、计测方法和显微镜系统

Country Status (4)

Country Link
US (1) US20210183092A1 (zh)
JP (1) JPWO2020075213A1 (zh)
CN (1) CN112805607A (zh)
WO (1) WO2020075213A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102611537B1 (ko) * 2021-06-04 2023-12-08 한국전자통신연구원 초고품질의 디지털 데이터 생성 방법 및 장치
CN113834428B (zh) * 2021-07-29 2024-05-14 阿里巴巴达摩院(杭州)科技有限公司 金属体厚度识别方法、系统、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1287643A (zh) * 1998-01-16 2001-03-14 埃尔温·M·贝蒂 电子组件的三维检测方法和设备
JP2008233068A (ja) * 2007-02-20 2008-10-02 Toshiba It & Control Systems Corp Ｘ線透視検査装置及びｘ線透視検査方法
US20090123060A1 (en) * 2004-07-29 2009-05-14 Agency For Science, Technology And Research inspection system
US20100134600A1 (en) * 2008-11-26 2010-06-03 Mckeon Robert Apparatus and Methods for Three-Dimensional Imaging Using a Static Light Screen
US20150144769A1 (en) * 2013-11-26 2015-05-28 Lasertec Corporation Inspection apparatus and inspection method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0625649B2 (ja) * 1984-03-26 1994-04-06 オムロン株式会社 立体視方法
JPH0518722A (ja) * 1991-07-10 1993-01-26 Mitsubishi Electric Corp 線状体の３次元形状計測装置およびその方法
JP2000039307A (ja) * 1998-07-22 2000-02-08 Hitachi Ltd 半導体検査装置
JP2003035517A (ja) * 2001-07-23 2003-02-07 Toei Denki Kogyo Kk ２次元レーザ変位センサによるリードピンピッチ・平面度検査装置
JP5580164B2 (ja) * 2010-10-18 2014-08-27 株式会社トプコン 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP2012112694A (ja) * 2010-11-22 2012-06-14 Toshiba Corp 突き合わせ溶接部の溶接品質評価装置
WO2014196010A1 (ja) * 2013-06-03 2014-12-11 ヤマハ発動機株式会社 外観検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1287643A (zh) * 1998-01-16 2001-03-14 埃尔温·M·贝蒂 电子组件的三维检测方法和设备
US20090123060A1 (en) * 2004-07-29 2009-05-14 Agency For Science, Technology And Research inspection system
JP2008233068A (ja) * 2007-02-20 2008-10-02 Toshiba It & Control Systems Corp Ｘ線透視検査装置及びｘ線透視検査方法
US20100134600A1 (en) * 2008-11-26 2010-06-03 Mckeon Robert Apparatus and Methods for Three-Dimensional Imaging Using a Static Light Screen
US20150144769A1 (en) * 2013-11-26 2015-05-28 Lasertec Corporation Inspection apparatus and inspection method

Also Published As

Publication number Publication date
WO2020075213A1 (ja) 2020-04-16
US20210183092A1 (en) 2021-06-17
JPWO2020075213A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
US11243072B2 (en) Method for the three dimensional measurement of moving objects during a known movement
CN106595528B (zh) 一种基于数字散斑的远心显微双目立体视觉测量方法
CN110084854B (zh) 用于相机校准误差的运行时测定的系统和方法
EP2183546B1 (en) Non-contact probe
EP1580523A1 (en) Three-dimensional shape measuring method and its device
JP2012058076A (ja) ３次元計測装置及び３次元計測方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
US11222433B2 (en) 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images
JP2021193400A (ja) アーチファクトを測定するための方法
US20210183092A1 (en) Measuring apparatus, measuring method and microscope system
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
Percoco et al. Image analysis for 3D micro-features: A new hybrid measurement method
Khalil Two-dimensional displacement measurement using static close range photogrammetry and a single fixed camera
WO2019087253A1 (ja) ステレオカメラのキャリブレーション方法
JP2010256276A (ja) 三次元形状計測装置及び計測方法
JP2006317418A (ja) 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
Fantin et al. An efficient mesh oriented algorithm for 3d measurement in multiple camera fringe projection
JP5610579B2 (ja) ３次元寸法測定装置
US20190113336A1 (en) Multi-Directional Triangulation Measuring System with Method
JP2006153654A (ja) 三次元計測装置および三次元計測方法
JP6091092B2 (ja) 画像処理装置、及び画像処理方法
Eremin et al. Experimental Estimation of the Calibration Accuracy of Intrinsic Parameters for Digital Video Cameras
Godding et al. 4D Surface matching for high-speed stereo sequences
Zhu et al. Non-contact 3D coordinates measurement of cross-cutting feature points on the surface of large-scale workpiece based on machine vision method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221026

Address after: Nagano

Applicant after: Yijingtong Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: OLYMPUS Corp.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210514