CN103257085B - 图像处理装置和图像处理方法 - Google Patents
图像处理装置和图像处理方法 Download PDFInfo
- Publication number
- CN103257085B CN103257085B CN201210472526.0A CN201210472526A CN103257085B CN 103257085 B CN103257085 B CN 103257085B CN 201210472526 A CN201210472526 A CN 201210472526A CN 103257085 B CN103257085 B CN 103257085B
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- workbench
- control unit
- relative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims description 11
- 238000005259 measurement Methods 0.000 claims description 31
- 230000006835 compression Effects 0.000 claims description 18
- 238000007906 compression Methods 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 239000002131 composite material Substances 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 abstract 6
- UBCHPRBFMUDMNC-AAWJQDODSA-N (1r)-1-(1-adamantyl)ethanamine Chemical compound C1C(C2)CC3CC2CC1([C@H](N)C)C3 UBCHPRBFMUDMNC-AAWJQDODSA-N 0.000 description 25
- 238000012360 testing method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000007373 indentation Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 101100545275 Mus musculus Znf106 gene Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004368 synchrotron infrared microspectroscopy Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N3/02—Details
- G01N3/06—Special adaptations of indicating or recording means
- G01N3/068—Special adaptations of indicating or recording means with optical indicating or recording means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N3/40—Investigating hardness or rebound hardness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N3/40—Investigating hardness or rebound hardness
- G01N3/42—Investigating hardness or rebound hardness by performing impressions under a steady load by indentors, e.g. sphere, pyramid
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N2203/02—Details not specific for a particular testing method
- G01N2203/06—Indicating or recording means; Sensing means
- G01N2203/0641—Indicating or recording means; Sensing means using optical, X-ray, ultraviolet, infrared or similar detectors
- G01N2203/0647—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Abstract
本发明涉及一种图像处理装置和图像处理方法。包括：控制单元使摄像单元相对于工作台相对移动、以利用所述摄像单元在多个位置处对测量对象进行摄像并由此获得多个图像，并且通过合成所述多个图像来生成所述测量对象的合成图像，其中所述测量对象的合成图像的范围大于所述摄像单元的摄像范围。所述控制单元使所述摄像单元相对于所述工作台相对移动，以使利用所述摄像单元所获得的彼此相邻的图像部分重叠，并且进行用于对相邻图像的重叠部分进行图像匹配的图像匹配处理。所述控制单元通过在所述图像匹配处理中进行图像匹配的位置处接合相邻图像，来生成所述测量对象的合成图像。
Description
技术领域
本发明涉及一种硬度测试装置等中所采用的图像处理装置和图像处理方法。
背景技术
已知一种硬度测试装置，其用于根据形成在测量对象的表面中的压痕的形状来测量该测量对象的硬度(参考日本特开2010-190817和日本特开2005-345117)。在该硬度测试装置中，测量对象被放置在工作台上，使用摄像装置所能够拍摄到的该测量对象的图像来获得该测量对象的硬度的测量值。在所拍摄到的图像仅示出测量对象的一部分的区域的情况下，示出整个测量对象的图像是必要的。因而，传统上，已知一种方法，其在特定方向上使得工作台相对移动以拍摄多个图像，接合这些多个图像以生成合成图像(参考日本特开平08-313217)。
然而，在上述用于生成合成图像的方法中，如果图像的坐标轴的方向和工作台的坐标轴的方向不平行，则在图像被接合的部分中，合成图像变得不连续并且在工作台的坐标系中该图像的坐标值产生误差。如果对摄像装置的姿势进行物理调节、以使得图像的坐标轴的方向和工作台的坐标轴的方向相匹配，则这个问题得到解决。然而，这种调节是费力的并且需要成本。
本发明是考虑到这种问题而作出的，并且本发明的目的在于提供一种能够容易且低成本地生成合成图像的图像处理装置和图像处理方法，其中在该合成图像的合成部分处不存在不连续的现象。
发明内容
根据本发明的一种图像处理装置，包括摄像单元，用于对测量对象摄像；工作台，其被配置成能够安放有所述测量对象并且能够相对于所述摄像单元相对移动；以及控制单元，用于使所述摄像单元相对于所述工作台相对移动、以利用所述摄像单元在多个位置处对所述测量对象摄像并由此获得多个图像，并且用于通过合成所获得的多个图像或通过合成对所获得的多个图像进行特定处理而获得的图像来生成所述测量对象的合成图像，其中所述测量对象的合成图像的范围比所述摄像单元的摄像范围宽，其中，所述控制单元使所述摄像单元相对于所述工作台相对移动，以使得所述摄像单元所获得的彼此相邻的图像部分重叠，所述控制单元进行用于对所述相邻图像的重叠部分进行图像匹配的图像匹配处理，以及所述控制单元通过在所述图像匹配处理中进行图像匹配的位置处接合所述相邻图像，来生成所述测量对象的合成图像。
附图说明
图1是示出根据第一实施例的硬度测试装置的示意图。
图2是示出根据第一实施例的计算机主机21的框图。
图3是示出摄像单元12的坐标系和工作台13的坐标系的偏移的示意图。
图4是示出根据第一实施例的硬度测试装置的操作的流程图。
图5是示出根据第一实施例的步骤S101中的工作台13的移动、S102中的对工件W进行摄像和S104中的图像匹配处理的示意图。
图6是示出根据第一实施例的S104中的图像匹配处理的示意图。
图7是示出根据第一实施例的S104中的图像匹配处理的示意图。
图8是示出根据第一实施例的S104中的图像匹配处理的示意图。
图9是示出根据第一实施例的步骤S105中的工作台移动量的计算的示意图。
图10是示出根据第二实施例的硬度测试机30的示意图。
图11是示出根据第三实施例的工作台13沿着工件W的边缘E的移动、以及对工件W进行摄像的示意图。
图12是示出根据第三实施例的边缘追踪处理的流程图。
图13是示出根据第三实施例的显示画面的图。
图14是示出根据第三实施例的窗口内的边缘点检测的图。
图15是示出根据第三实施例的窗口位置的确定顺序的图。
具体实施方式
接着，将参考附图来详细说明本发明的实施例。
第一实施例
图1是示出根据本实施例的硬度测试装置的示意图。如图1所示，该硬度测试装置包括硬度测试机10和用于控制硬度测试机10的计算机系统20。注意，在本实施例中，该硬度测试装置还作为用于生成合成图像的图像处理装置。
硬度测试机10包括支撑体11、摄像单元12、工作台13和转台14。当从X方向(与图1的纸面垂直的方向)观看时，支撑体11为C字形。摄像单元12经由照相机安装座15设置在支撑体11的上部并对工件W(测量对象)进行摄像。摄像单元12例如由CCD照相机或CMOS照相机构成。
工作台13经由移动机构16设置在支撑体11的下侧。移动机构16被配置为使得工作台13可以在相互正交的X轴方向、Y轴方向和Z轴方向上移动。即，移动机构16被配置为使得摄像单元12可以相对于工作台13进行相对移动。移动机构16由计算机系统20来控制以对工作台13进行驱动。
转台14设置在支撑体11的上部。转台14被配置为可围绕平行于Z轴的转台转轴转动，并且包括位于其下方的压头17以及物镜18a和18b。压头17用于被压至工件W以在工件W的表面上形成压痕。物镜18a和18b各自用于与摄像单元12一起构成摄像光学系统。转台14的转动使得能够将压头17以及物镜18a和18b可切换地配置到使用位置。
计算机系统20包括计算机主体21、显示单元22(液晶面板等)、键盘23和鼠标24。如图2所示，计算机主体21例如包括CPU211、ROM 212、RAM 213和HDD 214。CPU 211根据存储在ROM212中的宏程序和存储在RAM 213中的来自HDD 214的程序来执行处理。CPU 211根据这些程序对摄像单元12、移动机构16和显示单元22进行控制。另外，CPU 211接收来自键盘23和鼠标24的输入信息。
接着，参考图3来说明根据本实施例的硬度测试装置的坐标系。如图3所示，本实施例包括摄像单元12的坐标系(x,y)和工作台13的坐标系(X,Y)。这里，轴x和轴y相互正交并且是设置在由摄像单元12所获得的图像中的轴。轴X和轴Y相互正交并且是工作台13可移动的方向。注意，轴x和轴y还可以是设置在由摄像单元12所获得的且已经经过特定处理的图像中的轴。
如图3所示，工作台13的坐标系(X,Y)相对于摄像单元12的坐标系(x,y)具有夹角θ。这里，例如，在使工作台13在X轴方向上移动特定位移量的同时，对工件W进行摄像以获得多个图像，并且在将这些多个图像以特定位移量间隔设置在x轴方向上的同时，接合这些图像以生成合成图像。然而，在该方法中，由于存在夹角θ的失准现象，使得该合成图像成为与实际工件W不同的不连续图像。结果，存在如下问题：当在该合成图像上配置压痕位置并且在工件W中形成压痕时，有可能会发生位置偏移，不一定适合进行目标位置的硬度测试。
因此，在本实施例中，通过使用图4所示的处理来生成合成图像IMa。注意，图4所示的控制由CPU 211来执行。如图4所示，首先，在特定方向上移动工作台13(S101)。接着，摄像单元12对工件W进行摄像以获得图像IM(S102)。在步骤S102中，将图像IM显示在显示单元22中。然后，判断是否已拍摄到特定数量的图像IM(1)~IM(n)(S103)。这里，如果判断为还没有拍摄到特定数量的图像IM(1)~IM(n)(S103中为“否”)，则从步骤S101起再次执行处理。另一方面，如果判断为已拍摄到特定数量的图像IM(1)~IM(n)(S103中为“是”)，则通过后面所述的图像匹配处理将图像IM(1)~IM(n)接合以生成合成图像IMa(S104)。这里，合成图像IMa是工件W的图像，其具有比摄像单元12的单次摄像范围宽的摄像范围。在步骤S104中，合成图像IMa显示在显示单元22中。注意，合成图像IMa可被配置成能够利用打印机进行打印。然后，基于合成图像IMa计算在工作台13可移动的X轴方向和Y轴方向上工作台13的移动量ΔX和ΔY(工作台移动量)(S105)。注意，如后面所述，基于这些工作台移动量来控制摄像单元12的移动。
在步骤S105之后，基于合成图像IMa来设置压痕位置(S106)。例如，从合成图像IMa中识别工件W的形状，并根据该工件的形状自动设置压痕位置。可选地，通过使用键盘23和鼠标24来指定显示单元22中所显示的合成图像IMa上的任一位置，在该指定位置处手动设置压痕位置。
接着，将压头17压在工件W的表面上以在所设置的压痕位置处形成压痕(S107)。然后，对该压痕进行摄像，并基于该压痕的形状(大小)计算硬度值(S108)。然后，将该压痕位置(合成图像上的坐标值)和与该位置相对应的硬度值显示在显示单元22中(S109)。
接着，参考图5来具体说明步骤S101中的工作台13的移动、S102中的对工件W进行摄像和S104中的图像匹配处理。在图5所示的示例中，首先，摄像单元12获得图像IM(1)。接着，使工作台13在平行于-X轴方向的方向上移动略小于摄像单元12在X轴方向上的单次摄像范围的范围的量，以获得图像IM(2)和IM(3)。接着，使工作台13在平行于+Y方向的方向上移动略小于摄像单元12在Y轴方向上的单次摄像范围的范围的量，以获得图像IM(4)。然后，使工作台13在平行于+X轴方向的方向上移动略小于摄像单元12在X轴方向上的单次摄像范围的范围的量，以获得图像IM(5)和IM(6)。结果，得到相邻图像IM(1)~IM(6)，这些相邻图像包括相互重叠从而构成合成部分的重叠区域图像RIM(1)~RIM(7)。随后，进行图像匹配以匹配重叠区域图像RIM(1)~RIM(7)内的图案(图像匹配处理)。然后，在图像匹配处理中进行图像匹配的位置处，通过接合相邻图像IM(1)~IM(6)来生成合成图像IMa。合成图像IMa、图像IM(1)~IM(6)和重叠区域图像RIM(1)~RIM(7)显示在显示单元22中。
接着，参考图6来具体说明上述步骤S104中的图像匹配处理。图6示出对图像IM(1)和IM(2)的重叠区域图像RIM(1)和RIM(2)进行图像匹配以生成合成图像IMa的示例。首先，提取图像IM(1)和IM(2)的重叠区域图像RIM(1)和RIM(2)(S1041)。
然后，重叠区域图像RIM(1)和RIM(2)各自通过间隔剔除处理等进行图像压缩以生成压缩图像SRIM(1)和SRIM(2)(S1042)。通过步骤S1042的这种处理来减少图像匹配处理中进行运算处理所产生的数据量，由此使得可以缩短在步骤S1042的这种处理之后的图像匹配处理所需的时间。
接着，对数据压缩后的成对的压缩图像SRIM(1)和SIRM(2)进行图像匹配(宏匹配)，以计算图像IM(1)和IM(2)之间的偏移量(压缩图像之间的相对位置)(S1043)。能够基于这种偏移量来接合这两个图像IM(1)和IM(2)以获得合成图像IMa。当要进行更精确的匹配处理时，优选将该偏移量作为初始值来使用图像IM(1)和IM(2)中的、压缩前的重叠区域图像RIM(1)和RIM(2)进行图像匹配(微匹配)(S1044)。这样使得能够从最终匹配位置的附近开始进行搜索，因而能够通过少量的处理来更精确地获得这两个图像IM(1)和IM(2)的偏移量，由此能够基于该偏移量生成不存在不连续部分的合成图像IMa。
注意，除上述处理以外、或者代替图像匹配处理(S1042、S1043、S1044)，例如还可以进行图7所示的这种处理。即，基于特定阈值将重叠区域图像RIM(1)和RIM(2)分别二值化为亮度高的区域和亮度低的区域，以生成二值化图像BIM(1)和BIM(2)。接着，对成对的二值化图像BIM(1)和BRM(2)进行图像匹配(宏匹配)以计算图像IM(1)和IM(2)之间的偏移量(二值化图像之间的偏移量)。由此能够基于该偏移量来接合这两个图像IM(1)和IM(2)以获得合成图像IMa。当要进行更精确的匹配处理时，优选将该偏移量作为初始值对重叠区域图像RIM(1)和RIM(2)中的高亮度区域的精细图案进行图像匹配(微匹配)，由此计算出图像IM(1)和IM(2)之间的最终偏移量。于是能够基于该偏移量生成不存在不连续部分的合成图像IMa。
此外，除上述处理以外、或者代替图像匹配处理(S1042、S1043、S1044)，例如还可以进行图8所示的这种处理。即，生成边缘图像EIM(1)和EIM(2)，该边缘图像EIM(1)和EIM(2)仅具有分别从重叠区域图像RIM(1)和RIM(2)中所提取出的轮廓(边缘)。接着，对成对的边缘图像EIM(1)和EIM(2)进行图像匹配(宏匹配)以计算图像IM(1)和IM(2)之间的偏移量(边缘图像之间的偏移量)。由此能够基于这种偏移量来接合这两个图像IM(1)和IM(2)以获得合成图像IMa。当要进行更精确的匹配处理时，优选将该偏移量作为初始值来对图像IM(1)和IM(2)中的重叠区域图像RIM(1)和RIM(2)进行图像匹配(微匹配)。即使进行这种处理也能够生成不存在不连续部分的合成图像IMa。
接着，参考图9来具体说明上述步骤S105中的工作台移动量的计算。图9示出基于合成图像IMa中的图像IM(1)和图像IM(2)之间的偏移量来计算在工作台13可移动的X轴方向和Y轴方向上的工作台移动量。这里，在合成图像IMa中设置有坐标系(X',Y')。合成图像的坐标系(X',Y')中的X'轴和Y'轴相互正交，并被设置成分别与摄像单元12的坐标系(x,y)中的x轴和y轴平行。另一方面，如上所述，工作台13的坐标系(X,Y)相对于摄像单元12的坐标系(x,y)偏移了角度θ，因而合成图像IMa的坐标系(X',Y')相对于工作台13的坐标系(X,Y)也偏移了角度θ。
在图9所示的示例中，当工作台13在X轴方向上移动量为ΔX时，假设合成图像IMa中的图像IM(2)相对于图像IM(1)在X'轴方向上的偏移量为ΔX'，在Y'轴方向上的偏移量为ΔY'。根据这些ΔX'和ΔY'并考虑角度θ，由此获得工作台移动量ΔX和ΔY。在这种情况下，由于角度θ被假定为极小的值(例如，小于6×10-4rad)，因此可以通过近似公式(ΔY'/ΔX')=tanθ≈θ来获得角度θ。此外，sinθ≈θ并且cosθ≈1。据此可以理解，在X轴方向上的工作台移动量ΔX和在Y轴方向上的工作台移动量ΔY仅需要使原始移动量ΔX0和ΔY0在X轴方向上增加或减少ΔY0·θ的量、在Y轴方向上增加或减少ΔX0·θ的量。这些工作台移动量ΔX和ΔY使得工作台13能够沿着由合成图像的坐标系(X',Y')所指定的路径移动。
如上所述，本实施例使得可以在无需对工作台13的坐标系和摄像单元12的坐标系进行调节的情况下，容易且低成本地生成合成部分不存在不连续现象的合成图像IMa。本实施例还使得可以通过计算工作台移动量并根据合成图像的坐标系来精确地移动工作台13。
第二实施例
接着，参考图10来说明根据第二实施例的硬度测试装置。根据第二实施例的硬度测试装置包括与第一实施例有所不同的硬度测试机30。第二实施例仅在这一点上与第一实施例不同，其它结构和操作均与第一实施例相同。
如图10所示，硬度测试机30包括基座31和支撑体32，其中支撑体32自基座31在Z方向上延伸。基座31的上表面上设置有可以在X方向和Y方向上移动的工作台33。工作台33被配置成其上表面可用来安装工件W。支撑体32的侧面设置有可在Z方向上移动的单元34。
单元34设置有摄像单元35和转台36。摄像单元35对安装在工作台33上的工件W进行摄像。转台36设置在单元34的下端，被配置为可围绕与Z轴平行的转台转轴转动，并且其下侧包括压头37以及物镜38a和38b，其中物镜38a和38b连同摄像单元35一起构成摄像光学系统。即使利用上述根据第二实施例的硬度测试机30，也表现出与第一实施例相同的优点。
第三实施例
接下来说明根据第三实施例的硬度测试装置。根据第三实施例的硬度测试装置与第一实施例的不同之处仅在于移动工作台13的方法。这里，在上述第一实施例中，对工件W的指定区域进行了摄像。相反，在第三实施例中，如图11所示，基于预先拍摄到的图像来追踪工件W的边缘E(边缘追踪处理)，并且沿该边缘E获得图像IM(1)~IM(4)。然后，在第三实施例中，对这些图像IM(1)~IM(4)执行前述的图像匹配以生成合成图像IMa。
接着，参考图12和13来说明边缘追踪处理。图12是示出边缘追踪处理的流程图，并且图13是用于说明该处理的图并示出了表示显示单元22中所显示的工件W的一部分的图像信息41。图13所示的图像信息41包括被试图追踪的边缘42。因此，首先，对鼠标24等进行操作以设置表示测量区域的矩形窗口43的初始位置，从而使边缘42的一部分包括在窗口43内(图12、S201)。例如，如图13所示，通过如下操作等来指定窗口43：通过鼠标24的点击操作来设置窗口43的四个角A、B、C和D；或者在指定矩形的对角方向的两个点之后、通过拖动操作使该矩形区域以任意角度倾斜以移动该矩形区域。注意，此时，还指定了用于沿着边缘42进行追踪的方向。
在设置了窗口43的初始位置的情况下，接着，从窗口43内的多值图像信息检测多个边缘点44(图12、S202)。图14示出这种采样的详细内容。预先设置图14所示的边缘点的采样间距Δ。首先，如图14所示，从起点A(xa,ya)到终点B(xb,yb)，每次在改变x坐标和y坐标的同时，提取由x坐标和y坐标所表示的地址的多值图像信息，其中当x坐标值变化cosθ时，y坐标值变化sinθ(其中，θ是窗口43的倾斜角)。从所获得的多值点序列数据中设置适当的阈值水平，并进行采样，其中该采样将该阈值水平和点序列数据相交的点设置为边缘点。接着，将起点和终点分别同时移动Δ·sinθ和Δ·cosθ的量，并执行相同的采样。当对起点C(xc,yc)和终点D(xd,yd)依次进行上述处理时，完成了以预先设置的间距Δ对多个边缘点44进行的采样。
接着，通过例如最小二乘法对所获得的多个边缘点44的采样值进行拟合得到近似直线(图12、S203)。这里，如图15所示，在假设从由窗口43所获得的边缘点44的采样值中获得近似直线L的情况下，确定下一个窗口43'使其与该近似直线L一致(图12、S204)。因此，首先，从边缘点43a向下设置近似直线L的垂线，其中该边缘点43a距离在窗口43的移动方向上的、由当前窗口43所获得的边缘最近；然后得到点P1和点P2，其中点P1在窗口43的移动方向的相反方向上沿着该近似直线L相对于该垂线和近似直线L的交点的距离为H·m/100(其中，H是窗口的高，m是预先设置的重叠率(%))，点P2在窗口43的移动方向上相对于点P1的距离为H。接着，将下述点设置为新窗口43'的四个角的点A'、B'、C'和D'：这些点分别位于在点P1和点P2处与近似直线L正交的线上，并且与近似直线L的距离分别为W/2(其中，W是窗口的宽度)。由此确定了新窗口43'。
当确定下一个新窗口43'时，与前述相同，在对窗口43'内的边缘点进行采样并拟合近似直线的同时，使窗口43顺次移动。然后，当对要追踪的边缘全部进行了追踪时，该处理完成(图12、S205)。
这样结束了对本发明实施例的说明，但是应当注意，本发明不限于上述实施例，并且可以在没有背离本发明的范围和精神的范围内进行各种改变和添加等。例如，压痕位置的配置还可以基于CAD数据或形状测量设备的工件形状数据等。
另外，还可以手动执行工作台13和33以及单元34的移动。此外，当操作员利用键盘23和鼠标24指定显示单元22中所显示的合成图像IMa上的任意位置时，摄像单元12还可以对该指定位置进行摄像。
相关申请的交叉引用
本申请基于并要求于2012年2月21日提交的在先日本专利申请2012-34779的优先权，其全部内容通过引用包含于此。
Claims (18)
1.一种图像处理装置，包括：
摄像单元，用于对测量对象摄像；
工作台，其被配置成能够安放有所述测量对象并且能够相对于所述摄像单元相对移动；以及
控制单元，用于使所述摄像单元相对于所述工作台相对移动、以利用所述摄像单元在多个位置处对所述测量对象摄像并由此获得多个图像，并且用于通过合成所获得的多个图像或通过合成对所获得的多个图像进行特定处理而获得的图像来生成所述测量对象的合成图像，其中所述测量对象的合成图像的范围比所述摄像单元的摄像范围宽，
其中，所述控制单元使所述摄像单元相对于所述工作台相对移动，以使得所述摄像单元所获得的彼此相邻的图像部分重叠，
所述控制单元进行用于对相邻图像的重叠部分进行图像匹配的图像匹配处理，
所述控制单元通过在所述图像匹配处理中进行图像匹配的位置处接合所述相邻图像，来生成所述测量对象的合成图像，以及
所述控制单元通过所述图像匹配处理计算所述合成图像的坐标系和所述工作台的坐标系的角度偏移量，并基于所述角度偏移量来控制所述摄像单元相对于所述工作台的移动。
2.根据权利要求1所述的图像处理装置，其中，
所述控制单元对所述重叠部分进行图像压缩以生成压缩图像，并对所述压缩图像进行所述图像匹配处理。
3.根据权利要求1所述的图像处理装置，其中，
所述控制单元对所述重叠部分进行二值化以生成二值化图像，并对所述二值化图像进行所述图像匹配处理。
4.根据权利要求1所述的图像处理装置，其中，
所述控制单元提取所述重叠部分的轮廓以生成边缘图像，并对所述边缘图像进行所述图像匹配处理。
5.根据权利要求1所述的图像处理装置，其中，
所述控制单元对所述重叠部分进行图像压缩以生成压缩图像，对成对的压缩图像进行图像匹配以获得所述压缩图像之间的相对位置，并利用所述压缩图像之间的相对位置作为初始值来执行所述图像匹配处理。
6.根据权利要求1所述的图像处理装置，其中，
所述控制单元对所述重叠部分进行二值化以生成二值化图像，对成对的二值化图像进行图像匹配以获得所述二值化图像之间的相对位置，并利用所述二值化图像之间的相对位置作为初始值来执行所述图像匹配处理。
7.根据权利要求1所述的图像处理装置，其中，
所述控制单元提取所述重叠部分的轮廓以生成边缘图像，对成对的边缘图像进行图像匹配以获得所述边缘图像之间的相对位置，并利用所述边缘图像之间的相对位置作为初始值来执行所述图像匹配处理。
8.根据权利要求1所述的图像处理装置，其中，
所述控制单元在包括边缘的图像中设置窗口以使得所述边缘的一部分包括在所述窗口中，根据所设置的窗口内的图像信息检测所设置的窗口内的多个边缘点，对检测到的多个边缘点拟合近似直线，并且设置下一个新窗口以使得所述新窗口的部分区域沿着所拟合的近似直线与当前窗口重叠，以及
所述控制单元通过基于所述新窗口内的图像信息顺次重复边缘点的检测、近似直线的拟合和新窗口的生成，在沿着所述图像的边缘移动窗口的同时，在窗口内提取所需的测量点。
9.根据权利要求1所述的图像处理装置，还包括：
压头，用于在所述测量对象中形成压痕，
其中，所述控制单元接收基于所述合成图像对用于形成所述压痕的位置的指定。
10.根据权利要求9所述的图像处理装置，还包括：
用于所述摄像单元的多个物镜；以及
转台，用于将所述压头和所述多个物镜设置在特定位置处。
11.一种图像处理装置，包括：
摄像单元，用于对测量对象摄像；
工作台，其被配置成能够安放有所述测量对象并且能够相对于所述摄像单元相对移动；以及
控制单元，用于使所述摄像单元相对于所述工作台相对移动，以利用所述摄像单元在多个位置处对所述测量对象摄像并由此获得多个图像，
其中，所述控制单元使所述摄像单元相对于所述工作台相对移动，以使得所述摄像单元所获得的彼此相邻的图像部分重叠，
所述控制单元进行用于对相邻图像的重叠部分进行图像匹配的图像匹配处理，
所述控制单元通过在所述图像匹配处理中进行图像匹配的位置处接合所述相邻图像，来生成所述测量对象的合成图像，以及
所述控制单元通过所述图像匹配处理计算所述合成图像的坐标系和所述工作台的坐标系的角度偏移量，
其中，如果假定所述合成图像的坐标系的坐标轴为X’轴和Y’轴，
假定所述工作台的坐标系的坐标轴为X轴和Y轴，
并且，假定所述合成图像的坐标系和所述工作台的坐标系的角度偏移量为θ，
那么，在所述摄像单元沿着X’轴相对于所述工作台相对移动了ΔX0的情况下，所述控制单元使所述摄像单元沿着X轴相对于所述工作台相对移动ΔX0，并且使所述摄像单元沿着Y轴相对于所述工作台相对移动ΔX0·θ，以及
在所述摄像单元沿着Y’轴相对于所述工作台相对移动了ΔY0的情况下，所述控制单元使所述摄像单元沿着Y轴相对于所述工作台相对移动ΔY0，并且使所述摄像单元沿着X轴相对于所述工作台相对移动ΔY0·θ。
12.根据权利要求11所述的图像处理装置，其中，
所述控制单元对所述重叠部分进行图像压缩以生成压缩图像，并对所述压缩图像进行所述图像匹配处理。
13.根据权利要求11所述的图像处理装置，其中，
所述控制单元对所述重叠部分进行二值化以生成二值化图像，并对所述二值化图像进行所述图像匹配处理。
14.根据权利要求11所述的图像处理装置，其中，
所述控制单元提取所述重叠部分的轮廓以生成边缘图像，并且对所述边缘图像进行所述图像匹配处理。
15.一种图像处理方法，其采用摄像单元和工作台，使得所述摄像单元相对于所述工作台相对移动，以利用所述摄像单元在多个位置处对测量对象进行摄像，由此获得多个图像，并且通过合成所获得的多个图像或通过合成对所获得的多个图像进行特定处理而获得的图像来生成所述测量对象的合成图像，其中，所述摄像单元用于对所述测量对象进行摄像，所述工作台被配置为能够安放有所述测量对象并且能够相对于所述摄像单元相对移动，所述测量对象的合成图像的范围比所述摄像单元的摄像范围宽；
所述图像处理方法包括：
使所述摄像单元相对于所述工作台相对移动，以使得利用所述摄像单元所获得的彼此相邻的图像部分重叠；
进行用于对相邻图像的重叠部分进行图像匹配的图像匹配处理；
通过在所述图像匹配处理中进行图像匹配的位置处接合所述相邻图像，来生成所述测量对象的合成图像，以及
通过所述图像匹配处理计算所述合成图像的坐标系和所述工作台的坐标系的角度偏移量，并基于所述角度偏移量来控制所述摄像单元相对于所述工作台的移动。
16.根据权利要求15所述的图像处理方法，进一步包括：
对所述重叠部分进行图像压缩以生成压缩图像，并对所述压缩图像进行所述图像匹配处理。
17.根据权利要求15所述的图像处理方法，进一步包括：
对所述重叠部分进行二值化以生成二值化图像，并对所述二值化图像进行所述图像匹配处理。
18.根据权利要求15所述的图像处理方法，进一步包括：
提取所述重叠部分的轮廓以生成边缘图像，并对所述边缘图像进行所述图像匹配处理。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012-034779 | 2012-02-21 | ||
| JP2012034779A JP5923824B2 (ja) | 2012-02-21 | 2012-02-21 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103257085A CN103257085A (zh) | 2013-08-21 |
| CN103257085B true CN103257085B (zh) | 2017-05-24 |
Family
ID=47044733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210472526.0A Active CN103257085B (zh) | 2012-02-21 | 2012-11-20 | 图像处理装置和图像处理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US20130215263A1 (zh) |
| EP (1) | EP2631868B1 (zh) |
| JP (1) | JP5923824B2 (zh) |
| KR (1) | KR101924191B1 (zh) |
| CN (1) | CN103257085B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7953277B2 (en) | 2006-09-05 | 2011-05-31 | Williams Robert C | Background separated images for print and on-line use |
| CN104749056A (zh) * | 2014-07-22 | 2015-07-01 | 施周平 | 一种镀层硬度测试仪 |
| CN104227250B (zh) * | 2014-09-16 | 2016-06-22 | 佛山市利迅达机器人系统有限公司 | 基于平面的机器人三维寻位纠偏方法及焊接机器人 |
| JP6530287B2 (ja) * | 2015-09-10 | 2019-06-12 | 株式会社ミツトヨ | 硬さ試験機及び硬さ試験方法 |
| JP6559023B2 (ja) * | 2015-09-10 | 2019-08-14 | 株式会社ミツトヨ | 硬さ試験機及び硬さ試験方法 |
| US10475202B2 (en) * | 2016-02-05 | 2019-11-12 | Mitutoyo Corporation | Image measuring device and program |
| AT518859B1 (de) * | 2016-08-12 | 2018-02-15 | Qness Gmbh | Verfahren und Vorrichtung zur Härteprüfung |
| JP6785092B2 (ja) * | 2016-08-19 | 2020-11-18 | 株式会社Ｓｃｒｅｅｎホールディングス | 変位検出装置、変位検出方法および基板処理装置 |
| CN107036868A (zh) * | 2017-06-19 | 2017-08-11 | 中国工程物理研究院激光聚变研究中心 | 用于制备熔石英光学元件表面损伤的装置及方法 |
| JP2019015527A (ja) * | 2017-07-04 | 2019-01-31 | 株式会社ミツトヨ | 画像測定装置及びプログラム |
| EP3451279A1 (en) * | 2017-08-30 | 2019-03-06 | SMR Patents S.à.r.l. | Rear view mirror simulation |
| CN113375555A (zh) * | 2018-07-02 | 2021-09-10 | 广西电网有限责任公司北海供电局 | 一种基于手机影像的电力线夹测量方法及系统 |
| JP7152223B2 (ja) * | 2018-08-31 | 2022-10-12 | 株式会社キーエンス | 画像測定装置 |
| DE102018126050A1 (de) * | 2018-10-19 | 2020-04-23 | Fraunhofer-Gesellschaft für die angewandte Forschung e.V. | Verfahren zum absortiervorgang unterstützenden anzeigen von werkstück-darstellungen |
| US11733181B1 (en) | 2019-06-04 | 2023-08-22 | Saec/Kinetic Vision, Inc. | Imaging environment testing fixture and methods thereof |
| DE102020113454A1 (de) | 2020-05-19 | 2021-11-25 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren zum Erzeugen eines aus mehreren mikroskopischen Einzelbildern zusammengesetzten Bildes |
| CN112530823B (zh) * | 2020-10-30 | 2024-02-06 | 普冉半导体(上海)股份有限公司 | 在晶圆测试过程中检测电子位图中坐标偏移的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6798923B1 (en) * | 2000-02-04 | 2004-09-28 | Industrial Technology Research Institute | Apparatus and method for providing panoramic images |
| CN1949833A (zh) * | 2005-10-13 | 2007-04-18 | 电装波动株式会社 | 具有二维光电检测器的成像设备 |
| CN101937055A (zh) * | 2009-06-29 | 2011-01-05 | 国际商业机器公司 | 产生图像的方法和用于获取及处理图像的系统 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6354680A (ja) * | 1986-08-26 | 1988-03-09 | Canon Inc | 位置検出装置 |
| JP2988994B2 (ja) * | 1990-10-22 | 1999-12-13 | 三菱電機株式会社 | 位置合わせ装置 |
| JP3672970B2 (ja) | 1995-05-22 | 2005-07-20 | 株式会社ミツトヨ | 非接触画像計測システム |
| US6148118A (en) * | 1995-07-05 | 2000-11-14 | Minolta Co., Ltd. | Image processing apparatus capable of reproducing large-sized document |
| JPH09281405A (ja) * | 1996-04-17 | 1997-10-31 | Olympus Optical Co Ltd | 顕微鏡システム |
| JP3744166B2 (ja) * | 1997-12-29 | 2006-02-08 | 株式会社島津製作所 | 赤外顕微鏡 |
| JP3586371B2 (ja) * | 1998-03-31 | 2004-11-10 | 株式会社日立ハイテクインスツルメンツ | 電子部品認識装置 |
| JPH11331556A (ja) * | 1998-05-20 | 1999-11-30 | Dainippon Screen Mfg Co Ltd | 画像処理装置 |
| GB2383487B (en) * | 2001-12-18 | 2006-09-27 | Fairfield Imaging Ltd | Method and apparatus for acquiring digital microscope images |
| US6996264B2 (en) * | 2002-10-18 | 2006-02-07 | Leco Corporation | Indentation hardness test system |
| JP4328671B2 (ja) | 2004-05-31 | 2009-09-09 | 株式会社ミツトヨ | 硬さ試験機 |
| US7792338B2 (en) * | 2004-08-16 | 2010-09-07 | Olympus America Inc. | Method and apparatus of mechanical stage positioning in virtual microscopy image capture |
| US20060256397A1 (en) * | 2005-05-12 | 2006-11-16 | Lexmark International, Inc. | Method and system for combining images |
| JP2010190817A (ja) | 2009-02-20 | 2010-09-02 | Mitsutoyo Corp | 圧子取付用治具、硬さ試験機、及び圧子取付方法 |
| US9075106B2 (en) * | 2009-07-30 | 2015-07-07 | International Business Machines Corporation | Detecting chip alterations with light emission |
| KR101899269B1 (ko) * | 2011-04-28 | 2018-10-29 | 가부시키가이샤 유야마 세이사쿠쇼 | 약제 감사 장치 및 약제 분포 장치 |
-
2012
- 2012-02-21 JP JP2012034779A patent/JP5923824B2/ja active Active
- 2012-07-10 US US13/545,269 patent/US20130215263A1/en not_active Abandoned
- 2012-07-25 EP EP12177859.1A patent/EP2631868B1/en active Active
- 2012-07-26 KR KR1020120081725A patent/KR101924191B1/ko active IP Right Grant
- 2012-11-20 CN CN201210472526.0A patent/CN103257085B/zh active Active
-
2016
- 2016-03-15 US US15/070,148 patent/US9390324B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6798923B1 (en) * | 2000-02-04 | 2004-09-28 | Industrial Technology Research Institute | Apparatus and method for providing panoramic images |
| CN1949833A (zh) * | 2005-10-13 | 2007-04-18 | 电装波动株式会社 | 具有二维光电检测器的成像设备 |
| CN101937055A (zh) * | 2009-06-29 | 2011-01-05 | 国际商业机器公司 | 产生图像的方法和用于获取及处理图像的系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130096136A (ko) | 2013-08-29 |
| JP5923824B2 (ja) | 2016-05-25 |
| EP2631868A2 (en) | 2013-08-28 |
| EP2631868A3 (en) | 2017-02-15 |
| US20160196471A1 (en) | 2016-07-07 |
| US20130215263A1 (en) | 2013-08-22 |
| KR101924191B1 (ko) | 2018-12-03 |
| CN103257085A (zh) | 2013-08-21 |
| US9390324B1 (en) | 2016-07-12 |
| EP2631868B1 (en) | 2020-10-28 |
| JP2013171425A (ja) | 2013-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103257085B (zh) | 图像处理装置和图像处理方法 | |
| US10783625B2 (en) | Method for measuring overlay and measuring apparatus, scanning electron microscope, and GUI | |
| US9129427B2 (en) | Method and apparatus for generating a three-dimensional model of a region of interest using an imaging system | |
| US8233041B2 (en) | Image processing device and image processing method for performing three dimensional measurements | |
| WO2013168487A1 (ja) | 欠陥解析支援装置、欠陥解析支援装置で実行されるプログラム、および欠陥解析システム | |
| JP6296206B2 (ja) | 形状測定装置及び形状測定方法 | |
| CN106625713A (zh) | 提高涂胶工业机器人涂胶精度的方法 | |
| JP5988615B2 (ja) | 半導体評価装置、及びコンピュータープログラム | |
| CN112815843B (zh) | 一种3d打印过程中工件表面打印偏差的在线监测方法 | |
| CN106705860B (zh) | 一种激光测距方法 | |
| US10996569B2 (en) | Measurement device, method and display device | |
| US20190132560A1 (en) | Method for calibrating image capturing sensor consisting of at least one sensor camera, using time coded patterned target | |
| WO2017130365A1 (ja) | オーバーレイ誤差計測装置、及びコンピュータープログラム | |
| JP5222430B1 (ja) | 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム | |
| KR101469099B1 (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
| JP6599697B2 (ja) | 画像測定装置及びその制御プログラム | |
| CN109493418B (zh) | 一种基于LabVIEW的三维点云获取方法 | |
| JP5375488B2 (ja) | 外観検査装置，外観検査方法および外観検査プログラム | |
| CN113109259B (zh) | 一种图像的智能导航方法及装置 | |
| CN110118530B (zh) | 一种大工件高精度光学视觉测量方法 | |
| JP6229134B2 (ja) | 計測装置 | |
| CN112710662A (zh) | 生成方法及装置、生成系统和存储介质 | |
| CN116363211A (zh) | 一种显示屏空间几何校正的标定方法及装置 | |
| CN113063352A (zh) | 检测方法及装置、检测设备和存储介质 | |
| JPH0898084A (ja) | 画像の歪みの検出方法およびその検出方法を用いた画像の歪み検出装置ならびにその歪み検出装置を用いた画像の歪み補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |