CN114390269A - 三维图像生成系统、三维图像生成方法、三维图像生成程序以及存储介质 - Google Patents

三维图像生成系统、三维图像生成方法、三维图像生成程序以及存储介质 Download PDF

Info

Publication number
CN114390269A
CN114390269A CN202111154898.4A CN202111154898A CN114390269A CN 114390269 A CN114390269 A CN 114390269A CN 202111154898 A CN202111154898 A CN 202111154898A CN 114390269 A CN114390269 A CN 114390269A
Authority
CN
China
Prior art keywords
image
measurement
image generation
full
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111154898.4A
Other languages
English (en)
Inventor
卢存伟
辻野和广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
School Juridical Person of Fukuoka Kogyo Daigaku
Original Assignee
School Juridical Person of Fukuoka Kogyo Daigaku
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by School Juridical Person of Fukuoka Kogyo Daigaku filed Critical School Juridical Person of Fukuoka Kogyo Daigaku
Publication of CN114390269A publication Critical patent/CN114390269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Focusing (AREA)
  • Lens Barrels (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明提供一种三维图像生成系统、三维图像生成方法、三维图像生成程序以及存储介质，利用显微镜所拍摄的若干枚景深范围较窄的显微照片，生成景深范围很宽的被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像、以及能够表现被测物体表面立体形状的三维图像。本发明的三维图像生成系统包括摄影单元、测量用图像生成单元、全视野图像生成单元以及三维图像生成手段。摄影单元使用含有变焦镜头的相机设备，调节镜头的焦距，将镜头焦点分别聚焦在被测物体不同深度的地方，在各个焦距拍摄一枚或多枚景深范围很窄的被测物体的照片。测量用图像生成单元使用摄影单元在各个焦距所拍摄的一枚或多枚照片，生成各个焦距的测量用图像。全视野图像生成单元基于测量用图像生成单元所生成的各个焦距的测量用图像，生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像。三维图像生成手段计算上述全视野图像中的各个像素所对应的被测物体表面上的测量点的三维世界坐标、进而生成被测物体的三维图像。

Description

三维图像生成系统、三维图像生成方法、三维图像生成程序以 及存储介质
技术领域
本发明涉及一种能够利用景深范围很窄的显微镜照片得到景深范围很宽的、所有像素都清晰的全视野图像，进而得到被测物体的三维图像的三维图像生成系统、三维图像生成方法、三维图像生成程序以及存储介质。
背景技术
在观测微小物体或试样时经常使用光学显微镜。光学显微镜的景深范围较窄，并且放大倍数越大景深就越窄。因此，为了观测试样的不同部位，需要频繁地调节显微镜镜头的焦距。
通过调节镜头的焦距，可以拍摄被测物体在不同焦距下的照片，根据调节镜头焦距实施三维图像测量的原理，可以得到被测物体表面的三维图像。然而，这种三维测量技术需要高精度地调节镜头的焦距，成本较高。另外，带有电动焦距调节器的镜头一般体积都比较大、重量也比较重，通常只能被设置在实验室等场所，较难作为便携式测量仪器带到工业现场使用。
最近，如专利文献1记载的基于干涉法的显微镜三维图像测量技术、如专利文献2记载的使用多枚不同放大倍数的照片进行合成等技术被提出。
现有技术文献
专利文献
【专利文献1】日本特开2018－40644号公报
【专利文献2】日本特开2014－219623号公报
发明的内容
发明要解决的问题
上述专利文件1所记载的三维形状测量方法存在着光学系统复杂的问题。上述专利文献2记载的合成方法，需要调节镜头的放大倍数、还需要具有分光系统。
为此，本发明的目的是提供一种三维图像生成系统、三维图像生成方法、三维图像生成程序以及存储介质，以获取所拍摄的物体的全视野图像，亦即被测物体表面的所有的部分都被清晰聚焦的景深范围很宽的图像，进而得到被测物体表面形状的三维图像。
用于解决问题的方案
本发明的三维图像生成系统，包括摄影单元、测量用图像生成单元、全视野图像生成单元、三维图像生成单元等部分。摄影单元使用含有图像传感器和可以使用电气信号改变焦距的变焦镜头的相机设备，调节镜头的焦距，将镜头焦点分别聚焦在被测物体的不同的地方，在各个焦距拍摄一枚或多枚景深范围很窄的被测物体的照片。测量用图像生成单元使用所述摄影单元在各个焦距所拍摄的一枚或多枚照片，生成各个焦距的测量用图像；全视野图像生成单元基于所述测量用图像生成单元所生成的各个焦距的测量用图像，生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像；三维图像生成单元利用使用所述全视野图像生成单元生成的全视野图像，计算出全视野图像各个像素所对应的所述被测物体表面的三维世界坐标，进而生成所述被测物体的三维图像。
本发明的三维图像生成方法具有以下特征：使用含有图像传感器和可以使用电气信号改变焦距的变焦镜头的相机设备，调节镜头的焦距，将镜头焦点分别聚焦在被测物体的不同的地方，在各个焦距拍摄一枚或多枚景深范围很窄的被测物体的照片；利用计算机，使用在各个焦距所拍摄的一枚或多枚照片，生成各个焦距的测量用图像；利用计算机，基于所述测量用图像生成单元所生成的各个焦距的测量用图像，生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像；利用计算机，使用所述全视野图像生成单元生成的全视野图像，计算出全视野图像各个像素所对应的所述被测物体表面的三维世界坐标，进而生成所述被测物体的三维图像。
本发明的技术，使用含有图像传感器和可以使用电气信号改变焦距的变焦镜头的相机设备，调节镜头的焦距，将镜头焦点分别聚焦在被测物体的不同的地方，在各个焦距拍摄一枚或多枚景深范围很窄的被测物体的照片；使用在各个焦距所拍摄的一枚或多枚照片，生成各个焦距的测量用图像；基于所述测量用图像生成单元所生成的各个焦距的测量用图像，便可以生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像；基于全视野图像生成单元生成的全视野图像，可以进一步计算出全视野图像各个像素所对应的所述被测物体表面的三维世界坐标，进而生成所述被测物体表面形状的三维图像。
本发明的三维图像生成系统中最好包含三维图像修正单元，以修正由三维图像生成单元生成的三维图像中的三维坐标值异常的部分。这样就可以保证使用三维图像生成单元生成的三维图像中的不连续、缺损等不自然的部分得以修正。
本发明包含三维图像生成程序，利用计算机实现摄影单元、测量用图像生成单元、全视野图像生成单元、三维图像生成单元等各个单元的各项功能，即实现使用含有图像传感器和可以使用电气信号改变焦距的变焦镜头的相机设备，调节镜头的焦距，将镜头焦点分别聚焦在被测物体的不同的地方，在各个焦距拍摄一枚或多枚景深范围很窄的被测物体的照片；使用在各个焦距所拍摄的一枚或多枚照片，生成各个焦距的测量用图像；基于所述测量用图像生成单元所生成的各个焦距的测量用图像，便可以生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像；基于全视野图像生成单元生成的全视野图像，可以进一步计算出全视野图像各个像素所对应的所述被测物体表面的三维世界坐标，进而生成所述被测物体表面形状的三维图像。这样便可以利用计算机，实现本发明的图像处理系统的各个功能。
发明的效果
(1)本发明使用含有图像传感器和可以使用电气信号改变焦距的变焦镜头的相机设备，调节镜头的焦距，将镜头焦点分别聚焦在被测物体的不同的地方，在各个焦距拍摄一枚或多枚景深范围很窄的被测物体的照片；使用在各个焦距所拍摄的一枚或多枚照片，生成各个焦距的测量用图像；基于所述测量用图像生成单元所生成的各个焦距的测量用图像，生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像；基于全视野图像生成单元生成的全视野图像，可以进一步计算出全视野图像各个像素所对应的所述被测物体表面的三维世界坐标，进而生成所述被测物体表面形状的三维图像。这样便可以只是用廉价的图像传感器和可变焦点镜头得到景深范围很宽的全视野图像以及被测物体表面形状的三维图像。
(2)本发明的三维图像修正单元，可以修正由三维图像生成单元生成的三维图像中的三维坐标值异常的部分，保证使用三维图像生成单元生成的三维图像中的不连续、缺损等不自然的部分得以修正，以得到更加真实、自然的三维图像。
附图说明
图1是本发明实施方式中的三维图像生成系统的构成示意图。
图2是图1中的照明装置下部的发光部分的示意图。
图3是图1所示的三维图像生成系统构成的框图。
图4是一种照明图案的示例。
图5是一种照明图案的示例。
图6是一种照明图案的示例。
图7是一种照明图案的示例。
图8是使用不同焦距的图像生成全视野图像的示意图
图9是从不同焦距的图像中提取被清晰地拍摄到的像素的示意图。
图10是全视野图像修正的示意图。
图11是使用图1所示三维图像生成系统进行测量时的流程图。
图12是图11中的S101部分的详细流程图。
图13是图11中的S110部分的详细流程图。
图14是在图1所示三维图像生成系统中使用图像位置调节功能进行测量时的流程图。
图15是本实施方式的三维图像生成系统生成的全视野图像和三维图像的示例。
具体实施方式
图1是本发明实施方式中的三维图像生成系统的构成示意图，图2是图1中的照明装置下部的发光部分的示意图，图3是图1所示的三维图像生成系统构成的框图。
如图1所示，本实施方式的三维图像生成系统是由拍摄被测物体5的显微照片的相机装置1、对被测物体实施照明的照明装置2、计算机3、连接计算机3和相机装置 1的连接线4等构成。计算机3和相机装置1之间的通信，可以使用图示的连接线4，也可以使用Wi-Fi(商标)、Bluetooth(商标)、红外通信等无线通信方式。
相机装置1中包括图像传感器1A和变焦镜头1B。图像传感器1A的作用是通过变焦镜头1B拍摄由照明装置2得到照明的被测物体5的照片。变焦镜头1B可以是通过电信号调节焦距的电动镜头，也可以是液态镜头等。在本实施方式中，相机装置1为显微镜。
照明装置2如图2所示，是由若干个发光部件2A～2H构成的环状装置，用以保证凹凸不平的被测物体的各个面都能够得到照明。各个发光部件2A～2H可以由L ED(LightEmitting Diode)等器件构成。各个发光部件2A～2H可以独立地发光或不发光，发光时其发光强度可以被分别独立控制。
计算机3通过执行本发明的图像测量程序，实现图3所示的照明图案生成单元10、摄影单元11、测量用图像生成单元12、全视野图像生成单元13、全视野图像修正单元14、三维图像生成单元15、三维图像修正单元16、校正单元17、测量结果输出单元18、测量用图像位置调节单元19以及存储单元20的各项功能。图像处理程序存储在可被计算机读取的存储介质中，被计算机3读取并执行。
[照明图案生成单元10]
照明图案生成单元10控制照明装置2的各个发光部件2A～2H发光与否以及其发光的亮度，以生成本实施方式中的显微镜测量所需要的照明图案。图4至图7给出了一些照明图案的生成结果的示例，包括连续的和不连续的各种环状照明图案。由照明图案生成单元10生成的默认的照明图案是全照明图案，即所有的发光部件2A～2H全都发光。
如果被测物体的表面反射较强，在使用默认的全照明图案时就会出现亮度很大的亮点。在拍摄照片时，如果被测物体上存在着亮点，在所拍摄的图像上就容易出现亮度饱和的现象；同时，亮点以外的反射较弱的部分或者是因为形状关系反射光较难到达图像传感器1上的部分就会出现曝光不足的问题。为了解决这些问题，在本实施方式中，使用诸如图4至图7的照明图案。在图4至图7中，白色表示该部件发光，灰色表示该部件不发光。
在图4的示例中，(A)～(D)分别表示4种有1/4的部件发光、其他的部件不发光的示例，即在发光部件2A～2H中，有2个发光、6个不发光，发光和不发光的部件按顺序改变。在图(A)中，发光器件2G和2H发光，2A～2F不发光。在图 (B)中，发光器件2A和2B发光，2C～2H不发光。在图(C)中，发光器件2C和 2D发光，2A、2B、2E～2H不发光。在图(D)中，发光器件2E和2F发光，2 A～2D、2G、2H不发光。
在图5的示例中，(A)～(D)分别表示4种有3/4的部件发光、其他的部件不发光的示例，即在发光部件2A～2H中，有6个发光、2个不发光，发光和不发光的部件按顺序改变。在图(A)中，发光器件2A～2F发光，2G和2H不发光。在图 (B)中，发光器件2C～2H发光，2A和2B不发光。在图(C)中，发光器件2A、 2B、2E～2H发光，2C和2D不发光。在图(D)中，发光器件2A～2D、2G、 2H发光，2E和2F不发光。
在图6的示例中，(A)和(B)分别表示对面的1/2的部件发光、与其相交的对面的1/2的部件不发光的示例，即在发光部件2A～2H中，有4个发光、4个不发光，发光和不发光的部件按顺序交换。在图(A)中，2个发光器件2G和2H以及其对面的2个发光器件2C和2D共4个发光器件发光，2A和2B以及其对面的2E和2F 共计4个发光器件不发光。在图(B)中，发光器件2A和2B以及其对面的2E和2F共计4个发光器件发光，2C和2D以及其对面的2G和2H共计4个发光器件不发光。
在图7的示例中，(A)～(H)分别表示8种发光模式，每一种模式有1 个部件发光、其他的部件不发光。即在发光部件2A～2H中，有1个发光、7个不发光，发光和不发光的部件按顺序改变。在图(A)中，发光器件2H发光，2A～2G不发光。在图(B)中，发光器件2A发光，2B～2H不发光。以此类推，在图(H)中，发光器件2G发光，2H、2A～2F不发光。
如上所述，本发明只需要使用诸如LED等可以分别控制开关及亮度的简单的环状照明装置，即可实现全视野图像及三维图像的生成，而不需要像传统的显微镜那样的同轴照明等复杂的照明方式。
[摄影单元11]
摄影单元11使用相机装置1，对于被测物体5，调节镜头的焦距，将镜头焦点分别聚焦在被测物体5的不同的地方，在各个焦距拍摄一枚或多枚景深范围很窄的被测物体5的照片。摄影单元11改变变焦镜头1B的焦距，在N个不同的焦距处，利用照明图案生成单元10生成的照明图案，分别拍摄一枚或M枚照片。
首先，摄影单元11使用默认的全照明图案，拍摄一枚被测物体5的照片。接着，分析这枚照片的色彩强度分布，计算各个像素的RGB各个通道的强度分布，判断是否存在光亮饱和或曝光不足等问题。如果基本上不存在光亮饱和或曝光不足的问题、图像的强度变化曲线基本上是线性分布的话，就判定这枚照片可以用于图像测量，在这个焦距只需要拍摄这一枚照片即可。
如果被测物体5具有较强的光泽的话，在照片上就容易出现光亮太强的亮点。如果在照片上出现了亮点，利用默认的全照明图案所拍摄的照片的图像上，就容易出现色彩强度饱和或光亮不足的问题，这样的照片就很难用于图像测量。在这种情况下，摄影单元 11就会判定这枚在默认全照明图案下拍摄的照片很难用于图像测量，为了得到能够用于图像测量的图像，需要选择前述图4至图7的某一种照明方式，一边改变照明图案一边拍摄照片。
摄影单元11在选择图4至图7所示的照明方式来进行拍摄时，使用图中( A)～(H)的一个图案拍摄一枚照片，共拍摄M枚照片。也就是说，在每一个焦距下拍摄 M枚照片，在整个测量过程的N个焦距下，共拍摄N×M枚照片。在每个焦距下所拍摄的M 枚照片，由于使用了不同的照明图案，照明光是从不同的方向照射到被测物体5上的，被测物体5的表面的任何一个部分都有被强光照射和没有强光照射的两种可能，所以可以拍摄到被测物体5的表面的任何一个部分都既没有光亮饱和又没有曝光不足的照片。亦即，本实施方式的图像测量系统，有效地结合了照明图案生成单元10所生成的照明图案和上述摄影单元11的特长，解决了拍摄被测物体5的照片是所产生的亮点或曝光不足的问题。
本发明的摄影单元在拍摄N个焦距下的照片时，只需要任意选择N个不同的焦距进行摄影即可，而不需要针对被测物体表面的N个不同位置的特征点进行N次聚焦。在本实施方案中，我们使用了其值为线性变化的N个焦距。根据不同的被测物体和测量要求，我们也可以使用其值为指数变化或对数变化的N个焦距，或使用具有其他变化规律的焦距值。
本发明的摄影单元在拍摄被测物体的照片时，只需将被测物体至于相机的镜头之下即可，不需在水平方向、竖直方向或沿其他方向改变被测物体的位置，也不需要旋转被测物体。
[测量用图像生成单元12]
测量用图像生成单元12使用摄影单元11所拍摄的某焦距下的一枚或多枚照片生成该焦距下的测量用图像。如果使用摄影单元11在某焦距n所拍摄的照片只有一枚的话，那么测量用图像生成单元12就将该照片作为该焦距n下的测量用图像。如果使用摄影单元11在某焦距n拍摄有M枚照片的话，为了防止亮点造成的图像饱和现象的发生，各个照片的图像中色彩强度值超过高域阈值的像素不与使用。同样，为了防止图像中色彩强度不足问题的发生，各个照片的图像中色彩强度值低于低域阈值的像素也不予使用。
也就是说，测量用图像生成单元12，在使用摄影单元11在某焦距n拍摄了M枚照片的情况下，对于这M枚照片的图像进行图像处理，求取测量用图像。具体做法如下：对于某个特定像素，如果M枚图像的色彩强度值都没有大于高域阈值或小于低域阈值的话，则将M枚图像的该像素的色彩强度值的平均值作为焦距n下的测量用图像的该像素的色彩强度值；如果M枚图像中某个图像的该像素的RGB通道的色彩强度值大于高域阈值或小于低域阈值的话，则这枚图像的该像素的色彩强度值将不被使用，求取除去该图像后剩余的其他图像的该像素的色彩强度值的平均值，作为焦距n下的测量用图像的该像素的色彩强度值。
[全视野图像生成单元13]
全视野图像生成单元13利用测量用图像生成单元12生成的各个焦距的测量用图像生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像。通常使用显微镜拍摄被测物体5的照片时，当被测物体5存在表面凹凸变化即深度变化的时候，一种焦距只能聚焦一个深度，不可能聚焦所有的深度。对于某个特定的焦距，被聚焦的部分在照片中是清晰的，没有被聚焦的部分在照片中是模糊的。
全视野图像生成单元13对利用测量用图像生成单元12生成的N个焦距下的共计N枚测量用图像进行图像处理。对于任意一个像素，在各个焦距下的测量用图像中找出找出最清晰的一枚图像，以该图像该像素的RGB的值作为全视野图像该像素的RGB的值。这样，组合被提取的所有的清晰的像素，便构成一枚所有像素都清晰的全视野图像。由此可以看出，全视野图像的景深范围是非常大的。
图8是使用不同的焦距下的测量用图像获取全视野图像的示意图。如图所示，在不同的焦距n下(图中共有5个焦距，n＝1、2、3、4、5)共有5枚测量用图像。为方便起见，分别称其为焦距1图像至焦距5图像。在图10的焦距1图像中，用灰颜色表示的4个像素被清晰地拍摄，其他的用白颜色表示的像素没有被清晰地拍摄、是模糊的。在利用全视野图像生成单元13生成全视野图像时，焦距1图像中的用灰颜色表示的4个像素被提取供生成全视野图像时使用，其他的白颜色的像素将不被使用。
在图8的焦距2图像中，用格子表示的7个像素被清晰地拍摄，其他的用白颜色表示的像素没有被清晰地拍摄、是模糊的。在利用全视野图像生成单元13生成全视野图像时，焦距2图像中的用格子表示的7个像素被提取供生成全视野图像时使用，其他的白颜色的像素将不被使用。利用同样的方法，在焦距3图像、焦距4图像和焦距5图像中，也分别有一部分像素被提取，作为生成全视野图像使用。最后，将从这5枚测量用图像中提取的清晰的像素进行组合，就可以得到一枚各个像素都清晰的全视野图像。
接下来说明从测量用图像中提取清晰像素的具体方法。在各个焦距下的测量用图像中，被测物体5表面的不同位置有不同的深度，与拍摄时使用的焦距有相同深度的部分将被聚焦，这些部分会被清晰地拍摄，而其他部分由于没有被聚焦所以是模糊的。被清晰地拍摄的像素与周围的像素相比较其亮度变化梯度较大。而没有被聚焦的模糊的部分的像素，与周围的像素相比较其亮度变化梯度较小。利用这个特征，我们就可以根据亮度的梯度变化提取被清晰拍摄的像素。
在全视野图像生成单元13中，首先针对各个焦距下的共N枚测量用图像，对各个图像的每一个像素，求取该像素和其近邻像素的色彩强度的插值的绝对值作为该焦距的测量用图像的该像素的特征值。然后针对各个像素，统计共计N枚各个焦距下的测量用图像中的该像素的特征值的大小，将最大的特征值定义为1(100％)、最小的特征值定义为0(0％)、其他的特征值的大小定义为在0(0％)到1(100％)之间线性分布。按此规律将各个像素的特征值的大小进行正规化，得到N枚特征强度图像。最后，对于各个像素，在N枚特征强度图像中找到特征强度值最大的一枚(设这一枚的焦距为k)，将该特征强度图像对应的测量用图像(即焦距为k的测量用图像)的该像素的色彩强度值作为全视野图像的该像素的色彩强度值。
图9是从各个焦距的测量用图像中提取清晰像素的示意图。在这个示意图中，N＝5，亦即共有5枚不同焦距的测量用图像。在图11中，从上至下分别是焦距1至焦距5的测量用图像的某一个y坐标下(例如y1)的x方向的正规化特征强度分布。通过图 11我们可以看出，在x1坐标处焦距3图像的特征值最大，也就是说焦距3图像的(x1 ，y1)处的像素被清晰地拍摄了，其他焦距的图像在(x1，y1)处的像素都没有焦距 3图像清晰。这样我们就选择焦距3图像在(x1，y1)处的像素的色彩强度值作为全视野图像在(x1，y1)处的像素的色彩强度值。
同样，在x2坐标处焦距4图像的特征值最大，也就是说焦距4的图像的( x2，y1)处的像素被清晰地拍摄了，其他焦距的图像在(x2，y1)处的像素都没有焦距4图像清晰。这样我们就选择焦距4图像在(x2，y1)处的像素的色彩强度值作为全视野图像在(x2，y1)处的像素的色彩强度值。按照同样的原理，我们选择选择焦距 1图像在(x3，y1)处的像素的色彩强度值作为全视野图像在(x3，y1)处的像素的色彩强度值，选择选择焦距2的像在(x4，y1)处的像素的色彩强度值作为全视野图像在(x4，y1)处的像素的色彩强度值，选择选择焦距5的像在(x5，y1)处的像素的色彩强度值作为全视野图像在(x5，y1)处的像素的色彩强度值。
全视野图像生成单元13按照这种处理方法，对于所有的像素，都可以从5 枚不同焦距的测量用图像中找到最清晰的一枚。这样，将取得的各个像素的色彩强度信息组合起来，就可以得到一枚所有的像素都是最清晰的全视野图像。也就是说，全视野图像中的每一个像素都相当于被聚焦了，都是清晰的。这就相当于全视野图像的景深范围是非常宽的。
[全视野图像修正单元14]
在由上述全视野图像生成单元13生成的全视野图像中，由于相邻的像素的色彩确定信息可能是从不同焦距的测量用图像中获取的，这就可能造成相邻的像素的色彩强度值不连续。另外，由于各种原因，也可能造成误提取。这样就会产生全视野图像的生成误差。为了减轻这种生成误差，我们对生成的全视野图像中存在误差的像素的色彩强度值进行修正。在本实施方式中，我们用全视野图像修正单元14对全视野图像进行修正。具体做法是，对于由全视野图像生成单元13生成的存在误差的像素，我们用其周边的其他像素的色彩强度值对该像素的色彩强度值进行修正，以解决前述像素的色彩强度值的不连续问题、像素缺损问题以及生成的图像不自然等问题。
图10是全视野图像修正的示意图。如图10所示，由由全视野图像生成单元13生成的全视野图像，由于某种原因在第3行第2列处出现了像素缺损，该处的色彩强度值为零，在这一点图像出现了黑点。由于在各个焦距的图像中，在该点处皆不存在黑点，所以可以判定全视野图像中的该处的黑点为像素缺损。全视野图像修正单元14利用图像的色彩强度变化的连续性的性质，使用该像素周边的8个像素，即该像素的左上、上、右上、左、右、左下、下、右下这8个像素色彩强度值，计算出一个色彩强度值作为该像素的色彩强度值，以此对全视野图像进行修正。
[三位图像生成单元15]
三维图像生成单元15生成一个三维图像，在这个三维图像中，可以知道被测物体5的表面各点的三维坐标。三位图像生成单元15是利用全视野图像中的各个像素在拍摄时所用的焦距值，利用这些被清晰地拍摄到的像素的拍摄时使用的焦距值和所对应的被测物体上的测量点的深度坐标之间的关系，使用全视野图像的各个像素拍摄时的焦距值计算出其对应的被测物体上的相应的测量点的深度信息，进而计算出该测量点的三维坐标。计算三位坐标是使用下述公式：
(公式1)
Figure BDA0003288362140000121
在上述的公式中，(X，Y，Z)表示被测物体5表面上测量点的三维世界坐标，(x，y)是该测量点在全视野图像中的图像坐标，(X0，Y0，Z0)是该测量点的三维世界坐标的初始值，f是全视野图像中该像素拍摄时所使用的焦距值，kx、ky、kf是表示镜头的焦距、测量用图像的图像坐标和测量点的三维坐标之间的对应关系的系数。
X0、Y0、Z0是相机设备的固有参数。该固有参数在三维图像生成过程中是固定不变的，我们可以事先通过相机系统的标定来获取这些固有参数。作为相机系统标定的一个示例，我们可以使用印刷有国际象棋棋盘图案的纸张，平铺在相机设备1的变焦镜头1 B的下面，然后由相机进行摄影。通过摄影所得到的照片的中心位置和实际放置的国际象棋棋盘的中心位置的对应关系，可以求出X0和Y0的值。另外，根据所放置的国际象棋棋盘平面到相机装置1的变焦镜头1B的镜头中心间的距离，可以求出拍摄该国际象棋棋盘照片时使用的焦距所对应的的Z0值，亦即深度距离的基准值。
kx、ky、kf是相机装置1的变焦镜头1B的固有参数，该固有参数在三维图像生成过程中是固定不变的，我们可以事先通过相机系统的标定来获取这些固有参数。求取kx和ky时可以使用和上述求取X0和Y0同样的摄影方法，利用所拍摄到的国际象棋棋盘的大小和形状与实际的国际象棋棋盘的大小和形状之间的对应关系，可以算出kx和ky的值。 kf是反映相机装置1的变焦镜头1B的焦距和被测物体5的深度变化即高度变化之间关系的系数，对于高度已知的试样，利用不同的焦距进行拍照，利用聚焦清晰的像素拍摄时的焦距值和试样的高度值之间的关系，可以求出该焦距所对应的kf的值。
下面说明利用全视野图像生成三维图像的具体方法。设在全视野图像中测量点的图像坐标为(x，y)，在被测物体5表面上该测量点的三维世界坐标为(X，Y，Z )。首先我们找出在全视野图像中该测量点(x，y)拍摄时所使用的焦距值f，然后将( x，y)和f的值代入上述(式1)，即可求出该像素所对应的三维世界坐标(X，Y，Z )的值。这样，我们就可以利用图像上各个像素的图像坐标(x，y)和其拍摄时所用的焦距值f，简单地计算出被测物体5表面上所有的点的三维世界坐标(X，Y，Z)。
[三维图像修正单元16]
三维图像修正单元16修正由三维图像生成单元生成的三维图像中的异常部分。如前所述，在全视野图像生成过程中会出现像素缺损、色彩强度值异常等误差。这些误差在三维图像生成过程中也会发生。为了消除或减小这些误差，需要对三维图像进行修正，三维图像的修正方法和全视野图像的修正方法类似。在三维图像修正单元中，首先检测出三维图像中的存在三维世界坐标异变的像素，然后用该像素周边像素的深度坐标值计算出一个新的深度坐标值，作为该像素的深度坐标值，以此对三维图像进行修正。例如，可以使用有异变的像素周边的8个其他像素的深度坐标值对该像素进行修正。
[标定单元17]
标定单元17对相机装置的参数进行标定，以提高图像测量的精度。这里所说的标定，主要是求取(式1)中的kx，ky，kf以及(X0，Y0，Z0)。
[测量结果输出单元18]
测量结果输出单元18将生成的全视野图像及三维图像，以图像格式、CG 格式等格式输出。测量结果输出单元18输出的测量结果，不仅可以使用本发明的图像测量程序，也可以使用一般的软件或应用程序等进行阅览。
[测量用图像位置调节单元19]
根据相机设备1及其镜头1B的性能，在不同焦距拍摄的照片中被拍摄对象物体的大小、形状及位置会有一些微小的变化。这些大小、形状及位置的变化会影响到图像测量的精度。为了提高图像测量的精度，在测量用图像位置调节单元19中，首先对在各个焦距所拍摄的照片进行仿射变换，检测出在各个焦距所拍摄的照片出现的微小的位置变化，然后利用图像的扩大、缩小、旋转、平移等处理手段，对其位置变化进行调节。基于仿射变换的位置调节使用下述公式。
(公式2)
Figure BDA0003288362140000141
在上述公式里，(x，y)是在需要调节的某焦距的测量用图像上的测量点的图像坐标，(x’，y’)是调节后的该焦距的测量用图像上的该测量点的图像坐标。a 、b、c、d、tx、ty是该焦距图像的位置调节参数。
首先，将使用在前述标定操作时为取得深度信息的基准值Z0而使用的焦距值作为基准焦距，将利用该基准焦距所拍摄的测量用图像作为位置调节基准图像。接下来，从该位置调节基准图像上提取若干特征点，作为基准特征点。然后，使用同样的特征点提取方法，分别从用各个焦距所拍摄的测量用图像上提取一些特征点，以使这些特征点和位置调节基准图像上所对应的特征点之间的距离为最小为条件，反求出(式2)中的参数即位置调节参数a、b、c、d、tx、ty。最后，将利用上述方法获取的位置调节参数带入(式2) ，即可分别对各个焦距的测量用图像的位置进行调节，使得在调节后的各个焦距的测量用图像上，被测物体的大小、形状和位置得以统一。使用这些调节后的测量用图像，我们便可以获得高精度的三维坐标信息。
如果各个焦距的测量用图像上的被测物体的大小、形状和位置的变化量在某个允许的阈值以下的话，上述位置调节操作也可以省略。另外，上述位置调节操作也可以用于全视野图像的生成。
[存储单元20]
存储单元20主要是由计算机中的存储器、SSD(固态驱动器：Solid State Disk或Solid State Drive)或HDD(硬盘驱动器：Hard Disk Drive)等器件构成。如图3所示，存储单元20主要是供照明图案生成单元10、摄影单元11、测量用图像生成单元12、全视野图像生成单元13、全视野图像修正单元14、三维图像生成单元1 5、三维图像修正单元16、标定单元17、测量结果输出单元18、测量用图像位置调节单元19以及控制照明装置2和相机装置1、读取相机装置1所拍摄的照片、图像处理、处理结果的保存和输出等所使用。
图11是使用图1的三维图像生成系统进行测量的流程图。测量时，首先将被测物体5设置于相机装置1的变焦镜头1B的下面(S100)。然后，使用摄影单元1 1由相机装置1进行预摄影，以获取被测物体5的表面反射特性等信息，判断在使用不同焦距拍摄时，在各个焦距下是只需要拍摄一枚全照明照片还是需要在不同的照明环境下拍摄多枚照片。如果需要拍摄多枚照片，接下来就确定所需要的照明图案及拍摄的次数M(S10 1)。
接下来，摄影单元11调节变焦镜头的焦距，准备在各个焦距n处拍照(S 102)。在焦距n处拍摄一枚全照明照片或M枚在不同的照明图案下的照片(S103) 。然后，由相机装置1将所拍摄的1枚或M枚照片送往计算机3(S104)，由计算机3 根据这些照片生成n焦距下的测量用图像(S105)。
之后，判断测量所需要的所有的焦距下的拍摄是否全部完成(S106)，如果还没有完成，则改变变焦镜头1B的焦距，更新拍摄时的焦距值n(S107)，重新做好拍摄准备(S102)。如果所需要的所有的焦距下的拍摄都已经完成，则转向全视野图像生成单元13，基于N枚测量用图像生成一枚景深范围很宽的全视野图像(S108) 。在生成全视野图像时，有可能出现像素缺损等问题，这时就需要使用全视野图像修正单元 14对全视野图像进行修正(S109)。
计算机3使用三维图像生成单元15，根据各个像素被清晰地拍摄时的焦距值和该像素所对应的被测物体5表面上的测量点的深度值之间的对应关系，计算出各个像素的深度值，进而计算出各个像素的三维世界坐标，生成三维图像(S110)。另外，和前述全视野图像的修正一样，有时也需要使用三维图像修正单元16对生成的三维图像进行修正(S111)。最后，将测量结果用图像格式或文本格式等文件格式输出(S112)。
图12是图11中的步骤101的决定照明图案和摄影次数M的部分的详细流程图。首先，生成默认的全照明图案，使用该图案对被测物体5进行照明(S200)。在这个全照明图案的照明下由相机装置1拍摄一枚全照明照片(S201)，并将所拍摄的照片送往计算机3(S202)。在计算机3中对这枚照片进行图像处理，判断它是否适合用于测量。
此时，如果在图像中不存在亮点或光量不足的地方，则此图像被认定为是适合于测量用的图像，该全照明图案被设定为默认的全照明图案，在各个焦距下所需要的拍照次数设定为一次(S205)。如果在图像中存在亮点或光量不足的地方，则此图像并被认定为是不适合于测量用的图像，此时就需要更新照明图案(S204)，从不同的方向投射不同强度的照明图案，并在各个照明环境下拍照，用这些照片合成一枚测量用图像。这些照明图案被定义为测量所必须的照明图案，拍照次数被定义为该焦距下所必须的拍照次数，亦即该焦距下所拍摄的照片枚数(S205)。
图13是图11中的步骤S110的三维图像生成部分的详细流程图。首先对使用图11的步骤S108和步骤109生成的全视野图像，从图像的左上角到右下角对全视野图像的所有的像素逐一进行扫描(S300)，找出拍摄该像素时所使用的焦距值f 。然后使用通过事先标定求出的相机设备1的参数和上述焦距值f，根据式1求出该当像素的三维世界坐标值(S302)。
之后，判断是否对全视野图像的所有像素都已经进行了上述处理、即扫描是否完毕(S303)。如果扫描已经完毕，则使用上述操作计算出的各个像素的三维世界坐标，生成被测物体的三维图像(S304)。如果扫描尚未完成，则返回步骤S300，继续实施S300、S301、S302的操作，直至扫描完成为止。
图14是使用图1的三维图像生成系统中的测量用图像位置调节处理时的流程图。图14和图11的不同之处在于，在S106的拍摄完成之后、步骤S108的全视野图像生成之前，插入了测量用图像调节处理(S408、S409、S410)。
具体说来，就是在S106的拍摄完成之后，首先求取各个测量用图像的特征点和标准图像的特征点之间的位置偏差(S408)，根据位置偏差的大小，判断各个测量用图像是否需要位置调节(S409)。如果某测量用图像被判定为需要进行位置调节，则对该测量用图像，用式2的方法进行扩大、缩小、旋转、平移等处理，以此对其位置进行调节(S410)；位置调节之后再实施全视野图像生成的处理(S108)。如果被判定为不需要位置调节，则位置调节处理(S410)不被实施，直接进入全视野图像生成处理(S108)步骤。
图15是使用本实施方式中的三维图像生成系统生成的全视野图像以及三维图像的示例图。被测物体是图15(A)所示螺丝的螺纹部分的一小段，测量范围约2mm 。
图15(B)～(D)是基于测量用图像生成单元生成的3个不同焦距下的测量用图像，(B)是背景清晰的图像、(C)是中间部分清晰的图像、(D)是前景清晰的图像。图15(E)是使用这三张不同焦距的图像由全视野图像生成单元13生成的全视野图像，从图中可以看出被拍摄的物体的所有部分都是清晰的。图15(F)是由三维图像生成单元15生成的三维图像的一种表现示例。
如上所述，在本实施方式的三维图像生成系统中，使用具有图像传感器1A 和变焦镜头1B的相机装置1，对于被测物体5，调节镜头的焦距使其聚焦在不同的深度位置，在各个焦距下拍摄被测物体5的一枚或若干枚景深范围较窄的照片；利用各个焦距所拍摄的一枚或M枚照片生成该焦距下的测量用图像；利用这些不同焦距下的测量用图像，即可以生成一枚所有像素都清晰的景深范围很宽的全视野图像，进而生成被测物体表面形状的三维图像。这样便可以只使用廉价的图像传感器和变焦镜头等器材即可生成景深范围很宽的全视野图像和三维图像。例如在本实施方式的三维图像生成系统中，使用廉价的手持式显微镜作为相机装置1、使用廉价的LED照明作为照明装置2，便可实现体积小、重量轻、便于现场使用的图像测量系统。
【产业应用的可能性】
本发明的三维图像生成系统、三维图像生成方法、三维图像生成程序以及图像测量存储介质，使用小型的手持显微镜作为相机装置，可以用于电器制品、电子产品、I CT设备、文物及工业制品等的表面质量的高精度检测、缺损检查等领域。作为实际应用的例子，可以列举出汽车车体的划痕、凹陷、涂装不均等的检测，汽车轮胎的微小裂痕的检查，大型物体上的局部区域的精密检查，印刷电路板的质量检查，生产线上的产品的质量检查，手机表面的微小伤痕及其深度的检查，头皮或皮肤的精密检查，古董的鉴定，名画分析等。
【符号的说明】
1 相机装置
1A 图像传感器
1B 变焦镜头
2 照明装置
3 计算机
4 连接线
5 被测物体
10 照明图案生成单元
11 摄影单元
12 测量用图像生成单元
13 全视野图像生成单元
14 全视野图像修正单元
15 三维图像生成单元
16 三维图像修正单元
17 标定单元
18 测量结果输出单元
19 测量用图像位置调节单元
20 存储单元。

Claims (11)

1.一种三维图像生成系统，包括摄影单元、测量用图像生成单元、全视野图像生成单元、三维图像生成单元，
所述摄影单元使用含有图像传感器和可以使用电气信号改变焦距的变焦镜头的相机设备，对于被测物体，调节镜头的焦距，将镜头焦点分别聚焦在被测物体的不同的地方，在各个焦距拍摄一枚或多枚景深范围很窄的被测物体的照片；
所述测量用图像生成单元使用所述摄影单元在各个焦距所拍摄的一枚或多枚照片，生成各个焦距的测量用图像；
所述全视野图像生成单元对基于所述测量用图像生成单元所生成的各个焦距的测量用图像的各个像素进行特征分布解析，提取特征值最大的像素，生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像；
所述三维图像生成单元利用使用所述全视野图像生成单元生成的全视野图像，计算出全视野图像各个像素所对应的所述被测物体表面的三维世界坐标，进而生成所述被测物体的三维图像。
2.根据权力要求1所述的三维图像生成系统，其特征在于：
所述三维图像生成单元，根据所述被测物体表面的测量点和被拍摄到的被测物体的照片上的所述测量点所对应的像素的二维图像坐标之间的投影变换关系、各个像素被清晰地拍摄时的相机镜头的焦距、被清晰地拍摄到的各个像素与所述被测物体表面的测量点的深度距离之间的对应关系，计算出所述全视野图像的各个像素所对应的测量点的三维世界坐标，进而生成所述被测物体表面形状的三维图像。
3.根据权力要求1所述的三维图像生成系统，其特征在于：
所述三维图像生成系统包含测量用图像位置调节单元，调节利用所述测量用图像生成单元所生成的各个不同焦距的测量用图像之间的微小的位置偏差。
4.根据权力要求3所述的三维图像生成系统，其特征在于：
所述测量用图像位置调节单元，将使用在所述相机设备标定过程中获取深度距离基准值时的焦距所拍摄的测量用图像作为调节用基准图像，并分别从其他各个焦距的测量用图像中提取一些特征点，然后调节各个焦距的测量用图像的位置使这些特征点和从调节用基准图像中提取的特征点之间的空间距离为最小，分别定义这些位置调节参数为所在焦距测量用图像的位置调节用参数，利用这些位置调节用参数去对实际测量时的各个焦距的测量用图像的位置进行微调节。
5.根据权利要求1至4中的任一项所述的三维图像生成系统，其特征在于：
所述测量用图像生成单元，如果所述摄影单元在某焦点只拍摄一枚照片的话，就将该照片作为该焦距的测量用图像；如果在某焦距拍摄了M枚照片的话，则对这M枚照片的各个像素的色彩强度值进行分析，除去色彩强度值大于高域阈值或小于低域阈值的像素的照片，将剩下的照片的该像素的色彩强度值进行平均，将该平均值作为所述焦距的该像素的色彩强度值。
6.根据权利要求1至4中的任一项所述的三维图像生成系统，其特征在于：
所述三维图像生成系统包含全视野图像修正单元，它对所述全视野图像生成单元所生成的全视野图像中的含有生成误差的像素的色彩强度值进行修正。
7.根据权利要求6所述的三维图像生成系统，其特征在于：
所述全视野图像修正单元，对于所述存在生成误差的像素，利用该像素周围的像素的色彩强度值对该像素的色彩强度值进行修正。
8.根据权利要求1至4中的任一项所述的三维图像生成系统，其特征在于：
所述三维图像生成系统包含三维图像修正单元，用以修正由所述三维图像生成单元所生成的三维图像中的三维坐标异常的部分。
9.根据权利要求8所述的三维图像生成系统，其特征在于：
所述三维图像修正单元，可以剔除存在三维坐标异变的像素，并利用该像素周围的其他像素的三维坐标，修正该存在三维坐标异变的像素的三维坐标。
10.一种三维图像生成方法，包括：
使用含有图像传感器和可以使用电气信号改变焦距的变焦镜头的相机设备，对于被测物体，调节镜头的焦距，将镜头焦点分别聚焦在被测物体的不同的地方，在各个焦距拍摄一枚或多枚景深范围很窄的被测物体的照片；
利用计算机，使用所述摄影单元在各个焦距所拍摄的一枚或多枚照片，生成各个焦距的测量用图像；
利用计算机，对使用所述测量用图像生成单元所生成的各个焦距的测量用图像的各个像素进行特征分布解析，提取特征值最大的像素，生成一枚景深范围很宽的、被拍摄到的被测物体的所有的部分都被清晰聚焦的全视野图像；
利用计算机，使用所述全视野图像生成单元生成的全视野图像，计算出全视野图像各个像素所对应的所述被测物体表面的三维世界坐标，进而生成所述被测物体的三维图像。
11.一种可供计算机存取的存储介质，该存储介质存储实现所述权利要求项功能的三维图像生成程序。
CN202111154898.4A 2020-10-06 2021-09-29 三维图像生成系统、三维图像生成方法、三维图像生成程序以及存储介质 Pending CN114390269A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-169098 2020-10-06
JP2020169098A JP7262800B2 (ja) 2020-10-06 2020-10-06 三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体

Publications (1)

Publication Number Publication Date
CN114390269A true CN114390269A (zh) 2022-04-22

Family

ID=81194463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111154898.4A Pending CN114390269A (zh) 2020-10-06 2021-09-29 三维图像生成系统、三维图像生成方法、三维图像生成程序以及存储介质

Country Status (2)

Country Link
JP (1) JP7262800B2 (zh)
CN (1) CN114390269A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001257932A (ja) 2000-03-09 2001-09-21 Denso Corp 撮像装置
JP4758773B2 (ja) 2006-01-20 2011-08-31 株式会社シン技術コンサル 立体物イメージスキャナ
JP2012026998A (ja) 2010-07-22 2012-02-09 Akira Ishii 離散的な発散光線束群を用いた合焦点三次元座標測定方法および装置
US8988520B2 (en) 2012-07-19 2015-03-24 Sony Corporation Method and apparatus for improving depth of field (DOF) in microscopy
JP2017096656A (ja) 2015-11-18 2017-06-01 富士通株式会社 姿勢計測装置、方法及びプログラム
JP6770500B2 (ja) 2017-11-09 2020-10-14 株式会社モリタ製作所 口腔内観察装置、観察ユニット及び観察方法

Also Published As

Publication number Publication date
JP2022061224A (ja) 2022-04-18
JP7262800B2 (ja) 2023-04-24

Similar Documents

Publication Publication Date Title
US10262431B2 (en) Three-dimensional measurement device
CN110392252B (zh) 用于生成相机的校正模型以校正像差的方法
JP5170154B2 (ja) 形状計測装置およびキャリブレーション方法
US9329024B2 (en) Dimension measuring apparatus, dimension measuring method, and program for dimension measuring apparatus
JP5900037B2 (ja) 画像処理装置およびその制御方法
US9420160B2 (en) Information processing apparatus, information processing method, program, and vision measuring apparatus
JP6791631B2 (ja) 画像生成方法及び検査装置
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
CN110519585B (zh) 一种应用于图像采集设备的成像校准方法及装置
KR101921762B1 (ko) 높이 측정 방법 및 높이 측정 장치
US10656406B2 (en) Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
JP5480669B2 (ja) 接触角計用画像処理装置および液滴の平面視輪郭形状導出方法
JP2009258436A (ja) ３次元測定装置
CN110514589B (zh) 用于聚焦的方法、电子装置和计算机可读介质
CN114390269A (zh) 三维图像生成系统、三维图像生成方法、三维图像生成程序以及存储介质
CN114909994B (zh) 影像测量仪的校准方法
JP2009058377A (ja) 検査装置
CN113640980A (zh) 图像测量系统、图像测量方法、图像测量程序以及图像测量存储介质
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP6939501B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
CN109565544B (zh) 位置指定装置及位置指定方法
US20220141369A1 (en) Image capturing device
JP2010121955A (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
JP2020129187A (ja) 外形認識装置、外形認識システム及び外形認識方法
Chien et al. An enhanced depth estimation system using RGB-D cameras and gyroscopes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination