CN116457832A - 三维画像产生装置以及三维画像产生方法 - Google Patents

三维画像产生装置以及三维画像产生方法 Download PDF

Info

Publication number
CN116457832A
CN116457832A CN202180073161.1A CN202180073161A CN116457832A CN 116457832 A CN116457832 A CN 116457832A CN 202180073161 A CN202180073161 A CN 202180073161A CN 116457832 A CN116457832 A CN 116457832A
Authority
CN
China
Prior art keywords
voxel
voxels
dimensional image
cameras
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180073161.1A
Other languages
English (en)
Inventor
金城隆也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Robotics Holdings Co Ltd
Original Assignee
Yamaha Robotics Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Robotics Holdings Co Ltd filed Critical Yamaha Robotics Holdings Co Ltd
Publication of CN116457832A publication Critical patent/CN116457832A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

包括：多个照相机(10、20、30)，使用了拍摄元件(11、21、31)；及控制部(40)，处理由照相机(10、20、30)拍摄的各画像，控制部(40)在包含对象物的空间内设定多个体素(V)，从多个方向拍摄多个体素(V)，(a)检测与多个体素(V)中的一个体素(V)对应的各拍摄元件(11、21、31)的各亮度，(b)将检测出的各亮度中最小的亮度特定为一个体素(V)的最小亮度，(c)在特定的最小亮度为规定的阈值以上的情况下，将一个体素(V)特定为包含对象物的特定体素，针对多个体素(V)全部反复执行(a)～(c)的动作，将(c)中特定的多个特定体素(V)连接而产生对象物的三维画像。

Description

三维画像产生装置以及三维画像产生方法
技术领域
本发明涉及一种使用了照相机的对象物的三维画像产生装置以及三维画像产生方法。
背景技术
提出了一种产生将半导体芯片的衬垫(pad)与基板的引线连接的接合线(bondingwire)(以下称为线)等对象物的三维画像的方法(例如，参照专利文献1)。
专利文献1中记载的方法是如下方法：利用环状照明器对线进行照明，使用焦点深度变浅的光学系统一边使聚焦高度发生变化一边拍摄线画像，检测在各线画像的中心出现的暗部，由此检测各聚焦高度的线的各XY坐标，根据这些数据检测线整体的三维形状，并产生三维画像。
现有技术文献
专利文献
专利文献1：日本专利第3235009号说明书
发明内容
发明所要解决的问题
但是，专利文献1中记载的方法中，需要使光学系统的聚焦高度发生变化并拍摄多个画像，因此存在三维画像的产生所需的时间变长的问题。
因此，本发明的目的是在短时间内产生对象物的三维画像。
解决问题的技术手段
本发明的三维画像产生装置的特征在于包括：使用了拍摄元件的多个照相机；以及控制部，处理由照相机拍摄的各画像，控制部在包含对象物的空间内设定多个体素，利用多个照相机从多个方向拍摄多个体素，(a)检测与多个体素中的一个体素对应的各照相机的各拍摄元件的各亮度，(b)将各照相机的所检测出的各亮度中最小的亮度特定为一个体素的最小亮度，(c)在特定的最小亮度为规定的阈值以上的情况下，将一个体素特定为包含对象物的特定体素，针对多个体素全部反复执行(a)～(c)的动作，将(c)中特定的多个特定体素连接而产生对象物的三维画像。
本发明的三维画像产生方法的特征在于，准备使用了拍摄元件的多个照相机，在包含对象物的空间内设定多个体素，利用多个照相机从多个方向拍摄多个体素，(a)检测与多个体素中的一个体素对应的各照相机的各拍摄元件的各亮度，(b)将各照相机的所检测出的各亮度中最小的亮度特定为一个体素的最小亮度，(c)在特定的最小亮度为规定的阈值以上的情况下，将一个体素特定为包含对象物的特定体素，针对多个体素全部反复执行(a)～(c)的动作，将(c)中特定的多个特定体素连接而产生对象物的三维画像。
如此，处理由多个照相机拍摄的画像而产生三维画像，因此可在不伴随使光学系统的聚焦高度发生变化等硬件的动作的情况下产生三维画像，可在短时间内产生对象物的三维画像。
本发明的三维画像产生方法中，可从上方对对象物进行照明，多个照相机设定于对象物的上方。
由此，可利用简单的方法产生三维画像。
本发明的三维画像产生方法中，对象物可为连接半导体元件的电极与基板的电极或者半导体元件的一个电极与半导体元件的其他电极的线。
如此，可在短时间内产生线的三维画像。
发明的效果
本发明可在短时间内产生对象物的三维画像。
附图说明
[图1]是表示执行实施方式的三维画像产生方法的三维画像产生装置的结构的系统图。
[图2]是表示利用多个照相机拍摄图1所示的y＝y1的面的体素时的各体素中心与各照相机的拍摄元件的位置的关系的说明图。
[图3]是表示实施方式的三维画像产生方法的工序的流程图。
[图4]是表示图3所示的工序中的对包含对象物的特定体素进行特定的处理的流程图。
[图5]是说明各体素的最小亮度与特定体素的特定处理的表。
具体实施方式
以下，参照图示对执行实施方式的三维画像产生方法的三维画像产生装置100进行说明。以下的说明中，如图1所示，三维画像产生装置100以产生将半导体元件的电极51与基板的电极52连接的线53的三维画像的形式进行了说明，但也可产生其他对象物的三维画像。
三维画像产生装置100包括：三个照相机10、20、30，使用了拍摄元件；控制部40，处理由照相机10、照相机20、照相机30拍摄的画像而产生作为对象物的线53的三维画像；以及光源45，对线53进行照明。本实施方式中，将照相机以三个进行说明，但若为多个则不限于三个，可为两个，也可为四个以上。
光源45配置于线53的上方。另外，照相机10配置于线53的上方，照相机20、照相机30以在线53的上方各光轴20a、30a相对于照相机10的光轴10a倾斜的方式配置。控制部40包括包含在内部进行信息处理的中央处理器(Central Processing Unit，CPU)41及存储器42的计算机。
在包含线53的空间中设定有多个体素V。体素V设定于存在线53的所有空间内。体素V的各中心坐标以Vc(x，y，h)表示。图1中示出了设定于包含线53的空间中的九个体素V1～V9。九个体素V1～V9的各中心坐标中，Vc(x，y，h)的y方向坐标位于y1的平面内，成为x坐标为x1、x2、x3且高度h分别为h1、h2、h3的位置。另外，线53的y＝y1的剖面位于中心处于Vc(x2，y1，h2)的体素V5。
其次，参照图2说明参照图1说明的九个体素V1～V9与各照相机10、20、30的各拍摄元件11、21、31的各像素的位置的关系的例子。
体素V1的中心位置是Vc(x1，y1，h1)，与照相机10的拍摄元件11的像素P11、照相机20的拍摄元件21的像素P23、照相机30的拍摄元件31的像素P31对应。同样地，体素V2的中心位置Vc(x2，y1，h1)与拍摄元件11的像素P12对应，与拍摄元件21的像素P24、拍摄元件31的像素P32对应。另外，体素V3的中心位置Vc(x3，y1，h1)与拍摄元件11的像素P13对应，与拍摄元件21的像素P25、拍摄元件31的像素P33对应。以下，同样地，体素V4的中心位置Vc(x1，y1，h2)与像素P11、像素P22、像素P32对应，体素V5的中心位置Vc(x2，y1，h2)与像素P12、像素P23、像素P33对应，体素V6的中心位置Vc(x3，y1，h2)与像素P13、像素P24、像素P34对应。进而，体素V7的中心位置Vc(x1，y1，h3)与像素P11、像素P21、像素P33对应，体素V8的中心位置Vc(x2，y1，h3)与像素P12、像素P22、像素P34对应，体素V9的中心位置Vc(x3，y1，h3)与像素P13、像素P23、像素P35对应。
然后，在利用各照相机10、20、30拍摄体素V1～体素V9时，各体素V1～V9的亮度作为对应的各照相机10、20、30的各拍摄元件11、21、31的各对应的像素的亮度被检测出。
其次，参照图3至图5对三维画像产生装置100的动作进行说明。
三维画像产生装置100的控制部40的CPU 41如图3的步骤S101所示利用多个照相机10、20、30从多个方向拍摄多个体素V。然后，在步骤S102中将各照相机10、20、30拍摄的画像分析面设定为y＝0的面，在步骤S103中将y＝0的面中包含作为对象物的线53的体素V特定为特定体素。然后，在步骤S105中使y每次增加Δy，直至y成为存在体素V的y的最大值、即“yend”为止，反复执行步骤S103。然后，于在步骤S104中判断为是(YES)的情况下，进入至图3的步骤S106，将步骤S103中特定的多个特定体素连接而产生对象物的三维画像。
此处，参照图4、图5说明控制部40的CPU 41执行的图3的步骤S103的对包含对象物的特定体素进行特定的处理的例子。以下的说明中，说明图1所示的中心坐标位于y＝y1的平面的体素V1～体素V9中对包含作为对象物的线53的特定体素进行特定的处理。
如参照图3所说明那样，在利用各照相机10、20、30拍摄体素V1～体素V9时，各体素V1～V9的亮度作为对应的各照相机10、20、30的各拍摄元件11、21、31的各对应的像素的亮度被检测出。包含线53的体素V利用线53反射光，因此关于与包含线53的体素V对应的像素，检测出亮的亮度1。另一方面，不含线53的体素V不反射光，因此检测出暗的亮度0。其中，于在体素V与像素的光路之间或光路的延长线上存在包含线53的其他体素V时，关于所述像素，检测出其他体素V的亮的亮度1。
如图4的步骤S201所示，控制部40的CPU 41根据由照相机10、照相机20、照相机30所拍摄的画像，检测与多个体素中的一个体素对应的各照相机10、20、30的各拍摄元件11、21、31的各亮度。
对CPU 41检测体素V1的亮度的情况进行说明。如图2、图5所示，体素V1是不包含线53的体素V。关于对应的照相机10、照相机30的各拍摄元件11、31的像素P11、像素P31，在像素P11、像素P31与体素V1之间不存在线53，因此检测出体素V1的暗的亮度0。另一方面，关于对应的照相机20的拍摄元件21的像素P23，在体素V1与像素P23之间存在包含线53的体素V5，因此检测出体素V5的亮的亮度1而非体素V1的暗的亮度。因此，如图5所示，CPU 41将与体素V1对应的三个像素P11、P23、P31的亮度分别检测为亮度0、亮度1、亮度0。
其次，CPU 41进入至图4的步骤S202，将各照相机10、20、30的所检测出的各亮度中最小的亮度特定为所述体素V的最小亮度。体素V1中，所检测出的亮度为0、1、0，因此将最小亮度特定为0。
然后，CPU 41进入至图4的步骤S203，在所特定的最小亮度比规定的阈值大的情况下，将所述体素特定为包含作为对象物的线53的特定体素。阈值可设为比0大的规定值，例如可设为1。在体素V1的情况下，由于最小亮度为0，因此CPU 41不将体素V1特定为特定体素而进入至图4的步骤S204，判断是否对中心处于y＝y1的面的所有体素V进行了步骤S201～步骤S203的处理，在否(NO)的情况下，返回至步骤S201，对接下来的体素V进行步骤S201～步骤S203的处理。
CPU 41在进行了体素V1的处理后，在图4的步骤S204中判断为否(NO)，返回至图4的步骤S201，并对体素V2进行步骤S201～步骤S203的处理。
如图5所示，CPU 41与体素V1同样地检测与体素V2对应的三个像素P12、P24、P32的亮度。在所述情况下，包含线53的体素V5位于体素V2与像素P12之间，因此关于像素P12，检测出亮度1。因此，CPU 41将与体素V2对应的三个像素P12、P24、P32的亮度检测为1、0、0。然后，CPU 41在步骤S202中将体素V2的最小亮度特定为0，在步骤S203中不将体素V2特定为特定体素而进入至图4的步骤S204，进行体素V3的处理。
以下，同样地，如图5所示，CPU 41对体素V3～体素V4特定各像素的亮度，将最小亮度特定为0，且不将体素V3～体素V4作为特定体素。
CPU 41检测与体素V5对应的各像素P12、P23、P33的各亮度。体素V5是分别包含线53的体素V，因此关于各照相机10、20、30中的任一者的拍摄元件11、拍摄元件21、拍摄元件31的对应的像素P12、P23、P33，也检测出亮的亮度1。因此，CPU 41将体素V5的最小亮度特定为1，将体素V5特定为特定体素，并进入至体素V6的处理。
如图5所示，CPU 41在步骤S201中将与体素V6对应的各像素的各亮度分别特定为0、0、0。然后，CPU 41在步骤S202中将体素V6的最小亮度特定为0，且不将体素V6作为特定体素而进入至体素7的处理。
关于体素V7，线53位于体素V7与照相机30的对应的像素P33之间的光路的延长线上。因此，CPU 41将与体素V7对应的各像素P11、P21、P31分别特定为0、0、1。然后，CPU 41将体素V7的最小亮度特定为0，且不将体素V7特定为特定体素而进入至体素V8、体素V9的处理。
与体素V7同样地，CPU 41将体素V8、体素V9的对应的像素的亮度分别检测为1、0、0以及0、1、0，将各最小亮度特定为0，且不将体素V8、体素V9作为特定体素而进入至图4的步骤S204，在步骤S204中判断为是(YES)且使图3的步骤S103所示的对包含对象物的特定体素进行特定的处理结束。
通过所述处理，如图5所示，CPU 41仅将在y＝y1的平面处于坐标中心的九个体素V1～V9中包含线53的体素V5特定为特定体素。
CPU 41使y每次变化Δy，于在存在体素V的所有空间执行图3的步骤S103的处理后，在图3的步骤S104中判断为是(YES)而进入至图3的步骤S106，通过将各平面中的特定体素连接而产生线53的三维画像。
如此，实施方式的三维画像产生方法中，在包含对象物的空间内设定多个体素V，在从不同的角度利用多个照相机10、20、30拍摄多个体素V的情况下，与包含对象物的体素V对应的各照相机10、20、30的各像素中所检测出的亮度通过对象物引起的反射而全部为亮的亮度1，所述体素V的最小亮度为1。另一方面，与不存在对象物的体素V对应的各照相机10、20、30的各像素中所检测出的亮度中的至少一个为暗的亮度0，所述体素V的最小亮度为0。由此，在最小亮度为1的情况下，将所述体素V特定为包含对象物的特定体素，将所述特定体素连接来产生对象物的三维画像。
如以上所说明那样，实施方式的三维画像产生装置100处理利用多个照相机10、20、30拍摄的画像而产生三维画像，因此可在不伴随使光学系统的聚焦高度发生变化等硬件的动作的情况下产生三维画像，可在短时间内产生线53等对象物的三维画像。
符号的说明
10、20、30：照相机
10a、20a、30a：光轴
11、21、31：拍摄元件
40：控制部
41：CPU
42：存储器
45：光源
51、52：电极
53：线
100：三维画像产生装置

Claims (5)

1.一种三维画像产生装置，其特征在于包括：
多个照相机，使用了拍摄元件；以及
控制部，处理由所述照相机拍摄的各画像，
所述控制部在包含对象物的空间内设定多个体素，
利用多个所述照相机从多个方向拍摄多个体素，
(a)检测与多个体素中的一个体素对应的各所述照相机的各所述拍摄元件的各亮度，
(b)将各所述照相机的所检测出的各亮度中最小的亮度特定为所述一个体素的最小亮度，
(c)在特定的最小亮度为规定的阈值以上的情况下，将所述一个体素特定为包含所述对象物的特定体素，
针对多个体素全部反复执行所述(a)～(c)的动作，
将(c)中特定的多个特定体素连接而产生所述对象物的三维画像。
2.一种三维画像产生方法，其特征在于，
准备使用了拍摄元件的多个照相机，
在包含对象物的空间内设定多个体素，
利用多个所述照相机从多个方向拍摄多个体素，
(a)检测与多个体素中的一个体素对应的各所述照相机的各所述拍摄元件的各亮度，
(b)将各所述照相机的所检测出的各亮度中最小的亮度特定为所述一个体素的最小亮度，
(c)在特定的最小亮度为规定的阈值以上的情况下，将所述一个体素特定为包含所述对象物的特定体素，
针对多个体素全部反复执行所述(a)～(c)的动作，
将(c)中特定的多个特定体素连接而产生所述对象物的三维画像。
3.根据权利要求2所述的三维画像产生方法，其特征在于
从上方对所述对象物进行照明，
多个所述照相机设定于所述对象物的上方。
4.根据权利要求2所述的三维画像产生方法，其特征在于
所述对象物是连接半导体元件的电极与基板的电极或者所述半导体元件的一个电极与所述半导体元件的其他电极的线。
5.根据权利要求3所述的三维画像产生方法，其特征在于
所述对象物是连接半导体元件的电极与基板的电极或者所述半导体元件的一个电极与所述半导体元件的其他电极的线。
CN202180073161.1A 2021-07-29 2021-07-29 三维画像产生装置以及三维画像产生方法 Pending CN116457832A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/028121 WO2023007657A1 (ja) 2021-07-29 2021-07-29 三次元画像生成装置及び三次元画像生成方法

Publications (1)

Publication Number Publication Date
CN116457832A true CN116457832A (zh) 2023-07-18

Family

ID=85087743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180073161.1A Pending CN116457832A (zh) 2021-07-29 2021-07-29 三维画像产生装置以及三维画像产生方法

Country Status (3)

Country Link
KR (1) KR20230158581A (zh)
CN (1) CN116457832A (zh)
WO (1) WO2023007657A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3235009B2 (ja) 1994-09-09 2001-12-04 株式会社新川 ボンディングワイヤ検査方法
JPH10122823A (ja) * 1996-08-27 1998-05-15 Olympus Optical Co Ltd 位置合せ方法およびこの方法を用いた高さ測定装置
JP6736422B2 (ja) * 2016-08-23 2020-08-05 キヤノン株式会社 画像処理装置、画像処理の方法およびプログラム

Also Published As

Publication number Publication date
KR20230158581A (ko) 2023-11-20
WO2023007657A1 (ja) 2023-02-02

Similar Documents

Publication Publication Date Title
CN107316047B (zh) 图像处理装置、图像处理方法以及存储介质
WO2019233264A1 (zh) 图像处理方法、计算机可读存储介质和电子设备
US4953224A (en) Pattern defects detection method and apparatus
TWI268104B (en) Apparatus and method for processing images
GB1577025A (en) System for detecting position of object
CN110780982A (zh) 一种图像处理方法、装置及设备
WO2023108545A1 (en) Method for constructing defect detection model of micro led array panel, apparatures for dectectig pixel defect and devices
JP7450245B2 (ja) 三次元画像生成装置及び三次元画像生成方法
US11257212B2 (en) Image analysis device
CN116457832A (zh) 三维画像产生装置以及三维画像产生方法
TWI794909B (zh) 三維畫像產生裝置以及三維畫像產生方法
CN111340722A (zh) 图像处理方法、处理装置、终端设备及可读存储介质
CN115222653B (zh) 测试方法和装置
CN116017129A (zh) 一种补光灯角度调整方法、装置、系统、设备和介质
CN115359034A (zh) 一种缺陷检测方法、装置、设备及存储介质
CN113222895B (zh) 一种基于人工智能的电极缺陷检测方法及系统
JP2023535005A (ja) 電子画像内の物体を認識するための方法及びシステム又は装置
CN111401365B (zh) Ocr图像自动生成方法及装置
CN110310235B (zh) 眼底图像处理方法、装置及设备和存储介质
US20040037475A1 (en) Method and apparatus for processing annotated screen capture images by automated selection of image regions
CN113840135A (zh) 色偏检测方法、装置、设备及存储介质
CN112949423A (zh) 物体识别方法、物体识别装置及机器人
US10380463B2 (en) Image processing device, setting support method, and non-transitory computer-readable media
KR100213345B1 (ko) 조정부품의 조정장치 및 조정홈 검출방법
JP2004110543A (ja) 顔画像処理装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination