CN111919086A - 线状物的三维测量装置和线状物的三维测量方法 - Google Patents

线状物的三维测量装置和线状物的三维测量方法 Download PDF

Info

Publication number
CN111919086A
CN111919086A CN201980022176.8A CN201980022176A CN111919086A CN 111919086 A CN111919086 A CN 111919086A CN 201980022176 A CN201980022176 A CN 201980022176A CN 111919086 A CN111919086 A CN 111919086A
Authority
CN
China
Prior art keywords
image
camera
light image
transmitted light
thread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980022176.8A
Other languages
English (en)
Inventor
北井基善
佐藤稔久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kurashiki Spinning Co Ltd
Original Assignee
Kurashiki Spinning Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kurashiki Spinning Co Ltd filed Critical Kurashiki Spinning Co Ltd
Publication of CN111919086A publication Critical patent/CN111919086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明的线状物的三维测量装置包括：对线状物进行拍摄的立体照相机(11)，隔着线状物位于立体照相机(11)的相向处的透过光照射构件(50)，以及获取线状物的三维形状的运算部，立体照相机(11)获取从透过光照射构件(50)照射光的线状物的透过光图像，运算部基于透过光图像获取线状物的三维形状。

Description

线状物的三维测量装置和线状物的三维测量方法
技术领域
本发明涉及一种以立体(stereo)方式对导线(wire)、缆线(cable)等线状物测量形状的线状物的三维测量装置和线状物的三维测量方法。
背景技术
作为利用两台照相机的视差测量三维位置的方法，之前以来利用的是立体方式的三维测量方法。这是如下方法，即，在视点不同的两个图像上找出想要测量的点的对应点，并根据各图像上的对应点及两台照相机的位置关系且通过三角测量的原理算出测量点的三维位置。所述立体方式中，找到各图像上的对应点的匹配处理(matching process)是信息处理的负荷最大且最耗费成本的过程。因此，为了改进匹配处理已提出各种方法。
日本专利特开平5-026640号公报(专利文献1)中记载了如下：关于一种通过立体方式进行的线状物的三维测量，作为半导体封装的外部引线的形状测量方法，在一图像中的外部引线像上取测量采样点，且将另一图像中的极、线(极线(epipolar line))与外部引线像的交点作为测量采样点的对应点。极线是将连结一图像的视点与测量点的直线投影到另一图像上而获得的直线，所述测量点必定投影到另一图像上的极线上。
日本专利特开平2-309202号公报(专利文献2)中记载了如下：利用两台照相机对许多线状物进行拍摄，并将两个图像中的亮线的斜度与亮线间的距离作为特征进行对照，由此确定对应点。
现有技术文献
专利文献
专利文献1：日本专利特开平5-026640号公报
专利文献2：日本专利特开平2-309202号公报
发明内容
发明所要解决的问题
然而，专利文献1所记载的方法中，当在画面内存在多个相同的线状物时，存在检测到多个与极线的交点而无法唯一地确定对应点的情况。专利文献2所记载的方法中，需要计算关于多条亮线的特征的不一致程度，从而不适合于高速处理，且存在将具有相同程度的特征的直线彼此误识别的可能性。
进而，当线状物具有花纹或颜色不均时，存在图像因反射光而混乱等，无法在图像中准确地识别线状物的情况。
本发明是考虑所述情况而完成，其目的在于提供可对线状物更准确地实现高速的匹配处理的线状物的三维测量装置和线状物的三维测量方法。
解决问题的技术手段
所述线状物的三维测量装置中，包括：立体照相机，对线状物进行拍摄；透过光照射构件，隔着所述线状物位于所述立体照相机的相向处；以及运算部，获取所述线状物的三维形状；所述立体照相机获取从所述透过光照射构件照射光的所述线状物的透过光图像，所述运算部基于所述透过光图像获取所述线状物的三维形状。
此处，透过光即是指不被线状物遮蔽而穿过没有线状物的空间并到达照相机的光(背光或背面照射光)，未必仅指穿过物体中的光。而且，透过光图像即是指用照相机拍摄所述光而获得的图像(背光图像或背面照射光图像)。
其他实施例中，所述立体照相机获取未从所述透过光照射构件照射光而拍摄到的所述线状物的反射光图像，所述运算部基于所述透过光图像及所述反射光图像获取所述线状物的三维形状。
其他实施例中，所述立体照相机包含第一照相机及第二照相机，在未从所述透过光照射构件照射光的状态下，获取使用所述第一照相机所拍摄到的所述线状物的第一反射光图像及使用所述第二照相机所拍摄到的所述线状物的第二反射光图像，在从所述透过光照射构件向所述线状物照射光的状态下，获取使用所述第一照相机所拍摄到的所述线状物的第一透过光图像及使用所述第二照相机所拍摄到的所述线状物的第二透过光图像，所述运算部使用所述第一反射光图像及所述第一透过光图像获取第一补充图像，使用所述第二反射光图像及所述第二透过光图像获取第二补充图像，使用所述第一补充图像及所述第二补充图像获取所述线状物的三维形状。
其他实施例中，所述第一照相机及所述第二照相机为彩色照相机。
其他实施例中，所述透过光照射构件具有能够变更照射至所述线状物的光的颜色的功能。
其他实施例中，所述立体照相机从所述透过光照射构件照射颜色与所述线状物的颜色不同的光，获取所述第一透过光图像及所述第二透过光图像。
所述线状物的三维测量方法中，包括下述步骤：获取使用配置于第一位置的第一照相机所拍摄到的线状物的第一反射光图像、及使用配置于与第一位置不同的第二位置的第二照相机所拍摄到的所述线状物的第二反射光图像；在从隔着所述线状物位于所述第一照相机及所述第二照相机的相向处的透过光照射构件将光照射至所述线状物的状态下，获取使用所述第一照相机所拍摄到的所述线状物的第一透过光图像及使用所述第二照相机所拍摄到的所述线状物的第二透过光图像；使用所述第一反射光图像及所述第一透过光图像获取第一补充图像；使用所述第二反射光图像及所述第二透过光图像获取第二补充图像；以及使用所述第一补充图像及所述第二补充图像获取所述线状物的三维形状。
其他实施例中，所述线状物具有多个线体，所述透过光照射构件照射与所述多个线体中的任一者的颜色不同的颜色的光。
其他实施例中，所述透过光照射构件为彩色照明。
发明的效果
根据本发明的线状物的三维测量装置和线状物的三维测量方法，可提供对线状物更准确地实现高速的匹配处理的线状物的三维测量装置和线状物的三维测量方法。
附图说明
图1是实施方式1的三维测量装置的功能方块图。
图2是用以说明作为实施方式1的三维测量方法的第一图。
图3是用以说明作为实施方式1的三维测量方法的第二图。
图4是作为实施方式1的三维测量方法的步骤流程图。
图5是由实施方式1的立体照相机拍摄到的第一反射光图像。
图6是由实施方式1的立体照相机拍摄到的第二反射光图像。
图7是实施方式1的三维测量方法的第一线像提取步骤的操作流程图。
图8是提取了第一线像的第一反射光图像。
图9是提取了第二线像的第二反射光图像。
图10是选择了注目点的第一反射光图像。
图11是求出极线与第二线像的交点的第二反射光图像。
图12是颜色表的一例。
图13是表示获得实施方式2的三维形状(补充3D图像)的步骤的功能方块图。
具体实施方式
以下，一边参照附图一边对基于本发明的各实施方式的线状物的三维测量方法和线状物的三维测量装置进行说明。另外，以下，有时将线状物的三维测量方法简称为“测量方法”，将线状物的三维测量装置简称为“测量装置”。
以下说明的实施方式中，在提及个数、数量等时，除了有特别记载的情况以外，本发明的范围不必限定于所述个数、数量等。有时对相同的零件、相应的零件附上相同的参照符号，且不再重复多余的说明。从开始便预想适当地组合使用实施方式中的结构。图中，并未按照实际的尺寸比率进行描述，但为了容易理解结构，会改变一部分比率来进行描述。
(实施方式1)
参照图1及图2对本实施方式的线状物的三维测量方法和线状物的三维测量装置进行说明。图1是用以说明三维测量装置的功能方块图，图2是用以说明三维测量方法的第一图。
以下的实施方式中，对使用线束W作为线状物的一例的情况进行说明。所述线束W包含作为线体的电线21～电线23。
本实施方式的测量装置10包括立体照相机11、运算部15、存储部16、及输入输出部17。运算部15可以是与立体照相机11分离的个人计算机或图像处理装置，也可以是内置于立体照相机的具有运算功能的硬件等。如图2所示，使用立体照相机11对线束W所包含的电线21～电线23的图像进行拍摄。所述测量装置10在隔着线束W而与立体照相机11相向的位置处设置着透过光照射构件50。将在实施方式2中对所述透过光照射构件50进行详细说明。
立体照相机11包含第一照相机12、第二照相机13、及照相机控制部14。第一照相机12是对作为彩色的二维图像的第一反射光图像进行拍摄的彩色照相机。第二照相机13是对作为彩色的二维图像的第二反射光图像进行拍摄的彩色照相机，且相对于第一照相机的相对位置固定。照相机控制部14控制第一照相机及第二照相机，且与运算部15进行通信。照相机控制部例如从运算部接收拍摄指示并向第一照相机及第二照相机发送拍摄指示，将第一反射光图像及第二反射光图像传输至运算部。
运算部15除与照相机控制部14进行通信之外，也对从立体照相机11接收到的第一反射光图像及第二反射光图像进行处理而算出线状物的三维位置(3D图像)。存储部16除存储立体照相机拍摄到的第一反射光图像及第二反射光图像、对象物的颜色表之外，也存储运算所需的中间数据或运算结果等。输入输出部17受理来自作业人员的指令或对作业人员显示测量结果。
参照图3，在本实施方式的测量方法中，利用第一照相机12及第二照相机13对电线21～电线23进行拍摄。若针对电线21上的某点P，由第一照相机获得在第一反射光图像30上的投影点Q及由第二照相机获得在第二反射光图像40上的投影点R，则可利用已知的第一照相机12及第二照相机13的位置信息算出点P的三维位置。第一照相机12及第二照相机13的位置信息可通过预先对两个照相机进行校准(calibration)而获取。
虽然图3以黑白绘制，但作为测量对象的三根电线21～电线23被颜色区分，且具有互不相同的颜色，例如红色、蓝色、黄色等的被覆层。成为测量对象的线状物只要是线状物体则不作特别限定，优选为互不相同的颜色的线状物，进而优选为颜色区分的电线或光纤线的缆线，特别优选为线束(wire harness)的缆线。
图4表示本实施方式的测量方法的流程图。以下，将对各步骤进行说明。在测量之前，制作颜色表。颜色表是一种表格，其按可能成为测量对象的每种线状物记录其颜色。图12中示出颜色表的一例，所述颜色表按每种电线以红绿蓝(red green blue，RGB)的三原色的亮度表示其颜色。颜色表存储于存储部16中。
测量时，利用立体照相机11拍摄电线21～电线23。电线21～电线23通过第一照相机12拍摄到第一反射光图像30中。与此同时，电线21～电线23通过第二照相机13从与第一照相机不同的视点拍摄到第二反射光图像40中。第一反射光图像及第二反射光图像被传输到运算部15并存储于存储部16中。
运算部15从立体照相机11获取第一反射光图像30及第二反射光图像40。此时，参照图5，第一反射光图像30中映出三根电线21～电线23的像31～像33。同样地，参照图6，第二反射光图像40中映出三根电线21～电线23的像41～像43。
运算部15在第一反射光图像30上提取特定的电线21作为第一线像。参照图7，提取所述第一线像的步骤(第一线像提取步骤)包含基于颜色的提取操作、二值化操作、噪声去除操作、细线化(thinning)操作。
在基于颜色的提取操作中，运算部从颜色表中获取要测量的电线21的颜色，在第一反射光图像30上仅提取所述特定颜色的线状物21的像31来作为第一线像34。具体而言，将第一反射光图像30的各像素的颜色与所述特定颜色进行比较，当判断两者相同时保留所述像素，当判断两者不同时删除所述像素。
可通过两者的差是否为规定值以下来判定颜色是相同还是不同。例如，从颜色表中获取与电线21对应的RGB值，将第一反射光图像30的各像素的RGB值与其进行比较，若RGB的各值的差为规定值以下，则判断所述像素与电线21的颜色相同。可考虑RGB的灰阶数或不同种类的电线间的颜色的差异程度等来确定规定值。
接下来，将第一反射光图像30二值化。这是使用适当的阈值将各像素的值替换为0或1的操作。通过二值化操作，以后的图像处理将变得容易。二值化操作可与基于颜色的提取操作同时进行。通过将判断为相同颜色的像素设为1，将判断为不同颜色的像素设为0，可进行二值化。
接下来，对第一反射光图像30进行噪声去除操作。虽通过所述基于颜色的提取操作提取了第一线像34，但由照相机的散粒(shot)噪声等引起的孤立的像素保留在第一反射光图像30中。而且，由于RGB用的摄像元件相对于一个像素的位置实际上稍微偏移，故在电线的像31～像33的轮廓部等的颜色急剧变化的部分，图像的颜色混乱，孤立的像素仍可能会保留。通过去除这种像素，可获得更准确的第一线像34。
接下来，将第一线像34细线化。这是在保持第一线像的连结性的同时将线宽变细为1的操作。细线化操作的方法可使用选择位于线宽中心的像素等现有方法。由此，以后的图像处理将变得容易，可更准确地找出对应点等。
图8表示所获得的第一线像34。已提取出第一线像的第一反射光图像30存储于存储部16中。
回到图4，也对第二反射光图像40进行与第一反射光图像30相同的操作，提取第二线像44(第二线像提取步骤)。图9表示所获得的第二线像44。已提取出第二线像的第二反射光图像40存储于存储部16中。
参照图10，接下来运算部15在第一反射光图像30的第一线像34上选择注目点Q。点Q是电线21的点P(图2)在第一反射光图像上的投影点。
参照图11，接下来运算部15在第二反射光图像40上找出与第一反射光图像30的注目点Q对应的极线45。找出第二线像44与极线45的交点R，将其作为与注目点Q对应的点。点R是电线21的点P(图3)在第二反射光图像上的投影点。
根据以上的步骤，针对图3所示的电线21的点P，获得第一反射光图像30上的投影点Q及第二反射光图像40上的投影点R，因而运算部算出点P的三维位置。
接下来，在第一线像34上选择新的注目点，且重复注目点选择后的步骤。作为下一个注目点，可选择与前一个注目点连结的相邻点。以此方式，通过挪移注目点Q的同时，即在使点P在电线21上移动的同时，求出三维位置，而进行电线21的三维测量。
在获得对于电线21而言必要的信息的时间点，结束所述重复处理。由此，获得电线21的3D图像。当随后进行其他电线，例如电线22的三维测量时，从颜色表中获取电线22的颜色，且对第一照相机及第二照相机拍摄到的最初的第一反射光图像及第二反射光图像重复第一线像提取步骤后的步骤。
此处，对颜色表进行更详细说明。
图12所例示的颜色表中，按每种线状物记载一个RGB值，但也可针对一种线状物记载多个RGB值，且若判断颜色与任何RGB值相同，则可判断为所述线状物。颜色也可记录于RGB以外的表色系统中。例如，可基于由国际照明委员会(Commission Internationale del’Eclairage，CIE)制定的CIELAB表色系统并由L*、a*、b*来表现。即便来自立体照相机11的输出是RGB值，表色系统间的换算也容易。
所述实施方式中，若像素的RGB值与颜色表的RGB值的差为规定值以下，则判断所述像素的颜色与表的颜色相同，可判断为相同颜色的颜色范围记录于颜色表中。在记录颜色范围的情况下，由L*a*b*的值来表现，容易对光量变化设定稳定的阈值范围，从而更优选。例如，通过将L*值的阈值范围保持得宽并缩小a*值、b*值的阈值范围，即便线状物的亮度变化了一定程度，也可视作相同的颜色而不会与其他颜色的缆线混淆。
优选为在实际测量环境中，基于实际拍摄线状物时的图像的颜色制作颜色表。具体而言，由手或机器手握住线状物等，在第一照相机或第二照相机前向各个位置、方向移动的同时进行拍摄，从图像获取所述线状物的颜色信息。第一反射光图像及第二反射光图像上的线状物的颜色根据各种因素而变化，如测量环境下的照明的种类或配置、线状物的光泽度或方向等。通过在颜色表中记录在实际测量条件下线状物的图像所可能拍摄的范围的颜色，可减少提取线状物时的误识别。
(实施方式2)
如图2所示，使用立体照相机11获取电线21～电线23的三维位置(3D图像)。此处，在获取第一反射光图像30及第二反射光图像40的情况下，使用自然光或普通照明装置获取电线21～电线23的图像。有时在电线21～电线23的表面附着制造步骤中要使用的称作滑石(talc)的白色粉末。
当要在不去除所述滑石的情况下获取电线21～电线23的图像时，有时会在滑石所附着的白色部分较其他区域更强烈地反射的第一反射光图像30及第二反射光图像40中产生颜色不均。不仅滑石的附着，由于各个电线的着色中存在缺陷，因此有时会在第一反射光图像30及第二反射光图像40中产生颜色不均。
若图像中产生颜色不均，则认为发生跳色，而难以识别是否为相同的线状物。
去除附着的滑石的作业及修正电线的着色缺陷的部位的作业等修复作业是烦杂的。尤其，在使用机器手自动地进行线束位置检测、颜色检测等作业的步骤中，所述修复作业是停止一系列流程的步骤，且可能是令使用了机器手的自动化的作业效率显著降低的因素。
因此，本实施方式中，如图2所示，在隔着线束W而与立体照相机11相向的位置设置透过光照射构件50，通过将所述透过光照射构件50用作背光(背面照射光照射构件)，而获得线状物的轮廓为已知的图像，从而能够修正跳色部位的图像。
透过光照射构件50是能够拍摄线状物的轮廓的装置或构件即可，且是照明装置或反射材料。照明装置是普通照明即可，特别优选为可均匀地照亮照相机的视场的面照明。反射材料可使用纸、布、树脂等表面为扩散反射面的各种材质。特别优选为具有几乎相等的扩散反射特性的反射板。若是具有柔软性的反射材料，则可以是设为卷状以便切换颜色的结构。当不使用时，可以是滑动或旋转等可退避到视场范围外的结构。在使用自身不发光的反射材料的情况下，可将室内照明等环境光用作光源。可另外具备对反射材料照射光的照明装置。
从透过光照射构件照射光包括透过光照射构件自身发光的情况及透过光照射构件因反射板等而间接照射光的情况的双方。
参照图13对本实施方式中的线状物的三维测量方法和装置进行说明。图13是表示获得本实施方式的三维形状(补充3D图像)的步骤的功能方块图。
与所述实施方式1同样地，使用立体照相机11，获取第一反射光图像30及第二反射光图像40。当获取第一反射光图像30及第二反射光图像40时，在室内光或太阳光等环境光照射至线状物的状态下获取即可。为了更稳定地获取反射光图像，优选为具有对线状物照射光的反射光照射构件。反射光照射构件可使用灯、发光二极管(Light Emitting Diode，LED)等普通照明。更优选为可从与立体照相机11相同的一侧对线状物照射均匀的光的扩散光照明。
接下来，将透过光照射构件50朝向立体照相机11照射而进行背光摄影。由此，获得电线的轮廓清晰显示的第一透过光图像30a及第二透过光图像40a，并存储于存储部16中。
运算部15中，使用第一反射光图像30与第一透过光图像30a，获得由第一透过光图像30a补充第一反射光图像30中的线状物的中断区域所得的第一补充图像30A。同样地，使用第二反射光图像40与第二透过光图像40a，由第二透过光图像40a补充第二反射光图像40中的线状物的中断区域，而获得第二补充图像40A。运算部15使用以所述方式获得的第一补充图像30A及第二补充图像40A，来算出线状物的三维形状60。
本实施方式中，第一照相机及第二照相机是单色照相机或彩色照相机。在获取线状物的三维形状时使用图像的颜色信息的情况下，优选为使用彩色照相机。
(透过光照射构件50)
所述实施方式中，在构成线束W的电线21～电线23具有红色、蓝色、黄色的被覆层的情况下，透过光照射构件50的光源使用的是普通照明光，由此可获得电线21～电线23的轮廓。然而，例如，当电线为白色时，也认为无法良好地获得轮廓。
因此，对于透过光照射构件50中使用的光源的颜色而言，可照射电线21～电线23的被覆层中使用的颜色以外的颜色的光。由此，可清楚地获得电线21～电线23的轮廓。因此，透过光照射构件50可具有能够变更照射至线状物的光的颜色的功能。
透过光照射构件50中使用的光源可使用RGB(红色、绿色、蓝色)光源。通过依次照射RGB(红色、绿色、蓝色)的各种颜色，可清楚地获得电线21～电线23的轮廓。
例如，在使用红色背光(透过光)对捆绑多色电线(红色/蓝色)的线束进行拍摄的情况下，利用亮度差来进行二值化处理，由此可获得仅蓝色电线的三维形状。另外，在不使用颜色信息(单色图像的)情况下，出现多个与极线的交点，因而必须从几何信息等中找出其中准确的对应点。可通过适当地使用现有技术实现找到对应点的方法。
仅用两张透过光图像(由立体照相机中的两台照相机拍摄到的第一透过光图像及第二透过光图像)便能够获取线状物的三维形状。然而，根据来自透过光照射构件50的光的照射程度，有时无法清晰地识别线状物的轮廓，因而通过补充图像进行的三维测量，精度则更高，所述补充图像除了两张所述透过光图像之外，还使用两张用第一反射光图像及第二反射光图像获取的反射光图像。
在使用了机器手的电线21～电线23的握持控制中，即便在第一反射光图像30及第二反射光图像40中，存在产生颜色不均的部位，通过使用补充图像，可知电线也存在于颜色不均的部位。由此，如果清楚电线存在于颜色不均的部位，则可基于所述颜色不均的部位的位置信息进行握持颜色不均的部位的控制。
本实施方式的测量方法除能够应用于缆线之外，也能够应用于纱线、彩色铅笔/圆珠笔替换芯等书写工具、及其他各种线状物。
在可能的情况下，所述实施方式中的步骤或操作可更换执行的顺序或予以省略。
本实施方式的测量方法并不排除与立体方式中的现有匹配方法的组合使用。当在多个线状物中存在多个相同颜色的线状物时，具有并用着眼于测量对象物的形状及其他特征的匹配方法的优点。
应认为此次公开的各实施方式在所有方面均为例示而非限制性的。本发明的范围并非由所述说明而是由权利要求表示，且旨在包括与权利要求均等的含义及范围内的所有变更。
符号的说明
10：线状物的三维测量装置
11：立体照相机
12：第一照相机
13：第二照相机
14：照相机控制部
15：运算部
16：存储部
17：输入输出部
21～23：电线(线状物)
30：第一反射光图像
30a：第一透过光图像
30A：第一补充图像
31～33：第一反射光图像上的电线21～电线23的像
34：第一线像
40：第二反射光图像
40a：第二透过光图像
40A：第二补充图像
41～43：第二反射光图像上的电线21～电线23的像
44：第二线像
45：极线
50：透过光照射构件
60：三维形状(补充3D图像)
P：电线21上的点
Q：点P在第一反射光图像上的投影点(注目点)
R：点P在第二反射光图像上的投影点(对应点)

Claims (9)

1.一种线状物的三维测量装置，其特征在于包括：
立体照相机，对线状物进行拍摄；
透过光照射构件，隔着所述线状物位于所述立体照相机的相向处；以及
运算部，获取所述线状物的三维形状；
所述立体照相机获取从所述透过光照射构件照射光的所述线状物的透过光图像，
所述运算部基于所述透过光图像获取所述线状物的三维形状。
2.根据权利要求1所述的线状物的三维测量装置，其特征在于，
所述立体照相机获取未从所述透过光照射构件照射光而拍摄到的所述线状物的反射光图像，
所述运算部基于所述透过光图像及所述反射光图像获取所述线状物的三维形状。
3.根据权利要求1或2所述的线状物的三维测量装置，其特征在于，
所述立体照相机包含第一照相机及第二照相机，
在未从所述透过光照射构件照射光的状态下，获取使用所述第一照相机所拍摄到的所述线状物的第一反射光图像及使用所述第二照相机所拍摄到的所述线状物的第二反射光图像，
在从所述透过光照射构件向所述线状物照射光的状态下，获取使用所述第一照相机所拍摄到的所述线状物的第一透过光图像及使用所述第二照相机所拍摄到的所述线状物的第二透过光图像，
所述运算部使用所述第一反射光图像及所述第一透过光图像获取第一补充图像，
使用所述第二反射光图像及所述第二透过光图像获取第二补充图像，
使用所述第一补充图像及所述第二补充图像获取所述线状物的三维形状。
4.根据权利要求1至3中任一项所述的线状物的三维测量装置，其特征在于，
所述第一照相机及所述第二照相机为彩色照相机。
5.根据权利要求4所述的线状物的三维测量装置，其特征在于，
所述透过光照射构件具有能够变更照射至所述线状物的光的颜色的功能。
6.根据权利要求5所述的线状物的三维测量装置，其特征在于，
所述立体照相机从所述透过光照射构件照射颜色与所述线状物的颜色不同的光，获取所述第一透过光图像及所述第二透过光图像。
7.一种线状物的三维测量方法，其特征在于包括下述步骤：
获取使用配置于第一位置的第一照相机所拍摄到的线状物的第一反射光图像、及使用配置于与第一位置不同的第二位置的第二照相机所拍摄到的所述线状物的第二反射光图像；
在从隔着所述线状物位于所述第一照相机及所述第二照相机的相向处的透过光照射构件将光照射至所述线状物的状态下，获取使用所述第一照相机所拍摄到的所述线状物的第一透过光图像及使用所述第二照相机所拍摄到的所述线状物的第二透过光图像；
使用所述第一反射光图像及所述第一透过光图像获取第一补充图像；
使用所述第二反射光图像及所述第二透过光图像获取第二补充图像；以及
使用所述第一补充图像及所述第二补充图像获取所述线状物的三维形状。
8.根据权利要求7所述的线状物的三维测量方法，其特征在于，
所述线状物具有多个线体，
所述透过光照射构件照射与所述多个线体中的任一者的颜色不同的颜色的光。
9.根据权利要求7或8所述的线状物的三维测量方法，其特征在于，
所述透过光照射构件为彩色照明。
CN201980022176.8A 2018-03-30 2019-03-11 线状物的三维测量装置和线状物的三维测量方法 Pending CN111919086A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-068326 2018-03-30
JP2018068326 2018-03-30
PCT/JP2019/009721 WO2019188198A1 (ja) 2018-03-30 2019-03-11 線状物の３次元計測装置、および、線状物の３次元計測方法

Publications (1)

Publication Number Publication Date
CN111919086A true CN111919086A (zh) 2020-11-10

Family

ID=68061575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980022176.8A Pending CN111919086A (zh) 2018-03-30 2019-03-11 线状物的三维测量装置和线状物的三维测量方法

Country Status (7)

Country Link
US (1) US20210025698A1 (zh)
EP (1) EP3779355A4 (zh)
JP (1) JPWO2019188198A1 (zh)
KR (1) KR20200137003A (zh)
CN (1) CN111919086A (zh)
TW (1) TW201942540A (zh)
WO (1) WO2019188198A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04191607A (ja) * 1990-11-26 1992-07-09 Toshiba Corp ３次元計測方法
JPH08201041A (ja) * 1995-01-26 1996-08-09 Matsushita Electric Works Ltd ３次元形状の認識方法
JP2000346617A (ja) * 1999-06-08 2000-12-15 Minolta Co Ltd ３次元形状データ処理装置
JP2009300124A (ja) * 2008-06-10 2009-12-24 Keyence Corp 画像計測装置、画像計測方法及びコンピュータプログラム
JP2012037929A (ja) * 2010-08-03 2012-02-23 Nippon Hoso Kyokai <Nhk> ３次元形状取得装置および３次元形状取得プログラム
DE112010003742T5 (de) * 2009-09-22 2013-06-06 Cyberoptics Corporation Hochschnelles, hochauflösendes, dreidimensionales Solarzellenprüfsystem
DE102017116758A1 (de) * 2016-07-25 2018-01-25 Chromasens Gmbh Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0663743B2 (ja) 1989-05-23 1994-08-22 日本電装株式会社 位置測定装置
JP2714277B2 (ja) 1991-07-25 1998-02-16 株式会社東芝 リード形状計測装置
SG138491A1 (en) * 2006-06-21 2008-01-28 Generic Power Pte Ltd Method and apparatus for 3-dimensional vision and inspection of ball and like protrusions of electronic components
JP2013069100A (ja) * 2011-09-22 2013-04-18 Dainippon Screen Mfg Co Ltd 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体
JP2016192138A (ja) * 2015-03-31 2016-11-10 株式会社オートネットワーク技術研究所 ワイヤーハーネスの製造方法および画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04191607A (ja) * 1990-11-26 1992-07-09 Toshiba Corp ３次元計測方法
JPH08201041A (ja) * 1995-01-26 1996-08-09 Matsushita Electric Works Ltd ３次元形状の認識方法
JP2000346617A (ja) * 1999-06-08 2000-12-15 Minolta Co Ltd ３次元形状データ処理装置
JP2009300124A (ja) * 2008-06-10 2009-12-24 Keyence Corp 画像計測装置、画像計測方法及びコンピュータプログラム
DE112010003742T5 (de) * 2009-09-22 2013-06-06 Cyberoptics Corporation Hochschnelles, hochauflösendes, dreidimensionales Solarzellenprüfsystem
JP2012037929A (ja) * 2010-08-03 2012-02-23 Nippon Hoso Kyokai <Nhk> ３次元形状取得装置および３次元形状取得プログラム
DE102017116758A1 (de) * 2016-07-25 2018-01-25 Chromasens Gmbh Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera

Also Published As

Publication number Publication date
EP3779355A4 (en) 2021-12-01
EP3779355A1 (en) 2021-02-17
WO2019188198A1 (ja) 2019-10-03
TW201942540A (zh) 2019-11-01
US20210025698A1 (en) 2021-01-28
KR20200137003A (ko) 2020-12-08
JPWO2019188198A1 (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
US10508902B2 (en) Three-dimensional measurement device
US20240118218A1 (en) Stroboscopic stepped illumination defect detection system
US7545512B2 (en) Method for automated measurement of three-dimensional shape of circuit boards
US10262431B2 (en) Three-dimensional measurement device
KR101692115B1 (ko) 검사 장치 및 검사 방법
US20120092488A1 (en) Precision solder resist registration inspection method
JP5342413B2 (ja) 画像処理方法
JP6791631B2 (ja) 画像生成方法及び検査装置
KR20160108644A (ko) 디바이스 결함 검출장치
JP2019002928A (ja) 画像取得装置及び方法
JP2020112367A (ja) ウェハ検査装置
JP2011516860A (ja) 多重化画像を取得し、そして処理する方法及び装置
JP5336325B2 (ja) 画像処理方法
CN111919086A (zh) 线状物的三维测量装置和线状物的三维测量方法
CN111033566B (zh) 用于对航空零件进行无损检查的方法及其系统
CN115809984A (zh) 利用颜色通道的工件检查和缺陷检测系统
EP3062516B1 (en) Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium
JP7306620B2 (ja) 表面欠陥検査装置及び表面欠陥検査方法
KR101996486B1 (ko) 순차적 조명을 이용한 비전검사 장비
JP7159159B2 (ja) 線状物の３次元計測方法および装置
JP2011075311A (ja) 画像処理方法
KR100605027B1 (ko) 카메라 또는 검사 대상의 이동 중 영상 획득에 의한영상검사방법 및 영상검사장치
So et al. 3DComplete: Efficient completeness inspection using a 2.5 D color scanner
JP7312663B2 (ja) 線状物の作業位置決定方法、ロボットの制御方法、線状物の固定方法、線状物の作業位置決定装置および線状物把持システム
US20230252637A1 (en) System and method for improving image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201110