CN104677911B - 用于机器视觉检验的检验设备和方法 - Google Patents
用于机器视觉检验的检验设备和方法 Download PDFInfo
- Publication number
- CN104677911B CN104677911B CN201310737172.2A CN201310737172A CN104677911B CN 104677911 B CN104677911 B CN 104677911B CN 201310737172 A CN201310737172 A CN 201310737172A CN 104677911 B CN104677911 B CN 104677911B
- Authority
- CN
- China
- Prior art keywords
- information
- instant
- dimensional
- target object
- visual machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000007689 inspection Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 46
- 238000003860 storage Methods 0.000 claims description 17
- 230000007547 defect Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 2
- 239000011800 void material Substances 0.000 claims 1
- 238000004891 communication Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种用于视觉机器检验的检验设备和方法。用于视觉机器检验的方法包括提供由影像撷取系统获取的目标的深度资讯,根据由影像撷取系统获取的至少一个即时图像的深度资讯来确定预定检验区域中的目标物体的即时三维资讯。所述方法更包括根据所述即时三维资讯来将所述目标物体的即时彩色图像的彩色像素资讯投影到三维虚拟模型。所述即时彩色图像可由彩色相机系统获取。所述方法更包括产生彩色三维虚拟模型。所述彩色三维虚拟模型可包括所述彩色像素资讯。
Description
技术领域
本发明是有关于一种检验设备和方法,且特别是有关于一种使用三维资讯来检验目标物体的机器视觉检验设备和方法。
背景技术
在过去二、三十年中,机器视觉的使用增加,并且机器视觉在自动化制造系统的设计中扮演重要的角色。例如印刷电路板(printed circuit board,PCB)、集成电路、液晶显示器(liquid crystal display,LCD)、电晶体、汽车零件、农业机器以及在工厂中制造的其它产品等各种各样产品可能需要在生产过程期间进行检验。不恰当地制造的元件可能会对含有所述不恰当地制造的元件的系统造成广泛损坏、致使全部或至少部分无用、无效或至少不能充分起作用或者以其它方式损害所述系统。因此,归因于与功能故障相关联的高成本而需要在使用之前确保所有元件都是恰当地制造的。机器视觉系统已用于对产品进行品质控制,例如,通过识别产品的缺陷(例如,元件缺失、元件歪斜、元件颠倒、元件不正确地放置或元件标值错误)来进行。物体的放置和旋转的变化能够导致位置误差和/或失真误差并且对检测和准确性产生负面影响。并且,同一生产线上的不同物体的变化能够对检测和准确性产生负面影响。需要迅速地检测和分析物体并且快速地评估物体的正确组装。因此,需要改进的机器视觉系统。
发明内容
通过所付出的努力、独创性和创新性,已实现用以改进机器视觉系统的方案并且在本文中对其进行描述。本文中描述检验设备、方法和非暂时性电脑程序产品,其提供改进的机器视觉系统,例如,包含目标物体的即时三维资讯连同彩色像素资讯,并且进而经配置以识别目标物体的缺陷(例如在预定检验区域中并且例如识别目标物体的不恰当制造)。本发明的实施例将根据立体二维图像的特征和物体与三维深度和位置资讯进行组合以实现对物体的迅速检测和分析。
根据本发明的一实施例,提供一种方法。所述方法包括根据由影像撷取系统获取的至少一个即时图像的深度资讯来确定预定检验区域中的目标物体的即时三维资讯。所述方法更包括根据即时三维资讯来将目标物体的即时彩色图像的彩色像素资讯投影到三维虚拟模型。即时彩色图像可由彩色相机系统获取。所述方法更包括产生彩色三维虚拟模型。彩色三维虚拟模型可包括彩色像素资讯。
根据本发明的一实施例,提供一种用于视觉机器检验的设备。所述设备包括处理器。处理器经配置以接收由影像撷取系统获取的目标的深度资讯,并且根据物体的深度资讯来确定预定检验区域中的目标物体的即时三维资讯。处理器经进一步配置以接收由彩色相机系统获取的目标的至少一个即时彩色图像,并且根据即时三维资讯和即时彩色图像来将目标物体的即时彩色图像的彩色像素资讯投影到三维虚拟模型。处理器经进一步配置以产生彩色三维虚拟模型。彩色三维虚拟模型包括彩色像素资讯。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1A绘示根据本发明一实施例的视觉机器系统的示意图。
图1B绘示根据本发明一实施例的视觉机器系统的方块图。
图1C和图1D绘示根据本发明一实施例,于视觉机器系统中检验区域的子区域的示意图。
图2绘示根据本发明一实施例的识别目标物体缺陷的流程图。
图3绘示根据本发明实施例的电路示意图。
其中,附图标记:
100:视觉机器系统 102:影像撷取系统
104:彩色相机系统
106:视觉机器设备
108:目标物体
110:预定检验区域
112:第一子区域
114:第二子区域
116:区域
300:电路
302:处理器
304:记忆体
306:通信模块
308:输入/输出模块
310:机器视觉模块
S202~S218:步骤
具体实施方式
下文将参考附图更全面地描述本发明,附图中绘示了本发明的实施例。然而,本发明可依照许多不同形式实现,且不应视为限于本文中所阐述的实施例;而是,提供这些实施例以使得本发明更为详尽且完整,且这些实施例将向所属领域的技术人员全面传达本发明的范围。本文可参考许多数学或数字运算式、值以及各种元件等的位置。然而应理解,这些运算式、值、位置等可指绝对或近似运算式、值或位置,以使得实施例可包含在多通道光学单元中可能发生的变化,例如归因于工程误差而引起的变化。下文中,相同或相似的标号代表相同或相似的元件。
本文中实施例所公开的任何内容包含特征、功能、设计等,并不应解释为比其它特征、功能、设计等较为优选或有利。而仅是用以具体呈现本案的概念。
图1A说明根据本发明一实施例的视觉机器系统100的示意图。视觉机器系统100可包括影像撷取系统102、彩色相机系统104和视觉机器设备106。图1B绘示根据本发明一实施例的视觉机器系统100的方块图,其中视觉机器系统100包括影像撷取系统102、彩色相机系统104和视觉机器设备106。
本发明的实施例可至少使用相机来获得关于目标物体的深度资讯并且计算目标物体的定位(例如,位置)和方位,例如使用关于相机的已知相对关系和相机参数来计算目标物体与相机之间的空间关系。并且,本发明的实施例可至少使用相机来获得关于目标物体的彩色资讯,并且根据彩色相机和彩色资讯与目标物体之间的所计算的空间关系,将彩色资讯投影到目标物体的三维资讯上。彩色资讯可包括灰阶资讯。可使用目标物体的这些即时三维资讯,迅速检测目标物体或多个不同目标物体(例如,同一生产线上的多个不同目标物体),并且进而减少归因于由目标物体的位置和定向造成的放置和视角失真所产生的误差,举例来说,这些资讯可有效适应目标物体的放置和旋转角度的变化,以便转换和/或校正机器视觉检验的位置偏移、观看角度和维度视角。另外,使用多角度检测和视角失真校正可进一步改进本发明的机器视觉检验。
参看图1A和图1B,影像撷取系统102可包括一个或一个以上影像撷取相机,其在相同或不同时间从不同视点并且通过一个或一个以上感测器来撷取目标物体(例如,目标物体108)的一个或一个以上即时图像,例如,经由电荷耦合装置(charged-coupled-device,CCD)图像感测器、飞行时间(time-of-flight)感测器和/或激光感测器(例如,激光三角测量感测器)来撷取影像。可将每一影像撷取相机或系统相对于目标物体的位置提供给视觉机器设备106。为了比较和/或整合从不同测量获得的即时图像并且将不同即时图像变换为一个座标系统,可使用所述至少一个即时图像和至少一个参考图像,例如,分别在图2的流程图中的步骤S202和S204处提供的即时图像和参考图像。可预先撷取或由电脑产生所述参考图像,并且将其存储在视觉机器设备106能够存取的电脑可读存储媒体中。在接收到所述至少一个参考图像和所述至少一个即时图像后,影像撷取系统102可在步骤S206处执行图像对齐过程。在图像对齐过程期间,可将即时图像在几何上与参考图像对准。举例来说,图像对齐过程可为根据区域以比较图像中的图案的过程。此外,图像对齐过程也可为根据特征以找出图像间相对应的特征(例如点、线和/或区)。在使用根据特征的过程的例子(例如,尺度不变特征变换(scale invariant feature transform,SIFT)方法)中,可检测并提取即时图像中的即时特征。接着可在映射(mapping)过程中将即时特征与参考图像中的对应点、线和/或区的参考特征进行比较。随后可应用随机取样一致性(random samplingconsensus,RANSAC)过程来消除不正确地映射的特征。接着可在步骤S208处获取并计算即时三维资讯(例如,即时图像中的深度资讯),例如,通过对准即时图像中的许多即时特征来获取并计算。还可使用其它方法来获取即时三维资讯。举例来说,影像撷取系统102可通过将激光线投影到目标物体上并且测量激光线中的位移或者通过测量光从目标物体到感测器的反射来获取即时三维资讯。同样,影像撷取系统102可通过将激光图案投影到目标物体上并且计算所述图案的失真来获取即时三维资讯。
参看图1A和图1B,影像撷取系统102可将所述至少一个即时图像的即时三维资讯(例如,深度资讯)提供给视觉机器设备106。视觉机器设备106可在步骤S212处使用所述至少一个即时图像的即时三维资讯以及参考图像的预先计算并存储的参考三维资讯来确定目标物体108的即时三维资讯(例如,在预定检验区域110中)。目标物体108的即时三维资讯可包括位置资讯,例如,分别在X轴、Y轴和Z轴上的x、y、z。所述三维资讯还可包括定向资讯,例如,关于所述轴中的其中之一的方位角φ或倾斜角θ。目标物体108的即时三维资讯可为相对于影像撷取系统102的位置。可通过使即时图像与参考图像之间的差异减到最小来找到x、y、z、φ和θ的最佳解。即时图像与参考图像之间的最小三维资讯差异的引数值可由
argmin表示,其中n是特征的数目,i是第i个特征,是即时图像的即时三维资讯,是参考图像的参考三维资讯,并且m(x)是目标物体108的即时三维资讯。
彩色相机系统104可包括至少一个彩色相机,包括一个或一个以上感测器,例如,彩色图像感测器,其可为(例如)具有RGB彩色滤光片阵列(color filter array,CFA)的拜尔感测器、FOVEON X3TMCMOS感测器,或使用三个分离的彩色图像感测器,例如,三电荷耦合装置(3CCD)图像感测器。彩色相机系统104的至少一个彩色相机相对于影像撷取系统102的至少一个影像撷取相机的位置可为固定且预定的。位置资讯可提供给视觉机器设备106。视觉机器设备106可根据(例如)由影像撷取系统102提供的深度资讯来确定目标物体108相对于影像撷取系统102的至少一个撷取相机的三维资讯。当影像撷取系统102的至少一个影像撷取相机与彩色相机系统104的至少一个彩色相机之间的相对位置预定时,视觉机器设备106可根据目标物体108的深度资讯和彩色相机系统104的至少一个彩色相机相对于影像撷取系统102的至少一个影像撷取相机的位置来确定目标物体108相对于彩色相机系统104的至少一个彩色相机的位置和/或方位。
彩色相机系统104可撷取预定检验区域110中的即时图像中的彩色像素资讯,并且将所述彩色像素资讯提供给视觉机器设备106。根据彩色相机系统104的至少一个彩色相机相对于目标物体108的位置,视觉机器设备106可在步骤S214处将彩色像素资讯投影到三维虚拟模型上以产生具有所述彩色像素资讯的彩色三维虚拟模型。所述三维虚拟模型可为由影像撷取系统102提供的即时三维虚拟模型、由影像撷取系统102预先提供的参考三维虚拟模型,或例如由三维扫描器提供并且存储在视觉机器设备106能够存取的电脑可读存储媒体中的预定三维虚拟模型。或者,所述三维虚拟模型可为由影像撷取系统102提供的即时三维虚拟模型、由影像撷取系统102预先提供的参考三维虚拟模型和预定三维虚拟模型中的至少两者的组合所产生并且存储在视觉机器设备106能够存取的电脑可读存储媒体中的三维虚拟模型。
视觉机器设备106可接着进行分析来找出彩色三维虚拟模型与参考模型之间的对应或对应缺失,以识别预定检验区域110中的彩色像素资讯的相似性和/或差异。参考模型可为参考彩色图像或参考彩色三维模型。如图1A所示,检验区域110可包括如下文所描述的图1C的正视图所示的第一子区域112,以及如下文所描述的图1D的正视图所示的第二子区域114。在将第一子区域112中的彩色像素资讯与参考模型进行比较之后,视觉机器设备106可确定第一子区域112中的彩色像素资讯与其对应参考区域的资讯相似或相同,或者至少在超出预定义的门槛比较值的程度上相似或相同。因此,在第一子区域112中,未检测到缺陷。相比之下,视觉机器设备106可发现,在第二子区域114与其对应参考模型之间存在彩色像素资讯差异。举例来说,可根据彩色三维虚拟模型中的第二子区域114中的彩色像素资讯与参考模型中的对应区域中的资讯之间的比较而发现在第二子区域114中的区域116中不存在来自针对目标物体108的元件的参考模型的预期色彩。
视觉机器设备106可在步骤S216处将彩色三维虚拟模型的视点改变为预定视点。举例来说,如图1C和图1D所示,视觉机器设备106可将检验区域108的视点旋转到图1C中的第一子区域112的正视图和图1D中的第二子区域114的正视图。视觉机器设备106可接着在步骤S218处根据以上所进行的比较来识别区域116中的锁定机构可能丢失(例如,根据在区域116处从参考模型预期的元件),如可由视觉机器设备106通过关于参考模型和参考模型的对应元件对彩色像素资讯和/或位置资讯进行数据库查找来确定。
视觉机器设备106可包含经配置以执行本文中所描述的一些或所有功能和过程的电路、联网处理器等,并且可为任何合适的处理装置。在一些实施例中,视觉机器设备106可相对于影像撷取系统102和/或彩色相机系统104作为“云端处理”(cloud computing)。在这种意义上,视觉机器设备106可包含一个或一个以上连网处理装置,其执行互连和/或分散的功能。为了避免不必要地使本发明过度复杂化,本文中将视觉机器设备106绘示并描述为单个处理装置。
图3绘示根据本发明一实施例的电路300示意方块图,其中的一些或全部可包含在视觉机器系统100、视觉机器设备106、影像撷取系统102和/或彩色相机系统104中。根据一些实施例,电路300可包含各种元件,例如,一个或一个以上处理器302、记忆体304、通信模块306和/或输入/输出模块308。
在一些实施例中,例如当电路300包含在视觉机器设备106中时,还可包含机器视觉模块310或者改为包含机器视觉模块310连同处理器302。如本文中所提及,“模块”包含经配置以执行一个或一个以上特定功能的硬件、软件和/或固件。就这来说,如本文中所描述的电路300的构件可体现为(例如)电路、硬件元件(例如,经合适地程序设计的处理器、组合逻辑电路、集成电路等)、能够由经合适地配置的处理装置(例如,处理器302)执行的包括存储于非暂时性电脑可读媒体(例如,记忆体304)上的电脑可读程序指令的电脑程序产品或其某种组合。
处理器302可(例如)体现为各种处理构件,包含具有附随数字信号处理器的一个或一个以上微处理器、没有附随数字信号处理器的一个或一个以上处理器、一个或一个以上辅助处理器、一个或一个以上多核心处理器、一个或一个以上控制器、处理电路、一个或一个以上电脑、包含例如特定应用集成电路(application specific integratedcircuit,ASIC)或现场可程序门阵列(field programmable gate array,FPGA)等集成电路的各种其它处理元件,或其某种组合。因此,尽管在图2中说明为单个处理器,但在一些实施例中,处理器302可包括多个处理构件。所述多个处理构件可体现在单个计算装置上或者可分布在共同配置以充当电路300的多个计算装置上。所述多个处理构件可彼此操作性地连通,并且可共同配置以执行如本文所描述的电路300的一个或一个以上功能性。在一个实例实施例中,处理器302可经配置以执行存储在记忆体304中或处理器302能够以其它方式存取的指令。这些指令在由处理器302执行时可使电路300执行本文所描述的功能中的其中之一或更多。
无论通过硬件、固件/软件方法还是通过其组合来配置,处理器302可包括能够在相应地进行配置的同时执行根据本发明的实施例的操作的实体。因此,举例来说,当处理器302体现为ASIC、FPGA等时,处理器302可包括用于进行本文所描述的一个或一个以上操作的经特殊配置的硬件。作为另一实例,当处理器302可体现为例如可存储在记忆体304中的指令的执行器时,所述指令可对处理器302进行特殊配置以执行本文所描述的一个或一个以上演算法、方法、操作或功能。举例来说,处理器302可经配置以确定目标物体的即时三维资讯,将彩色像素资讯投影到目标物体的三维虚拟模型上,改变目标物体的三维虚拟模型的视点,或者根据参考模型来识别目标物体的缺陷,等等。
记忆体304可包括(例如)挥发性记忆体、非挥发性记忆体或其某种组合。虽然在图3中说明为单个记忆体,但记忆体304可包括多个记忆体组件。所述多个记忆体元件可体现在单个计算组件上或分布在多个计算组件上。在各种实施例中,记忆体304可包括(例如)硬盘、随机存取记忆体、高速缓冲记忆体、快闪记忆体、压缩光盘只读记忆体(CD-ROM)、固态记忆体、数字通用光盘只读记忆体(DVD-ROM)、光盘、经配置以存储资讯的电路、集成电路、化学/生物记忆体或其某种组合。记忆体304可经配置以存储资讯、数据、应用程序、指令等以用于使电路300能够实行根据本文所论述的实施例的各种功能。举例来说,在至少一些实施例中,记忆体304可经配置以缓冲用于由处理器302处理的输入数据。此外,在至少一些实施例中,记忆体304可经配置以存储用于由处理器302执行的程序指令和/或用于由处理器302处理的数据。记忆体304可存储呈静态和/或动态资讯形式的资讯。这个所存储的资讯可由电路300在执行其功能性的过程期间存储和/或使用。
通信模块306可实现为经配置以从另一装置(例如,第二电路300等)接收数据和/或将数据传输到另一装置(例如,第二电路300等)的任何通信元件或构件,其以电路、硬件、包括存储于电脑可读媒体(例如,记忆体304)上且由处理装置(例如,处理器302)执行的电脑可读程序指令的电脑程序产品或其组合来体现。在一些实施例中,通信模块306(如本文中所论述的其它元件)可至少部分地体现为处理器302或者另外由处理器302控制。就这来说,通信模块306可例如经由总线来与处理器302通信。通信模块306可包含(例如)天线、发射器、接收器、收发器、网路接口卡和/或支援硬件,和/或用于实现通信的固件/软件。通信模块306可经配置以使用可用于通信的任何协议来接收和/或传输可由记忆体304存储的任何数据。通信模块306可另外和/或例如经由总线来与记忆体304、输入/输出模块308和/或电路300的任何其它元件通信。通信模块306可经配置以使用一个或一个以上通信协定,例如,短消息服务(short messaging service,SMS)、Wi-Fi(例如,802.11协定、蓝牙等)、射频系统(例如,900兆赫、1.4千兆赫和5.6千兆赫通信系统)、红外线、GSM、GSM加EDGE、CDMA、四频(quadband)和其它蜂窝式协议、VOIP,或任何其它合适的协议。
输入/输出模块308可与处理器302通信以接收输入的指示和/或提供可听、视觉、机械或其它输出。在这个意义上,输入/输出模块308可包含用于实施模拟-数字(analog-to-digital)和/或数字-模拟(digital-to-analog)数据转换的构件。输入/输出模块308可包含(例如)对显示器、触控式屏幕、键盘、按钮、点击转轮、滑鼠、操纵杆、影像撷取装置、麦克风、扬声器、生物扫描器和/或其它输入/输出机构的支持。与电路300应用在经设计以用于多个用户交互使用的终端使用者机器或其它类型的装置的实施例相比,于电路300应用在服务器或数据库的实施例中,输入/输出模块308的数量较少。在一些实施例(如本文中所论述的其它元件)中,可甚至从电路300中消除输入/输出模块308。或者,例如在电路300应用于服务器或数据库的实施例中,至少一些输入/输出模块308被应用为由使用者使用以与电路300通信的设备。输入/输出模块308可例如经由总线来与记忆体304、通信模块306和/或任何其它元件通信。虽然可在电路300中包含一个以上输入/输出模块和/或其它元件,但在图3中仅绘示一个以避免使本发明(例如,如本文中所论述的其它元件)过度复杂化。
在一些实施例中,还可包含或者改为包含机器视觉模块310,其经配置以执行与确定目标物体的即时三维资讯、将彩色像素资讯投影到目标物体的三维虚拟模型上、改变目标物体的三维虚拟模型的视点或根据参考模型来识别目标物体的缺陷等等相关的本文所论述的功能性。在一些实施例中,机器视觉模块310的一些或所有功能性可由处理器302执行。就这来说,本文所论述的实例过程可由至少一个处理器302和/或机器视觉模块310来执行。举例来说,非暂时性电脑可读存储媒体可经配置以存储固件、一个或一个以上应用程序和/或其它软件,其包含可经执行以控制系统300的元件的处理器来实施各种操作(包含本文所示的实例)的指令和其它电脑可读程序码部分。因而,一系列电脑可读程序码部分可在一个或一个以上电脑程序产品中体现,并且可与装置、服务器、数据库和/或其它可程序设计设备一起使用以产生本文所论述的机器实施过程。
可将任何此类电脑程序指令和/或其它类型的代码载入到电脑、处理器和/或其它可程序设计设备的电路上以产生机器,使得执行所述代码的电脑、处理器或其它可程序设计电路可为用于实施各种功能(包含本文所描述的那些功能)的构件。在一些实施例中,还可利用一个或一个以上外部系统(例如,远端云计算和/或数据存储系统)来提供本文所论述的功能性中的至少一些。
如上文所描述并且如根据本发明将了解,各种实施例可实施为方法、媒体、装置、服务器、数据库、系统等。因而,实施例可包括各种形式,包含完全硬件或软件与硬件的任何组合。此外,实施例可采用在至少一个非暂时性电脑可读存储媒体上的电脑程序产品的形式,所述存储媒体中体现有电脑可读程序指令(例如,电脑软件)。可利用任何合适的电脑可读存储媒体,包含非暂时性硬盘、CD/DVD-ROM、快闪记忆体、光学存储装置、量子存储装置、化学存储装置、生物存储装置、磁性存储装置等。
上文已参考例如功能模块、系统元件和电路等元件来描述实施例。下文是对流程图的论述,所述流程图描述可由上文所论述的一个或一个以上元件及/或构件和/或其它经合适配置的电路实施的功能性。
根据本发明的实施例,视觉机器设备106大体上在电脑程序的控制下操作。用于执行本发明实施例的方法的电脑程序可包含一个或一个以上电脑可读程序码部分,例如一系列电脑指令,其被体现或以其它方式存储在电脑可读存储媒体(例如,非挥发性存储媒体)上。
图2是绘示根据本发明实施例的方法、系统和电脑程序的过程和控制的流程图。流程图的每一方块或步骤以及流程图中的方块或步骤的组合可由各种构件(例如,单独的或与固件组合的硬件,和/或包含一个或一个以上电脑程序指令的软件)来实施。此外,可将任何此类电脑程序指令载入到电脑、专用电脑或其它可程序设计数据处理设备(例如,处理器302)上,使得电脑程序产品包含在电脑或其它可程序设计数据处理设备(例如,硬件)上执行以创建用于实施本文中所描述的功能(例如,图2的流程图的方块或步骤中所指定的功能)的构件的指令。
这些电脑程序指令还可存储在电脑可读存储装置(例如,记忆体304)中,所述存储装置可指导电脑或其它可程序设计数据处理设备以特定方式起作用,使得存储在电脑可读存储装置中的指令产生包含用于实施本文所描述的功能(例如,图2的流程图的方块或步骤中所指定的功能)的指令电脑可读指令的制品。还可将电脑程序指令载入到电脑或其它可程序设计数据处理设备上以使在电脑或其它可程序设计设备上执行一系列操作步骤以便产生电脑实施过程,使得在电脑或其它可程序设计设备上执行的指令提供用于实施本文中所描述的功能(例如,图2的流程图的方块或步骤中所指定的功能)的步骤。
因而,所述流程图的方块或步骤支援用于执行和/或实施所指定的功能的构件和构件组合、用于执行和/或实施所指定的功能的步骤的组合和用于执行和/或实施所指定的功能的程序指令构件。此外,所述流程图的一个或一个以上方块或步骤以及所述流程图中的方块或步骤的组合可由执行所指定的功能或步骤的基于专用硬件的电脑系统或者专用硬件与电脑指令的组合来实施。
虽然本发明已以实施例公开如上,但其并非用以限定本发明,任何所属技术领域的技术人员,在不脱离本发明的精神和范围内,当可作些许的更动与修改,故本发明的保护范围当视后附的权利要求书保护范围所界定者为准。
Claims (14)
1.一种用于视觉机器检验的检验方法,其特征在于,包括:
提供由影像撷取系统获取的目标的深度资讯;
根据至少一个即时图像的该深度资讯来确定预定检验区域中的目标物体的即时三维资讯,该即时三维资讯为该目标相对于该影像撷取系统的位置;
根据该即时三维资讯来将该目标物体的即时彩色图像的彩色像素资讯投影到三维虚拟模型,该即时彩色图像是由彩色相机系统获取的;以及
产生彩色三维虚拟模型,其中该彩色三维虚拟模型包括该彩色像素资讯。
2.如权利要求1所述的用于视觉机器检验的检验方法,其特征在于,还包括将该三维虚拟模型的视点改变为预定视点。
3.如权利要求1所述的用于视觉机器检验的检验方法,其特征在于,还包括根据参考模型来识别该预定检验区域中的该目标物体的缺陷。
4.如权利要求1所述的用于视觉机器检验的检验方法,其特征在于,还包括提供由该影像撷取系统获得的该目标物体的即时三维虚拟模型、由该影像撷取系统获得的该目标物体的预定三维虚拟模型和由三维扫描器获得的该目标物体的预定三维虚拟模型中的其中之一。
5.如权利要求1所述的用于视觉机器检验的检验方法,其特征在于,还包括将该预定检验区域中的该目标物体的组装资讯与该对应检验区域中的参考模型组装资讯进行比较以识别组装缺陷。
6.如权利要求1所述的用于视觉机器检验的检验方法,其特征在于,还包括获取该影像撷取系统的位置和视点。
7.如权利要求1所述的用于视觉机器检验的检验方法,其特征在于,还包括提供该预定检验区域中的该目标物体的多个参考图像并且将该参考图像存储在电脑可读存储媒体中。
8.如权利要求1所述的用于视觉机器检验的检验方法,其特征在于,还包括将该即时三维资讯提供给该彩色相机系统以获取该彩色相机相对于该目标物体的位置资讯。
9.一种用于视觉机器检验的设备,其特征在于包括:
处理器,经配置以:
接收由影像撷取系统获取的目标的深度资讯;
根据该目标的该深度资讯来确定预定检验区域中的目标物体的即时三维资讯,该即时三维资讯为该目标相对于该影像撷取系统的位置;
接收由彩色相机系统获取的该目标的至少一个即时彩色图像;
根据该即时三维资讯和该即时彩色图像来将该目标的该至少一个即时彩色图像中的其中之一的彩色像素资讯投影到三维虚拟模型;以及
产生彩色三维虚拟模型,其中该彩色三维虚拟模型包括该彩色像素资讯。
10.如权利要求9所述的用于视觉机器检验的设备,其特征在于,该处理器经配置以将该三维虚拟模型的视点改变为预定视点。
11.如权利要求9所述的用于视觉机器检验的设备,其特征在于,该处理器经配置以根据参考模型来识别该预定检验区域中的该目标物体的缺陷。
12.如权利要求9所述的用于视觉机器检验的设备,其特征在于,该处理器经配置以将该预定检验区域中的该目标物体的组装资讯与该对应检验区域中的参考模型组装资讯进行比较以识别组装缺陷。
13.如权利要求9所述的用于视觉机器检验的设备,其特征在于,该处理器经配置以获取该影像撷取系统的位置和视点。
14.如权利要求9所述的用于视觉机器检验的设备,其特征在于,还包括存储媒体以存储该预定检验区域的多个参考图像。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/092,146 US9747680B2 (en) | 2013-11-27 | 2013-11-27 | Inspection apparatus, method, and computer program product for machine vision inspection |
US14/092,146 | 2013-11-27 | ||
TW102147210A TWI528028B (zh) | 2013-11-27 | 2013-12-19 | 用於機器視覺檢驗的檢驗設備、方法和電腦程式產品 |
TW102147210 | 2013-12-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104677911A CN104677911A (zh) | 2015-06-03 |
CN104677911B true CN104677911B (zh) | 2017-10-03 |
Family
ID=53313259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310737172.2A Active CN104677911B (zh) | 2013-11-27 | 2013-12-27 | 用于机器视觉检验的检验设备和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104677911B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105277569B (zh) * | 2015-11-26 | 2018-11-27 | 凌云光技术集团有限责任公司 | 基于三维特征的线路板检测方法 |
CN105510348B (zh) * | 2015-12-31 | 2019-03-08 | 南京协辰电子科技有限公司 | 一种印制电路板的缺陷检测方法、装置及检测设备 |
CN109239100B (zh) * | 2018-10-24 | 2024-04-02 | 东莞市乐琪光电科技有限公司 | 锂电池表面检测设备 |
DE102018219169A1 (de) | 2018-11-09 | 2020-05-14 | Phoenix Contact Gmbh & Co. Kg | Vorrichtung und Verfahren zum Prüfen einer Bedruckung eines Artikels |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8396329B2 (en) * | 2004-12-23 | 2013-03-12 | General Electric Company | System and method for object measurement |
EP2251832A1 (en) * | 2009-05-14 | 2010-11-17 | Alcatel Lucent | Method for generating a 3-dimensional model of an object |
CN102486462B (zh) * | 2010-12-03 | 2014-04-09 | 中国科学院沈阳自动化研究所 | 一种合金固件内部缺陷三维重建方法 |
US9270974B2 (en) * | 2011-07-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Calibration between depth and color sensors for depth cameras |
US8781209B2 (en) * | 2011-11-03 | 2014-07-15 | United Technologies Corporation | System and method for data-driven automated borescope inspection |
-
2013
- 2013-12-27 CN CN201310737172.2A patent/CN104677911B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN104677911A (zh) | 2015-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI528028B (zh) | 用於機器視覺檢驗的檢驗設備、方法和電腦程式產品 | |
CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
KR102487546B1 (ko) | 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 | |
CN106595528B (zh) | 一种基于数字散斑的远心显微双目立体视觉测量方法 | |
US9529945B2 (en) | Robot simulation system which simulates takeout process of workpieces | |
CN111815719B (zh) | 图像采集设备的外参数标定方法、装置、设备及存储介质 | |
CN107223269B (zh) | 三维场景定位方法和装置 | |
JP5396484B2 (ja) | 植物の葉片の成長を測定するための方法およびそれに適した装置 | |
EP2339292A1 (en) | Three-dimensional measurement apparatus and method thereof | |
CN106548489A (zh) | 一种深度图像与彩色图像的配准方法、三维图像采集装置 | |
CN104677911B (zh) | 用于机器视觉检验的检验设备和方法 | |
CN102376089A (zh) | 一种标靶校正方法及系统 | |
CN109961485A (zh) | 一种基于单目视觉进行目标定位的方法 | |
CN109272555B (zh) | 一种rgb-d相机的外部参数获得及标定方法 | |
CN111862180A (zh) | 一种相机组位姿获取方法、装置、存储介质及电子设备 | |
CN113034612B (zh) | 一种标定装置、方法及深度相机 | |
Mikhelson et al. | Automatic, fast, online calibration between depth and color cameras | |
CN113124763B (zh) | 光轴检测系统的光轴标定方法、装置、终端、系统和介质 | |
CN114299156A (zh) | 无重叠区域下多相机的标定与坐标统一方法 | |
CN102881040A (zh) | 一种数码相机移动拍摄三维重建方法 | |
GB2569609A (en) | Method and device for digital 3D reconstruction | |
CN109978926B (zh) | 一种图像自动融合方法、装置及终端设备 | |
Marcon et al. | Multicamera rig calibration by double‐sided thick checkerboard | |
JP2015203597A (ja) | 情報処理装置、情報処理方法、プログラム | |
CN112648936A (zh) | 基于差分投影的立体视觉检测方法及检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |