CN107889522A - 对象多视角检测设备及其方法 - Google Patents

Abstract

因此，本发明的目的是提供一种对象多视角检测设备(1)及其方法。该设备(1)包括图像捕获装置(10)；检测平台(11)和至少两个反射装置(12)，该至少两个反射装置被布置成用于同时向图像捕获装置(10)反射位于该检测平台(11)中的对象的至少两个不同的侧面图像；其中：图像捕获装置(10)具有包括所反射的该至少两个不同侧面图像的视场。通过将反射装置(12)引入到检测设备(1)中，以使图像捕获装置(10)能够一次“看见”来自多个视图的部分，在不需要对于每个表面重新定位反射装置(12)、相机(10)和/或对象的情况下，可以在一个图像帧中一次检测多个表面。在相机的视场中放置了多于一个的反射装置(12)，以通过开拓任何给定的立体对象的其他隐藏表面来协助检测过程。这减少了从多个侧检测每个部分的工作量。因此，可以减少检测节拍时间并且可以在多表面的水平上进行检测，从而提高整体质量。

Description

对象多视角检测设备及其方法

技术领域

本发明涉及利用光学手段研究和分析对象，更具体地，涉及用于通过光学手段从多视角检测对象的设备及其方法。

背景技术

基于视觉的外观检测通常用于质量控制、数据采集和数据分析。这是一个重要的商业功能，其可以用于例如从3C产业的生产/制造/装配过程中可视地区分有瑕疵和无瑕疵的产品。

传统的方法是对产品样品的多个表面逐个地分析，这最终花费很长时间。考虑到任何特定的生产过程的生产率是确定的，只能够检测少量的样品。换句话说，一些有缺陷的产品可能在没有检测的情况下而被识别为无瑕疵并且到达生产线的末端。因此，操作人员必须在生产率与产品质量率之间做出妥协。例如，在专利US 20080239301 A1中公开了一种基于视觉的外观检测设备，其使用观察光学系统、第一镜子和两个第二镜子来从多个视角对对象进行基于视觉的检测。通过使第一镜子与观察光学系统一体地移动的同时使第一镜子旋转，来观察诸如晶片等对象的侧表面。此外，可以通过使第一镜子和两个第二镜子与观察光学系统一体地移动和旋转来获得顶表面和底表面的视图。因此，必须将检测的节拍时间设定的足够长，以允许用于多视角检测的镜子完成重新定位，这降低了检测率。

发明内容

因此，本发明的目的是提供一种对象多视角检测设备，包括：图像捕获装置；检测平台和至少两个反射装置，该至少两个反射装置被布置成用于同时向图像捕获装置反射位于该检测平台中的对象的至少两个不同的侧面图像；其中：图像捕获装置具有包括所反射的该至少两个不同侧面图像的视场。

根据本发明的另一个方面，提供了一种对象检测的方法，包括：同时反射对象的至少两个不同的侧面图像；捕获所反射的该至少两个不同侧面图像的图像；并且将所捕获的无缺陷的对象的视图的图像与正在检测的对象的视图的图像进行比较。

通过将反射装置引入到检测设备中，以使图像捕获装置能够一次“看见”来自多个视图的部分，在不需要对于每个表面重新定位反射装置、相机和/或对象的情况下，可以在一个图像帧中一次检测多个表面。在相机的视场中放置了多于一个的反射装置，以通过开拓任何给定的立体对象的其他隐藏表面来协助检测过程。这减少了逐次从多个表面检测每个部分的工作量。因此，可以减少检测节拍时间并且可以在多表面的水平上进行检测，从而提高整体质量。

优选地，所述至少两个反射装置被布置成引导直接来自该对象的光；并且两个反射装置中的每个反射装置相对于图像捕获装置的光轴而倾斜预定角度，以使得图像捕获装置接收所反射的直接来自该对象的侧面图像。观察角度的这种布置使得可以将反射装置放置在图像捕获装置的直接视线上。因此，不需要部署额外的反射装置就能提供经济的解决方案。

优选地，所述至少两个反射装置被布置成用于同时向图像捕获装置反射位于检测平台中的对象的顶面图像，以使得图像捕获装置接收所反射的直接来自该对象的顶面图像。因此，可以放大反射装置的视场以覆盖对象的顶面图像，并且控制器可以将关于与在顶面图像和侧面图像的图像中出现的对象的顶面图像相关的部分进行比较。这是有利的，因为从一侧入射到一个表面上的光只能揭示出一组特定的缺陷。贯穿镜子所提供的光不仅以一个方向入射到表面上，而且还以至少一个另外的角度入射到表面上。在镜子中可以看到同一表面的这些不同的视图，使得仅在一个图像帧中即进行更彻底的研究。此外，在图像帧中，静态场景可以被容易地标记出，从而只分析感兴趣的区域。

优选地，光的光路长度基本上相同，以确保从由至少一个反射装置反射的对象的视图所捕获的图像具有相等的聚焦程度。

优选地，所述对象多视角检测设备还包括：折射装置，该折射装置具有用于支撑位于检测平台的对象的第一表面和具有偏离该第一表面一角度的第二表面，第一表面和第二表面被布置成将在检测平台中的对象的底面图像折射到至少两个反射装置中的第一反射装置；其中第一反射装置接收所折射的该对象的底面图像并且将接收到的该底面图像反射到图像捕获装置。由于折射装置被重复用于对象的机械支撑以及将对象的底面图像偏转到其中一个反射装置，所以可以减少用于多视角检测设备的成本，并可以增加多视角检测设备的兼容性。此外，除了反射对象的侧面图像和/或顶面图像之外，其中一个反射装置被重复用于将对象的底面图像反射到图像捕获装置，这进一步降低了成本并增加了对象多视图检测设备的兼容性。

优选地，所述对象多视角检测设备还包括处理器，该处理器适于将无缺陷的对象的视图的捕获图像与正在检测的对象的视图进行比较。由于模板图像和待检测对象的图像都受到相同水平失真的影响，所以失真的负面影响可以被折中，并且因此识别结果是准确的。表面分析可以使用基于模板的或基于机器学习的算法来完成。任何种类的校准都是不需要的，因为在任何情况下，与良好部分的差异得到研究。将作为模板或作为学习过程的基础的来自良好部分的图像将使用与后面在实际检测过程中完全相同的设置来获取。

附图说明

将参考在附图中示出的优选示例性实施例，在下文中更详细地解释本发明的技术方案，其中：

图1A和图1B分别示出了根据本发明实施例的对象多视角检测设备，以及其沿着图1A的线A-A截取的截面图；

图2A和图2B分别示出了根据本发明另一个实施例的对象多视角检测设备，以及其沿着图2A的线B-B截取的剖视图；

图3A、图3B、图3C和图3D分别示出了作为模板的对象的侧面图像、由图像获取装置获得的作为模板的对象的侧面图像的图像、由图像获取装置获得的正在检测的无瑕疵对象的侧面图像的图像以及由图像获取装置获得的正在检测的有瑕疵对象的侧面图像的图像。

图4A、图4B和图4C分别示出了由图像获取装置获得的作为模板的对象的顶面图像的图像、由图像获取装置获得的正在检测的无瑕疵对象的顶面图像的图像以及由图像获取装置获得的正在检测的有瑕疵对象的顶面图像的图像。

在附图中使用的参考符号及其含义在参考符号列表中以摘要形式列出。原则上，在附图中，相同的部件被提供有相同的附图标记。

具体实施方式

在以下描述中，为了解释而非限制的目的阐述了具体细节，诸如特定电路、电路部件、接口、技术等，以便提供对本发明的透彻理解。然而，对于本领域技术人员而言将显而易见的是，本发明可以在脱离这些具体细节的其他实施例中进行实践。在其他情况下，省略了众所周知的方法和编程程序、装置以及电路的详细描述，以便不用不必要的细节来混淆本发明的描述。

图1A和图1B分别示出了根据本发明实施例的对象多视角检测设备，以及其沿着图1A的线A-A截取的截面图。如图1A和图1B所示，对象多视角检测设备1包括图像捕获装置10、检测平台11和至少两个反射装置12。图像捕获装置10可以是接收来自待检测对象的光的相机，该光通过各种光路被反射或折射。因此，图像捕获装置10具有覆盖世界的通过该图像捕获装置10可见的一部分的视场FOV，而视场FOV以外的物品的视图不可见。反射装置12可以是用于将来自对象的光引导到图像捕获装置10的镜子。该镜子可以被选择为平面镜、凹面镜或凸面镜。优选地，反射装置12使用平面镜。光的平行光束作为整体改变其方向，同时仍然保持平行；由平面镜形成的图像是与原始对象大小相同的虚拟图像。

取决于待检测的对象有多少侧面图像的要求，为了多视角观察的目的，只要反射装置的数目多于一个，那么反射装置的数目可以从二到四中选择。在根据图1A和图1B的该实施例中，使用至少两个反射装置12来同时向图像捕获装置10反射位于检测平台11中的对象的至少两个不同的侧面图像。例如，由于使用具有对应于四个侧面图像的光路13的四个镜子12，对象的四个侧面图像被同时提供给相机10。图像捕获装置10具有包括反射的至少两个不同侧面图像的视场FOV。在该示例中，当侧面图像被镜子12反射并且穿过检测平台11时，由相机10捕获对象的四个侧面图像的图像，并且这些图像在相机10的视线中不会彼此重叠，因为如上所述，相机10的视场覆盖了反射的侧面图像，其中从对应于对象的四个侧面图像的四个镜子12反射的光路13延伸并到达相机10。这使得从照相机的角度来看，可以区分对应于不同侧面图像的不同图像的轮廓。

通过将反射装置引入到检测设备中，以使在不需要对于每个单个表面重新定位反射装置、相机和/或对象的情况下，图像捕获装置能够在一个图像帧中，一次从多个视图“看见”该部分，可以一次检测多个表面。在相机的视场中放置了多于一个的反射装置，以通过开拓任何给定的立体对象的其他隐藏表面来协助检测过程。这减少了从多个侧检测每个部分的工作量。因此，通过同时多表面检测，可以在确保高质量的同时减少检测节拍时间。

如图1B所示，至少两个反射装置12被优选地布置成引导直接来自对象的光，并且两个反射装置12中的每个反射装置相对于图像捕获装置10的光轴OA倾斜预定的倾斜角度α，以使得反射装置12的反射表面可以面向图像捕获装置10被定位，并且因此图像捕获装置10的视场FOV可以具有可行的覆盖范围，并且图像捕获装置10可以接收所反射的直接来自反射装置12的对象的侧面图像。例如，在镜子12的平面可以被定位成相对于相机10的光轴向外倾斜30度的情况下，可以由相机10利用穿过检测平台11的光路13来观察到对象的侧面图像。观察角度的这种布置使得可以将反射装置放置在图像捕获装置的直接视线上。因此，不需要部署额外的反射装置就能提供经济的解决方案。例如，这种方法是成本有效的，因为与多个相机相比，该方法仅需要一个带有少量反射装置的相机来用于多个视图分析。

此外，反射装置12可以被布置成使得光的光路13的长度基本相同，以确保从所反射的对象的至少两个不同侧面图像所捕获的图像具有相等的聚焦程度。例如，如图1A和图1B所示，四个镜子12中的每个镜子可以放置在使得其侧中一侧与检测平台11的底表面的一侧对齐(如附图标记120表示)，并且相对于检测平台11的底表面具有倾斜角α。

如前部分所述，对象多视角检测设备1能够一次观察对象一个以上的侧面图像，而并未顾及顶面图像。为了同时检测对象的顶表面，至少两个反射装置12可以被布置在检测平台11周围，并且图像捕获装置10的视场FOV还可以包括位于检测平台的对象的顶面图像。例如，如图1B所示，其中镜子12被以倾斜角α而围绕检测平台11放置，以使该镜子12的反射表面面向相机10，不存在阻碍从对象的顶表面开始和从相机10开始的光路的物品。此外，因为相机10的视场FOV具有围绕应当放置对象的检测平台11的镜子12的可行的覆盖范围，所以该相机10的视场FOV也必须覆盖对象的顶面图像。再次由于图像捕获装置10的这种可行的视场FOV，从对象的顶面图像和侧面图像获取的图像是彼此可区分的。通过捕获在侧面图像检测装置中原本不能获得的对象的顶面图像的图像，图像捕获装置的可行的视场FOV利用被利用到用于同时多视角检测的最大程度。因此，不需要用于对顶面图像进行成像的附加的相机，或者用于重定位相机以将其视线导引到对象的顶面图像的机构。

图2A和图2B分别示出了根据本发明另一个实施例的对象多视角检测设备，以及其沿着图2A的线B-B截取的剖视图。除了前者还包括折射装置20之外，根据图2A和图2B的实施例基本上类似于根据图1A和图1B的实施例。为了避免冗余，这里省略关于它们的共同部分的描述。相同的附图标记表示相同的部分。如图2A和图2B所示，对象多视角检测设备2具有折射装置20，其带有对象的支撑功能。折射装置20具有用于支撑位于检测平台11中的对象的第一表面200、以及具有偏离第一表面200的偏转角β的第二表面201，它们被布置成将检测平台11中的对象的底面图像折射到至少两个反射装置12中的第一反射装置。例如，折射装置20可以是由具有预定机械强度的透明材料制成的偏转棱镜，诸如玻璃、塑料和萤石。偏转棱镜20被固定在检测平台11中，其中其第一表面200可以机械地支撑检测平台11中的对象的底表面，并且因此可以将对象安装在偏转棱镜20的第一表面200上。第一表面200与第二表面201之间的偏转角β可以被预定，以使得来自对象的底表面的光束可以进入偏转棱镜20，然后被第二表面201偏转到其中一个镜子12，例如检测平台11左侧的镜子12(第一反射装置)。第一反射装置12可以接收所折射的对象的底面图像，并且将接收到的折射的底面图像反射到图像捕获装置10。在这种布置中，折射装置提供包括支撑对象、并将该对象的底面图像导引到图像捕获装置以用于同时多视角检测的集成功能。

优选地，折射装置20的第一表面200与第二表面201之间的偏转角β被布置成使得第一反射装置的视场包括所折射的对象的侧面图像和底面图像。因为这两个视图之间的对象的边缘防止从对象的底部反射的光落在反射装置中的侧面图像的虚拟图像上，所以图像中的侧面图像和底部出现重叠在物理上是不可能的。由于其中一个反射装置被重复用于将对象的底面图像反射到图像捕获装置，所以可以减少用于根据本发明的多视角检测设备的成本。

控制器(图中未示出)可以用于瑕疵识别。它可以用于将无缺陷对象的视图的捕获图像和正在检测的对象的视图的捕获图像进行比较。由于反射装置相对于图像捕获装置的光轴的倾斜角α、以及折射装置的第一表面与第二表面之间的偏转角β，对象的侧面图像和/或底面图像的反射可能对由图像捕获装置10获得的图像引入失真。控制器可以指示图像捕获装置10获得作为模板的无瑕疵对象的不同视图的图像，并将其作为模板存储在存储器中。控制器还将该模板与待检测对象的视图的图像进行比较，以便判断后者是否存在瑕疵。由于模板图像和待检测对象的图像都受到相同的失真水平的影响，所以失真的负面影响可以被折中，并且因此识别结果是准确的。表面分析可以使用基于模板的或基于机器学习的算法来完成。任何种类的校准都是不需要的，因为在任何情况下，与良好部分的差异总是得到研究。将作为模板或作为学习过程的基础的来自良好部分的图像可以使用与后面所述的、在实际检测过程中完全相同的设置来获取。

例如，图3A、图3B、图3C和图3D分别示出了作为模板的对象的侧面图像、由图像获取装置获得的作为模板的对象的侧面图像的图像、由图像获取装置获得的正在检测的无瑕疵对象的侧面图像的图像、以及由图像获取装置获得的正在检测的有瑕疵对象的侧面图像的图像。如图3A所示，模板的侧面图像轮廓是矩形形状。相比之下，由于失真的影响，图3B的模板的图像轮廓、图3C的无瑕疵的对象侧面图像的图像、以及图3D的有瑕疵的对象侧面图像的图像都看起来像梯形。诸如点和划痕的一些缺陷出现在根据图3D的有瑕疵对象的图像中，而如图3B和图3C所示的用于模板和无瑕疵对象的图像不呈现缺陷且它们更彼此类似。因此，尽管受侧面图像反射所引起的失真的影响，控制器可以通过使用基于模板的算法来确定正在检测的对象是否存在缺陷。本领域技术人员应当理解，基于模板的算法可以应用于对象底部的缺陷检测，因为其底面图像可以根据如上所述的解决方案被反射到图像捕获装置。

图4A、图4B和图4C分别示出了由图像获取装置获得的作为模板的对象的顶面图像的图像、由图像获取装置获得的正在检测的无瑕疵对象的顶面图像的图像、以及由图像获取装置获得的正在检测的有瑕疵对象的顶面图像的图像。因为图像捕获装置面向对象的顶面图像被放置，没有视角失真被引入到根据图4A、图4B和图4C的图像中。如图4A、图4B和图4C所示，模板的顶面图像的图像轮廓、无瑕疵的顶面图像的图像、以及有瑕疵的顶面图像的图像都是矩形形状。诸如点和划痕的一些缺陷出现在根据图4C的有瑕疵对象的图像中，而如图4A和图4B所示的用于模板和无瑕疵对象的图像不呈现缺陷且它们更彼此类似。因此，控制器可以通过使用基于模板的算法来确定正在检测的对象是否存在缺陷。

作为备选，至少两个反射装置12可以被布置以用于同时向图像捕获装置10反射位于检测位置中的对象的顶面图像，以使得图像捕获装置10可以接收所反射的直接来自对象的顶面图像。因此，反射装置的视场可以被虚拟地放大，以覆盖对象的顶面图像。例如，如图1A和图1B所示，在拐角处标有十字的顶表面可以被在用于到图像捕获装置10的顶面图像和侧面图像的图像中看到。控制器可以将关于与在顶面图像和侧面图像的图像中出现的对象的顶面图像相关的部分进行比较。这是有利的，因为从一侧入射到一个表面上的光只能揭示出一组特定的缺陷。贯穿镜子所提供的光不仅以一个方向入射到表面上，而且还以至少一个另外的角度入射到表面上。在镜子中可以看到同一表面的这些不同的视图，使得仅在一个图像帧中即进行更彻底的研究。此外，在图像帧中，静态场景可以被容易地标记出，从而只分析感兴趣的区域。此外，反射装置12可以布置成使得光的光路13的长度基本上相同，以确保从反射对象的顶面图像捕获的图像具有相等的聚焦程度。

尽管已经基于一些优选实施例描述了本发明，但是本领域技术人员应当理解，这些实施例不应当以任何方式限制本发明的范围。在具有本领域的普通知识和技术的人员的理解之内，在不偏离本发明的精神和构思的情况下可以对这些实施例进行任何变化和修改，因此，这些变化和修改落入由所附权利要求所限定的本发明的范围中。

Claims (12)

1.一种对象多视角检测设备，包括：

图像捕获装置；

检测平台；和

至少两个反射装置，被布置成用于同时向所述图像捕获装置反射位于所述检测平台中的所述对象的至少两个不同的侧面图像；

其中：

所述图像捕获装置具有包括所反射的所述至少两个不同侧面图像的视场。

2.根据权利要求1所述的对象多视角检测设备，其中：

所述至少两个反射装置被布置成引导直接来自所述对象的光；并且

所述两个反射装置中的每个反射装置相对于所述图像捕获装置的光轴而倾斜预定角度，以使得所述图像捕获装置接收所反射的直接来自所述对象的侧面图像。

3.根据权利要求2所述的对象多视角检测设备，其中：

所述至少两个反射装置被布置成用于同时向所述图像捕获装置反射位于所述检测平台中的所述对象的顶面图像，以使得所述图像捕获装置接收所反射的直接来自所述对象的顶面图像。

4.根据权利要求2或3所述的对象多视角检测设备，其中：

所述光的光路长度基本上相同，以确保从所反射的视图捕获的图像具有相等的聚焦程度。

5.根据前述权利要求中任一项所述的对象多视角检测设备，其中：

所述至少两个反射装置被布置在所述检测平台的周围；并且

所述图像捕获装置的视场还包括在所述检测平台中的所述对象的顶视图。

6.根据前述权利要求中任一项所述的对象多视角检测设备，还包括：

折射装置，所述折射装置具有用于支撑位于所述检测平台的所述对象的第一表面、和具有偏离所述第一表面的角度的第二表面，所述第一表面和所述第二表面被布置成将在所述检测平台中的所述对象的底面图像折射到所述至少两个反射装置中的第一反射装置；

其中：

所述第一反射装置接收所折射的所述对象的底面图像，并且将所接收到的所述底面图像反射到所述图像捕获装置。

7.根据权利要求6所述的对象多视角检测设备，其中：

所述折射装置的所述第一表面与所述第二表面之间的所述角度被布置成使得所述第一反射装置的视场包括所折射的所述对象的所述侧面图像和所述底面图像。

8.根据前述权利要求中任一项所述的对象多视角检测设备，还包括：

处理器，适于将无缺陷的对象的视图的捕获图像与正在检测的对象的视图的捕获图像进行比较。

9.一种对象检测的方法，包括：

同时反射对象的至少两个不同的侧面图像；

捕获所反射的所述至少两个不同侧面图像的图像；以及

将所捕获的无缺陷的对象的视图的图像与正在检测的对象的视图的图像进行比较。

10.根据权利要求9所述的方法，还包括：

反射所述对象的顶面图像；和

捕获所反射的所述顶面图像的图像。

11.根据权利要求9或10所述的方法，其中：

直接来自所述对象的光被引导；并且

所述光的光路长度基本上相同，以确保从所反射的视图所捕获的图像具有相等的聚焦程度。

12.根据权利要求9至11中任一项所述的方法，还包括：

折射所述对象的底面图像；

将所折射的所述对象的底面图像反射；

捕获所折射的所述对象的底面图像的图像；以及

将所捕获的无缺陷的对象的所述底面图像的图像与正在检测的对象的所述底面图像的图像进行比较。