CN101846495B

CN101846495B - 部件组装检查方法和部件组装检查装置

Info

Publication number: CN101846495B
Application number: CN2009101758398A
Authority: CN
Inventors: 小池尚己; 若林公宏
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2009-03-25
Filing date: 2009-09-17
Publication date: 2013-05-29
Anticipated expiration: 2029-09-17
Also published as: JP5376220B2; US20100246894A1; US8306307B2; JP2010221380A; CN101846495A

Abstract

本发明提供部件组装检查方法和部件组装检查装置。该部件组装检查方法包括拍摄图像的处理，在将第一部件组装在第二部件中之后，用摄像机拍摄所述第一部件具有的第一光点组的图像，所述第一光点组包括多个光点。该方法还包括：识别处理，根据用所述摄像机拍摄的所述图像上的表示所述第一光点组中的各个光点的光像，来识别所述第一部件的位置和姿势；以及确定处理，根据所述第一部件的位置和姿势，确定所述第一部件在所述第二部件中的组装状态的质量。

Description

部件组装检查方法和部件组装检查装置

技术领域

本发明涉及部件组装检查方法和部件组装检查装置。

背景技术

常规上，公知有这样的检查装置，其检查在部件安装在板上之后该部件在板上的安装状态的质量(例如，参照日本特开平5-145295和2000-013097号公报)。在如日本特开平2000-013097号公报所公开的某些检查装置中，检查功能并入在将部件组装到板上的部件组装装置中。

发明内容

本发明的目的在于提供能够正确地确定当将第二部件组装在第一部件中时的组装状态的质量的部件组装检查方法和部件组装检查装置。

根据本发明的第一方面，提供一种部件组装检查方法，该方法包括以下处理：

拍摄图像的处理，在将第一部件组装在第二部件中之后，用摄像机拍摄所述第一部件具有的第一光点组的图像，所述第一光点组包括多个光点；

识别处理，根据用所述摄像机拍摄的所述图像上的表示所述第一光点组中的各个光点的光像，来识别所述第一部件的位置和姿势；以及

确定处理，根据所述第一部件的位置和姿势，确定所述第一部件在所述第二部件中的组装状态的质量。

根据本发明的第二方面，在上述部件组装检查方法中，所述第一光点组是包括三个第一光点和一个第二光点的光点组，所述三个第一光点位于彼此分离的位置，所述一个第二光点位于在垂直方向上与以所述三个第一光点为顶点的三角形参照面分离的位置，并且，

所述拍摄图像的处理是如下的处理：其中，由位于成像光轴与所述参照面的如下垂线不一致的位置的摄像机来拍摄所述第一部件具有的所述第一光点组的图像，所述垂线在所述第一部件正确地组装到所述第二部件中时通过所述第二光点。

根据本发明的第三方面，在上述部件组装检查方法中，所述第二部件或所述第二部件所固定的预定位置处的部件支承部包括具有多个光点的第二光点组，

所述拍摄图像的处理是如下的处理：其中，由所述摄像机来拍摄所述第一光点组的图像和所述第二光点组的图像，

所述识别处理是如下的处理：其中，根据出现在用所述摄像机拍摄的图像上并且表示所述第一光点组中的各个光点的光像，来识别所述第一部件的位置和姿势，并且，根据出现在用所述摄像机拍摄的图像上并且表示所述第二光点组中的各个光点的光像，来识别所述第二部件或部件支承部的位置和姿势，并且

所述确定处理是如下的处理：其中，根据识别出的所述第一部件的位置和姿势以及识别出的所述第二部件或部件支承部的位置和姿势，来确定所述第一部件在所述第二部件中的组装状态的质量。

根据本发明的第四方面，提供一种部件组装检查装置，该部件组装检查装置包括：

摄像机；

成像控制单元，在将第一部件组装到第二部件中之后，所述成像控制单元使所述摄像机拍摄所述第一部件具有的第一光点组的图像，所述第一光点组包括多个光点；

位置和姿势识别单元，其根据用所述摄像机拍摄的所述图像上的表示所述第一光点组中的各个光点的光像，来识别所述第一部件的位置和姿势；以及

质量确定单元，其根据由所述位置和姿势识别单元识别出的所述第一部件的位置和姿势，来确定所述第一部件在所述第二部件中的组装状态的质量。

根据本发明的第五方面，在上述部件组装检查装置中，所述第一光点组是包括三个第一光点和一个第二光点的光点组，所述三个第一光点位于彼此分离的位置，所述一个第二光点位于在垂直方向上与以所述三个第一光点为顶点的三角形参照面分离的位置，并且，

所述成像控制单元使用位于成像光轴与所述参照面的如下垂线不一致的位置的摄像机来拍摄所述第一部件具有的所述第一光点组的图像，所述垂线在所述第一部件正确地组装到所述第二部件中时通过所述第二光点。

根据本发明的第六方面，在上述部件组装检查装置中，所述第二部件或所述第二部件所固定的预定位置处的部件支承部包括具有多个光点的第二光点组，

所述成像控制单元用所述摄像机来拍摄所述第一光点组的图像和所述第二光点组的图像，

所述位置和姿势识别单元根据出现在用所述摄像机拍摄的图像上并且表示所述第一光点组中的各个光点的光像来识别所述第一部件的位置和姿势，并且，还根据出现在用所述摄像机拍摄的图像上并且表示所述第二光点组中的各个光点的光像来识别所述第二部件或部件支承部的位置和姿势，并且

所述质量确定单元根据识别出的所述第一部件的位置和姿势以及识别出的所述第二部件或部件支承部的位置和姿势，来确定所述第一部件在所述第二部件中的组装状态的质量。

根据本发明的第七方面，在上述部件组装检查装置中，所述光点为发光二极管。

根据本发明的第八方面，在上述部件组装检查装置中，所述光点为后向反射器，该后向反射器与入射方向相反地反射入射光。

在根据第一方面的部件组装检查方法以及根据第四方面的部件组装检查装置中，能够正确地确定第一部件在第二部件中的组装状态的质量。

在根据第二方面的部件组装检查方法以及根据第五方面的部件组装检查装置中，与通过拍摄位于平面上的多个光点的图像来确定第一部件在第二部件中的组装状态的质量的情况相比较，能够更加准确地确定第一部件在第二部件中的组装状态的质量。

在根据第三方面的部件组装检查方法以及根据第六方面的部件组装检查装置中，即使没有预先将第二部件固定在预定位置，也能够确定第一部件在第二部件中的组装状态的质量。

在根据第七方面的部件组装检查装置中，能够在用摄像机拍摄的图像上获得明亮的光像。

在根据第八方面的部件组装检查装置中，不需要提供电力来发出用于照射被测物体的光。

附图说明

现在将根据以下附图来详细描述本发明的示例性实施方式，在附图中：

图1A和图1B是例示常规的部件组装检查方法的示例的说明图；

图2A和图2B是例示常规的部件组装检查方法的示例的说明图；

图3是第一示例性实施方式的说明图；

图4A和4B是第一示例性实施方式的说明图；

图5A和5B是第一示例性实施方式的说明图；

图6A、6B和6C是各种示例性实施方式的说明图；

图7A和7B是例示对凸型连接器到凹型连接器的插入状态的质量进行确定的示例性实施方式的说明图；

图8是例示提高了测量精度的新颖测量方法的说明图。

具体实施方式

下面参照附图对本发明的示例性实施方式进行说明。

描述常规的部件组装检查方法作为对比例，然后描述本发明的各种示例性实施方式。

图1A～图2B是例示常规的部件组装检查方法的示例的说明图。

图1A例示了将第一部件10组装在固定于预定位置的第二部件11之前的状态，图1B例示了将第一部件10组装在第二部件11中之后的状态。图2A和图2B例示了需要多少个检查点来检查第一部件10是否正确地组装在第二部件11中。如图2A所示，当第一部件10相对于第二部件11只可能在X和Y方向上平移时，在X轴、Y轴、Z轴的方向上分别需要一个检查点。另一方面，如图2B所示，在X轴、Y轴、Z轴的方向上需要多个检查点来检查第一部件10是否相对于第二部件11倾斜地组装。

常规上，在将第一部件10组装到第二部件11中而进入到图1B所示的状态之后，用激光位移测量仪LM或接触式位移传感器来测量图2B中各个检查点的位置，由此来确定第一部件10在第二部件11中的组装质量。

因此，当利用一个激光位移测量仪LM对检查点进行检查时，必须对各个检查点依次进行检查，这会导致需要较长时间来进行检查的问题。当为了缩短检查时间而增加激光位移测量仪LM的数量时，设备变大，这也是一个问题。

考虑到上面描述的对比例，现在描述本发明的各种实施方式。

图3～5是第一示例性实施方式的说明图。

图3是例示在将第一部件10组装到第二部件11中之后的状态的立体图，图4A和4B是例示在将第一部件10组装到第二部件11中之后的状态的侧视图，图5A和图5B是例示在将第一部件10组装到第二部件11中之后的状态的平面图。

如图3～4B所示，摄像机2固定在第一部件10的上方。成像控制单元22控制摄像机2的成像动作。例如，成像控制单元22包括计算机和由该计算机执行的控制程序。

在第一部件10的顶面上设置并固定有多个(在本例中为四个)LED101。这四个LED对应于本发明的第一光点组的示例。在成像控制单元22的控制下，拍摄三个LED 101的图像，将这些图像送入位置和姿势识别单元21，并且，位置和姿势识别单元21执行运算以针对这三个LED 101中的每一个获取从摄像机2观察的方向以及与摄像机2的距离。只要这三个LED 101以彼此分离的方式设置，位置和姿势识别单元21就可以根据这三个LED 101的方向和距离而获得以这三个LED 101为顶点的三角形平面的位置和姿势，并且，位置和姿势识别单元21识别这三个LED 101中的每一个的三维位置，由此识别三角形平面的位置和姿势。下文中，将三角形平面称为参照面。在图3～4B的示例性实施方式中，除了位于三角形顶点的LED 101之外，使用另一个LED 101来提高位置和姿势识别单元21执行的位置和姿势运算的精度。所述另一个LED 101可以位于针对每个LED板而不同的位置，从而该LED 101可以具有将LED板与其他LED板区分开来以识别该LED板的ID(识别)功能。

如上所述，由于LED 101固定于第一部件11的预定位置，因此位置和姿势识别单元21根据与LED 101的三维位置有关的信息来识别第一部件10的位置和姿势。与成像控制单元22一样，位置和姿势识别单元21包括计算机以及由该计算机执行的位置和姿势识别程序。计算机可以由位置和姿势识别单元21与成像控制单元22共享。将在后面描述的质量确定单元20也可以具有计算机和由该计算机执行的质量确定程序。该计算机可以由位置和姿势识别单元21与成像控制单元22共享。

基于摄像机2所拍摄的图像的测量方法基本上如下所述。摄像机2和第二部件11的位置和姿势是已知的，利用摄像机2来拍摄位于第一部件10的顶面上的各LED 101的图像，并且，当从摄像机2观察LED 101的图像的位置时获取LED 101的方向。因为预先已经知道了LED 101之间的相对位置关系，所以获取从摄像机2观察的LED 101的方向。根据这些信息来获取由LED 101定义的平面，即LED板的位置和姿势。

另选的是，可以采用使用如下的摄像机2获得的各LED 101的图像的尺寸：在该摄像机2上安装有球面像差较大的成像透镜。当使用安装有球面像差较大的成像透镜的摄像机2时，各个LED 101的图像为大致椭圆状的模糊图像。此外，图像尺寸根据从摄像机2到各LED 101的距离而变化。利用这种现象，根据LED 101的图像尺寸来获得从摄像机2到各LED 101的距离。当获得了三个LED 101的方向和距离时，就获得了这些LED 101的三维位置，并且获得了由这三个LED 101定义的平面，即，获得了第一部件10的顶面上的位置和姿势。可以同时使用上面描述的两种常规测量方法。

如上所述，在第一示例性实施方式中，设置了四个LED 101以提高由位置和姿势识别单元21执行的位置和姿势运算的精度。当获得了各LED 101的三维位置时，就获得了第一部件10的位置和姿势。

将与第一部件10的位置和姿势有关的这些信息项送入到质量确定单元20。质量确定单元20预先知道第二部件11的位置和姿势，并且确定第一部件10相对于第二部件11是否具有正确的位置和姿势。

当获得了第一部件10的位置和姿势时，即使第一部件10如图4B所示由于组装故障而在Z方向上倾斜，或者即使第一部件10如图5B所示由于组装故障而在Y方向上倾斜，位置和姿势识别单元21也能够精确计算由三个LED 101定义的参照面的位置和姿势，从而识别第一部件10的位置和姿势。质量确定单元20根据位置和姿势识别单元21的计算结果来确定第一部件10在第二部件11中的组装状态的质量。

在该示例性实施方式中，成像控制单元22、位置和姿势识别单元21、质量确定单元20以及摄像机2的组合是本发明的部件组装检查装置的示例。

成像控制单元22利用摄像机2所执行的成像处理对应于本发明的拍摄图像的处理。位置和姿势识别单元21根据所拍摄的图像而执行的用于计算第一部件10的位置和姿势的处理对应于本发明的识别处理。质量确定单元20根据计位置和姿势识别单元21的计算结果而执行的用于确定第一部件10在第二部件11中的组装状态的处理对应于本发明的确定处理。

在第一示例性实施方式中，在第一部件10上安装有电池以点亮LED101，并且该电池向LED 101供电。另选的是，在第一部件10上安装有线圈或天线，并且可以通过电磁感应或无线电波而从外部供电以点亮LED 101。在后者的情况下，不需要在第一部件10上安装作为消耗品的电池，因此提高了维护可靠性。

可以使用作为一种后向反射器的立方隅角反射器(corner cube)来代替第一示例性实施方式中的LED 101。后向反射器具有这样的特性：使入射到后向反射器上的光发生反射而与入射方向相反地前进。当取代四个LED 101地进行设置时，用源自摄像机2的方向上的光照射立方隅角反射器，并且摄像机2接收从立方隅角反射器反射的光。在该情况下，可以执行与LED 101同样的测量，此外，立方隅角反射器不需要电力，因此提高了维护可靠性。另选的是，还可以对第一部件10贴附具有后向反射特性的贴附物来取代角隅棱镜，或者可以用具有后向反射特性的涂料涂覆第一部件10。

由此，在第一示例性实施方式中，实现了能够正确地确定第一部件在第二部件中的组装状态的质量的部件组装检查方法和部件组装检查装置。

下面将描述与第一示例性实施方式不同的各种示例性实施方式。

在第一示例性实施方式中，第二部件预先固定于预定位置。然而，第二部件可以固定于部件支承部，同时由传送器进行传送。在该情况下，第二部件没有被固定于预定位置。

图6A～6C是各种示例性实施方式的说明图。由于可以根据需要而参照图3，因此在图6A～图6C中省略了图3所例示的位置和姿势识别单元21、质量确定单元20以及成像控制单元22的图示。

图6A示例了与第一示例性实施方式一样固定了第二部件11的情况的示例，图6B和6C例示了将第一部件10组装到没有固定的第二部件11的情况的示例。

在图6A的结构中，由于与第一示例性实施方式一样将第二部件11固定在预定位置，因此可以根据第二部件11的位置来识别第一部件10的位置和姿势。另一方面，当第二部件并未处于预定位置时，在图6A的结构中，位置和姿势识别单元21无法识别第一部件10的位置和姿势。

因此，如图6B和6C所例示的那样，与第一部件10一样，可以在第二部件11中设置光点组。

在图6B的结构中，在成像控制单元22的控制下，除了第一部件10的顶面上的LED 101的图像之外，摄像机2还拍摄第二部件11的LED 111的图像，位置和姿势识别单元21除了计算第一部件10的位置和姿势之外，还计算第二部件11的位置和姿势，并且，质量确定单元20根据第一部件10与第二部件11之间的位置和姿势设置关系来确定第一部件10在第二部件11中的组装状态的质量。在图6B的结构中，由于根据第一部件10与第二部件11之间的相对位置来确定组装状态的质量，因此与图6A的情况相比，提高了对第一部件10在第二部件11中的组装状态的质量的确定精度。

在图6C的结构中，第二部件11位于部件支承部100上的预定位置。LED板120固定于部件支承部100的预定位置。当在部件支承部100上设置有LED板120时，位置和姿势识别单元21计算部件支承部100和第一部件10双方的位置和姿势，并且根据该计算结果来确定第一部件10在第二部件11中的组装状态。因此，即使支承着第二部件11的部件支承部100发生倾斜，位置和姿势识别单元21也能够根据摄像机2在成像控制单元22的控制下拍摄的图像来识别部件支承部100和第一部件双方的位置和姿势，并且质量确定单元20精确地确定第一部件10在部件支承部100所支承的第二部件11中的组装状态的质量。

在另一示例性实施方式中，在包括凸型连接器112P和凹型连接器112S的连接器内检查插入状态的质量。

图7A和7B是例示利用本发明的部件组装检查装置来确定凸型连接器在凹型连接器中的插入状态的质量的结构的说明图。

如图7A和7B所示，在凸型连接器112P和凹型连接器112S内分别设有多个LED 1121和多个LED 1122。摄像机2固定在该摄像机能够拍摄LED 1121和1122的图像的位置。成像控制单元控制摄像机2，由摄像机2拍摄的LED光像送入位置和姿势识别单元21中。

在图7A和7B的结构中，在将凸型连接器112P插入到凹型连接器112S中之后，摄像机2拍摄凸型连接器112P的LED 1121和凹型连接器112S的LED 1122双方的图像，位置和姿势识别单元21根据摄像机2所拍摄的图像而获取连接器112P和112S的位置和姿势，并且质量确定单元20确定凸型连接器112P在凹型连接器112S中的插入状态的质量。

在上述测量方法中，尽管很高精度地测量从摄像机2观察的各LED121的方向，但是摄像机2与各个LED 121之间的距离的精度低于方向的精度。

因此，如下所述，可以增加另一个LED 122来提高距离的分辨率。

图8是例示提高了测量精度的新颖的测量方法的说明图。

在图8中例示了LED板120A和摄像机2。

四个LED 121以彼此分离的方式设置在LED板120A的表面上，并且在略高于LED板120A的表面处设置有一个LED 122。这五个LED 121和122的设置位置是已知的。

这里，设置在LED板120A的表面上的四个LED 121中的三个用于限定以这三个LED 121为顶点的三角形参照面(即，在该情况下，与LED板120A的表面重叠的三角形表面)的位置和姿势。位于LED板120A表面上的剩下的LED 121的位置与其他LED板120A上的剩下的LED121的位置不同。这个剩下的LED 121具有将该LED板120A与其他LED板120A区分开来以识别该LED板120A的ID(识别)功能。对这个剩下的LED 121赋予ID功能，除此之外，使用所有这四个LED 121来识别LED板120A的位置和姿势，这可以提高识别精度。

另一个LED 122被设置为在垂直方向上与参照面分离(这里，参照面与LED板120A的表面重叠)。

在图8中，摄像机2被设置为这样的姿势，即：摄像机2从成像光轴与穿过LED 122到达LED板120A的表面(由三个LED 121形成的三角形参照面)的垂线P不一致的位置而朝向参照面。当在摄像机2位于成像光轴与垂线P不一致的位置时利用摄像机2拍摄LED 121和122的图像时，LED板120A的表面上的LED 121与位于略微高于LED板120A的表面的位置的一个LED 122之间在成像画面上的相对位置的差异根据成像方向而变化。

这样，除了常规测量方法之外还可以采用新测量方法。在该新测量方法中，通过利用LED 121与LED 122之间在成像画面上的相对位置的差异，可以按照比常规测量方法的精度更高的精度来测量参照面的位置和姿势，即图8中的LED板120A的位置和姿势。图8中的新测量方法可以用在任何示例性实施方式中。

对本发明示例性实施方式的前述描述是为了例示和描述的目的而提供的。其并非旨在穷举或者将本发明限于所公开的确切形式。显然，许多变型和修改对于本领域技术人员是显而易见的。选择并描述这些示例性实施方式是为了最好地说明本发明的原理及其实际应用，从而使得本领域其他技术人员能够理解本发明的适用于所构想特定用途的各种实施方式和各种变型。旨在由所附权利要求书及其等同物来限定本发明的范围。

Claims

1.一种部件组装检查方法，该部件组装检查方法包括以下处理：

2.根据权利要求1所述的部件组装检查方法，其中，所述第一光点组是包括三个第一光点和一个第二光点的光点组，所述三个第一光点位于彼此分离的位置，所述一个第二光点位于在垂直方向上与以所述三个第一光点为顶点的三角形参照面分离的位置，并且，

所述拍摄图像的处理是如下的处理：其中，由位于如下位置的所述摄像机来拍摄所述第一部件具有的所述第一光点组的图像，在该位置处，成像光轴与所述参照面的垂线不一致，所述垂线在所述第一部件正确地组装在所述第二部件中时通过所述第二光点。

3.根据权利要求1所述的部件组装检查方法，其中，所述第二部件或所述第二部件所固定的预定位置处的部件支承部包括具有多个光点的第二光点组，

4.根据权利要求2所述的部件组装检查方法，其中，所述第二部件或所述第二部件所固定的预定位置处的部件支承部包括具有多个光点的第二光点组，

5.一种部件组装检查装置，该部件组装检查装置包括：

摄像机；

6.根据权利要求5所述的部件组装检查装置，其中，所述第一光点组是包括三个第一光点和一个第二光点的光点组，所述三个第一光点位于彼此分离的位置，所述一个第二光点位于在垂直方向上与以所述三个第一光点为顶点的三角形参照面分离的位置，并且，

所述成像控制单元使用位于如下位置的所述摄像机来拍摄所述第一部件具有的所述第一光点组的图像，在该位置处，成像光轴与所述参照面的垂线不一致，所述垂线在所述第一部件正确地组装到所述第二部件中时通过所述第二光点。

7.根据权利要求5所述的部件组装检查装置，其中，所述第二部件或所述第二部件所固定的预定位置处的部件支承部包括具有多个光点的第二光点组，

8.根据权利要求6所述的部件组装检查装置，其中，所述第二部件或所述第二部件所固定的预定位置处的部件支承部包括具有多个光点的第二光点组，

9.根据权利要求5所述的部件组装检查装置，其中，所述光点为发光二极管。

10.根据权利要求6所述的部件组装检查装置，其中，所述光点为发光二极管。

11.根据权利要求7所述的部件组装检查装置，其中，所述光点为发光二极管。

12.根据权利要求8所述的部件组装检查装置，其中，所述光点为发光二极管。

13.根据权利要求5所述的部件组装检查装置，其中，所述光点为与入射方向相反地反射入射光的后向反射器。

14.根据权利要求6所述的部件组装检查装置，其中，所述光点为与入射方向相反地反射入射光的后向反射器。

15.根据权利要求7所述的部件组装检查装置，其中，所述光点为与入射方向相反地反射入射光的后向反射器。

16.根据权利要求8所述的部件组装检查装置，其中，所述光点为与入射方向相反地反射入射光的后向反射器。