CN111489449A

CN111489449A - 对象物确认装置

Info

Publication number: CN111489449A
Application number: CN201911094396.XA
Authority: CN
Inventors: 佐藤洋一; 迫匠一郎; 菊池麿介
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2019-01-29
Filing date: 2019-11-11
Publication date: 2020-08-04
Also published as: US11335016B2; US20200242787A1; EP3690807A1; JP2020122653A; JP7204504B2

Abstract

准确地进行对象物的确认。对象物确认装置(10)具备：区域确定部(21)，其基于从拍摄了对象物而得到的拍摄数据提取出的特征部，确定对象物的3D模型数据中的与拍摄数据对应的区域；图像生成部(22)，其根据3D模型数据，生成所确定的区域的图像数据；以及差异确定部(23)，其确定在拍摄数据和图像数据之间存在差异的部分。不需要为了限制拍摄装置30的位置、朝向而准备框架等。

Description

对象物确认装置

技术领域

本发明涉及一种对象物确认装置。

背景技术

以往，有时根据通过拍摄装置拍摄到的拍摄数据来进行对象物的检查。例如，在专利文献1中公开了如下技术，即，在飞机的引擎的周围配置框架，使拍摄装置沿着框架移动而对引擎进行拍摄。拍摄数据与拍摄装置的位置、朝向一起存储。在成为检查对象的引擎的拍摄之前，对成为基准的引擎进行拍摄而生成主图像。通过以同一位置、朝向进行了拍摄的拍摄数据和主图像的比较，能够进行检查。

专利文献1：日本特开2017-172984号公报

在专利文献1记载的技术中，主图像并不限于与设计数据相同。如果成为基准的引擎不是按照设计数据那样，则检查会变得不准确。因此，例如，期望开发如下的技术，即，准确地进行像产品检查那样进行对象物的确认的处理。

发明内容

本发明鉴于这样的课题，目的在于提供能够准确地进行对象物的确认的对象物确认装置。

为了解决上述课题，本发明的对象物确认装置具备：区域确定部，其基于从拍摄了对象物而得到的拍摄数据提取出的特征部，确定对象物的3D模型数据中的与拍摄数据对应的区域；图像生成部，其根据3D模型数据，生成所确定的区域的图像数据；以及差异确定部，其确定在拍摄数据和图像数据之间存在差异的部分。

也可以具备差异加工部，该差异加工部以能够确定存在差异的部分的方式，对拍摄数据或者图像数据进行加工。

也可以具备模型加工部，该模型加工部以能够确定3D模型数据中的存在对应的拍摄数据的区域和不存在对应的拍摄数据的区域的方式来对3D模型数据进行加工。

发明的效果

根据本发明，能够准确地进行对象物的确认。

附图说明

图1是表示对象物确认装置的概略的功能框图。

图2是用于说明对象物的拍摄情况的图。

图3(a)是图像生成部生成的图像数据的一个例子。图3(b)是拍摄装置生成的拍摄数据的一个例子。

图4是表示加工过的拍摄数据的一个例子的图。

图5是表示加工过的3D模型数据的一个例子的图。

标号的说明

P 对象物

10 对象物确认装置

21 区域确定部

22 图像生成部

23 差异确定部

24 差异加工部

25 模型加工部

40 图像数据

41 拍摄数据

42 3D模型数据

具体实施方式

下面一边参照附图一边详细地说明本发明的优选实施方式。该实施方式所示的尺寸、材料、其他具体数值等只不过是用于易于理解发明的例示，除了特别说明的情况，均不限定本发明。此外，在本说明书以及附图中，针对实质上具有相同的功能、结构的要素，通过标注相同的标号而省略重复说明，另外，对于与本发明没有直接关系的要素，省略图示。

图1是表示对象物确认装置10的概略的功能框图。对象物确认装置10由例如个人计算机、工作站等计算机构成。如图1所示，对象物确认装置10构成为包含存储部11、操作部12、显示部13和控制部20。

存储部11由RAM、闪存、HDD等构成。在存储部11中存储后述的对象物的设计数据即3D模型数据。操作部12由例如键盘、重叠于显示部13的触摸面板构成。操作部12接受管理者的操作输入。显示部13由液晶显示器、有机EL(Electro Luminescence：电致发光)显示器等构成。

控制部20通过将中央处理装置(CPU)、储存了程序等的ROM、作为工作区的RAM等包含在内的半导体集成电路对整个对象物确认装置10进行管理和控制。另外，控制部20也作为区域确定部21、图像生成部22、差异确定部23、差异加工部24、模型加工部25起作用。

区域确定部21从拍摄装置30取得拍摄对象物而得到的拍摄数据。拍摄装置30由例如数码相机、带照相机功能的智能手机等构成。但是，拍摄装置30只要能够对对象物进行拍摄而生成拍摄数据即可，也可以由其他的任意装置构成。

图2是用于说明对象物P的拍摄情况的图。这里，作为对象物P，举出在飞机的机翼中使用的部件(腹板、加强件)为例进行说明。但是，对象物P不限定于此，可以是飞机的其他部件，也可以是除了飞机以外的部件。另外，对象物P只要是物品(实物)即可，可以是产品(完成品)，也可以是产品的一部分(未完成的产品)。

作业者携带拍摄装置30对对象物P进行拍摄。拍摄者持续多次以各种位置、各种朝向、如果有光学变焦功能则是各种视角对对象物P进行拍摄，直至对象物P中不存在未被拍摄的部分为止。但是，拍摄装置30也可以不是携带，而是设置于摄影场所。拍摄装置30通过通信将拍摄数据向对象物确认装置10输出。

区域确定部21从拍摄数据提取出特征部(特征点)。特征部是通过边缘提取、斑点分析等进行提取的。在特征部中包含例如锐角部等特征轮廓(边缘)。然后，区域确定部21进行提取出的多个特征部和在存储部11存储的3D模型数据的图案匹配。具体而言，区域确定部21提取3D模型数据的任意区域，导出与特征部的颜色、形状、位置关系等的类似度。区域确定部21将类似度最高的3D模型数据的区域确定为对象物P的3D模型数据中的与拍摄数据对应的区域(视角)。

基于区域确定部21的特征部的提取以及基于图案匹配的区域确定处理不限于上述处理，也可以使用在AR(增强现实)技术中使用的任意处理。

图像生成部22根据3D模型数据而生成所确定的区域的图像数据(2D数据)。生成的图像数据与拍摄数据的视角是大致相同的视角。

图3(a)是图像生成部22生成的图像数据40的一个例子。图3(b)是拍摄装置30生成的拍摄数据41的一个例子。图像数据40是与拍摄数据41对应的区域。

差异确定部23对在拍摄数据41和图像数据40之间存在差异的部分进行确定。在图3(a)、图3(b)所示的例子中，在图像数据40中存在的部件A在拍摄数据41中不存在。另外，图像数据40的部件B与拍摄数据41的部件B的配置不同。

差异确定部23通过例如基于图案匹配的类似度的高低或者二值化后的图像间的差分值等，提取在拍摄数据41和图像数据40之间存在差异的部分(临时判定为存在差异的部分)。

然后，差异确定部23基于3D模型数据，确定与提取出的部分对应的部件(下面称为对象部件)。差异确定部23如果确定出对象部件，则取得在3D模型数据中设定的对象部件的公差数据。然后，差异确定部23判定拍摄数据41中的对象部件的位置是否处于公差数据所示的公差的范围内。

差异确定部23将未处于公差的范围内的对象部件确定为存在差异的部分(最终判定为存在差异的部分)。例如，关于部件A，原本不存在于拍摄数据41，因此，确实处于公差的范围外。另外，关于部件B，根据部件B的位置，确定是处于公差的范围内还是范围外。例如，部件B也处于公差的范围外。

这里，举例说明了部件A、B。但是，差异确定部23例如也可以判定是否在一个部件的一部分实施加工以及一个部件的一部分的尺寸、形状是否正确。在该情况下，差异确定部23取得与作为存在差异而提取的部分对应的部位(下面称为对象部位)的公差数据，判定拍摄数据41中的对象部位的形状是否处于公差数据所示的公差的范围内。

差异加工部24在能够确定存在差异的部分的状态下对拍摄数据41或者图像数据40进行加工。这里，举例说明差异加工部24对拍摄数据41进行加工的情况。

图4是表示加工过的拍摄数据41的一个例子的图。如图4所示，差异加工部24针对拍摄数据41，将部件A、B的图像以例如能够与原色等周围进行识别的方式重叠于应该设置部件A、B的位置。另外，拍摄数据41也可以将拍摄数据41中的原先拍摄到的(位置已偏离)部件B，加工成能够与周围进行识别的方式。

另外，差异加工部24也可以将存在差异的部分中的即使处于公差的范围内但偏离大至大于或等于阈值的部分加工成黄色。在该情况下，差异加工部24将存在差异的部分中的处于公差的范围外的部分加工成更显眼的颜色(例如红色)。

差异加工部24使显示部13显示加工过的拍摄数据41。作业者能够通过拍摄数据41识别对象物P中的没有按照设计的部分。作业者例如以部件A、B按照设计的方式进行针对对象物P的作业。

这样，如果通过作业者所携带的拍摄装置30对对象物P进行拍摄，则能够在对象物确认装置10中进行对象物P的检查。因此，能够减轻检查的作业负担。另外，由于使用3D模型数据，所以与对实际的对象物P进行拍摄而作为主数据的情况相比，能够进行更准确的检查。

另外，使用在3D模型数据中设置的公差数据。因此，不会出现尽管处于公差的范围内也显示为错误的情况。其结果，能够避免为了进行是否处于公差的范围内的确认而产生无用的作业的情况。

模型加工部25以能够确定3D模型数据中的存在对应的拍摄数据41的区域和不存在对应的拍摄数据41的区域的方式，对3D模型数据进行加工。即，模型加工部25以能够确定3D模型数据中的存在通过拍摄装置30生成的拍摄数据41的区域和未生成拍摄数据41的区域的方式，对3D模型数据进行加工。

图5是表示加工过的3D模型数据42的一个例子的图。如图5中交叉影线所示，模型加工部25针对3D模型数据42中的已存在对应的拍摄数据41的区域，以成为能够与周围进行识别的状态的方式附加原色等颜色。模型加工部25使加工过的3D模型数据42显示于显示部13。

这里，说明了模型加工部25针对3D模型数据42中的已存在对应的拍摄数据41的区域附加颜色的情况。但是，模型加工部25也可以针对3D模型数据42中的还不存在对应的拍摄数据41的区域，以成为能够与周围进行识别的状态的方式附加原色等颜色。

通过对3D模型数据42进行加工，作业者能够容易地掌握对象物P中的应拍摄的区域。另外，能够降低忘记拍摄对象物P的一部分的可能性。

上面一边参照附图一边说明了本发明的优选实施方式，但是当然本发明不限定于该实施方式。可以明确的是，如果是本领域技术人员，则能够在权利要求书所记载的范畴，想到各种变更例或者修正例，可以明白这些变更例或者修正例当然也属于本发明的技术范围。

在上述的实施方式中，说明了设置差异加工部24的情况。在该情况下，作业者能够容易地掌握在拍摄数据41和图像数据40之间存在差异的部分。但是，差异加工部24不是必须的结构。对象物确认装置10也可以具备例如扬声器，将部件A、B的名称等从扬声器输出(报知)，将存在差异的主旨传递给作业者。

另外，在上述的实施方式中，说明了设置模型加工部25的情况。但是，模型加工部25不是必须的结构。

另外，在上述的实施方式中，说明了对象物确认装置10用于对象物P的检查的情况。但是，对象物确认装置10例如不限于检查(检查工序)，也可以在对象物P的制造作业中的自主确认作业(部件安装的有无、位置等的确认作业)中使用。

另外，还提供使计算机作为对象物确认装置10起作用的程序、记录了该程序并且通过计算机可读取的软盘、磁光盘、ROM、CD、DVD、BD等存储介质。这里，程序称为通过任意的语言、记载方法记载的数据处理手段。

工业实用性

本发明能够利用于对象物确认装置。

Claims

1.一种对象物确认装置，其具备：

区域确定部，其基于从拍摄了对象物而得到的拍摄数据提取出的特征部，确定所述对象物的3D模型数据中的与所述拍摄数据对应的区域；

图像生成部，其根据所述3D模型数据，生成所确定的所述区域的图像数据；以及

差异确定部，其确定在所述拍摄数据和所述图像数据之间存在差异的部分。

2.根据权利要求1所述的对象物确认装置，其中，

具备差异加工部，该差异加工部以能够确定存在所述差异的部分的方式，对所述拍摄数据或者所述图像数据进行加工。

3.根据权利要求1或2所述的对象物确认装置，其中，

具备模型加工部，该模型加工部以能够确定所述3D模型数据中的存在对应的所述拍摄数据的区域和不存在对应的所述拍摄数据的区域的方式，对所述3D模型数据进行加工。