CN214101601U - 信息处理系统 - Google Patents

Abstract

提供一种能够将三维模型自动地重叠显示在产品的拍摄图像上的信息处理系统。信息处理系统具备：图像获取部，其获取对象物的拍摄图像；距离获取部，其获取设在对象物上的基准点与摄像头之间的距离；和显示控制部，其基于对象物的设计数据生成对象物的三维模型，基于基准点与摄像头之间的距离调整三维模型的大小及朝向，将三维模型以重叠在拍摄图像上的方式显示于显示部。

Description

信息处理系统

技术领域

本实用新型涉及信息处理系统、信息处理方法、信息处理程序。

背景技术

以往，在对产品是否按照生产图纸制作进行检查的情况下，由人测定产品的尺寸，并与生产图纸进行对照来确认形状是否有异，从而基于判定基准判定合格与否。

但是，对于锅炉等由多个部件构成的产品，检查需要时间，实施所有部位的尺寸测定从现实上来说是不可能的。因此，即使在测定对象外的部位产生了容许范围外的尺寸差，也有可能无法发现。另外，在镜像方式的图纸表述的情况下，生产、检查均花费时间，容易产生错误。

在专利文献1中公开了一种将根据产品的设计数据生成的三维模型重叠地显示在该产品的拍摄图像上的系统。

现有技术文献

专利文献

专利文献1：日本特开2019-159375号公报

实用新型内容

但是，在专利文献1的系统中，为了将三维模型相对于产品的拍摄图像准确地重叠显示，需要由使用者一边参照拍摄图像一边利用鼠标和键盘操作来输入摄像头相对于该产品的相对位置姿势(视线位置及视线方向)的信息来作为外部参数。因此，在专利文献1的系统中，无法将产品检查自动化。另外，根据进行输入操作的使用者的熟练度的不同，拍摄图像与三维模型的重叠精度会产生偏差，其结果为，有可能错误检测产品与设计数据的差异。

另外，在专利文献1的系统中，在对从物体的拍摄图像提取的直线组和从设计数据生成的直线组进行比较并使其一致时，在制造中途的加工前阶段物体的形状尚未完成的情况下，或在如组装、安装确认时这样当场没有形状完成的物体的状态下，无法进行直线组的比较并使其一致，因此无法将三维模型相对于物体的拍摄图像重叠地显示，从而无法灵活利用三维模型的重叠显示。

本实用新型是考虑以上那样的方面而做出的。本实用新型的目的在于提供能够将三维模型自动地重叠显示在产品的拍摄图像上的信息处理系统、信息处理方法、信息处理程序。

本实用新型的第1方案的信息处理系统具备：图像获取部，其获取对象物的拍摄图像；距离获取部，其获取设在上述对象物上的基准点与上述摄像头之间的距离；和显示控制部，其基于上述对象物的设计数据生成上述对象物的三维模型，基于上述基准点与摄像头之间的距离调整上述三维模型的大小及朝向，将上述三维模型以重叠在上述拍摄图像上的方式显示于显示部。

根据这样的方案，在将三维模型重叠显示在拍摄图像上时，由距离获取部获取设在对象物上的基准点与摄像头之间的距离，由显示控制部基于该基准点与摄像头之间的距离调整三维模型的大小及朝向，因此，即使使用者不输入摄像头相对于对象物的相对位置姿势(视线位置及视线方向)的信息，也能够将三维模型自动地重叠显示在产品的拍摄图像上。另外，由于不需要使用者对外部参数的输入操作，所以重叠精度不会根据进行输入操作的使用者的熟练度的不同而产生偏差，即使是经验值低的使用者，也能够将三维模型高精度地重叠显示在产品的拍摄图像上。而且，即使是在制造中途的加工前阶段物体的形状尚未完成的情况下，或在如组装、安装确认时这样当场没有形状完成的物体的状态下，通过基于设在对象物上的基准点与摄像头之间的距离来调整三维模型的大小及朝向，也能够将三维模型相对于对象物的拍摄图像恰当地重叠显示。

本实用新型的第2方案的信息处理系统在第1方案的信息处理系统中，还具备对上述三维模型的轮廓线和上述拍摄图像的轮廓线进行比较的比较部。

本实用新型的第3方案的信息处理系统在第2方案的信息处理系统中，上述比较部利用从不同角度拍摄到的多张拍摄图像进行轮廓线的比较。

本实用新型的第4方案的信息处理系统在第1～3中任一方案的信息处理系统中，上述基准点的数量为三个以上。

本实用新型的第5方案的信息处理系统在第4方案的信息处理系统中，上述基准点的数量为四个以上。

本实用新型的第6方案的信息处理系统在第1～5中任一方案的信息处理系统中，上述摄像头设于无人机。

本实用新型的第7方案的信息处理系统在第6方案的信息处理系统中，上述无人机沿着上述对象物的焊接线或基于上述设计数据而指定的范围移动。

本实用新型的第8方案的信息处理系统在第1～7中任一方案的信息处理系统中，上述对象物是锅炉或构成锅炉的部件。

本实用新型的第9方案的信息处理系统在第2或第3方案、或引用第2或第3方案的第4～8中任一方案的信息处理系统中，还具备合格与否判定部，该合格与否判定部基于上述比较部的比较结果测定尺寸差，并判定该尺寸差是否在预先确定的容许范围内，在容许范围内的情况下，判定成上述对象物作为单体是合格的，在容许范围外的情况下，判定成上述对象物作为单体是不合格的。

本实用新型的第10方案的信息处理系统在第9方案的信息处理系统中，上述合格与否判定部在对要相互接合的一对对象物分别判定成作为单体是合格的情况下，对根据上述比较部的基于一个对象物的上述拍摄图像得到的比较结果测定出的尺寸差的符号、和根据上述比较部的基于另一个对象物的上述拍摄图像得到的比较结果测定出的尺寸差的符号进行比较，根据符号是相同还是不同来判定作为一对是否合格。在由上述合格与否判定部判定成不合格的情况下，上述显示控制部可以将被判定成不合格的部位以与其他部位不同的样态显示在三维模型上。

本实用新型的第11方案的信息处理系统在第1～10中任一方案的信息处理系统中，上述基准点利用磁力可装拆地安装在上述对象物上。

本实用新型的第12方案的信息处理系统在第1～10中任一方案的信息处理系统中，上述基准点被焊接在上述对象物上而固定。

本实用新型的第13方案的信息处理系统在第1～12中任一方案的信息处理系统中，上述显示控制部基于上述对象物的设计数据生成上述对象物的三维模型，基于上述基准点与摄像头之间的距离对上述三维模型进行镜像转换并且调整上述三维模型的大小及朝向，将上述三维模型以重叠在上述拍摄图像上的方式显示于显示部。

本实用新型的第14方案的信息处理系统在第2或第3方案、或者引用第2或第3方案的第4～13中任一方案的信息处理系统中，还具备具有上述摄像头、上述显示部和存储部的终端装置，在上述存储部中存储反映了基于上述比较部的比较结果测定出的尺寸差的三维模型，上述显示部能够显示上述存储部所存储的三维模型。

本实用新型的第15方案的信息处理系统在第1～14中任一方案的信息处理系统中，在上述显示部中，能够选择以线表示的模式和以实况表示的模式来显示上述三维模型。

本实用新型的第16方案的信息处理系统在第1～15中任一方案的信息处理系统中，还具备第2合格与否判定部，该第2合格与否判定部基于上述对象物的拍摄图像，利用图像识别对上述对象物的焊接外观及/或涂装外观进行合格与否判定。

本实用新型的第17方案的信息处理方法是计算机所执行的信息处理方法，包括：获取对象物的拍摄图像的步骤；获取设在上述对象物上的基准点与上述摄像头之间的距离的步骤；和基于上述对象物的设计数据生成上述对象物的三维模型，基于上述基准点与摄像头之间的距离调整上述三维模型的大小及朝向，将上述三维模型以重叠在上述拍摄图像上的方式显示于显示部的步骤。

本实用新型的第18方案的信息处理程序使计算机作为图像获取部、距离获取部和显示控制部而发挥功能，其中，图像获取部获取对象物的拍摄图像，距离获取部获取设在上述对象物上的基准点与上述摄像头之间的距离，显示控制部基于上述对象物的设计数据生成上述对象物的三维模型，基于上述基准点与摄像头之间的距离调整上述三维模型的大小及朝向，将上述三维模型以重叠在上述拍摄图像上的方式显示于显示部。

实用新型效果

根据本实用新型，能够将三维模型自动地重叠显示在产品的拍摄图像上。

附图说明

图1是表示一个实施方式的信息处理系统的概略结构的图。

图2A是用于说明在图1所示的信息处理系统中对象物(构成锅炉的部件)与摄像头之间的位置关系的一个例子的图。

图2B是用于说明在图1所示的信息处理系统中对象物(构成锅炉的其他部件)与摄像头之间的位置关系的一个例子的图。

图2C是用于说明在图1所示的信息处理系统中对象物(构成锅炉的其他部件)与摄像头之间的位置关系的一个例子的图。

图2D是用于说明在图1所示的信息处理系统中对象物(组装后的锅炉)与摄像头之间的位置关系的一个例子的图。

图3是表示在图2A所示的位置关系下进行了拍摄时的对象物的拍摄图像的一个例子的图。

图4是表示基于在图2A所示的位置关系下测定出的到基准点为止的距离而调整了大小及朝向后的对象物的三维模型的一个例子的图。

图5A是表示在终端装置的显示部上将三维模型重叠地显示在拍摄图像上的状态的一个例子的图。

图5B是表示在终端装置的显示部上显示着三维模型的状态的一个例子的图。

图6A是用于说明要相互接合的一对对象物的接合前的状态的图。

图6B是用于说明要相互接合的一对对象物的接合后的状态的图。

图7A是用于说明尺寸差的符号双方均为正的情况的图。

图7B是用于说明尺寸差的符号双方均为负的情况的图。

图8是表示一个实施方式的信息处理系统的动作的一个例子的流程图。

图9是用于说明摄像头被设于无人机的样态的图。

具体实施方式

以下，参照附图详细地说明本实用新型的实施方式。此外，在以下的说明及以下的说明所使用的附图中，对于同样地构成而得到的部分，使用相同的附图标记，并且省略重复的说明。

图1是表示一个实施方式的信息处理系统1的概略结构的图。

如图1所示，信息处理系统1具备终端装置2和服务器3。终端装置2和服务器3经由因特网等网络4而能够相互通信地连接。网络4可以是有线线路和无线线路中的任一种，不论线路的种类和形态如何。此外，终端装置2和服务器3中的至少一部分通过计算机实现。

终端装置2供使用者使用，例如为手机、平板终端、穿戴式终端、笔记本电脑等电子设备。

如图1所示，终端装置2具有终端通信部21、终端控制部22、终端存储部23、终端输入部24、终端显示部25、摄像头26和距离传感器27。各部分经由总线而能够相互通信地连接。

终端通信部21是终端装置2与网络4之间的通信接口。终端通信部21经由网络4在终端装置2与服务器3之间收发信息。

终端控制部22是进行终端装置2的各种处理的控制机构。终端控制部22可以通过终端装置2内的处理器执行规定程序而实现，也可以以硬件形式安装。

终端存储部23是例如内置存储器或外部存储器(SD存储卡等)等数据存储器。在终端存储部23中存储有终端控制部22所处理的各种数据。此外，终端存储部23可以不必设在终端装置2内，终端存储部23的一部分或全部也可以设在经由网络4与终端装置2能够通信地连接的其他装置(例如未图示的存储服务器)内。

终端输入部24是用于供使用者向终端装置2输入信息的接口，例如是手机、平板终端中的触摸面板、麦克风、笔记本电脑中的触控板、键盘或鼠标等。

终端显示部25是从终端装置2对使用者显示各种信息的接口，例如是液晶显示器等视频显示机构。具体而言，例如终端显示部25也可以显示用于受理来自使用者的操作的GUI(Graphical User Interface，图形用户界面)。

摄像头26是拍摄对象物100(参照图2A)并生成拍摄图像200(参照图3)的摄像装置，例如能够使用接收从对象物100反射或放射的光并将其转换成二维电子信息的CCD摄像头或CMOS摄像头。通过摄像头26拍摄并生成的对象物100的拍摄图像200可以存储在终端存储部23中，也可以如图5A所示，(例如实时地)显示于终端显示部25。

作为一个变形，参照图9，也可以是将摄像头26设于无人机5。由此，无需使用者在手边操作摄像头26来拍摄对象物100，例如能够在夜间等以无人模式使无人机5移动来拍摄对象物100，是有效的。另外，即使在对象物100为锅炉或构成锅炉的部件等大型物品的情况下，若是无人机5则能够从任意方向(例如正上方)接近对象物100进行拍摄，因此能够无遗漏地详细地拍摄对象物100的外观。

在将摄像头26设于无人机5的情况下，也可以构成为无人机5沿着对象物100的焊接线或基于设计数据331而指定的范围移动。在该情况下，对象物100中的焊接线的位置信息或基于设计数据331而指定的范围的位置信息(即无人机5的移动路径)可以预先存储于无人机5内的存储器(未图示)，也可以在无人机5的移动过程中经由网络4从服务器3等依次获取。通过使无人机5沿着对象物100的焊接线移动，能够利用摄像头26高效地拍摄对象物100的焊接外观，在对象物100为锅炉等压力容器的情况下，能够自动检查对象物100是否满足压力容器所要求的高焊接基准。

距离传感器27是对设在对象物100上的基准点101～103与摄像头26之间的距离D1～D3(参照图2A)进行测定的传感器。作为距离传感器27，例如可以使用如下激光式距离传感器：从摄像头26的位置朝向基准点101～103照射激光，接收在基准点101～103反射的激光并测定摄像头26与基准点101～103之间的距离D1～D3，在终端装置2上设有两台以上的摄像头26的情况下，也可以使用如下视差式距离传感器：基于由两台以上的摄像头26获取的拍摄图像之间的视差，测定摄像头26与基准点101～103之间的距离D1～D3。

此外，参照图2A，设在对象物100上的基准点101～103可以利用磁力可装拆地安装在对象物100上，也可以焊接在对象物100上而固定。在将基准点101～103利用磁力可装拆地安装在对象物100上的情况下，容易在对象物出厂前拆下不需要的基准点101～103。另外，在基准点101～103被焊接在对象物100上而固定的情况下，能够防止因振动等影响而基准点101～103产生位置偏移。在图2A所示的例子中，基准点101～103的数量为三个，但也可以为四个以上。另外，在图2A所示的例子中，对象物100是构成锅炉的水冷壁组件，但并不限定于此，例如可以是构成锅炉的锅筒组件100X(参照图2B)，可以是构成锅炉的连接管组件100Y(参照图2C)，也可以是现场组装后的锅炉100Z(参照图2D)。

接下来，说明服务器3。如图1所示，服务器3具有服务器通信部31、服务器控制部32和服务器存储部33。各部分经由总线和网络而能够相互通信地连接。

其中服务器通信部31是服务器3与网络4之间的通信接口。服务器通信部31经由网络4在服务器3与终端装置2之间收发信息。

服务器存储部33是例如硬盘等永久型数据存储器。在服务器存储部33中存储有服务器控制部32所处理的各种数据。例如，在服务器存储部33中，存储有对象物的设计数据331和对象物的拍摄图像200。

关于对象物的设计数据331，可以是对于要相互接合的一对对象物，仅将一个对象物的设计数据331存储于服务器存储部33，镜像的另一个对象物的设计数据不存储于服务器存储部33。由此，能够节约服务器存储部33的存储容量。

对象物的拍摄图像200是由终端装置2的摄像头26拍摄到的，可以是静止图像，也可以是动态图像。在为静止图像的情况下，对于一个对象物100，可以存储从不同角度拍摄到的多张拍摄图像200。

此外，服务器存储部33可以不必设在服务器3内，服务器存储部33的一部分或全部也可以设在经由网络4与服务器3能够通信地连接的其他装置(例如未图示的存储服务器)内。

如图1所示，服务器控制部32具有图像获取部321、距离获取部322、显示控制部323、比较部324和合格与否判定部325。这些各部分可以通过服务器3内的处理器执行规定程序而实现，也可以以硬件形式安装。

图像获取部321经由网络4从终端装置2获取通过终端装置2的摄像头26拍摄到的对象物的拍摄图像200。由图像获取部321获取到的对象物的拍摄图像200被存储于服务器存储部33。

距离获取部322经由网络4从终端装置2获取由终端装置2的距离传感器27测定出的、设在对象物100上的基准点101～103与摄像头26之间的距离D1～D3的信息。由距离获取部322获取到的基准点与摄像头之间的距离D1～D3的信息可以存储于服务器存储部33。

显示控制部323从服务器存储部33读出对象物的设计数据331，基于该设计数据331生成对象物的三维模型300(参照图4)。接着，显示控制部323基于由距离获取部322获取到的基准点与摄像头之间的距离D1～D3的信息，调整对象物的三维模型300的大小及朝向。例如，计算出三维模型300上的基准点301～303的相对位置关系(大小及朝向)、与基于由距离获取部322获取到的基准点与摄像头之间的距离D1～D3的信息确定的对象物100上的基准点101～103的相对位置关系(大小及朝向)之间的差异，并以该差异成为零的方式(即以三维模型300上的基准点301～303的相对位置关系与从摄像头26的位置观察时的对象物100上的基准点101～103的相对位置关系一致的方式)，放大或缩小对象物的三维模型300的大小并且使朝向旋转。

在存储于服务器存储部33的设计数据331为对象物的镜像的设计数据的情况下，显示控制部323可以在基于镜像的设计数据331生成三维模型300后，基于由距离获取部322获取到的基准点与摄像头之间的距离D1～D3的信息，对该三维模型300进行镜像转换，并且调整镜像转换后的三维模型300的大小及朝向。

然后，显示控制部323经由网络4向终端装置2发送调整了大小及朝向后的对象物的三维模型300的信息，如图5A所示，使三维模型300重叠地显示在终端显示部25上所显示的拍摄图像200上。此时，三维模型300的大小及朝向已基于由距离获取部322获取到的基准点与摄像头之间的距离D1～D3的信息而调整成与从摄像头26的位置观察时的对象物100的大小及朝向一致，因此即使使用者不输入摄像头26相对于对象物100的相对位置姿势(视线位置及视线方向)的信息，也能够将三维模型300自动地重叠显示在产品的拍摄图像200上。

在终端显示部25中，也可以是能够选择以线表示的模式和以实况表示的模式来显示对象物的三维模型300。在三维模型300以线表示的模式的情况下，即使三维模型300重叠地显示在对象物的拍摄图像200上，该三维模型300也不会遮蔽对象物的表面(外观)，因此能够判定对象物100的焊接外观及/或涂装外观。服务器控制部32也可以具有第2合格与否判定部(未图示)，该第2合格与否判定部基于对象物的拍摄图像200，利用图像识别对对象物100的焊接外观及/或涂装外观进行合格与否判定。第2合格与否判定部中的合格与否判定的判定基准可以为例如焊脚长、长度、宽度不齐、弧坑、咬边、飞溅等。

终端装置2从服务器3接收到的对象物的三维模型300的信息可以存储于终端存储部23。存储于终端存储部23的三维模型可以是反映了实际的对象物100的公差(即后述的实际的对象物100的尺寸与设计数据331上的尺寸之间的尺寸差Δ)的三维模型。通过将三维模型300的信息存储于终端存储部23，如图5B所示那样，即使在处于远离服务器3的地方的安装现场也能够根据安装基准的设定将对象物的三维模型300显示于终端显示部25，从而能够检测安装误差、组装错误。另外，也可以是显示于终端显示部25的三维模型300能够通过来自终端输入部24的使用者的输入操作在终端显示部25上移动。由此，能够灵活利用于安装时的吊装动作路线的确认、现场组装的协调确认。另外，通过在产品的接收检查时对产品进行再检查，与完成时的三维模型300进行比较，能够确认运输时的损伤、变形。

比较部324利用图像识别进行三维模型300的轮廓线与拍摄图像200的轮廓线的比较。在此，轮廓线可以是指三维模型300或拍摄图像200与其背景之间的边界线，也可以是指三维模型300或拍摄图像200所包含的棱线。比较部324可以利用从不同角度拍摄到的多张拍摄图像200进行三维模型300的轮廓线与拍摄图像200的轮廓线的比较。通过利用从不同角度拍摄到的多张拍摄图像200，对于无法提取棱线的曲面，也能够将该曲面与背景的边界线提取为轮廓线来进行比较。

比较部324也可以通过利用图像识别进行三维模型300与拍摄图像200的比较，除了提取轮廓线的差异以外，还提取焊接外观、与涂装和伤痕有关的外观问题点。

合格与否判定部325基于比较部324的比较结果对实际的对象物100的尺寸与设计数据331上的尺寸之间的带符号的尺寸差Δ(参照图5A)进行测定，判定该尺寸差Δ是否在预先确定的容许范围内。在此，尺寸差Δ的符号可以是若实际的对象物100的尺寸大于设计数据331上的尺寸则为正、若小于则为负，也可以与之相反。并且，合格与否判定部325在判定成尺寸差Δ在容许范围内的情况下，判定成对象物100作为单体是合格的。另一方面，合格与否判定部325在判定成尺寸差Δ在容许范围外的情况下，判定成对象物100作为单体是不合格的。显示控制部323可以向终端装置2发送合格与否判定部325的合格与否的判定结果及相符部位的信息，并使其显示于终端显示部25。图5A的附图标记251示出了显示于终端显示部25的合格与否的判定结果。另外，图5B的附图标记300X示出了被判定合格与否的相符部位(例如不合格的部位)。尺寸差Δ和合格与否的判定结果也可以存储于服务器存储部33。

另外，参照图6A及图6B，合格与否判定部325在对要相互接合的一对对象物100a、100b分别判定成作为单体是合格的情况下，对针对一个对象物100a测定出的尺寸差Δ的符号和针对另一个对象物100b测定出的尺寸差Δ的符号进行比较。

然后，合格与否判定部325根据尺寸差Δ的符号相同还是不同来判定作为一对是否合格。具体而言，例如在以尺寸差的长短相互抵消后全长为容许范围内这样的形态下判定成尺寸差Δ的符号不同的情况下(即在一个对象物100a的尺寸比设计数据331上的尺寸大、另一个对象物100b的尺寸比设计数据331上的尺寸小的情况下)，如图6B所示，将该一对对象物100a、100b彼此在附图标记C1处接合时和将该一对对象物100a、100b分别在附图标记C2、C3处与其他对象物100c接合时这两种情况下均不会产生问题，因此判定成该一对对象物100a、100b作为一对是合格的。

另一方面，参照图7A及图7B，在判定成尺寸差Δ的符号相同的情况下，判定成该一对对象物100a、100b作为一对是不合格的。这是因为参照图7A，在尺寸差Δ的符号双方均为正时(即一对对象物100a、100b中的任一个的尺寸均比设计数据331上的尺寸大的情况下)，若将该一对对象物100a、100b彼此在附图标记C1处接合，则无法将该一对对象物100a、100b分别在附图标记C2、C3处与其他对象物100c接合。另外，这是因为参照图7B，在尺寸差Δ的符号双方均为负时(即一对对象物100a、100b中的任一个的尺寸均比设计数据331上的尺寸小的情况下)，若将该一对对象物100a、100b分别在附图标记C2、C3处与其他对象物100c接合，则无法将该一对对象物100a、100b彼此在附图标记C1处接合。

作为其他例子，也可以是，在通过平面位置的协调而成为相同位置(符号)的公差这样的形态下，合格与否判定部325在判定成尺寸差Δ的符号相同的情况下，判定成该一对对象物100a、100b作为一对是合格的，在判定成尺寸差Δ的符号不同的情况下，判定成该一对对象物100a、100b作为一对是不合格的。显示控制部323可以向终端装置2发送合格与否判定部325的一对对象物方式下的合格与否的判定结果及相符部位的信息，并使其显示于终端显示部25。也可以将一对对象物方式下的合格与否的判定结果存储于服务器存储部33。

接下来，参照图8，说明由这样的结构构成的信息处理系统1的动作的一个例子。图8是表示信息处理系统1的动作的一个例子的流程图。

如图8所示，首先终端装置2的摄像头26拍摄对象物100(参照图2A)并生成拍摄图像200(参照图3)，服务器3的图像获取部321从终端装置2获取对象物的拍摄图像200(步骤S10)。由图像获取部321获取到的对象物的拍摄图像200被存储于服务器存储部33。

接着，终端装置2的距离传感器27对设在对象物100上的基准点101～103与摄像头26之间的距离D1～D3(参照图2A)进行测定，服务器3的距离获取部322从终端装置2获取该测定出的距离D1～D3的信息(步骤S11)。由距离获取部322获取到的基准点与摄像头之间的距离D1～D3的信息也可以存储于服务器存储部33。

此外，在图8所示的例子中，虽然是在步骤S10后进行步骤S11，但可以在步骤S11后进行步骤S10，也可以同时进行步骤S10和步骤S11。

接着，显示控制部323从服务器存储部33读出对象物的设计数据331，基于该设计数据331生成对象物的三维模型300(参照图4)(步骤S12)。

然后，显示控制部323基于由距离获取部322获取到的基准点与摄像头之间的距离D1～D3的信息，调整对象物的三维模型300的大小及朝向(步骤S13)。

接着，显示控制部323向终端装置2发送调整了大小及朝向后的对象物的三维模型300的信息，如图5A所示，将三维模型300以重叠在拍摄图像200上的方式显示于终端显示部25(步骤S14)。此时，三维模型300的大小及朝向已基于基准点与摄像头之间的距离D1～D3的信息而调整成与从摄像头26的位置观察时的对象物100的大小及朝向一致，因此即使使用者不输入摄像头26相对于对象物100的相对位置姿势(视线位置及视线方向)的信息，也能够将三维模型300自动地重叠显示在产品的拍摄图像200上。

接着，比较部324进行三维模型300的轮廓线与拍摄图像200的轮廓线的比较(步骤S15)。

然后，合格与否判定部325基于比较部324的比较结果对实际的对象物100的尺寸与设计数据331上的尺寸之间的带符号的尺寸差Δ(参照图5A)进行测定(步骤S16)，判定该尺寸差Δ是否在预先确定的容许范围内(步骤S17)。

在步骤S17中判定成尺寸差Δ在容许范围内的情况下，合格与否判定部325判定成对象物100作为单体是合格的(步骤S18)。

另一方面，在步骤S17中判定成尺寸差Δ在容许范围外的情况下，合格与否判定部325判定成对象物100作为单体是不合格的(步骤S19)。

而且，合格与否判定部325在对要相互接合的一对对象物100a、100b(参照图6A及图6B)分别在步骤S18中判定成作为单体是合格的情况下，对针对一个对象物100a测定出的尺寸差Δ的符号和针对另一个对象物100b测定出的尺寸差Δ的符号进行比较(步骤S20)。

在步骤S20中判定成尺寸差Δ的符号不同的情况下(即，在一个对象物100a的尺寸比设计数据331上的尺寸大、另一个对象物100b的尺寸比设计数据331上的尺寸小的情况下)，合格与否判定部325判定成该一对对象物100a、100b作为一对是合格的(步骤S21)。

另一方面，在步骤S20中，参照图7A及图7B判定成尺寸差Δ的符号相同的情况下，判定成该一对对象物100a、100b作为一对是不合格的(步骤S22)。

然后，显示控制部323可以向终端装置2发送合格与否判定部325的合格与否的判定结果及相符部位的信息，使其显示于终端显示部25。图5A的附图标记251示出了显示于终端显示部25的合格与否的判定结果。另外，图5B的附图标记300X示出了被判定合格与否的相符部位(例如不合格的部位)。

根据以上那样的本实施方式，在将三维模型300重叠地显示在拍摄图像200上时，由距离获取部322获取设在对象物100上的基准点101～103与摄像头26之间的距离D1～D3，由显示控制部323基于该基准点与摄像头之间的距离D1～D3调整三维模型300的大小及朝向，因此，即使使用者不输入摄像头26相对于对象物100的相对位置姿势(视线位置及视线方向)的信息，也能够将三维模型300自动地重叠显示在产品的拍摄图像200上。另外，根据本实施方式，不需要使用者对外部参数的输入操作，因此重叠精度不会根据使用者的熟练度的不同而产生偏差，即使是经验值低的使用者，也能够将三维模型300高精度地重叠显示在产品的拍摄图像200上。而且，即使是在制造中途的加工前阶段物体的形状尚未完成的情况下，或在如组装、安装确认时这样当场没有形状完成的(组装好的)物体的状态下，通过基于设在对象物100上的基准点101～103与摄像头26之间的距离D1～D3调整三维模型300的大小及朝向，也能够将三维模型300相对于对象物的拍摄图像200恰当地重叠显示。由此，能够得到防止生产错误、提高生产精度、因防止修补等返工作业而实现降低成本、生产业务效率化、基于自动化缩短检查而降低成本、灵活利用数据检查运输后的损伤、提高安装精度等效果。

以上，通过例示说明了本实用新型的实施方式及变形例，但本实用新型的范围并不限定于此，能够在权利要求书所记载的范围内根据目的进行变更、变形。另外，各实施方式及变形例能够在不使处理内容发生矛盾的范围内适当进行组合。

另外，本实施方式的信息处理系统1能够由一台或多台计算机构成，但用于使一台或多台计算机实现信息处理系统1的程序及记录了该程序的记录介质也是本申请的保护对象。

Claims (16)

1.一种信息处理系统，其特征在于，具备：

图像获取部，其获取通过摄像头拍摄到的对象物的拍摄图像；

距离获取部，其获取设在所述对象物上的基准点与所述摄像头之间的距离；和

显示控制部，其基于所述对象物的设计数据生成所述对象物的三维模型，基于所述基准点与摄像头之间的距离调整所述三维模型的大小及朝向，将所述三维模型以重叠在所述拍摄图像上的方式显示于显示部。

2.如权利要求1所述的信息处理系统，其特征在于，

还具备对所述三维模型的轮廓线和所述拍摄图像的轮廓线进行比较的比较部。

3.如权利要求2所述的信息处理系统，其特征在于，

所述比较部利用从不同角度拍摄到的多张拍摄图像进行轮廓线的比较。

4.如权利要求1所述的信息处理系统，其特征在于，

所述基准点的数量为三个以上。

5.如权利要求4所述的信息处理系统，其特征在于，

所述基准点的数量为四个以上。

6.如权利要求1所述的信息处理系统，其特征在于，

所述摄像头设于无人机。

7.如权利要求6所述的信息处理系统，其特征在于，

所述无人机沿着所述对象物的焊接线或基于所述设计数据而指定的范围移动。

8.如权利要求1所述的信息处理系统，其特征在于，

所述对象物是锅炉或构成锅炉的部件。

9.如权利要求2所述的信息处理系统，其特征在于，

还具备合格与否判定部，该合格与否判定部基于所述比较部的比较结果测定尺寸差，并判定该尺寸差是否在预先确定的容许范围内，在容许范围内的情况下，判定成所述对象物作为单体是合格的，在容许范围外的情况下，判定成所述对象物作为单体是不合格的。

10.如权利要求9所述的信息处理系统，其特征在于，

所述合格与否判定部在对要相互接合的一对对象物分别判定成作为单体是合格的情况下，对针对一个对象物的根据所述比较部的基于所述拍摄图像得到的比较结果测定出的尺寸差的符号、和针对另一个对象物的根据所述比较部的基于所述拍摄图像得到的比较结果测定出的尺寸差的符号进行比较，根据符号是相同还是不同来判定作为一对是否合格。

11.如权利要求1～10中任一项所述的信息处理系统，其特征在于，

所述基准点利用磁力可装拆地安装在所述对象物上。

12.如权利要求1～10中任一项所述的信息处理系统，其特征在于，

所述基准点被焊接在所述对象物上而固定。

13.如权利要求1～10中任一项所述的信息处理系统，其特征在于，

在所述设计数据为所述对象物的镜像的设计数据的情况下，所述显示控制部基于所述对象物的镜像的设计数据生成所述对象物的三维模型，基于所述基准点与摄像头之间的距离对所述三维模型进行镜像转换并且调整所述三维模型的大小及朝向，将所述三维模型以重叠在所述拍摄图像上的方式显示于显示部。

14.如权利要求2所述的信息处理系统，其特征在于，

还具备具有所述摄像头、所述显示部和存储部的终端装置，

在所述存储部中存储反映了基于所述比较部的比较结果测定出的尺寸差的三维模型，

所述显示部能够显示所述存储部所存储的三维模型。

15.如权利要求1～10中任一项所述的信息处理系统，其特征在于，

在所述显示部中，能够选择以线表示的模式和以实况表示的模式来显示所述三维模型。

16.如权利要求1～10中任一项所述的信息处理系统，其特征在于，

还具备第2合格与否判定部，该第2合格与否判定部基于所述对象物的拍摄图像，利用图像识别对所述对象物的焊接外观及/或涂装外观进行合格与否判定。

Images