CN108062431B - 作业支援系统以及作业方法 - Google Patents

作业支援系统以及作业方法 Download PDF

Info

Publication number
CN108062431B
CN108062431B CN201711083280.7A CN201711083280A CN108062431B CN 108062431 B CN108062431 B CN 108062431B CN 201711083280 A CN201711083280 A CN 201711083280A CN 108062431 B CN108062431 B CN 108062431B
Authority
CN
China
Prior art keywords
mismatch
dimensional data
amount
mismatch amount
transport object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711083280.7A
Other languages
English (en)
Other versions
CN108062431A (zh
Inventor
森长亮
武者整
桑村音晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN108062431A publication Critical patent/CN108062431A/zh
Application granted granted Critical
Publication of CN108062431B publication Critical patent/CN108062431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • Game Theory and Decision Science (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

实施方式涉及的作业支援系统包括摄影部、储存部以及处理部。上述摄影部能够对被搬送到构造物内且被配置于上述构造物内后的第1搬送物进行摄影。上述储存部储存第1三维数据。上述第1三维数据包括上述构造物的三维数据、以及在上述三维数据的上述构造物内的第1位置被叠合的上述第1搬送物的三维数据。上述处理部检测第2三维数据的上述第1搬送物相对上述第1三维数据的上述第1搬送物的位移。上述第2三维数据通过对配置于上述构造物内的上述第1搬送物进行摄影而获得。

Description

作业支援系统以及作业方法
相关申请的交叉引用
本申请享受以日本专利申请2016－218249号(申请日：2016年11月8日)为基础申请的优先权。本申请通过参照该基础申请而包含基础申请的全部的内容。
技术领域
本发明的实施方式一般涉及作业支援系统以及作业方法。
背景技术
在日本特开2014－178794号公报中公开了如下系统：使用激光扫描器等取得构造物的三维数据，生成用于向构造物的内部搬入器材、设备的搬入路线。根据日本特开2014－178794号公报公开的技术，能够提高与搬入相伴的作业的效率。
但是，在日本特开2014－178794号公报中，对于被搬入的器材、设备的固定作业并没有提及，对于这些的作业效率还有改善的余地。
发明内容
实施方式涉及的作业支援系统包括摄影部、储存部以及处理部。
实施方式涉及的作业支援系统包括摄影部、储存部以及处理部。上述摄影部能够对被搬送到构造物内且被配置于上述构造物内后的第1搬送物进行摄影。上述储存部储存第1三维数据。上述第1三维数据包括上述构造物的三维数据、以及在上述三维数据的上述构造物内的第1位置被叠合的上述第1搬送物的三维数据。上述处理部检测第2三维数据的上述第1搬送物相对上述第1三维数据的上述第1搬送物的位移。上述第2三维数据通过对配置于上述构造物内的上述第1搬送物进行摄影而获得。
附图说明
图1是表示实施方式涉及的作业支援系统的构成的框图。
图2是表示作业的一个例子以及实施方式涉及的作业支援系统的动作的流程图。
图3(a)～图3(d)是表示储存于储存部的数据的一个例子的示意图。
图4是表示图2所表示的步骤S6以及S7中的具体的处理的一个例子的流程图。
图5是表示使第1三维数据和第2三维数据叠合时的一个例子的示意图。
图6(a)～图6(c)表示将图5的三维数据投影到各面时的情形的示意图。
具体实施方式
实施方式涉及的作业支援系统包括摄影部、储存部以及处理部。
实施方式涉及的作业支援系统包括摄影部、储存部以及处理部。上述摄影部能够对被搬送到构造物内且被配置于上述构造物内后的第1搬送物进行摄影。上述储存部储存第1三维数据。上述第1三维数据包括上述构造物的三维数据、以及在上述三维数据的上述构造物内的第1位置被叠合的上述第1搬送物的三维数据。上述处理部检测第2三维数据的上述第1搬送物相对上述第1三维数据的上述第1搬送物的位移。上述第2三维数据通过对配置于上述构造物内的上述第1搬送物进行摄影而获得。
下面，参照附图对本发明的各实施方式进行说明。
另外，附图是示意图或者概要图。即使在表示相同部分的情况下，也具有根据不同附图而相互的尺寸、比率不同地表示的情况。
另外，在本申请说明书和各图中，对于与已经说明的要素相同的要素标记相同的符号，并适当省略详细的说明。
图1是表示实施方式涉及的作业支援系统100的构成的框图。
如图1所示，作业支援系统100包括输入部10、摄影部20、储存部30、处理部40、显示部50以及终端60。
实施方式涉及的作业支援系统100例如用于对作业进行支援。该作业包括例如多个搬送物B向构造物A内的搬送、多个搬送物B的连结、多个搬送物B的固定。多个搬送物B包括第1搬送物B1～第n搬送物Bn。
作为这样的作业，例如，列举出以下的第1作业以及第2作业。
在第1作业中，用于构成纸张分组装置的多个设备向已经设置的构造物内被搬送。多个设备被安装以及组装。
在第2作业中，在工厂的施工现场中，向构造物内搬送配管等多个器材。多个器材以焊接等方式边被固定边被连在一起。
输入部10用于对处理部40进行信息的输入。输入部10例如被作业支援系统100的使用者使用。输入部10例如是键盘、触摸面板、或者麦克风(音声输入)等。
摄影部20取得进行摄影的被拍体的三维数据。摄影部20例如是三维激光扫描器。摄影部20以对被拍体的表面进行扫描，根据其反射光来求出照射点的三维坐标。被拍体的外形作为多个点的集合(点云数据)被取得。摄影部20例如设置于构造物A内的作业现场。摄影部20自动取得构造物A的内部构造的点云数据以及第1搬送物B1～第n搬送物Bn的点云数据。
多个摄影部20还可以设置于构造物A内。通过多个摄影部20被设置于相互不同的位置，来减少死角。取得更准确地表示对象的外形的点云数据。在多个摄影部20设置于构造物A内的情况下，处理部40对多个点云数据进行比较，使匹配的部分彼此进行叠合。由此，制作出1个点云数据。
储存部30储存作业支援系统100所使用的各种数据。储存部30例如是内置于PC的硬盘驱动器(HDD)或者文件服务器等。
储存部30包括构造物数据库31、搬送物数据库32、设计数据库33、摄影结果数据库34以及日程数据库35。
构造物数据库31储存着进行作业的构造物A的内部构造的三维数据。该三维数据包括固定有第1搬送物B1～第n搬送物Bn的构造物A内的区域、以及第1搬送物B1～第n搬送物Bn到该区域为止的在构造物A内的搬送路线。构造物数据库31进一步地还可以储存构造物A外的、进行第1搬送物B1～第n搬送物Bn的搬送的位置的三维数据。这些三维数据例如通过在作业前由摄影部20对构造物A进行摄影，取得点云数据来获得。或者，在存在构造物A以及进行搬送的位置的三维CAD数据的情况下，该三维CAD数据还可以被储存到构造物数据库31。
搬送物数据库32储存着第1搬送物B1～第n搬送物Bn的各自的三维数据(例如，三维CAD数据)。在没有这些搬送物的三维CAD数据的情况下，还可以在作业前，通过摄影部20对各搬送物进行摄影，从而取得三维数据。
设计数据库33储存着第1三维数据。在第1三维数据中，储存于构造物数据库31的构造物A的三维数据和储存于搬送物数据库32的各搬送物的三维数据在三维坐标上被叠合。
摄影结果数据库34储存着在构造物A内第1搬送物B1～第n搬送物Bn实际被配置的状态的第2三维数据。第2三维数据通过在第1搬送物B1～第n搬送物Bn被配置于构造物A内且被固定后，由摄影部20对第1搬送物B1～第n搬送物Bn进行摄影来获得。
摄影结果数据库34还可以储存其他的多个三维数据。该其他的多个三维数据分别表示第1搬送物B1～第n搬送物Bn被固定后的状态。例如，摄影结果数据库34还可以储存表示第1搬送物B1被固定后且第2搬送物B2被搬送前的状态的三维数据、以及第1搬送物B1以及第2搬送物B2被固定后且第3搬送物B3被搬送前的状态的三维数据等。
日程数据库35储存着作业的日程。作业日程例如通过一般使用的调度器来制作。作业日程包括作业的交付期、搬送物的搬送顺序以及固定顺序、各搬送物的搬送日期与搬送时刻、搬送所使用的资源(人员、机械等)、各资源的工作时间段等信息。
处理部40例如是PC具备的CPU(中央运算处理装置)以及存储器。在该存储器中存储着用于使处理部40执行各种处理的程序。处理部40参照储存于储存部30的数据并执行处理。对于通过处理部40执行的具体的处理在后叙述。
显示部50例如是监视器或者触摸面板等。显示部50显示储存于储存部30的各数据库，以便作业支援系统100的使用者能够确认以及编辑。显示部50显示由处理部40导出的结果，以便使用者能够确认。
终端60例如是智能手机、平板电脑等移动设备。在构造物A内进行作业的作业者携带终端60。处理部40能够将导出的结果发送到终端60。即，终端60作为接收从处理部40发送的信息的接收部而发挥作用。作业者能够使用终端60来参照储存部30的各数据库。
上述的各构成要素以USB缆线、LAN缆线等各种缆线或者无线网络等被相互连接，以便相互发送接收所需的信息。
参照图2以及图3(a)～图3(d)，并对作业的一个例子以及实施方式涉及的作业支援系统100的动作进行说明。
图2是表示作业的一个例子以及实施方式涉及的作业支援系统100的动作的流程图。
图3(a)～图3(d)是表示储存于储存部30的数据的一个例子的示意图。
图3(a)表示储存于构造物数据库31的构造物A的三维数据。图3(b)表示相互连结的第1搬送物B1～第n搬送物Bn的三维数据。图3(b)所表示的三维数据储存于搬送物数据库32。图3(c)表示储存于设计数据库33的第1三维数据。图3(d)表示储存于摄影结果数据库34的第2三维数据。
在图3(a)～图3(d)中，储存于储存部30的三维数据示意地以二维来表示。
图2所表示的流程主要包括进行搬送物的搬送以及固定的步骤S4、在这些的作业前进行的步骤S1～S3、在这些的作业后通过作业支援系统100进行的步骤S5～S7。
(步骤S1)
通过使用摄影部20对构造物A的内部进行摄影来制作出点云数据。由此，取得构造物A的内部构造的三维数据。在构造物A的三维CAD数据等已经存在的情况下，还可以利用该三维CAD数据，省略步骤S1。
根据该步骤S1，如图3(a)所示，准备出构造物A的内部构造的三维数据。
(步骤S2)
第1搬送物B1～第n搬送物Bn的三维数据被取得。在具有第1搬送物B1～第n搬送物Bn的三维CAD数据等的情况下，还可以利用这些数据，省略步骤S2。在没有三维CAD数据等的情况下，例如，第1搬送物B1～第n搬送物Bn分别通过激光扫描器被摄影，反映出这些搬送物的外形的点云数据被制作。由此，第1搬送物B1～第n搬送物Bn的三维数据被取得。
根据该步骤S2，如图3(b)所示，准备出第1搬送物B1～第n搬送物Bn的三维数据。
(步骤S3)
在步骤S2准备的第1搬送物B1～第n搬送物Bn的三维数据在三维坐标上被叠合到在步骤S1准备的构造物A的三维数据。第1搬送物B1～第n搬送物Bn的三维数据被叠合到以三维数据表示的构造物A上的第1位置。第1位置对应于在实际的作业中各搬送物在构造物A内被固定的第2位置。
根据该步骤S3，制作出第1三维数据。在第1三维数据中，如图3(c)所示，第1搬送物B1～第n搬送物Bn的三维数据被配置于三维数据的构造物A内的第1位置。
在第1三维数据的制作后，使用者还可以使用第1三维数据，研讨并制作出将各搬送物搬送到构造物A内的固定位置时的搬送路线。例如，使用者在第1三维数据上，在构造物A内分别移动第1搬送物B1～第n搬送物Bn，并且进行搬送路线的研讨以及制作。通过使用第1三维数据，能够确认有无搬送时的构造物A与各搬送物的干扰，并且能够研讨搬送路线。
或者，还可以由处理部40执行以下的动作那样来构成作业支援系统100。例如，处理部40以第1搬送物B1～第n搬送物Bn的固定位置的坐标、构造物A的搬入口的坐标等信息为基础，自动导出各搬送物的搬送路线。此时，处理部40还可以参照日程数据库35。处理部40还可以考虑第1搬送物B1～第n搬送物Bn的搬送顺序，并且导出各搬送物的搬送路线。
处理部40还可以使视频图像显示于显示部50，该视频图像是第1搬送物B1～第n搬送物Bn分别沿着在构造物A的三维数据中设定的搬送路线移动的图像。处理部40还可以使用第1三维数据，使显示部50显示在构造物A内的第1位置配置了第1搬送物B1～第n搬送物Bn后的状态。
通过使显示部50显示这样的信息，从而，能够在实际搬送第1搬送物B1～第n搬送物Bn前，具体地把握搬送时以及搬送后的状态。能够更流畅地进行作业。在作业前这些信息还可以在搬送物的交货目的地被提示。能够更具体地与顾客共享作业的情形以及交货后的状态。
在步骤S1取得构造物A的内部构造的点云数据的情况下，该点云数据还可以包括与构造物A内的地面的详细的状态有关的信息。在该情况下，作业者能够根据储存于构造物数据库31的三维数据来确认构造物A内的地面的详细的状态。此时，作业者还可以在第1三维数据上进行以下的作业。作业者还可以变更第1搬送物B1～第n搬送物Bn的固定位置，以便避开地面的凹凸较大的部分。作业者还可以调节被夹入在各搬送物与地面之间的构件的高度，以便缩小各搬送物相对水平方向的倾斜。
(步骤S4)
实际地向构造物A内搬送且固定第1搬送物B1～第n搬送物Bn。此时，第1搬送物B1～第n搬送物Bn被固定于事前设定的构造物A内的第1位置。即，以第1搬送物B1～第n搬送物Bn的固定后的位置与在第1三维数据中配置了第1搬送物B1～第n搬送物Bn后的位置一致的方式来固定第1搬送物B1～第n搬送物Bn。
(步骤S5)
通过摄影部20对被固定的第1搬送物B1～第n搬送物Bn进行摄影。
根据该步骤S5，如图3(d)所示，取得实际被固定于构造物A内的第1搬送物B1～第n搬送物Bn的三维数据(第2三维数据)。第2三维数据储存于储存部30。
在图3(d)表示的例子中，仅取得第1搬送物B1～第n搬送物Bn以及其周围的三维数据。还可以在步骤S5中，如图3(c)所示，取得第1搬送物B1～第n搬送物Bn以及构造物A的内部整体的三维数据。
(步骤S6)
处理部40对在步骤S3获得的第1三维数据与在步骤S5获得的第2三维数据进行比较。由此，检测第2三维数据的第1搬送物B1～第n搬送物Bn的位移相对第1三维数据的第1搬送物B1～第n搬送物Bn的位移。
更具体地讲，处理部40将第1三维数据和第2三维数据叠合在相同的三维坐标系上。由此，检测出在第1三维数据与第2三维数据之间，第1搬送物B1～第n搬送物Bn的位置正进行什么程度的位移。即，处理部40检测出对于第1搬送物B1～第n搬送物Bn，实际被固定的位置相对在搬送前被设计的位置具有什么程度的不同。
(步骤S7)
处理部40使检测结果显示在显示部50。处理部40将检测结果朝向终端60发送。终端60将接收到的结果显示在画面上。作业者对终端60表示的检测结果进行确认。由此，作业者能够容易地确认出被固定的第1搬送物B1～第n搬送物Bn的位置是否与事前设计的位置一致。
通过由实施方式涉及的作业支援系统100来进行上述的步骤S5～S7，从而，能够自动地检测固定后的第1搬送物B1～第n搬送物Bn的位置是否与事前设计的位置一致。
因此，根据实施方式涉及的作业支援系统100，无需作业者对固定后的第1搬送物B1～第n搬送物Bn的位置进行测量且确认，能够提高作业效率。
通过使用实施方式涉及的作业支援系统100，从而能够得到不依赖于作业者的测量技术的检测结果。因此，能够更高精度地调查位移的有无以及其程度。例如，通过高精度地检测位移，从而能够由作业者基于检测结果重新固定各搬送物。因此，能够缩小各搬送物的最终的固定位置相对设计位置的位移，能够提高作业的质量。
参照图4～图6(c)，并且对步骤S6以及S7中的位移的检测以及检测结果的显示，说明更具体的一个例子。
图4是表示图2所表示的步骤S6以及S7中的具体的处理的一个例子的流程图。
图5是表示将第1三维数据与第2三维数据叠合时的一个例子的示意图。
图6(a)～图6(c)是表示将图5的三维数据投影到各面时的情形的示意图。
在图4表示的例子中，在步骤S6中进行步骤S61～S64，在步骤S7中进行步骤S71或者S72。
(步骤S61)
在步骤S61中，与上述的步骤S6相同地，第1三维数据和第2三维数据被叠合于相同的三维坐标系上。
图5表示叠合时的示意的情形。在图5中，第1三维数据包含的搬送物B以虚线表示，第2三维数据包含的搬送物B以实线表示。至少地，第2三维数据是点云数据，但是，图5示意地以直线表示点云数据的外缘。
(步骤S62)
叠合后的第1三维数据中的搬送物B和第2三维数据中的搬送物B向某方向被投影。在此，对于被投影到三维坐标上的相对各方向(X方向、Y方向以及Z方向)垂直的面(X－Y面、Y－Z面以及X－Z面)的情况进行说明。
由图6(a)～图6(c)来表示将图5所表示的三维数据投影到各面时的情形。
图6(a)表示X－Y面上的投影。图6(b)表示Y－Z面上的投影。图6(c)表示X－Z面上的投影。
在图6(a)～图6(c)中，第1三维数据中的搬送物B以虚线表示，第2三维数据中的搬送物B以实线表示。点的密度高的部分表示在第1三维数据与第2三维数据之间搬送物B重叠(一致)的部分。点的密度低的部分表示在第1三维数据与第2三维数据之间搬送物B不重叠(不一致)的部分。
(步骤S63)
如图6(a)～图6(c)所示，处理部40针对各个投影面计算出第1三维数据与第2三维数据之间的搬送物B的三维数据的不一致量。
第1三维数据例如包括搬送物B的三维CAD数据。在该情况下，计算出三维CAD数据与点云数据在投影面上重叠的比例。此时，在三维CAD数据中，距点云数据包含的任意的点离开规定距离以上的区域被判断为不一致。或者，不与三维CAD数据重叠的点被判断为不一致。
作为一个例子，在通过摄影部20来制作点云数据时，从摄影部20照射的激光光的照射角度间距在10米处是3毫米间隔。在该情况下，该规定距离被设定为10毫米。
处理部40对于搬送物B，检测出X方向(第1方向)上的第1不一致量、Y方向(第2方向)上的第2不一致量以及Z方向(第3方向)上的第3不一致量。例如，处理部40将在多个投影面中被判断为不一致的点的数量分别作为第1不一致量、第2不一致量以及第3不一致量进行计算。或者，处理部40还可以将在多个投影面中被判断为不一致的三维CAD数据的面积分别作为第1不一致量、第2不一致量以及第3不一致量进行计算。
或者，处理部40还可以将在多个投影面中被判断为不一致的点的数量相对搬送物B的点云数据包含的点的数量的比例分别作为第1不一致量、第2不一致量以及第3不一致量进行计算。或者，处理部40还可以将在多个投影面中被判断为不一致的面积相对三维CAD数据的面积的比例分别作为第1不一致量、第2不一致量以及第3不一致量进行计算。
第1三维数据以及第2三维数据还可以包括各自的搬送物B的颜色的信息。在该情况下，还可以基于各点的颜色的信息，进一步地判断一致或者不一致。
或者，处理部40还可以在各个投影面中，从第1三维数据以及第2三维数据的各自的搬送物B提取成为特征的部分。在该情况下，处理部40还可以将在多个投影面中特征部分彼此之间的距离分别作为第1不一致量、第2不一致量以及第3不一致量进行计算。
由此，处理部40计算出相互正交的各方向(各投影面)上的不一致量。由此，能够检测出被固定的搬送物B相对预先设计位置，在什么方向上进行了什么程度的位移。
或者，通过使叠合的第1三维数据和第2三维数据投影到任意的方向，从而，能够计算出任意的投影面上的不一致量。
在上述的例子中，被判断为不一致的点或者面积的比例或者数量作为不一致量被计算。还可以将被判断为一致的点或者面积的比例或者数量作为不一致量来计算。即使在该情况下，也能够看作是实质地计算出不一致量。
处理部40在步骤S63中在以上说明的不一致量的计算后，还可以执行以下的方法。
处理部40使在各投影面中第1三维数据以及第2三维数据的任意的搬送物B移动以及旋转。此时，处理部40移动搬送物B，以便第1三维数据与第2三维数据之间的搬送物B的不一致量成为最小。处理部40将计算出的、各方向上的移动距离以及旋转角度的结果储存于储存部30。
根据该方法，计算出在各投影面中使不一致量最小所需要的、搬送物B的移动方向、移动距离以及旋转角度。该方法对多个搬送物被依次搬送且固定的作业是有效的。在该作业中，当某搬送物的固定位置相对预先决定的位置正进行旋转时，被固定于该搬送物的其他的搬送物的位移的量(位置的偏移)与被固定的搬送物的数量对应地变大。由此，对于这样的作业使用作业支援系统100的情况下，通过处理部40计算出用于使不一致量最小的旋转角是所希望的。
(步骤S64)
相对在步骤S63中检测出的不一致量，阈值被预先设定，并储存于储存部30。处理部40将各投影面上的不一致量与阈值比较。作为阈值，例如设定出在各方向上能够允许的不一致量。
在各投影面上的不一致量小于阈值的情况下，进入到步骤S71。
在任意的投影面上，存在阈值以上的不一致量的情况下，进入到步骤S72。
(步骤S71)
处理部40将对于被固定的第1搬送物B1～第n搬送物Bn，各个方向上的不一致量小于阈值且在允许范围内的内容显示到显示部50，或者通知到终端60。此时，还可以将各方向上的不一致量显示到显示部50，并通知到终端60。
(步骤S72)
处理部40将对于被固定的第1搬送物B1～第n搬送物Bn，具有不一致量为阈值以上的方向的内容显示到显示部50，或者通知到终端60。另外，处理部40将不一致量为阈值以上的方向以及该不一致量显示在显示部50，或者通知到终端60。进一步地，对于不一致量小于阈值的方向，还可以将该不一致量显示在显示部50，或者通知到终端60。
在步骤S71以及S72中，处理部40还可以将在各方向上检测到的不一致量转换成使用毫米、厘米等单位的数值并进行显示。由此，作业支援系统100的使用者能够容易直观地把握不一致量。
在步骤S71以及S72中，对于不一致量小于阈值的方向，还可以设为不显示任何通知。即，处理部40还可以在步骤S71中对于结果不显示或者不通知，在步骤S72中，仅显示不一致量为阈值以上的方向以及该不一致量。
在此，对于搬送第1搬送物B1～第n搬送物Bn这多个搬送物的情况进行了说明。实施方式涉及的作业支援系统100对于进行1个搬送物的搬送以及固定时也能够应用。即，图2以及图4的流程图所表示的方法对于只有第1搬送物B1被搬送到构造物A内且被固定的情况也能够应用。
在上述的例子中，对于在将第1搬送物B1～第n搬送物Bn固定后，对第1搬送物B1～第n搬送物Bn进行摄影，检测其位移的情况进行了说明。还可以在第1搬送物B1～第n搬送物Bn被配置于构造物A内且被固定前，来检测这些搬送物的位移。通过在固定各搬送物前对位移进行检测，从而，能够更容易地修正其位移。
实施方式涉及的作业支援系统100还可以在每次对1个搬送物进行搬送且配置于构造物A内时执行图2的步骤S5～S7。例如，实施方式涉及的作业支援系统100在第1搬送物B1被搬送且配置后且在进行第2搬送物B2的固定以及与第1搬送物B1的连结前执行步骤S5～S7。这样，能够在第2搬送物B2的固定以及连结之前，检测第1搬送物B1的位移，修正其位移。因此，与在所有的搬送物被固定以及连结后修正位移的情况相比，能够缩短作业所需要的时间。
以上，对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而提出的，并没有意图限定发明的范围。这些新的实施方式可以以其他各种方式进行实施，在不超出发明主旨的范围内，可进行各种省略、调换以及变更。这些实施方式及其变形包括在发明的范围和主旨内，同样，也包括在专利请求所记载的发明和与其等同的范围内。另外，上述的各实施方式能够相互组合地实施。

Claims (8)

1.一种作业支援系统，具备：摄影部，能够对被搬送到构造物内且被配置于上述构造物内后的第1搬送物进行摄影；储存部，储存第1三维数据，上述第1三维数据包括上述构造物的三维数据、以及在上述三维数据的上述构造物内的第1位置被叠合的上述第1搬送物的三维数据，上述第1搬送物的三维数据是反映出上述第1搬送物的外形的点云数据；以及处理部，计算出第2三维数据中的上述第1搬送物相对上述第1三维数据中的上述第1搬送物的不一致量，上述第2三维数据通过对已配置于上述构造物内的上述第1搬送物进行摄影而获得，上述第2三维数据是反映出已配置于上述构造物内的上述第1搬送物的外形的点云数据，上述不一致量包括第1方向上的第1不一致量、与第1方向正交的第2方向上的第2不一致量、以及与上述第1方向以及上述第2方向正交的第3方向上的第3不一致量，上述处理部将上述第1不一致量、上述第2不一致量以及上述第3不一致量分别与储存于上述储存部的阈值进行比较，在上述第1不一致量、上述第2不一致量以及上述第3不一致量的1个以上不一致量大于上述阈值的情况下，上述处理部输出上述第1不一致量、上述第2不一致量以及上述第3不一致量的上述1个以上不一致量所对应的上述第1方向、上述第2方向以及上述第3方向的1个以上方向和上述第1不一致量、上述第2不一致量以及上述第3不一致量的上述1个以上不一致量，上述阈值是在上述第1方向、上述第2方向以及上述第3方向的各方向上能够允许的不一致量，作业者基于上述处理部输出的上述不一致量所对应的方向以及上述不一致量来重新固定上述第1搬送物。
2.一种作业支援系统，是在包括第1搬送物向构造物内的搬送、第2搬送物向上述构造物内的搬送、以及上述第1搬送物与上述第2搬送物的连结在内的作业中使用的系统，上述作业支援系统具备：摄影部，能够对上述第1搬送物被搬送到上述构造物内且被配置于上述构造物内后且上述第2搬送物与上述第1搬送物被连结前的上述第1搬送物进行摄影；储存部，储存第1三维数据，上述第1三维数据包括上述构造物的三维数据、以及在上述三维数据的上述构造物内的第1位置被叠合的上述第1搬送物的三维数据，上述第1搬送物的三维数据是反映出上述第1搬送物的外形的点云数据；以及处理部，计算出第2三维数据中的上述第1搬送物相对上述第1三维数据中的上述第1搬送物的不一致量，上述第2三维数据通过对已配置于上述构造物内的上述第1搬送物进行摄影而获得，上述第2三维数据是反映出已配置于上述构造物内的上述第1搬送物的外形的点云数据，上述不一致量包括第1方向上的第1不一致量、与第1方向正交的第2方向上的第2不一致量、以及与上述第1方向以及上述第2方向正交的第3方向上的第3不一致量，上述处理部将上述第1不一致量、上述第2不一致量以及上述第3不一致量分别与储存于上述储存部的阈值进行比较，在上述第1不一致量、上述第2不一致量以及上述第3不一致量的1个以上不一致量大于上述阈值的情况下，上述处理部输出上述第1不一致量、上述第2不一致量以及上述第3不一致量的上述1个以上不一致量所对应的上述第1方向、上述第2方向以及上述第3方向的1个以上方向和上述第1不一致量、上述第2不一致量以及上述第3不一致量的上述1个以上不一致量，上述阈值是在上述第1方向、上述第2方向以及上述第3方向的各方向上能够允许的不一致量，作业者基于上述处理部输出的上述不一致量所对应的方向以及上述不一致量来重新固定上述第1搬送物。
3.如权利要求1或2所述的作业支援系统，其中，上述作业支援系统还具备接收从上述处理部输出的上述不一致量的接收部。
4.一种作业方法，其中，对被搬送到构造物内且被配置于上述构造物内后的第1搬送物进行摄影，取得第1三维数据，该第1三维数据包括上述构造物的三维数据、以及在上述三维数据的上述构造物内的规定位置被叠合的上述第1搬送物的三维数据，上述第1搬送物的三维数据是反映出上述第1搬送物的外形的点云数据，使用上述第1三维数据以及由上述摄影获得的第2三维数据来计算出上述第2三维数据中的上述第1搬送物相对上述第1三维数据中的上述第1搬送物的不一致量，上述第2三维数据是反映出已配置于上述构造物内的上述第1搬送物的外形的点云数据，上述不一致量包括第1方向上的第1不一致量、与第1方向正交的第2方向上的第2不一致量、以及与上述第1方向以及上述第2方向正交的第3方向上的第3不一致量，将上述第1不一致量、上述第2不一致量以及上述第3不一致量分别与储存于上述储存部的阈值进行比较，在上述第1不一致量、上述第2不一致量以及上述第3不一致量的1个以上不一致量大于上述阈值的情况下，输出上述第1不一致量、上述第2不一致量以及上述第3不一致量的上述1个以上不一致量所对应的上述第1方向、上述第2方向以及上述第3方向的1个以上方向和上述第1不一致量、上述第2不一致量以及上述第3不一致量的上述1个以上不一致量，上述阈值是在上述第1方向、上述第2方向以及上述第3方向的各方向上能够允许的不一致量，作业者基于所输出的上述不一致量所对应的方向以及上述不一致量来重新固定上述第1搬送物。
5.如权利要求4所述的作业方法，其中，上述第1搬送物与被搬送到上述构造物内的第2搬送物连结，上述第1搬送物的摄影以及上述不一致量的计算、比较及输出在上述第1搬送物被配置于上述构造物内后且在上述第1搬送物与上述第2搬送物被连结前进行。
6.如权利要求4或5所述的作业方法，其中，接收被输出的上述不一致量。
7.如权利要求4或5所述的作业方法，其中，使用上述第2三维数据来制作第2搬送物向上述构造物内的搬送路线。
8.如权利要求6所述的作业方法，其中，使用上述第2三维数据来制作第2搬送物向上述构造物内的搬送路线。
CN201711083280.7A 2016-11-08 2017-11-07 作业支援系统以及作业方法 Active CN108062431B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016218249A JP6833460B2 (ja) 2016-11-08 2016-11-08 作業支援システム、作業方法、および処理装置
JP2016-218249 2016-11-08

Publications (2)

Publication Number Publication Date
CN108062431A CN108062431A (zh) 2018-05-22
CN108062431B true CN108062431B (zh) 2022-02-18

Family

ID=62063951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711083280.7A Active CN108062431B (zh) 2016-11-08 2017-11-07 作业支援系统以及作业方法

Country Status (3)

Country Link
US (2) US10650551B2 (zh)
JP (1) JP6833460B2 (zh)
CN (1) CN108062431B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142012A (ko) 2018-04-13 2020-12-21 기꼬만 가부시키가이샤 신규 메디에이터

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1076237A3 (en) * 1999-08-10 2002-01-02 FUJI MACHINE Mfg. Co., Ltd. Method and apparatus for obtaining three-dimensional data
JP2002007485A (ja) * 2000-06-20 2002-01-11 Hitachi Ltd 原子力プラント構造物の設計支援システム
JP2005331383A (ja) * 2004-05-20 2005-12-02 Toshiba Corp ３次元座標位置評価方法及び評価装置
CN101249548A (zh) * 2008-02-26 2008-08-27 廊坊智通机器人系统有限公司 一种机器人砂芯锁芯、下芯方法及系统
JP2014178794A (ja) * 2013-03-14 2014-09-25 Hitachi Ltd 搬入経路計画システム
CN104802166A (zh) * 2013-10-10 2015-07-29 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5951075B2 (ja) 1980-03-31 1984-12-12 富士通株式会社 半導体記憶装置
JP3910382B2 (ja) * 2001-07-11 2007-04-25 株式会社日立製作所 画像照合装置
EP1739642B1 (en) * 2004-03-26 2017-05-24 Atsushi Takahashi 3d entity digital magnifying glass system having 3d visual instruction function
KR100817656B1 (ko) * 2005-03-15 2008-03-31 오므론 가부시키가이샤 화상 처리 방법, 3차원 위치 계측 방법 및 화상 처리 장치
JP4185074B2 (ja) 2005-06-29 2008-11-19 関西工事測量株式会社 防災システム及び被災者の位置を特定する方法
JP4093273B2 (ja) * 2006-03-13 2008-06-04 オムロン株式会社 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
EP2521058A1 (en) * 2011-05-06 2012-11-07 Dassault Systèmes Determining a geometrical CAD operation
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
EP2910512B1 (de) * 2014-02-21 2016-05-25 Siemens Aktiengesellschaft Verfahren zum Kalibrieren von Laserscannern an einem Containerumschlagkran
JP6463093B2 (ja) * 2014-11-25 2019-01-30 日立Ｇｅニュークリア・エナジー株式会社 建設計画支援装置
JP5951075B1 (ja) 2015-06-02 2016-07-13 三菱電機株式会社 据付調整高さ算出装置、据付調整高さ算出プログラム、および、据付方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1076237A3 (en) * 1999-08-10 2002-01-02 FUJI MACHINE Mfg. Co., Ltd. Method and apparatus for obtaining three-dimensional data
JP2002007485A (ja) * 2000-06-20 2002-01-11 Hitachi Ltd 原子力プラント構造物の設計支援システム
JP2005331383A (ja) * 2004-05-20 2005-12-02 Toshiba Corp ３次元座標位置評価方法及び評価装置
CN101249548A (zh) * 2008-02-26 2008-08-27 廊坊智通机器人系统有限公司 一种机器人砂芯锁芯、下芯方法及系统
JP2014178794A (ja) * 2013-03-14 2014-09-25 Hitachi Ltd 搬入経路計画システム
CN104802166A (zh) * 2013-10-10 2015-07-29 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法

Also Published As

Publication number Publication date
US20200211222A1 (en) 2020-07-02
JP2018077628A (ja) 2018-05-17
CN108062431A (zh) 2018-05-22
US10650551B2 (en) 2020-05-12
JP6833460B2 (ja) 2021-02-24
US20180130231A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
Ellenberg et al. Use of unmanned aerial vehicle for quantitative infrastructure evaluation
US20190392609A1 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
US20180313956A1 (en) Device and method for merging lidar data
US10044996B2 (en) Method for projecting virtual data and device enabling this projection
JP6184237B2 (ja) ３次元データの処理装置、その処理方法及びその処理プログラム
US20150317780A1 (en) Apparatus and method for three dimensional surface measurement
US12002240B2 (en) Vision system for a robotic machine
JP5388921B2 (ja) ３次元距離計測装置及びその方法
KR101897434B1 (ko) 시공 검수 장치 및 방법
US20120224666A1 (en) Tomosynthesis apparatus and method
US20210023718A1 (en) Three-dimensional data generation device and robot control system
US20190073839A1 (en) Package management system and method thereof
CN101446482B (zh) 预埋金属设置位置核查方法及预埋金属设置位置核查系统
JP2016225953A (ja) カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法
JP7273185B2 (ja) ロボット用の座標系アライメント方法及びアライメントシステム並びにアライメント装置
US20220180560A1 (en) Camera calibration apparatus, camera calibration method, and nontransitory computer readable medium storing program
US20180225839A1 (en) Information acquisition apparatus
JP2019191927A (ja) 構造物の検査システム及び検査方法
WO2021226716A1 (en) System and method for discrete point coordinate and orientation detection in 3d point clouds
CN108062431B (zh) 作业支援系统以及作业方法
WO2024002340A1 (zh) 对待测物中的目标对象进行追踪的方法及系统
TWI770015B (zh) 物品檢查處理裝置、物品檢查系統、商品基本資料登錄裝置、物品檢查處理方法及程式
KR20200024672A (ko) 시설물 관리 시스템 및 방법
JP2019045962A (ja) 鉄筋位置確認システム
JP2007010419A (ja) 対象物の３次元形状検証システム。

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant