CN116472239A - 跟踪装置、跟踪方法、跟踪数据的数据结构以及程序 - Google Patents

跟踪装置、跟踪方法、跟踪数据的数据结构以及程序 Download PDF

Info

Publication number
CN116472239A
CN116472239A CN202180076082.6A CN202180076082A CN116472239A CN 116472239 A CN116472239 A CN 116472239A CN 202180076082 A CN202180076082 A CN 202180076082A CN 116472239 A CN116472239 A CN 116472239A
Authority
CN
China
Prior art keywords
information
article
display
thick plate
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180076082.6A
Other languages
English (en)
Other versions
CN116472239B (zh
Inventor
福田多一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel and Sumitomo Metal Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel and Sumitomo Metal Corp filed Critical Nippon Steel and Sumitomo Metal Corp
Publication of CN116472239A publication Critical patent/CN116472239A/zh
Application granted granted Critical
Publication of CN116472239B publication Critical patent/CN116472239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
    • B65G63/002—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations for articles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0214—Articles of special size, shape or weigh
    • B65G2201/0223—Heavy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0216—Codes or marks on the article
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及跟踪装置、跟踪方法、跟踪数据的数据结构以及程序。跟踪装置(1200)基于第1摄像图像以及摄像该第1摄像图像的第1摄像装置的位置，导出基于模板(标签)的显示区域的三维位置，并将表示该三维位置的信息与该厚板的识别信息建立关联地存储在存储介质中。

Description

跟踪装置、跟踪方法、跟踪数据的数据结构以及程序
技术领域
本发明涉及跟踪装置、跟踪方法、跟踪数据的数据结构以及程序，尤其适合用于跟踪物品。本申请基于2020年11月30日在日本提交的特愿2020-198065号并主张优先权，将其内容全部援用于此。
背景技术
以厚板为代表的钢铁制品等制造物在各种堆放场之间移动。因此，对制造物进行跟踪。所谓跟踪是指追踪并确定对象物的位置。
在专利文献1所记载的技术中，通过将卸载钢板时的桥式起重机的X-Y坐标与该钢板的钢板编号一起进行登记，由此进行钢板的跟踪。
此外，在专利文献2所记载的技术中，基于起重机向水平及垂直方向的移动以及载荷检测等动作，通过固定堆放场所计算程序计算出由三维坐标表示的钢材的固定堆放场所，并将表示所计算出的固定堆放场所的固定堆放场所信息与该钢材的钢材识别信息建立对应地存储。
现有技术文献
专利文献
专利文献1：日本专利第5109451号公报
专利文献2：日本专利第3734419号公报
发明内容
发明要解决的课题
但是，在专利文献1所记载的技术中，用于钢板的跟踪的信息是桥式起重机的X-Y坐标。因此，仅能够在桥式起重机能够输送的范围内进行跟踪。此外，在专利文献1所记载的技术中，无法根据桥式起重机的X-Y坐标来确定Z坐标，因此例如在多张钢板重叠的情况下，无法准确地确定该多张钢板。
此外，在专利文献2所记载的技术中，计算出钢材的三维坐标。但是，与专利文献1相同，仅能够在起重机能够输送的范围内进行跟踪。此外，通过专利文献2所记载的技术计算出的钢材的三维坐标是通过固定堆放场所计算程序计算出的固定堆放场所的三维坐标。因而，在专利文献2所记载的技术中，仅能够在通过固定堆放场所计算程序预先确定的固定堆放场所跟踪钢材。
在实际的制造现场，通过各种输送装置来输送制造物。此外，也有时不使用输送装置而由作业人员输送制造物。此外，有时在堆放场地址不确定的堆放场放置制造物。进而，制造物的放置方法也多种多样。在专利文献1、2所记载的技术中，难以跟踪这样的制造物。这些课题在制造物以外的物品中也同样存在。
本发明是鉴于以上那样的问题点而完成的，其目的于提高物品的跟踪精度。
本发明的跟踪装置对物品进行跟踪，其特征在于，具有：1个或者2个以上的图像取得单元，取得包含显示在上述物品上的显示信息的区域的摄像图像；识别信息取得单元，取得上述物品的识别信息；位置导出单元，基于由上述图像取得单元取得的上述摄像图像，导出显示上述显示信息的三维位置即信息显示位置；以及存储单元，将由上述位置导出单元导出的上述物品上的上述信息显示位置与由上述识别信息取得单元取得的该物品的识别信息建立关联地存储于存储介质。
本发明的跟踪方法对物品进行跟踪，其特征在于，包括：1个或者2个以上的图像取得工序，取得包括显示在上述物品上的显示信息的区域的摄像图像；识别信息取得工序，取得上述物品的识别信息；位置导出工序，基于通过上述图像取得工序取得的上述摄像图像，导出显示上述显示信息的三维位置即信息显示位置；以及存储工序，将通过上述位置导出工序导出的上述物品上的上述信息显示位置与通过上述识别信息取得工序取得的该物品的识别信息建立关联地存储于存储介质。
本发明的跟踪数据的数据结构为，具有显示在物品上的显示信息以及不显示在上述物品上的非显示信息，上述非显示信息包含显示上述显示信息的三维位置即信息显示位置，跟踪装置被用于基于包含显示在上述物品上的显示信息的区域的摄像图像来导出该物品上的上述信息显示位置。
本发明的程序用于使计算机执行跟踪物品的处理，其特征在于，使计算机执行：1个或者2个以上的图像取得工序，取得包括显示在上述物品上的显示信息的区域的摄像图像；识别信息取得工序，取得上述物品的识别信息；位置导出工序，基于通过上述图像取得工序取得的上述摄像图像，导出显示上述显示信息的三维位置即信息显示位置；以及存储工序，将通过上述位置导出工序导出的上述物品上的上述信息显示位置与通过上述识别信息取得工序取得的该物品的识别信息建立关联地存储于存储介质。
附图说明
图1是说明工厂中的制品的流程的一例的图。
图2是表示针对厚板的显示区域的一例的图。
图3A是表示基于模板的显示内容的一例的图。
图3B是表示基于标签的显示内容的一例的图。
图4是表示相对于输送船装载以及卸载厚板的情况的一例的图。
图5是从梁架的延伸设置方向(y轴方向)观察厚板被装卸装置吊起的情况的图。
图6A是表示厚板的输送方式的第1例的图。
图6B是表示厚板的输送方式的第2例的图。
图6C是表示厚板的输送方式的第3例的图。
图6D是表示厚板的输送方式的第4例的图。
图6E是表示厚板的输送方式的第5例的图。
图7是表示相对于输送车辆装载以及卸载厚板的情况的一例的图。
图8是表示在输送车辆装载了厚板的状态的一例的图。
图9A是表示放置在工厂内的堆放场的厚板的情况的第1例的图。
图9B是表示放置在工厂内的堆放场的厚板的情况的第2例的图。
图9C是表示放置在工厂内的堆放场的厚板的情况的第3例的图。
图10是表示由生产设备处理厚板的情况的一例的图。
图11是表示原来的厚板以及切断后的厚板的一例的图。
图12是表示跟踪装置的功能性构成的一例的图。
图13是表示管理表的一例的图。
图14是表示模板的物品内位置和基于模板的显示中的各显示项目的构成要素的位置的一例的图。
图15是表示标签的物品内位置和基于标签的显示中的各显示项目的构成要素的位置的一例的图。
图16A是表示存储在管理表中的信息的第1例的图。
图16B是表示存储在管理表中的信息的第2例的图。
图17是说明跟踪厚板时的跟踪装置的处理的一例的流程图。
图18是说明导出基于模板的显示区域的三维位置的方法的一例的图。
图19是说明导出基于模板的显示区域的高度方向(z轴方向)的位置的方法的一例的图。
图20是说明导出基于模板的显示区域的三维位置的方法的变形例的图。
图21是表示跟踪装置的硬件的构成的一例的图。
具体实施方式
以下，参照附图对本发明的一个实施方式进行说明。
另外，长度、位置、大小、间隔等比较对象相同的情况，除了包括严格相同的情况以外，还包括在不脱离发明主旨的范围内不同的情况(例如，在设计时确定的公差范围内不同的情况)。
<工厂的概要>
在本实施方式中例示了如下情况：在包括对由多个炼钢厂制造出的各种厚板(例如厚钢板)进行热处理、切断等各种处理的工厂在内的场所，对该厚板进行跟踪。图1是说明本实施方式的应用对象的工厂中的制品的流程的一例的图。
在图1中，由炼钢厂制造出的厚板被装载到输送船上。之后，输送船在工厂附近的码头靠岸。厚板被从输送船卸载而装载到输送车辆(卡车等)。由输送车辆输送的厚板，当被进货到工厂时被放置在工厂内的堆放场。放置在堆放场的厚板在被实施了热处理、切断(气割)等处理之后被放置在仓库中。之后，厚板从工厂向用户出货。
<构思>
当如专利文献1、2所记载的技术那样，基于输送设备的动作对如以上那样输送的厚板的位置进行跟踪时，能够跟踪的范围受到限制。因此，本发明人着眼于如下情况：为了进行现品管理(各厚板的位置的管理)而在厚板上显示由该厚板的制造商管理的信息。对这种信息的显示位置进行跟踪等价于对厚板进行跟踪。然后，只要能够确定这样的由厚板的制造商管理的信息，就能够识别厚板。本实施方式是基于这种思想而完成的。
<对厚板实施的显示>
图2是表示针对厚板的显示区域的一例的图。另外，图2所示的x轴、y轴、z轴表示图2与后述的图3A、图3B、图14～图15、图18～图20之间的朝向关系，未必与图4以及图5所示的x-y-z坐标的朝向对应。另外，x-y-z坐标例如是由世界坐标系表示的坐标。
在图2中，显示区域201是基于模板的显示区域。在图2所示的例子中，基于模板的显示区域201存在于厚板的板面。另外，图2所示的虚线是假想线，实际上不显示。在图2所示的例子中，标签(侧标签)202粘贴在厚板的侧面(板厚部分)。
图3A是表示基于模板的显示内容的一例的图。另外，如上所述，图3A所示的x-y-z坐标表示与图2等之间的朝向关系。此外，在图3A所示的x-y-z坐标中，在白圈(〇)中附加了黑圈(●)的记号表示从纸面的里侧朝向近前侧。这样的x-y-z坐标的标记在其他图中也相同。
在图3A所示的例子中，在基于模板的显示中包含标记301、用户名302、规格303、尺寸304、ID305、用户代码306以及订单编号307。
标记301是表示厚板的制造商的标记。用户名302是表示厚板的用户(购买者)的信息。规格303是表示厚板的规格的信息。尺寸304是表示厚板的尺寸(例如，厚度×宽度×长度)的信息。ID305是用于唯一地识别厚板的信息，在图3A所示的例子中为板编号(厚板的识别编号)。因而，相同ID不会赋予不同厚板。用户代码306是由用户指定厚板的制造商对厚板附加的信息。订单编号307是用于识别来自用户的厚板的订单的编号的一部分。
标记301、用户名302、规格303、尺寸304、ID305、用户代码306以及订单编号307是对于厚板能够普遍地显示的信息。另外，ID305以外的信息也可以不包含在基于模板的显示中。此外，上述信息以外的信息也可以包含在基于模板的显示中。
另外，例如，根据用户不同而用户代码306的位数不同，或者根据制造厚板的炼钢厂不同而规格303的表述方法不同。此外，例如，根据用户不同，存在附加订单编号307的情况和不附加订单编号307的情况。此外，根据制造厚板的炼钢厂不同，有时显示项目的大小也不同。此外，根据制造厚板的炼钢厂不同，有时基于模板的显示区域的位置也不同。如此，基于模板的显示的内容、位置以及大小根据制造厚板的炼钢厂以及用户等的不同而不同。
标记301、用户名302、规格303、尺寸304、ID305、用户代码306以及订单编号307是由厚板的制造商管理的信息。此外，标记301、用户名302、规格303、尺寸304、ID305、用户代码306以及订单编号307是人能够识别的信息。所谓人能够识别的信息是指，人在看到该信息的情况下能够理解该信息的含义。如条形码以及二维码那样、在信息的制作以及读取时需要基于机械进行编码以及解码的信息，不是人能够识别的信息。具体而言，标记301、用户名302、规格303、尺寸304、ID305、用户代码306以及订单编号307，作为在读取时不需要基于机械进行解码的信息而包含文字、数字以及记号中的至少一个，不包含在读取时需要基于机械进行解码的信息。
图3B是表示基于标签的显示内容的一例的图。另外，如上所述，图3B所示的x-y-z坐标表示与图2等之间的朝向关系。此外，在图3B所示的x-y-z坐标中，在白圈中附加了×的记号表示从纸面的近前侧朝向里侧的方向。这样的x-y-z坐标的标记在其他图中也相同。
在图3B所示的例子中，在基于标签的显示中包含规格311、ID312、尺寸313、交货期限314以及用户代码315。交货期限314是表示厚板的交货期限的信息。规格311、ID312、尺寸313、用户代码315分别与规格303、尺寸304、ID305、用户代码306相同。另外，ID312以外的信息也可以不包含在基于标签的显示中。此外，上述信息以外的信息也可以包含在基于标签的显示中。基于标签的显示的内容、位置以及大小也与基于模板的显示相同，根据制造厚板的炼钢厂以及用户等的不同而不同。
但是，针对同一厚板的同一显示项目所指示的内容，在基于模板的显示和基于标签的显示中相同。因而，在针对相同厚板进行图3A所示的基于模板的显示和图3B所示的基于标签的显示的情况下，由模板显示的ID305和由标签显示的ID312指示相同内容。此外，由模板显示的规格303与由标签显示的规格311指示相同内容。关于尺寸313、用户代码315也分别指示与尺寸304、用户代码306相同的内容。如上所述，规格303、ID305、尺寸304以及用户代码306是由厚板的制造商管理的信息。因而，规格311、ID312、尺寸313以及用户代码315也是由厚板的制造商管理的信息。此外，厚板的交货期限314也是由厚板的制造商管理的信息。此外，规格311、ID312、尺寸313、交货期限314以及用户代码315是人能够识别的信息。
另外，在厚板上，除了以上那样的显示之外，例如有时还实施基于刻印的显示。
<厚板的输送方式>
<<基于输送船的输送>>
图4是表示相对于输送船装载或者卸载厚板的情况的一例的图。在图4中例示了使用龙门起重机410相对于输送船400装载或者卸载厚板的情况。图5是从梁架412的延伸设置方向(y轴方向)观察厚板420被装卸装置411吊起的情况的图。图4以及图5所示的x-y-z坐标表示图4以及图5的朝向关系。
龙门起重机410具有装卸装置(吊具等)411、梁架(横行架)412以及支柱构造物413，装卸装置411在吊起输送对象物的状态下沿着梁架412的延伸设置方向(y轴方向)移动。在图4中示出厚板420由装卸装置411吊起而移动的情况。当从梁架412的延伸设置方向(y轴方向)观察厚板420被装卸装置411吊起的情况时，成为图5所示。
另外，在图4以及图5中例示了通过装卸装置411吊起一张厚板420的情况。但是，装卸装置411对厚板的输送方式并不限定于这种输送方式。图6A～图6E是表示厚板的输送方式的第1例～第5例的图。在图6A～图6E中更简化地表示装卸装置411。
在图6A中例示了两张厚板在水平面(x-y平面)方向上排列的状态下被装卸装置411同时输送的状态。在图6B中例示了在装卸装置411的顶侧(x轴的负方向侧)输送一张厚板的状态。在图6C中例示了在装卸装置411的底侧(x轴的正方向侧)输送一张厚板的状态。在图6D中例示了在装卸装置411的中央输送一张厚板的状态。在图6E中例示了多张(两张)厚板在层叠的状态下被装卸装置411同时输送的状态。如此，在本实施方式中，有时多张厚板在层叠的状态下被同时输送。
如以上那样，装卸装置411对厚板的输送方式不被限定。此外，装卸装置411吊起厚板的方法可以是利用了由磁铁产生的磁吸力的方法，可以是利用了挂钩的方法，也可以是其他方法。
龙门起重机410本身能够通过公知的技术进行说明，因此在此处省略详细的说明。
由炼钢厂制造出的厚板被搬运到码头，并被放置在能够由龙门起重机410输送的规定的堆放场。如图4所示，多张厚板有时在层叠的状态下放置在规定的堆放场。也有时厚板被每一张地放置在规定的堆放场。此外，在图4等中，为了便于记载而例示了多张厚板的厚度(板厚)相同的情况。但是，有时多张厚板的厚度不同。即，有时放置在规定的堆放场的厚板的厚度、宽度以及长度中的至少一个不同。
在图4中例示了以厚板的板面与放置厚板的面平行的方式重叠放置多个厚板的情况。但是，重叠放置厚板的方法并不限定于这种方法。例如，也有时以厚板的板面成为与放置厚板的面垂直或者接近垂直的角度的方式重叠放置多个厚板。该情况在码头的规定的堆放场以外的位置处也相同。
在本实施方式中，在梁架412以及支柱构造物413上安装有第1摄像装置430a～430f。第1摄像装置430a～430f的数量以及位置被设定为，作为厚板的基于模板的显示区域201以及基于标签202的显示区域，能够摄像到尽量多的厚板的显示区域。此外，在装卸装置411上也安装有第1摄像装置430g～430m。第1摄像装置430a～430m的数量以及位置被设定为，通过第1摄像装置430a～430m中的至少一个摄像装置，尽可能地摄像到由龙门起重机410输送中的厚板420的基于模板的显示区域201以及基于标签202的显示区域中的至少一方。
第1摄像装置430a～430m能够调整摄像条件(摄像方向、视场角、变焦倍率以及光圈(F值)等)。该摄像条件的调整可以由操作人员(作业人员)操作第1摄像装置来进行，也可以基于来自外部装置的指示而自动地进行。此外，例如，安装于梁架412的第1摄像装置430g～430m中的安装在接近输送中的厚板420的位置的第1摄像装置430i～430m也可以是纤维镜摄像机。如果使用纤维镜摄像机，则例如能够对输送中的厚板420的基于模板的显示区域201以及基于标签202的显示区域进行近摄。
另外，由第1摄像装置摄像的摄像图像并不限定于静止图像，也可以是动态图像。在由第1摄像装置摄像的摄像图像是动态图像的情况下，在后述的跟踪装置1200中使用从由第1摄像装置摄像的动态图像中取出的图像(即，动态图像的帧的图像)。在如此进行的情况下，优选从由第1摄像装置摄像的动态图像中取出与由第1摄像装置摄像的被摄体尽量对焦了的静止图像。如此，由摄像装置摄像的摄像图像并不限定于静止图像的情况在后述的第2摄像装置～第7摄像装置中也相同。
从炼钢厂输送的厚板被放置在龙门起重机410的规定的堆放场。放置在龙门起重机410的规定的堆放场的厚板的包括基于模板的显示区域201的区域由第1摄像装置430c～430f摄像。操作人员(作业人员)操作处于龙门起重机410的操作室的信息处理终端、龙门起重机410的操作人员(作业人员)手持的信息处理终端(平板终端等)，对第1摄像装置430c～430f进行预览图像的显示指示。第1摄像装置430c～430f基于预览图像的显示指示，将预览图像发送到该信息处理终端。于是，通过该信息处理终端显示预览图像。操作人员(作业人员)操作该信息处理终端，对正摄像出显示了应摄影的基于模板的显示区域的预览图像的第1摄像装置进行摄像指示。第1摄像装置430c～430f当接收到摄像指示时，对包括基于模板的显示区域201的区域的摄像图像进行摄像。另外，预览图像是为了供操作人员(作业人员)进行确认而显示的实时图像，且基于预览图像的显示指示进行显示。摄像图像是在显示预览图像时基于摄像指示而摄像的图像。此外，在此处虽然例示了显示预览图像的情况，但并不一定需要显示预览图像。
在多张厚板被层叠而同时输送的情况下，对于处于下方的厚板无法对包括基于模板的显示区域201的区域进行摄像。在该情况下，代替包括基于模板的显示区域201的区域的摄像图像，而对包括基于标签202的显示区域的区域的摄像图像进行摄像。
根据放置厚板的位置不同，有时基于模板的显示区域201以及基于标签202的显示区域不包含在第1摄像装置430c～430f的摄像范围内。在该情况下，操作人员(作业人员)也可以操作具备第1摄像装置的无人航空器(无人机)440a～440b，使用第1摄像装置来摄像所希望的厚板的包括基于模板的显示区域201的区域(或者包括基于标签202的显示区域的区域)的摄像图像。此外，也可以通过操作人员(作业人员)手持的第1摄像装置，摄像所希望的厚板的包括基于模板的显示区域201的区域(或者包括基于标签202的显示区域的区域)的摄像图像。另外，操作人员(作业人员)手持的第1摄像装置例如也可以是具备第1摄像装置的信息终端装置(平板终端、智能手机等)。
另外，上述的基于第1摄像装置430c～430f的预览图像的显示与摄像图像的摄像，在第1摄像装置430c～430f以外的第1摄像装置430a～430b、430g～430w中也同样地执行。此外，在多张厚板被层叠而同时输送的情况下，对包括基于标签202的显示区域的区域的摄像图像进行摄像的情况，在第1摄像装置430c～430f以外的第1摄像装置430a～430b、430g～430w中也同样地执行。此外，基于模板的显示区域201以及基于标签202的显示区域不包含在第1摄像装置430c～430f的摄像范围内的情况下的摄像方法，对于第1摄像装置430c～430f以外的第1摄像装置430a～430b、430g～430w也相同。因而，在以下，省略关于第1摄像装置430c～430f以外的第1摄像装置430a～430b、430g～430w的这些情况的详细说明。
厚板在被放置到龙门起重机410的规定的堆放场之后，由龙门起重机410装载到输送船400上。有时多张厚板在层叠的状态下被同时装载到输送船400上。也有时厚板被每次一张地装载到输送船400上。此外，有时向输送船400装载的厚板的厚度、宽度以及长度中的至少一个不同。
由龙门起重机410输送中的厚板的包括基于模板的显示区域201的区域的摄像图像，由安装于装卸装置411的第1摄像装置430g～430m摄像。
当厚板被装载到输送船400上时，该厚板的包括基于模板的显示区域201的区域的摄像图像，由安装于梁架412的第1摄像装置430a～430b或者安装于输送船400的第1摄像装置430n摄像。安装于输送船400的第1摄像装置430n也与第1摄像装置430a～430m同样，能够调整摄像条件(摄像方向、视场角、变焦倍率以及光圈(F值)等)。另外，在图4中，为了便于记载而将安装于输送船400的第1摄像装置的数量设为一个。但是，在输送船400上安装有多个第1摄像装置，以使放置厚板的区域包含在摄像范围内。
如以上那样装载了厚板的输送船400在工厂附近的码头靠岸。如上所述那样从输送船400卸载厚板。如上所述，在本实施方式中，使用龙门起重机410卸载厚板。对于由龙门起重机410输送中的厚板，也与向输送船400装载的情况同样地对摄像图像进行摄像。此外，当通过门式起重机410卸载并放置在门式起重机410的规定的堆放场时，对于该厚板，也与从炼钢厂输送而放置在龙门起重机410的规定的堆放场的情况同样地对摄像图像进行摄像。
<<基于输送车辆的输送>>
放置在门式起重机410的规定的堆放场的厚板被装载到输送车辆上。图7是表示相对于输送车辆装载以及卸载厚板的情况的一例的图。使用未图示的起重机等将放置在门式起重机410的规定的堆放场的厚板装载到输送车辆700上。如图7所示，有时多张厚板在层叠的状态下被同时装载到输送车辆700上。但是，也有时厚板被每次一张地装载到输送车辆700上。此外，有时向输送车辆700装载的厚板的厚度、宽度以及长度中的至少一个不同。此外，也可以如图6A～图6E所示那样输送厚板而装载到输送车辆700上。
图8是表示在输送车辆700上装载了厚板的状态的一例的图。在设置于输送车辆700的待机位置的构造物上安装有第1摄像装置430o～430p。第1摄像装置430o～430p的数量以及位置被设定为，作为装载到输送车辆700的厚板的基于模板的显示区域201以及基于标签202的显示区域，能够摄像到尽可能多的厚板的显示区域。此外，在输送车辆700上也安装有第1摄像装置430q。第1摄像装置430o～430q也与第1摄像装置430a～430m同样，能够调整摄像条件(摄像方向、视场角、变焦倍率以及光圈(F值)等)。
装载到输送车辆700上的厚板的包括基于模板的显示区域201的区域由第1摄像装置430o～430q摄像。
<<工厂内的输送>>
当如以上那样装载了厚板的输送车辆700到达工厂时，从输送车辆700卸载厚板。使用未图示的起重机等将装载到输送车辆700上的厚板从输送车辆700卸载。如图7所示，有时多张厚板在层叠的状态下被同时从输送车辆700卸载。但是，也有时厚板被每次一张地从输送车辆700卸载。此外，有时从输送车辆700卸载的厚板的厚度、宽度以及长度中的至少一个不同。此外，也可以如图6A～图6E所示那样输送厚板并从输送车辆700卸载。另外，从输送船400向龙门起重机410的规定的堆放场输送厚板时使用的输送设备(龙门起重机410)与从输送车辆700向工厂内的堆放场输送厚板时使用的输送设备(未图示的起重机等)是不同的输送设备。如此，有时通过某个输送设备输送到某个堆放场的厚板，通过与该某个输送设备不同的输送设备向通过该某个输送设备无法输送到的不同堆放场输送。该情况在工厂内的各堆放场之间等其他堆放场之间输送厚板的情况下也相同。
图9A～图9C是表示放置在工厂内的堆放场的厚板的情况的第1例～第3例的图。在设置于工厂内的堆放场的构造物上安装有第1摄像装置430r～430w。如图9A～图9C所示，厚板以各种形态放置在工厂内的堆放场。因此，第1摄像装置430r～430w的数量以及位置被设定为，作为放置在堆放场的厚板的基于模板的显示区域201以及基于标签202的显示区域，能够摄像到尽可能多的厚板的显示区域。第1摄像装置430r～430w也与第1摄像装置430a～430m同样，能够调整摄像条件(摄像方向、视场角、变焦倍率以及光圈(F值)等)。
放置在工厂内的堆放场的厚板的包括基于模板的显示区域201的区域由第1摄像装置430r～430w摄像。
当厚板被放置于进货用的堆放场时，如上所述，该厚板的包括基于模板的显示区域201(或者基于标签202的显示区域)的区域由第1摄像装置430r～430w摄像。
之后，厚板被输送到生产设备。图10是表示通过生产设备处理厚板的情况的一例的图。在图10中，生产设备1000例如是用于进行热处理的设备以及用于进行气割的设备。在图10中例示了使用输送辊1001输送厚板1002a、1002b的情况。另外，堆放场与输送辊1001之间的厚板的输送，通过使用未图示的输送装置等来实现。
在设置于工厂的生产线的构造物上安装有第1摄像装置430x～430y。第1摄像装置430x～430y的数量以及位置被设定为，对厚板1002a、1002b的基于模板的显示区域201进行摄像。第1摄像装置430x～430y也与第1摄像装置430a～430m同样，能够调整摄像条件(摄像方向、视场角、变焦倍率以及光圈(F值)等)。另外，在输送辊1001上输送的厚板1002a、1002b不会重叠。此外，预先假定输送辊1001上的厚板1002a、1002b的输送路径。因此，在本实施方式中，设为通过第1摄像装置430x～430y不会摄像不到厚板1002a、1002b的基于模板的显示区域201。但是，也可以使用具备第1摄像装置的无人航空器对厚板1002a、1002b的基于模板的显示区域201进行摄像。另外，在图10中，虚线表示输送辊1001上的厚板1002a、1002b的输送路径，并非实际存在。
从工厂内的堆放场输送的厚板1002a被载放到输送辊1001上，由输送辊1001输送。在进入生产设备1000之前在输送辊1001上输送中的厚板1002a的包括基于模板的显示区域201的区域，由第1摄像装置430x摄像。此外，在生产设备1000中处理结束而从生产设备1000出来之后，在输送辊1001上输送中的厚板1002b的包括基于模板的显示区域201的区域，由第1摄像装置430y摄像。
之后，厚板在仓库内被放置在图9A～图9C所例示的堆放场。如上所述，放置在工厂内的堆放场的厚板的包括基于模板的显示区域201(或者基于标签202的显示区域)的区域，由第1摄像装置430r～430w摄像。在出货时，厚板被从仓库移动到出货用的堆放场。放置在出货用的堆放场的厚板的包括基于模板的显示区域201(或者基于标签202的显示区域)的区域，由第1摄像装置430r～430w摄像。
在工厂内的各堆放场中，也有时多张厚板在层叠的状态下放置。也有时厚板被每一张地放置在工厂内的各堆放场。此外，有时放置在工厂内的各堆放场的厚板的厚度、宽度以及长度中的至少一个不同。
图11是表示原来的厚板和切断后的厚板的一例的图。在图11中例示了厚板1100被切断而制造出厚板1110、1120、1130、1140的情况。在如此制造出厚板1110、1120、1130、1140之后，对各个厚板1110、1120、1130、1140实施显示。在图11中示出了针对厚板1110、1120、1130、1140的显示区域1111、1121、1131、1141。在显示区域1111、1121、1131、1141中显示包含厚板1110、1120、1130、1140的ID的信息。在显示区域1111、1121、1131、1141中例如进行基于模板的显示。除了基于模板的显示之外，还可以进行基于刻印的显示和基于标签的显示中的至少一方。此外，显示区域1111、1121、1131、1141中的显示也可以是基于手写的显示。
此外，在显示区域1111、1121、1131、1141中也可以显示原来的厚板1100的ID。在显示区域1111、1121、1131、1141中例如进行基于模板的显示。但是，显示区域1111、1121、1131、1141中的显示也可以是基于手写的显示。该情况对于针对显示区域201的显示、基于标签202的显示也相同。在以下，设为显示区域1111、1121、1131、1141是基于模板的显示区域。
在制造出厚板1110、1120、1130、1140的情况下，例如也可以通过操作人员(作业人员)手持的第1摄像装置对所希望的厚板的包括基于模板的显示区域1111、1121、1131、1141的区域的摄像图像进行摄像。另外，操作人员(作业人员)手持的第1摄像装置例如也可以是具备第1摄像装置的信息终端装置(平板终端、智能手机等)。此外，操作人员(作业人员)也可以操作具备第1摄像装置的无人航空器，通过该第1摄像图像对所希望的厚板的包括基于模板的显示区域1111、1121、1131、1141的区域的摄像图像进行摄像。
如以上那样，在本实施方式中例示了如下情况：至少在放置在输送船400上时、从输送船400卸载并装载到输送车辆700上时、以及放置到龙门起重机410以及工厂的各堆放场时，能够得到各厚板的包括基于模板的显示区域201、1111、1121、1131、1141的区域、包括基于标签202的显示区域的区域的摄像图像。
在本实施方式中，使用如以上那样摄像的摄像图像，通过跟踪装置自动地跟踪厚板的位置。另外，在厚板被每次一张地输送的情况下，能够对基于模板的显示区域201进行摄像，因此不需要包括基于标签202的显示区域的区域的摄像图像。在以下的说明中，在统称基于模板的显示以及基于标签202的显示的情况下，根据需要记载为基于模板(标签)的显示。此外，在统称基于模板的显示区域201、1111、1121、1131、1141以及基于标签202的显示区域的情况下，根据需要记载为基于模板(标签)的显示区域。
<跟踪装置>
图12是表示跟踪装置1200的功能性构成的一例的图。跟踪装置1200的硬件例如通过使用具备CPU、ROM、RAM、HDD以及各种接口的信息处理装置或者专用的硬件来实现。图13是表示由跟踪装置1200管理的管理表1300的一例的图。
如图12所示，在本实施方式中，跟踪装置1200具有第1图像取得部1201、识别部1202、获取部1203、对照部1204、确定部1205、位置导出部1206、存储部1207、输出部1208以及第2图像取得部1209。
第1图像取得部1201取得包括基于模板(标签)的显示区域的区域的第1摄像图像。识别部1202根据由第1图像取得部1201取得的第1摄像图像识别基于模板(标签)的显示中的显示项目的构成要素、位置等。获取部1203获取在后述的管理表1300中存储于现品显示栏的ID栏中的信息。对照部1204对由识别部1202识别出的信息与由获取部1203获取的信息进行对照。确定部1205基于对照部1204的对照结果，从管理表1300中所管理的厚板中确定1个厚板。在本实施方式中，取得厚板的识别信息的识别信息取得部1210具有识别部1202、获取部1203、对照部1204以及确定部1205。位置导出部1206导出基于模板(标签)的显示区域的x-y-z坐标(三维坐标)，作为由确定部1205确定出的厚板的三维位置。存储部1207将表示该厚板的三维位置的信息存储到管理表1300中。输出部1208输出表示该厚板的三维位置的信息。第2图像取得部1209取得用于在位置导出部1206中确定基于模板(标签)的显示区域的高度方向(z轴方向)的位置的第2摄像图像。关于跟踪装置1200的详细的一例，将参照图17的流程图后述。
在图13中，在管理表1300中存储有跟踪装置1200为了跟踪厚板而使用的信息。在存储于管理表1300的信息中包含由厚板的制造商管理的信息。但是，存储在管理表1300中的信息的一部分也可以是在流通等中也能够灵活运用的信息。此处，由厚板的制造商管理的信息是厚板的制造商设定或者取得的信息。在由厚板的制造商管理的信息中包含厚板的制造商的工作人员即操作人员能够理解该信息的含义的信息。更具体而言，由厚板的制造商管理的信息例如是由厚板的制造商制作并存储于管理表1300的信息。在本实施方式中，管理表1300所存储的信息是跟踪数据的一例，通过在管理表1300中保存各信息来实现跟踪数据的数据结构的一例。
在图13中，同一列的信息成为针对同一厚板的识别信息(同一No.下方的栏成为分别存储针对同一厚板的识别信息的栏)。
在图13中，在现品显示栏中存储与基于模板(标签)的显示的各显示项目相关的信息。在非现品显示栏中存储与基于模板(标签)的显示的各显示项目相关的信息以外的信息。在本实施方式中，现品显示栏中所存储的信息是跟踪数据中包含的显示信息的一例，非现品显示栏中所存储的信息是跟踪数据中包含的非显示信息的一例。
对管理表1300的现品显示栏中所存储的信息的一例进行说明。
在现品显示栏中，在模板栏中存储与模板相关的信息。
在模板栏的ID栏中存储表示基于模板的显示中包含的ID305的构成要素的内容以及位置的信息。另外，构成要素是指文字、数字、记号、标记等构成显示项目的各个信息。
在模板栏的用户名栏中存储有表示基于模板的显示中包含的用户名302的构成要素的内容以及位置的信息。
在模板栏的尺寸栏中存储有表示基于模板的显示中包含的尺寸304的构成要素的内容以及位置的信息。
在模板栏的规格栏中存储有表示基于模板的显示中包含的规格303的构成要素的内容以及位置的信息。
在模板栏的用户代码栏中存储有表示基于模板的显示中包含的用户代码306的构成要素的内容以及位置的信息。
在模板栏的订单编号栏中存储有表示基于模板的显示中包含的订单编号307的构成要素的内容以及位置的信息。
除了以上的基于模板的显示中的显示项目以外，有可能作为基于模板的显示的显示项目而显示的显示项目的内容也存储在管理表1300中。图13的模板栏的追加信息栏下方的“…”表示该情况。此外，显示项目本身可以追加以及/或者删除。
在现品显示栏中，在标签栏中存储有与标签相关的信息。
在标签栏的ID栏中存储有表示在基于标签的显示中包含的ID312的构成要素的内容以及位置的信息。
在标签栏的尺寸栏中存储有表示基于标签的显示中包含的尺寸313的构成要素的内容以及位置的信息。
在标签栏的规格栏中存储有表示基于标签的显示中包含的规格311的构成要素的内容以及位置的信息。
在标签栏的交货期限栏中存储有表示基于标签的显示中包含的交货期限314的构成要素的内容以及位置的信息。
在标签栏的用户代码栏中存储有表示基于标签的显示中包含的用户代码315的构成要素的内容以及位置的信息。
除了以上的基于标签的显示中的显示项目以外，有可能作为基于标签的显示的显示项目而显示的显示项目的内容也存储在管理表1300中。图13的标签栏的用户代码栏下方的“…”表示该情况。此外，显示项目本身可以追加以及/或者删除。
接着，对管理表1300的非现品显示栏中所存储的信息的一例进行说明。
在物品内位置栏中存储有表示以厚板中的规定位置为原点(基准)的情况下的显示区域的位置的信息。
在物品内位置栏的模板栏中存储有表示以厚板中的规定位置为原点(基准)的情况下的基于模板的显示区域的位置的信息。
在物品内位置栏的标签栏中存储有表示以厚板中的规定位置为原点(基准)的情况下的基于标签的显示区域的位置的信息。
在物品位置栏中存储有表示厚板的三维位置的信息。存储在物品位置栏中的信息是表示由跟踪装置1200确定的厚板的三维位置的信息。因而，由跟踪装置1200确定的同一厚板的三维位置，随着跟踪的进行(厚板的移动)不仅x坐标以及y坐标改变、有时z坐标也改变。因此，由跟踪装置1200确定的同一厚板的信息显示位置的三维位置，随着跟踪的进行(厚板的移动)不仅x坐标以及y坐标(水平面方向的位置)改变、有时z坐标(高度方向的位置)也改变。
在登记时刻栏中存储有表示厚板被放置于当前位置的日期时间(由日期与时刻确定的定时)的信息。
在主ID栏中存储有表示原来的厚板的ID的信息。在工厂中厚板有时被切断。原来的厚板是指切断前的厚板。因而，在主ID栏中存储有表示原来的厚板的ID的信息的情况下，存储在与该主ID栏同一列的栏中的信息成为针对切断后的厚板的信息。在如图11所示那样制造出厚板1110、1120、1130、1140的情况下，在管理表1300中，在针对该厚板1110、1120、1130、1140的现品显示栏中存储有表示在显示区域1111、1121、1131、1141中显示的显示项目的构成要素的内容以及位置的信息。此外，在针对该厚板1110、1120、1130、1140的主ID栏中存储有表示厚板1100的ID的信息。如此，在本实施方式中例示了如下情况：对于切断后的厚板的信息，在图13所示的管理表1300中被作为新的列(No)进行管理。在管理表1300中，在现品显示栏以及非现品显示栏中存储有针对切断后的厚板的信息。
此处，例如，有时厚板1110被切断而进一步制造出另外的多个厚板。在该情况下，在针对该另外的多个厚板的主ID栏中存储有表示厚板1110的ID的信息。在针对厚板1110的主ID栏中存储有表示厚板1100的ID的信息。如此，通过追溯存储在主ID栏中的信息，能够确定各厚板的变迁。如此，对于某个厚板，将通过追溯存储在主ID栏中的信息而得到的厚板的排列称作该厚板的切板系列。例如，厚板1110的切板系列为厚板1100、1110。此外，在各厚板的主ID栏中，例如为了得知其切板系列，也可以不仅存储表示最近的厚板的ID的信息，还存储表示属于其切口系列的所有厚板的ID的信息。在该情况下，所有的ID都使用由制造商定义的ID。
在搬运工具ID栏中存储有厚板的搬运工具的ID。在本实施方式中例示了搬运工具是输送船400以及输送车辆700的情况。
当将厚板装载到输送船400上时，跟踪装置1200例如也可以如以下那样存储表示输送船400的ID的信息。
首先，跟踪装置1200取得该厚板的ID以及该输送船400的ID(所谓的船号)。然后，跟踪装置1200从管理表1300的ID栏中确定出存储有表示与所取得的厚板的ID为相同ID的信息的列。然后，跟踪装置1200在确定出的列的搬运工具ID栏中存储表示所取得的输送船400的ID的信息。
例如，也可以通过第1摄像装置430a、430b、430n对包括基于模板的显示区域201或者基于标签202的显示区域以及显示表示输送船400的ID的信息的区域的摄像图像进行摄像。在如下进行的情况下，跟踪装置1200也可以根据该摄像图像来识别并取得厚板的ID以及输送船400的ID。
此外，也可以通过第1摄像装置430a、430b、430n对包括基于模板的显示区域201或者基于标签202的显示区域的摄像图像、以及包括显示有表示输送船400的ID的信息的区域的摄像图像进行摄像。例如，也可以在对包括基于模板的显示区域201或者基于标签202的显示区域的摄像图像进行摄像之后，接着对包括显示有表示输送船400的ID的信息的区域的摄像图像进行摄像。在如此进行的情况下，跟踪装置1200也可以取得从包括基于模板的显示区域201或者基于标签202的显示区域的摄像图像中识别出的ID、以及从包括显示有表示输送船400的ID的信息的区域的摄像图像中识别出的ID，作为厚板的ID以及输送船400的ID。
此外，例如，输送船400的操作人员(作业人员)也可以向手持的信息处理终端(平板终端等)输入厚板的ID以及输送船400的ID。在如此进行的情况下，也可以通过从该信息处理终端向跟踪装置1200发送厚板的ID以及输送船400的ID，由此跟踪装置1200取得该厚板的ID以及该输送船400的ID。
此外，当将厚板装载到输送车辆700上时，跟踪装置1200例如也可以如以下那样存储表示输送车辆700的ID的信息。
首先，跟踪装置1200取得该厚板的ID以及该输送车辆700的ID(例如，车牌的信息)。然后，跟踪装置1200从管理表1300的ID栏中确定出存储有表示与所取得的厚板的ID为相同ID的信息的列。然后，跟踪装置1200在确定出的列的搬运工具ID栏中存储表示所取得的输送车辆700的ID的信息。
例如，也可以通过第1摄像装置430o～430q对包括基于模板的显示区域201或者基于标签202的显示区域以及包括显示有表示输送车辆700的ID的信息的区域的摄像图像进行摄像。在如下进行的情况下，跟踪装置1200也可以从该摄像图像中识别并取得厚板的ID以及输送车辆700的ID。
此外，也可以通过第1摄像装置430o～430q对包括基于模板的显示区域201或者基于标签202的显示区域的摄像图像、以及包括显示有表示输送车辆700的ID的信息的区域的摄像图像进行摄像。例如，也可以在对包括基于模板的显示区域201或者基于标签202的显示区域的摄像图像进行摄像之后，接着对包括显示有表示输送车辆700的ID的信息的区域的摄像图像进行摄像。在如此进行的情况下，跟踪装置1200也可以取得从包括基于模板的显示区域201或者基于标签202的显示区域的摄像图像中识别出的ID、以及从包括显示有表示输送车辆700的ID的信息的区域的摄像图像中识别出的ID，作为厚板的ID以及输送车辆700的ID。
此外，例如，输送车辆700的操作人员(作业人员)也可以向手持的信息处理终端(平板终端等)输出厚板的ID以及输送车辆700的ID。在如此进行的情况下，也可以通过从该信息处理终端向跟踪装置1200发送厚板的ID以及输送车辆700的ID，由此跟踪装置1200取得该厚板的ID以及该输送车辆700的ID。
管理表1300的数据结构也可以是存储在管理表1300的各栏中的信息(例如，物品位置和登记时刻)每当厚板被放置到新位置时就更新信息的数据结构。此外，管理表1300的数据结构也可以是追加信息的数据结构。在后者的情况下，具有能够追溯跟踪的履历的优点。
接着，对管理表1300的现品显示栏中所存储的内容和非现品显示栏的物品内位置栏中所存储的内容的一例进行更具体的说明。
图14是表示模板的物品内位置以及基于模板的显示中的各显示项目的构成要素的位置的一例的图。在图14中例示了以图2所示的显示位置以及图3A所示的内容进行基于模板的显示的情况。
在图14中，通过将长方体的厚板的8个顶点中的图2所示的顶点203作为原点、将从该顶点203沿着厚板的宽度方向的方向作为y轴的正方向、将沿着厚板的长度方向的方向作为x轴的正方向的x-y坐标，表示模板的物品内位置以及基于模板的各显示项目的构成要素的位置。
在本实施方式中，将由基于模板的显示中的各显示项目的构成要素的位置中的成为x轴的最大值、x轴的最小值、y轴的最大值以及y轴的最小值的位置确定的外切矩形的4个顶点中的处于对角线上的2个顶点的x-y坐标，作为模板的物品内位置。在图14中示出了外切矩形的2个顶点1401a、1401b的x-y坐标(Ls10,Ws10)、(Ls11,Ws11)为模板的物品内位置的情况。另外，此处为了简化说明而设为外切矩形是与表现物品内位置的坐标轴(在图14所示的例子中为x轴以及y轴)平行的矩形。
此外，将基于模板的显示中的各显示项目的构成要素(文字、数字、记号、标记)的重心(或者图心)的位置的x-y坐标，作为该构成要素的位置。在图14中示出了基于模板的显示中所包含的ID305的构成要素即5、6、3、4、9、7、-、0、1的y轴坐标分别为Ws1、Ws2、Ws3、Ws4、Ws5、Ws6、Ws7、Ws8、Ws9，x轴坐标均为Ls1的情况。
如以上那样，基于模板的显示的各显示项目的各构成要素的位置通过x-y坐标表示。
图15是表示标签的物品内位置以及基于标签的显示中的各显示项目的构成要素的位置的一例的图。在图15中例示了以图2所示的显示位置以及图3B所示的显示内容进行基于标签的显示的情况。
在图15中，通过将长方体的厚板的8个顶点中的图2所示的顶点204作为原点、将从该顶点204沿着厚板的宽度方向的方向作为y轴的正方向、将沿着厚板的板厚方向的方向作为z轴的正方向的y-z坐标，表示标签的物品内位置以及基于标签的各显示项目的构成要素的位置。
在本实施方式中，标签为矩形状。将标签的4个顶点中的处于对角线上的2个顶点的y-z坐标，作为标签的物品内位置。此外，将基于标签的显示中的各显示项目的构成要素的重心(或者图心)的位置的y-z坐标，作为该构成要素的位置。在图15中示出了标签的2个顶点1501a、1501b的y-z坐标为标签的物品内位置的情况。
如上所述，在图13所示的管理表1300中，在现品显示栏的模板栏的ID栏中存储有表示基于模板的显示中所包含的ID305的构成要素的内容以及位置的信息。因而，如图16A所示，在图14所示的例子中，在现品显示栏的模板栏的ID栏中，作为基于模板的显示中所包含的ID305的构成要素的内容而存储有“5”、“6”、“3”、“4”、“9”、“7”、“-”、“0”、“1”。此外，在现品显示栏的模板栏的ID栏中，作为该构成要素的位置而存储有(Ls1,Ws1)、(Ls2,Ws1)、(Ls3,Ws1)、(Ls4,Ws1)、(Ls5,Ws1)、(Ls6,Ws1)、(Ls7,Ws1)、(Ls8,Ws1)、(Ls9,Ws1)。
在现品显示栏的其他的显示项目栏中也与模板栏的ID栏同样地存储有表示该显示项目的构成要素的内容以及位置的信息。另外，表示标签栏的各显示项目的构成要素的位置的信息不是x-y坐标而是y-z坐标。
此外，如图16B所示，在图14所示的例子中，在非现品显示栏的物品内位置栏的模板栏中，作为表示模板的物品内位置的信息而存储有(Ls10,Ws10)、(Ls11,Ws11)。
在物品内位置栏的标签栏中也与物品内位置栏的模板栏同样地存储有表示标签的物品内位置的信息。另外，如上所述，表示标签的物品内位置的信息不是x-y坐标而是y-z坐标。
在制作管理表1300时，例如操作人员也可以操作跟踪装置1200的用户接口，将应存储在管理表1300的各栏中的信息输入到跟踪装置1200。此外，跟踪装置1200也可以从对工厂的作业进行管理的计算机等外部装置接收应存储在管理表1300的各栏中的信息。
存储在管理表1300的现品显示栏中的信息以及存储在非现品显示栏的物品内位置栏和主ID栏中的信息，有时在进行针对厚板的显示之后确定，也有时在进行针对厚板的显示之前确定。因而，在应存储在该栏中的信息在进行针对厚板的显示之前确定的情况下，跟踪装置1200例如如上所述地取得应存储在该栏中的信息，并存储在管理表1300的各栏中。
另一方面，存储在非现品显示栏中的物品位置栏和登记时刻栏的信息，有时在进行针对厚板的显示之前无法确定。因而，跟踪装置1200例如在得到应存储在该栏中的信息的定时，取得应存储在该栏中的信息并存储在管理表1300的各栏中。如上所述，在登记时刻栏中存储有在物品位置栏中存储的信息被变更的日期时间。在该情况下，厚板被放置在当前位置的日期时间被登记到登记时刻栏中。
另外，对于非现品显示栏的项目，仅在取得该项目的信息的情况下才在该项目的栏中存储信息，在未取得该项目的信息的情况下不在该项目的栏中存储信息。此外，在即使从存储在登记时刻栏中的日期时间起经过了规定时间而存储在物品位置栏中的信息也没有被更新的情况下，跟踪装置1200判断为厚板位置的确定(跟踪)中断，优选对存储在该物品位置栏和登记时刻栏中的信息进行复位。此外，在同一位置处，存储在登记时刻栏中的日期时间较早的厚板不会比存储在登记时刻栏中的日期时间较晚的厚板先移动(即，在板存在重叠的情况下，处于下方的板不会突然消失)。因此，跟踪装置1200在执行存储在物品位置栏和登记时刻栏中的信息的复位时，优选如以下那样进行。即，跟踪装置1200为，当存在登记时刻栏中存储有比要复位的登记时刻栏中记载的日期时间晚的日期时间的厚板、且是与要复位的物品位置栏中存储的三维位置为相同三维位置的厚板的情况下，优选通过警报等发出进行确认的信号。
接着，对跟踪装置1200的功能的一例进行说明。图17是对跟踪厚板时的跟踪装置1200的处理的一例进行说明的流程图。参照图17对跟踪装置1200的功能的一例进行说明。
在图17的步骤S1701中，第1图像取得部1201取得第1摄像图像。第1摄像图像是由第1摄像装置430a～430y、无人航空器440a～440c所具备的第1摄像装置以及操作人员(作业人员)手持的第1摄像装置中的任一个第1摄像装置摄像的摄像图像。第1摄像图像可以从第1摄像装置直接发送到跟踪装置1200，也可以经由信息终端装置从第1摄像装置发送到跟踪装置1200。每当跟踪装置1200接收到由第1摄像装置430a～430y、无人航空器440a～440c所具备的第1摄像装置以及操作人员(作业人员)手持的第1摄像装置中的任一个摄像装置摄像的摄像图像时，便执行基于图17的流程图的处理。在本实施方式中，对第1摄像图像进行了摄像的第1摄像装置的ID和对该第1摄像图像进行摄像时的摄像条件与第1摄像图像一起发送。
第1图像取得部1201在取得第1摄像图像的同时还取得对该第1摄像图像进行摄像的第1摄像装置的ID、以及对该第1摄像图像进行摄像时的摄像条件。在摄像条件中包含在摄像时在摄像装置中设定的信息中、为了如后述那样确定基于模板的显示区域或者基于标签的显示区域的位置而需要的信息。
此外，在对第1摄像图像进行摄像时的第1摄像装置的位置未被固定的情况下，对第1摄像图像进行摄像时的第1摄像装置的位置信息与第1摄像图像一起发送。例如，在无人航空器440a～440c能够使用GPS(Global positioning System)对该无人航空器的三维坐标(x-y-z坐标)进行定位的情况下，作为该无人航空器所具备的第1摄像装置的位置信息，也可以发送该三维坐标。对于安装于输送船400的第1摄像装置430n、安装于装卸装置411的第1摄像装置430g～430m以及安装于输送车辆700的第1摄像装置430q，也可以与无人航空器440a～440c同样，将该第1摄像装置的位置信息与第1摄像图像一起发送。该情况对于操作人员(作业人员)手持的第1摄像装置也相同。
另外，在第1摄像装置无法对应包含在第1摄像图像中的区域进行摄像的情况下，在步骤S1701的处理之前调整第1摄像装置的摄像条件(摄像方向、视场角、变焦倍率以及光圈(F值)等)。
接着，在步骤S1702中，识别部1202从在步骤S1701中取得的第1摄像图像中识别出基于模板(标签)的显示中的显示项目的构成要素(文字、数字、记号、标记)。对显示项目的构成要素的内容进行识别的处理，例如能够通过使用了公知的OCR(Optical characterrecognition)的技术来实现，因此在此处省略其详细说明。另外，也可以通过使用了NN(Neural Network)等AI(Artificial Intelligence)的技术、组合了AI与OCR的技术(所谓的AI OCR)，来实现步骤S1702的处理。
此外，识别部1202确定显示项目的构成要素是基于模板的显示与基于标签的显示中的哪个。例如，识别部1202基于在步骤S1701中取得的第1摄像图像进行边缘检测处理，检测出厚板的边缘，基于检测的结果来确定厚板的区域。然后，识别部1202判定所确定的区域是厚板的板面部分与厚板的侧面(板厚)部分中的哪个。该判定例如基于所确定的区域的纵横比来实现。作为该判定的结果，在所确定的区域是厚板的板面部分的情况下，识别部1202识别为显示项目的构成要素是基于模板的显示。另一方面，在所确定的区域是厚板的侧面(板厚)部分的情况下，识别部1202识别为显示项目的构成要素是基于标签的显示。
此外，识别部1202也可以基于第1摄像图像进行边缘检测处理，在检测到矩形状的标签202的区域的情况下，识别为显示项目的构成要素是基于标签的显示，在并未如此的情况下，识别为显示项目的构成要素是基于模板的显示。
另外，在本实施方式中，为了简化说明，对于处于最上层的厚板，假设在第1摄像图像中不包含基于标签202的显示区域而包含基于模板的显示区域201。
此外，识别部1202导出显示项目的位置。对第1识别部1202导出显示项目的位置的方法的一例进行说明。首先，识别部1202基于在步骤S1701中取得的第1摄像图像进行边缘检测处理，检测出厚板的边缘。然后，识别部1202检测出第1摄像图像中的物品内位置的原点(厚板中的规定位置)。识别部1202例如根据作为基于模板(标签)的显示区域与物品内位置的原点之间的位置关系而预先设定的位置关系，导出长方体的厚板的8个顶点中的成为摄像图像中的物品内位置的原点(厚板中的规定位置)的顶点。
作为基于模板(标签)的显示区域与物品内位置的原点之间的位置关系，例如也可以在跟踪装置1200中预先设定以下那样的信息。即，也可以在跟踪装置1200中预先设定如下信息：在以基于模板(标签)的显示的显示项目的构成要素的顶部位于上侧的方式观察该构成要素的情况下，在与基于模板(标签)的显示相同的面中，位于基于模板(标签)的显示的右下侧的顶点是物品内位置的原点。识别部1202导出以摄像图像中的物品内位置的原点为基准的位置，作为基于模板(标签)的显示中的显示项目的构成要素的位置。当步骤S1702的处理结束时，执行步骤S1703的处理。
在步骤S1703中，获取部1203获取在存储部1207所存储的管理表1300中存储在现品显示栏的ID栏中的信息。
接着，在步骤S1704中，对照部1204对在步骤S1702中识别出的信息与在步骤S1703中获取的信息进行对照。在识别为在步骤S1702中识别出的信息是基于模板的显示的信息的情况下，对照部1204对在步骤S1703中获取的信息中的存储在现品显示栏的模板栏的ID栏中的信息与在步骤S1702中识别出的信息进行对照。另一方面，在识别为在步骤S1702中识别出的信息是基于标签的显示的信息的情况下，对照部1204对在步骤S1703中获取的信息中的存储在现品显示栏的标签栏的ID栏中的信息与在步骤S1702中识别出的信息进行对照。
接着，在步骤S1705中，确定部1205基于步骤S1703的对照结果，从在管理表1300中管理的厚板中确定出1个厚板。具体而言，确定部1205从在步骤S1703中获取的信息中确定出与在步骤S1702中识别出的信息一致的信息。
此处，所谓一致是指，在步骤S1702中识别出的信息中存在内容以及排列顺序与存储在现品显示栏的模板栏或者标签栏的ID栏中的构成要素完全一致的部分。在图3A以及图3B所示的例子中，通过模板或者标签显示的ID305、312的构成要素的内容为5、6、3、4、9、7、-、0、1，排列顺序是从左起5、6、3、4、9、7、-、0、1的顺序。因而，确定部1205从在管理表1300中管理的ID栏中确定5、6、3、4、9、7、-、0、1从左起依次排列的信息。在步骤S1702中识别出的信息中，不仅在这些构成要素的一部分欠缺的情况下，而且在排列有这些构成要素以外的构成要素的情况下，设为在该步骤S1702中识别出的信息不是内容以及排列顺序与存储在现品显示栏的模板栏或者标签栏的ID栏中的构成要素完全一致的信息。
接着，在步骤S1706中，位置导出部1206基于在步骤S1701中取得的信息，判定对在步骤S1701中取得的第1摄像图像进行摄像的第1摄像装置的位置是否已知。在本实施方式中，安装于梁架412以及支柱构造物413的第1摄像装置430a～430f、安装于设置在输送车辆700的待机位置的构造物的第1摄像装置430o～430p、安装于设置在工厂内的堆放场的构造物的第1摄像装置430r～430w以及安装于设置在工厂的生产线的构造物的第1摄像装置430x～430y的三维位置为已知。对于这些第1摄像装置的各自，将第1摄像装置的ID与该第1摄像装置的位置信息(三维坐标(x-y-z坐标))相互建立关联地预先登记在跟踪装置1200中。位置导出部1206为，在与在步骤S1701中取得的第1摄像装置的ID相同的ID建立关联的位置信息(三维坐标)预先登记在跟踪装置1200中的情况下，判定为对在步骤S1701中取得的第1摄像图像进行摄像的第1摄像装置的位置为已知，在并非如此的情况下，判定为对在步骤S1701中取得的第1摄像图像进行摄像的第1摄像装置的位置并非已知。
作为步骤S1706的判定结果，在对在步骤S1701中取得的第1摄像图像进行摄像的第1摄像装置的位置并非已知的情况下，执行步骤S1707的处理。在步骤S1707中，位置导出部1206判定在步骤S1701中是否取得了对第1摄像图像进行摄像的第1摄像装置的位置信息。作为该判定的结果，在步骤S1701中未取得对第1摄像图像进行摄像的第1摄像装置的位置信息的情况下，处理前进至后述的步骤S1712。
作为步骤S1706的判定结果，在对在步骤S1701中取得的第1摄像图像进行摄像的第1摄像装置的位置为已知的情况下，以及，作为步骤S1707的判定结果，在步骤S1701中取得了对第1摄像图像进行摄像的第1摄像装置的位置信息的情况下，执行步骤S1708的处理。在步骤S1708中，位置导出部1206判定是否能够确定基于模板(标签)的显示区域的高度方向(z轴方向)的位置。另外，关于能够确定基于模板(标签)的显示区域的高度方向(z轴方向)的位置的情况下的具体例将后述。作为步骤S1708的判定结果，在无法确定基于模板(标签)的显示区域的高度方向(z轴方向)的位置的情况下，处理前进至后述的步骤S1712。
另一方面，作为步骤S1708的判定结果，在能够确定基于模板(标签)的显示区域的高度方向(z轴方向)的位置的情况下，执行步骤S1709的处理。在步骤S1709中，位置导出部1206导出基于模板(标签)的显示区域的三维坐标(x-y-z坐标)，作为在步骤S1705中确定出的厚板的三维位置。
接着，在步骤S1710中，存储部1207将作为针对在步骤S1705中确定出的厚板的信息而存储在管理表1300的非现品显示栏的物品位置栏中的信息，更新为表示在步骤S1709中导出的厚板的三维位置的信息。如此，在本实施方式中例示了存储在管理表1300的非现品显示栏的物品位置栏中的信息为信息显示位置的情况。存储在管理表1300的非现品显示栏的物品位置栏中的信息是基于模板(标签)的显示区域的x-y-z坐标。因而，信息显示位置是三维位置。如上所述，同一厚板的信息显示位置为，随着该厚板的位置的移动，不仅x坐标以及y坐标变化，z坐标(高度方向的位置)也变化。
接着，在步骤S1711中，输出部1208输出表示在步骤S1705中确定出的厚板的三维位置的信息。例如，输出部1208将表示在步骤S1705中确定出的厚板的三维位置的信息显示于计算机显示器。然后，基于图17的流程图的处理结束。
此处，以图2所示的基于模板的显示区域201为例，对在步骤S1709中导出基于模板(标签)的显示区域的三维位置的方法的一例进行说明。在图2所示的例子中，基于模板的显示区域201处于厚板的板面区域中的厚板的宽度方向(y轴方向)的中央附近的区域、且是厚板的长度方向的一端侧(x轴的负方向侧)的区域。在本实施方式中，基于模板的显示区域201的三维位置是信息显示位置的一例。
图18是对导出基于模板的显示区域201的三维位置的方法的一例进行说明的图。
在图18中，点P表示第1摄像装置的三维位置(点P的x-y-z坐标为(xp,yp,zp))。第1摄像装置的三维位置例如是第1摄像装置的光学系统(透镜)的中心位置。在图18所示的例子中，z轴是与厚板的表面(形成有基于模板的显示区域201的面)垂直的方向。此外，y轴是与在基于模板的显示区域201中同一显示项目的构成要素所排列的方向平行的方向。此外，x轴是与在基于模板的显示区域201中不同的显示项目所排列的方向平行的方向。此外，x轴、y轴、z轴相互垂直。此外，在此处为了简化说明，设为厚板的宽度方向与y轴平行，厚板的长度方向与x轴平行。
点S表示基于模板的显示区域201的4个顶点中位于x轴的负方向侧且位于y轴的正方向侧的顶点的位置(点S的x-y-z坐标为(xs,ys,zs))。点O是点P(相对于x-y平面)的垂线的垂足(点P的垂线与x-y平面的交点)。在图18所示的例子中，将点O设为原点。点Q是通过点O且与x轴平行的直线和通过点S且与y轴平行的直线的交点。
当将∠OPQ设为β(rad)、将线段OP的长度(从点O到点P的距离)设为H时，∠OQP(＝η)为π/2-β(rad)，因此线段OQ的长度(从点O到点Q的距离)L由以下的(1)式表示。
L＝Hsinβ/sin{(π/2-β)}……(1)
此外，当将∠OPS设为α(rad)时，线段OS的长度(从点O到点S的长度)l由以下的(2)式表示。并且，当将∠SPQ设为δ(rad)时，根据(2)式，线段SQ的长度(从点S到点Q的距离)wy由以下的(3)式表示。
l＝H/tanα……(2)
wy＝lsinδ＝Hsinδ/tanα……(3)
因而，点S的x-y-z坐标S(xs,ys,zs)由以下的(4)式表示。
S(xs,ys,zs)＝(L,wy,0)……(4)
在本实施方式中例示了位置导出部1206导出点S的x-y-z坐标(xs,ys,zs)作为基于模板的显示区域201的位置的情况。如果线段OP的长度H、∠OPQ(＝β)、∠OPS(＝α)以及∠SPQ(＝δ)确定，则点S的x-y-z坐标(xs,ys,zs)确定。
线段OP的长度H是从点P的z坐标zp减去基于模板的显示区域201的z坐标zs而得到的值。因而，如果基于模板的显示区域201的z坐标(基于模板的显示区域201的高度方向(z轴方向)的位置)确定，则能够导出线段OP的长度H。另外，在图18中例示了基于模板的显示区域201的z坐标zs为0(零)的情况，因此线段OP的长度H与点P的z坐标zp相等。
第1摄像图像中的点S的位置例如以下那样导出。位置导出部1206导出由在步骤S1702中识别出的基于模板的显示项目的构成要素中成为x轴的最大值、x轴的最小值、y轴的最大值以及y轴的最小值的位置确定的外切矩形。然后，位置导出部1206导出所导出的外切矩形的顶点中在以基于模板的显示项目的构成要素的顶部位于上侧的方式观察的情况下、例如位于左下侧(x轴的负方向侧以及y轴的正方向侧)的顶点的位置，作为第1摄像图像中的点S的位置。另外，在第1摄像图像中进行基于标签的显示的情况下，位置导出部1206导出矩形状的标签的顶点中在以基于模板的显示项目的构成要素的顶部位于上侧的方式观察的情况下、例如位于左下侧的顶点，作为第1摄像图像中的点S的位置。
第1摄像图像中的点Q的位置是通过第1摄像图像中的点S的位置且与y轴平行的直线上的位置、且是与摄像时的水平视场角(y轴方向的视场角)的中心对应的位置。另外，点Q的确定例如也可以如以下那样进行。即，通过激光指示器等从点P照射激光，在厚板的板面中形成有基于模板的显示区域201的面上显示通过点S的位置且与y轴平行的直线。此外，通过激光指示器等从点P照射激光，在厚板的板面中形成有基于模板的显示区域201的面显示通过点O且与x轴平行的直线。在如此进行的情况下，由激光显示的两条直线的交点成为点Q。因而，位置导出部1206也可以从在显示有由激光显示的两条直线的交点的状态下摄像的第1摄像图像中确定点Q。如此，在点P、点O以及点Q处于x-z平面上(y＝0的平面上)的情况下，即使厚板的板面中形成有基于模板的显示区域201的面相对于x-y平面倾斜，也能够确定点Q的位置。
例如，基于在步骤S1701中取得的第1摄像图像中的点S以及点Q的位置、以及对该第1摄像图像进行摄像时的光学系统(透镜)的中心位置(为了确定焦点距离而使用的光学系统的中心位置)，来确定∠OPS(＝α)、∠OPQ(＝β)以及∠SPQ＝∠SOQ(＝δ)。通过将第1摄像图像中的点S与对第1摄像图像进行摄像时的光学系统(透镜)的中心位置连结的直线，来确定线段PS所延伸的方向。通过将第1摄像图像中的点Q与对第1摄像图像进行摄像时的光学系统(透镜)的中心位置连结的直线，来确定线段PQ所延伸的方向。基于线段PS所延伸的方向、线段PQ所延伸的方向以及z轴方向来确定∠OPS(＝α)、∠OPQ(＝β)以及∠SPQ＝∠SOQ(＝δ)。
导出∠OPS(＝α)、∠OPQ(＝β)以及∠SPQ＝∠SOQ(＝δ)的方法并不限定于这种方法。例如，位置导出部1206也可以如以下那样导出∠OPS(＝α)、∠OPQ(＝β)以及∠SPQ＝∠SOQ(＝δ)。首先，位置导出部1206基于第1摄像装置所具备的测距传感器(例如TOF(Time-of-Flight)方式的测距传感器)的测定值，导出线段PS以及点PQ的长度。然后，位置导出部1206为，假设形成有基于模板的显示区域201的面为x-y平面、线段QS是沿着y轴方向延伸的直线，而确定点S以及点Q的位置。然后，位置导出部1206基于点P、点S、点Q的位置来导出∠OPS(＝α)、∠OPQ(＝β)以及∠SPQ＝∠SOQ(＝δ)。
此外，例如，位置导出部1206也可以基于从第1摄像装置朝向点S照射的激光的角度、从第1摄像装置朝向点Q照射的激光的角度、以及从第1摄像装置使激光从点S扫描到点Q时的扫描角度，导出∠OPS(＝α)、∠OPQ(＝β)以及∠SPQ＝∠SOQ(＝δ)。
此外，位置导出部1206也可以通过对在向厚板的板面中包括形成有基于模板的显示区域201的面以及点O的区域照射格子状的激光的状态下摄像的第1摄像图像中呈格子状排列的矩形的数量进行计数，由此导出∠OPS(＝α)、∠OPQ(＝β)以及∠SPQ＝∠SOQ(＝δ)。在如此进行的情况下，1个矩形的x轴方向的长度例如是当∠OPS(＝α)以及∠OPQ(＝β)变化1rad时所变化的x轴方向的长度，y轴方向的长度例如是当∠SPQ＝∠SOQ(＝δ)变化1rad时所变化的y轴方向的长度。基于从处于与点O对应的位置的矩形到与点S、Q对应的矩形为止的矩形数量的计数结果，导出∠OPS(＝α)、∠OPQ(＝β)。此外，基于从处于与点S对应的位置的矩形到处于与点Q对应的位置的矩形为止的矩形数量的计数结果，导出∠SPQ(＝δ)。基于针对第1摄像图像的图像处理的结果来进行矩形数量的计数。
另外，对于显示区域1111、1121、1131、1141的位置，也与参照图18说明的方法同样地导出。此外，基于模板的显示区域201和基于标签202的显示区域仅是在厚板上配置的面不同，因此对于基于标签202的显示区域的位置，也能够仿照参照图18说明的方法来导出。因而，在此处省略其详细说明。
接着，在步骤S1708中，对判定为能够确定基于模板(标签)的显示区域的高度方向(z轴方向)的位置的情况下的一例进行说明。
作为第1例，首先，位置导出部1206使用激光测距仪导出从第1摄像装置到基于模板的显示区域的高度方向(z轴方向)的距离。然后，位置导出部1206导出从第1摄像装置的高度方向(z轴方向)的位置减去该距离而得到的位置，作为基于模板的显示区域201的高度方向(z轴方向)的位置。
作为第2例，位置导出部1206使用存储在管理表1300的物品位置栏中的表示厚板的位置的信息、以及存储在管理表1300的登记时刻栏中的表示厚板被放置在当前位置的日期时间的信息，导出基于模板(标签)的显示区域的高度方向(z轴方向)的位置。对如此导出基于模板(标签)的显示区域的高度方向(z轴方向)的位置的方法的一例进行说明。另外，在此处，根据需要将存储在管理表1300的物品位置栏中的厚板的三维位置称作物品位置。此外，在此处为了简化说明，而设为所层叠的多个厚板中处于最下层的厚板被放置在地面上。
首先，位置导出部1206基于存储在管理表1300中的物品位置，从在步骤S1705中确定出的厚板以外的厚板中确定至少一部分包含在对在步骤S1701中取得的第1摄像图像进行摄像的第1摄像装置的摄像范围(x-y坐标)内的厚板。
在导出基于模板的显示区域201的高度方向(z轴方向)的位置的情况下，在步骤S1705中确定出的厚板处于最上层。因而，位置导出部1206判断为，至少一部分包含于对在步骤S1701中取得的第1摄像图像进行摄像的第1摄像装置的摄像范围(x-y坐标)内的厚板，处于在步骤S1705中确定出的厚板的下方。在该情况下，将作为处于在步骤S1705中确定出的厚板的下方的厚板的信息而存储在管理表1300中的尺寸(厚度)的全部、与在步骤S1705中确定出的厚板的厚度相加而得到的值，成为基于模板的显示区域201的高度方向(z轴方向)的位置。
另一方面，在导出基于标签的显示区域的高度方向(z轴方向)的位置的情况下，位置导出部1206判断为，如上述那样确定出的厚板中的、在登记时刻栏中存储有比作为在步骤S1705中确定出的厚板的信息而存储在管理表1300的登记时刻栏中的日期时间晚的日期时间的厚板，是处于在步骤S1705中确定出的厚板的下方的厚板。在该情况下，将作为处于在步骤S1705中确定出的厚板的下方的厚板的信息而存储在管理表1300中的尺寸(厚度)的全部的相加值、与作为在步骤S1705中确定出的厚板的信息而存储在管理表1300中的物品内位置的z坐标的值相加而得到的值，成为基于标签202的显示区域的高度方向(z轴方向)的位置。
作为第3例，在第1摄像图像中显示有能够确定高度方向(z轴方向)的信息的情况下，位置导出部1206能够根据该信息来导出基于模板(标签)的显示区域的高度方向(z轴方向)的位置。对如此导出基于模板(标签)的显示区域的高度方向(z轴方向)的位置的方法的一例进行说明。例如，位置导出部1206为，当在第1摄像图像中包含显示有表示高度方向(z轴方向)的位置的刻度的构造物的情况下，从第1摄像图像中识别出该构造物的该刻度。例如，位置导出部1206对第1摄像图像执行边缘检测处理而提取目标的边缘，并从提取出的目标中提取该构造物。例如，将表示目标的轮廓的信息与该目标的名称相互建立关联的信息预先登记到跟踪装置1200中。在如此进行的情况下，位置导出部1206也可以通过对如上述那样提取出的目标的边缘与该信息进行比较，由此提取出与该构造物对应的目标。此外，位置导出部1206也可以使用NN(Neural Network)等AI(Artificial Intelligence)，从如上述那样提取出的目标中提取该构造物。
然后，位置导出部1206基于第1摄像图像中的基于模板(标签)的显示区域的位置以及第1摄像图像中的该构造物所显示的刻度的位置，导出基于模板(标签)的显示区域的高度方向(z轴方向)的位置。另外，在第1摄像图像中标注在刻度上的数字，通过与对基于模板(标签)的显示项目的构成要素进行识别的方法相同的方法来进行识别。
作为第4例，位置导出部1206也可以使用由第2图像取得部1209取得的第2摄像图像，导出基于模板的显示区域201的高度方向(z轴方向)的位置。在该情况下，在图17的流程图中，在步骤S1708的处理开始的定时之前，追加通过第2图像取得部1209取得第2摄像图像的步骤。第2摄像图像是由与对第1摄像图像进行摄像的第1摄像装置(对包括基于模板(标签)的显示区域的区域进行摄像的摄像装置)不同的第2摄像装置摄像的摄像图像。第2摄像图像包括对在步骤S1701中取得的第1摄像图像进行摄像的第1摄像装置和在步骤S1705中确定出的厚板的双方。对如此导出基于模板的显示区域201的高度方向(z轴方向)的位置的方法的一例进行说明。
图19是对导出基于模板的显示区域201的高度方向(z轴方向)的位置的方法的一例进行说明的图。
在图19所示的例子中，也与图18同样，点P表示第1摄像装置的位置(点P的x-y-z坐标为(xp,yp,zp))。此外，z轴是与厚板的表面(形成有基于模板的显示区域201的面)垂直的方向。此外，y轴是与在基于模板的显示区域201中同一显示项目的构成要素所排列的方向平行的方向。此外，x轴是与在基于模板的显示区域201中不同的显示项目所排列的方向平行的方向。此外，x轴、y轴、z轴相互垂直。此处，为了简化说明而设为厚板的宽度方向与y轴平行，厚板的长度方向与x轴平行。
此外，点O’是点P(相对于x-y平面)的垂线与包括厚板的表面(形成有基于模板的显示区域201的面)的平面的交点(点O’与图18的点O对应)。点O是点P(相对于x-y平面)的垂线的垂足(点P的垂线与x-y平面的交点)。在图19所示的例子中，将点O设为原点。点R表示第2摄像装置的三维位置(点R的x-y-z坐标为(xr,yr,zr))。第2摄像装置的三维位置例如是第2摄像装置的光学系统(透镜)的中心位置。
第2摄像装置的三维位置能够由跟踪装置1200确定。例如，在第2摄像装置的三维位置固定的情况下，将第2摄像装置的ID与该第2摄像装置的三维坐标(x-y-z坐标)相互建立关联地预先登记到跟踪装置1200中。此外，在第2摄像装置的三维位置不固定的情况下，例如，第2摄像装置发送使用GPS定位出的该第2摄像装置的三维坐标(x-y-z坐标)以及该第2摄像装置的ID。在该情况下，第2图像取得部1209取得从第2摄像装置发送的这些信息。
在图19所示的例子中，为了简化说明而设为所层叠的多个厚板中处于最下层的厚板被放置在地面上。点D是形成有基于模板的显示区域201的面的顶点中处于最接近点R的位置的顶点。点B是所层叠的多个厚板中处于最下层的厚板的底面的顶点中处于最接近点R的位置的顶点。
在图19中，例如，基于第2摄像图像中的点P、点B及点D的位置、以及对该第2摄像图像进行摄像时的光学系统(透镜)的中心位置(为了确定焦点距离而使用的光学系统的中心位置)，来确定以及/> 通过将第2摄像图像中的点P与对第2摄像图像进行摄像时的光学系统(透镜)的中心位置连结的直线，来确定线段RP延伸的方向。通过将第2摄像图像中的点B与对第2摄像图像进行摄像时的光学系统(透镜)的中心位置连结的直线，来确定线段RB延伸的方向。通过将第2摄像图像中的点D与对第2摄像图像进行摄像时的光学系统(透镜)的中心位置连结的直线，来确定线段RT延伸的方向。基于线段RB延伸的方向以及线段RD延伸的方向来确定/>基于线段RP延伸的方向以及y轴方向来确定/>
此外，例如，位置导出部1206基于第2摄像装置所具备的测距传感器(例如TOF(Time-of-Flight)方式的测距传感器)的测定值，导出线段RP的长度(从点R到点P的距离)以及线段RD(从点R到点D的距离)的长度。然后，位置导出部1206基于第2摄像装置的高度方向(z轴方向)的位置(zr)、线段RP的长度以及导出第1摄像装置的高度方向(z轴方向)的位置(zp)/>同样，位置导出部1206基于第2摄像装置的高度方向(z轴方向)的位置(zr)、线段RD的长度以及/>导出基于模板的显示区域201的高度方向(z轴方向)的位置。
另外，在图19中例示了第2摄像装置(点R)的高度方向(z轴方向)的位置为0(零)的情况。此外，如以上那样，如果使用第2摄像图像，则位置导出部1206不仅能够导出基于模板的显示区域201的高度方向(z轴方向)的位置，而且能够导出第1摄像装置的高度方向(z轴方向)的位置(zp)。此外，位置导出部1206不仅能够导出高度方向(z轴方向)的位置，而且能够导出第1摄像装置的x轴方向的位置(xp)以及y轴方向的位置(yp)。例如，基于线段RP延伸的方向以及yr+线段RP的长度×来导出xp、yp。即，基于线段RP延伸的方向以及yr+线段RP的长度×/>来导出连结点R、P的向量。该向量的x轴成分的长度、y轴成分的长度成为xp、yp。
此外，在此处，以在由第2摄像装置摄像的第2摄像图像中包含点P(第1摄像装置)的情况为例进行了说明。但是，只要能够导出第1摄像装置(点P)与第2摄像装置(点R)之间的相对位置关系(等)，则不一定需要如此进行。在如下进行的情况下，例如，使用由与第1摄像装置以及第2摄像装置不同的至少一个摄像装置摄像的摄像图像。对如此进行的情况下的具体例进行说明。首先，除了第1摄像装置以及第2摄像装置之外还配置第3摄像装置。第3摄像装置为，在摄像范围内包含点P(第1摄像装置)以及点R(第2摄像装置)，在摄像范围内不包含点D。此外，将表示第3摄像装置的位置的点设为未图示的R’。此外，表示第2摄像装置的位置的点R的位置与表示第3摄像装置的位置的点R’的位置中的一方或者双方被预先确定。在该情况下，位置导出部1206基于由第3摄像装置摄像的第3摄像图像，导出从点R’观察点R、点P时的仰角或者俯角，然后，位置导出部1206基于所导出的仰角或者俯角来导出/>通过与参照图19进行说明的方法同样的方法来实现角度、方向以及长度的导出。此外，在第3摄像装置的摄像范围内包含点P(第1摄像装置)、不包含点R(第2摄像装置)的情况下，例如，只要进一步使用由在摄像范围内包含点R’(第3摄像装置)以及点R(第2摄像装置)的第4摄像装置摄像的第4摄像图像即可。另一方面，例如，在第3摄像装置的摄像范围内包含点R(第2摄像装置)、不包含点P(第1摄像装置)的情况下，例如，只要进一步使用由在摄像范围内包含点R’(第3摄像装置)以及点P(第1摄像装置)的第5摄像装置摄像的第5摄像图像即可。
此外，位置导出部1206也可以使用由在摄像范围内包含第1摄像装置的第6摄像装置摄像的第6摄像图像，来确定点P(第1摄像装置)的位置。在该情况下，在第2摄像装置、第3摄像装置和第4摄像装置中的至少一个的摄像范围内包含第6摄像装置。此外，将表示第6摄像装置的位置的点设为未图示的P’。此外，表示第1摄像装置的位置的点P的位置与表示第6摄像装置的位置的点P’的位置中的一方或者双方被预先确定。在该情况下，例如，在上述说明中，代替第1摄像装置以及点P而使用第6摄像装置以及点P’来进行计算。然后，例如，基于该计算的结果、第6摄像图像以及点P和点P’中的一方或者双方的位置，导出第1摄像装置(点P)与第2摄像装置(点R)之间的相对位置关系(等)。
只要如以上那样进行，则即使在无法将第2摄像装置配置成在第2摄像装置的摄像范围内包含第1摄像装置与厚板的双方的情况下，也能够导出基于模板的显示区域201的高度方向(z轴方向)的位置。另外，第3～第6摄像图像例如由第2图像取得部1209取得。但是，也可以在第2图像取得部1209以外，使用单独地取得第3～第6摄像图像的第3～第6图像取得部。在如此进行的情况下，在图17的流程图中追加如下步骤：在步骤S1708的处理开始的定时之前的定时、且是与执行通过第2图像取得部1209取得第2摄像图像的步骤的定时不同的定时，单独地取得第3～第6摄像图像。另外，在即使不取得第2摄像图像等也能够确定基于模板(标签)的显示区域的高度方向(z轴方向)的位置的情况下，不需要第2图像取得部1209。
作为第5例，位置导出部1206也可以基于输送台1001的位置、以及作为厚板1000a、1002b的信息而存储在管理表1300中的尺寸(厚度)，来导出放置在输送台1001上的厚板1002a、1002b的基于模板的显示区域201的高度方向(z轴方向)的位置。在如此进行的情况下，输送台1001的位置被预先登记到跟踪装置1200中。
例如，在以上例子的至少一个例子中，在能够导出基于模板(标签)的显示区域的高度方向(z轴方向)的位置的情况下，在步骤S1708中判定为能够确定基于模板(标签)的显示区域的高度方向(z轴方向)的位置。
此外，在厚板处于搬运工具的情况下，在步骤S1709中，位置导出部1206取得搬运工具中的厚板的三维位置。在本实施方式中，搬运工具为输送船400以及输送车辆700。因此，在本实施方式中例示了搬运工具为输送船400以及输送车辆700的情况。
例如，当厚板被装载到输送船400上时，位置导出部1206取得该厚板的ID以及表示该输送船400中的该厚板的三维位置的信息。然后，位置导出部1206从管理表1300的ID栏中确定出存储有表示与所取得的厚板的ID为相同ID的信息的列。然后，位置导出部1206在所确定出的列的物品位置栏中存储所取得的表示输送船400中的厚板的三维位置的信息。例如，输送船400的操作人员(作业人员)也可以向手持的信息处理终端(平板终端等)输入厚板的ID以及表示输送船400中的该厚板的三维位置的信息。在如此进行的情况下，通过从该信息处理终端向跟踪装置1200发送厚板的ID以及表示输送船400中的该厚板的三维位置的信息，由此位置导出部1206也可以取得该厚板的ID以及表示该输送船400中的该厚板的三维位置的信息。表示厚板的三维位置的信息例如是基于模板(标签)的显示区域的x-y-z坐标。
此外，当厚板被装载到输送车辆700上时，位置导出部1206取得该厚板的ID以及表示该输送车辆700中的厚板的三维位置的信息。然后，位置导出部1206从管理表1300的ID栏中确定出存储有表示与所取得的厚板的ID为相同ID的信息的列。然后，位置导出部1206在所确定出的列的物品位置栏中存储所取得的表示输送车辆700中的厚板的三维位置的信息。例如，输送车辆700的操作人员(作业人员)也可以向手持的信息处理终端(平板终端等)输入厚板的ID以及表示输送车辆700中的该厚板的三维位置的信息。在如此进行的情况下，通过从该信息处理终端向跟踪装置1200发送厚板的ID以及表示该输送车辆700中的该厚板的三维位置的信息，由此位置导出部1206也可以取得该厚板的ID以及表示该输送车辆700中的该厚板的三维位置的信息。表示厚板的三维位置的信息例如是基于模板(标签)的显示区域的x-y-z坐标。
通过如以上那样取得搬运工具中的厚板的三维位置，由此能够确定输送各厚板的搬运工具。此外，能够准确地确定由搬运工具正在输送厚板时的厚板的三维位置。
返回图17的说明，在步骤S1708中，在判定为无法确定基于模板(标签)的显示区域的高度方向(z轴方向)的位置的情况下，执行步骤S1712的处理。在步骤S1712中，输出部1208输出表示无法确定厚板的三维位置的信息、以及对该厚板进行摄像的第1摄像装置的ID。例如，输出部1208将表示无法确定厚板的三维位置的信息以及对该厚板进行摄像的第1摄像装置的ID显示于计算机显示器。当输出这些信息时，操作人员(作业人员)前往相应的第1摄像装置所存在的位置，确定相应的厚板的三维位置。此外，操作人员(作业人员)也可以从相应的第1摄像装置的预览图像中确定相应的厚板的三维位置。
接着，在步骤S1713中，存储部1207输入由操作人员(作业人员)确定的表示厚板的三维位置的信息，将作为针对该厚板的信息而存储在管理表1300的非现品显示栏的物品位置栏中的信息更新为该输入的信息。另外，作为表示厚板的三维位置的信息的输入方式，能够采用基于跟踪装置1200的用户接口的操作的输入、从外部装置发送的信息的接收以及存储在可移动型的存储介质中的信息的读出中的至少一种。然后，基于图17的流程图的处理结束。
<总结>
如以上那样，在本实施方式中，跟踪装置1200取得包括显示区域的区域的第1摄像图像，该显示区域是通过模板(标签)来显示在厚板上显示的信息且是由该厚板的制造商管理的信息的区域。跟踪装置1200基于该取得的第1摄像图像、以及对该第1摄像图像进行摄像的第1摄像装置的位置，导出基于模板(标签)的显示区域的三维位置，并将表示该三维位置的信息与该厚板的ID建立关联地存储在存储介质中。因而，例如，即使在使用各种输送装置(输送船400、输送车辆700、输送台1001等)输送厚板或者由作业人员输送厚板的情况下，在没有确定堆放场地址的堆放场放置厚板的情况下，在厚板被层叠放置的情况下，都能够跟踪厚板。因此，能够提高厚板的跟踪精度。
此外，在本实施方式中，跟踪装置1200基于第1摄像图像来识别基于模板(标签)的显示区域所显示的信息(ID305、312)。然后，跟踪装置1200对识别出的信息与存储在管理表1300中的信息(ID)进行对照，并基于对照的结果来确定厚板。因而，能够基于第1摄像图像可靠地确定作为跟踪对象的厚板本身。因此，例如，与基于输送设备的动作确定厚板的三维位置的情况相比，能够提高厚板的跟踪精度。
此外，在本实施方式中，跟踪装置1200取得由与对第1摄像图像进行摄像的第1摄像装置不同的第2摄像装置摄像的第2摄像图像。在第2摄像图像中包含第1摄像图像以及(作为跟踪对象的)厚板。跟踪装置1200基于该取得的第2摄像图像以及第2摄像装置的位置，导出基于模板的显示区域201的高度方向(z轴方向)的位置。然后，跟踪装置1200根据基于模板的显示区域201的高度方向(z轴方向)的位置、第1摄像图像以及对该第1摄像图像进行摄像的第1摄像装置的位置，导出基于模板的显示区域201的三维位置，作为厚板的三维位置。因而，即使在使用第1摄像图像、第1摄像图像所具备的传感器也无法导出厚板的高度方向的位置的情况下，也能够跟踪厚板。
此外，在本实施方式中，将基于模板的显示以及基于标签的显示设为人能够识别的信息。因而，操作人员(作业人员)进行的现品管理变得容易。因此，现品管理的便利性提高。
此外，在本实施方式中，在基于模板的显示以及基于标签的显示中包含按照厚板而单独确定的信息(厚板所固有的信息)。因而，能够基于第1摄像图像唯一地识别厚板。因此，能够容易且迅速地进行厚板的识别。
此外，在本实施方式中，跟踪装置1200作为基于模板(标签)的显示区域的位置而导出三维坐标(x-y-z坐标)。因而，例如，即使在层叠有多个厚板的情况下，也能够跟踪厚板。
<变形例>
<<第1变形例>>
在步骤S1709中导出第1摄像图像中包含的基于模板(标签)的显示区域的位置的方法并不限定于参照图18说明的方法。例如，位置导出部1206从第1摄像图像导出在管理表1300中确定物品内位置时的原点位置。然后，位置导出部1206基于所导出的原点位置、以及存储在管理表1300的物品内位置栏中的信息，导出第1摄像图像中包含的基于模板(标签)的显示区域的位置。以基于模板的显示区域201为例，对如此导出第1摄像图像中包含的基于模板(标签)的显示区域的位置的方法的一例进行说明。
图20是对导出基于模板的显示区域201的位置的方法的一例进行说明的图。在图20中，与图18同样，例示了作为基于模板的显示区域201的位置而导出点S的x-y-z坐标S(xs,ys,zs)的情况。如参照图14说明的那样，模板的物品内位置，由将图2所示的顶点203作为原点、将从该顶点203沿着厚板的宽度方向的方向作为y轴的正方向、将从该顶点203沿着厚板的长度方向的方向作为x轴的正方向的x-y坐标表示。因而，图20的点E的位置成为模板的物品内位置的原点。点F是厚板的顶点中相对于点E在宽度方向(y轴方向)上排列的点(通过点E与点F形成沿着厚板的宽度方向的一边)。点T是点P相对于线段EF的垂线的垂足(点P的垂线与线段EF的交点)。点P以及点O与图18所示相同。
在图20中，将线段PT的长度设为hp。此外，将线段PF的长度设为hl，将∠FPT设为θl(rad)，将线段PE的长度设为h2，将∠EPT设为θ2(rad)，将∠EPF设为θ(rad)(θ＝θl+θ2)。此外，将线段FT的长度设为w01，将线段ET的长度设为w02。
于是，点E的x坐标xe成为点P的x坐标xp与线段OT的长度lp相加而得到的值(xe＝xp+lp)。点E的y坐标ye成为从点P的y坐标yp减去线段ET的长度wo2而得到的值(ye＝yp-wo2)。因而，如果导出线段OT的长度lp以及线段ET的长度wo2，则能够导出点E的位置(模板的物品内位置的原点)的x-y坐标(xe,ye)。
线段OT的长度lp由以下的(5)式表示。
lp＝√(hp 2-H2)＝√(hl 2cos2θl-H2)＝√(h2 2cos2θ2-H2)……(5)
线段ET的长度wo2由以下的(6)式表示。
wo2＝h2sinθ2……(6)
因而，例如，如果导出线段PE的长度h2以及∠EPT(＝θ2)，则能够导出线段OT的长度lp以及线段ET的长度wo2。另外，如参照图18说明的那样导出线段OP的长度H。
第1摄像图像中的点T的位置是第1摄像图像中的线段EF上的位置、且是与摄像时的水平视场角(y轴方向的视场角)的中心对应的位置。例如，基于在步骤S1701中取得的第1摄像图像中的点E及点T的位置、以及对该第1摄像图像进行摄像时的光学系统(透镜)的中心位置(为了确定焦点距离而使用的光学系统的中心位置)，来确定∠EPT(＝θ2)。通过将第1摄像图像中的点E与对第1摄像图像进行摄像时的光学系统(透镜)的中心位置连结的直线，确定线段PE延伸的方向。通过将第1摄像图像中的点T与对第1摄像图像进行摄像时的光学系统(透镜)的中心位置连结的直线，确定线段PT延伸的方向。基于线段PE延伸的方向以及线段PT延伸的方向来确定∠EPT(＝θ2)。
例如，使用第1摄像装置所具备的测距传感器(例如TOF(Time-of-Flight)方式的测距传感器)来导出线段PE的长度h2。此外，也可以基于线段OP的长度H以及∠OPE来导出线段PE的长度h2。
如以上那样导出点E的x坐标xe以及y坐标ye。然后，位置导出部1206从作为在步骤S1705中确定的厚板的标签的信息而存储在管理表1300的物品内位置栏中的信息，读出与点S对应的位置的x-y坐标(Ls10,Ws10)。然后，位置导出部1206导出将点E的x坐标xe与LS10相加而得到的值，作为点S的x坐标xs(xs＝xe+LS10)。此外，位置导出部1206导出将点E的y坐标xy与WS10相加而得到的值，作为点S的y坐标ys(ys＝ye+WS10)。
<<第2变形例>>
如本实施方式那样，如果将用户名302、规格303、尺寸304、ID305、用户代码306、订单编号307、规格311、ID312、尺寸313、交货期限314以及用户代码315设为人能够识别的信息，则操作人员(作业人员)进行的现品管理变得容易，因此较优选。但是，也可以将用户名302、规格303、尺寸304、ID305、用户代码306、订单编号307、规格311、ID312、尺寸313、交货期限314和用户代码315中的至少一个变换(编码)成条形码、二维码那样人无法识别的信息。
<<第3变形例>>
在本实施方式中，如图3A、图3B所示，例示了由模板显示的ID305与由标签显示的ID312相同的情况。但是，这些ID的表现以及记载内容有时不同。例如，也具有在ID中没有“连字符”的形式。在这种情况下，将表示这些ID(基于模板的ID、基于标签的ID)是针对同一厚板的ID的信息存储在管理表1300中。对于ID以外的显示项目，也有时同一显示项目的表现以及记载内容在基于模板的显示以及基于标签的显示中不同。例如，在模板以及标签的双方显示规格的情况下，例如，有时在标签中显示规格的简称。此外，有时在基于模板的显示与基于标签的显示中用户代码的位数不同，但用户代码由制造商管理。此外，对于尺寸，有时不示出尺寸的所有位数。在这种情况下，也将表示这些不同的表现以及记载内容为相同含义的信息存储在管理表1300中。
<<第4变形例>>
在本实施方式中，例示了作为基于模板(标签)的显示区域的三维位置而导出基于模板(标签)的显示区域的x-y-z坐标的情况。但是，基于模板(标签)的显示区域的三维位置并不限定于x-y-z坐标。例如，基于模板(标签)的显示区域的三维位置也可以是以第1摄像装置的位置为基准的相对的三维位置。在如此进行的情况下，不使用表示摄像装置的三维位置的点P的坐标(xp,yp,zp)。另外，在将x-y-z坐标的原点作为第1摄像装置的三维位置的情况下，即使基于模板(标签)的显示区域的三维位置由x-y-z坐标表示，也表示以第1摄像装置的三维位置为基准的相对的三维位置。
<<第5变形例>>
在本实施方式中，例示了识别信息取得部1210具有识别部1202、获取部1203、对照部1204以及确定部1205的情况。但是，识别信息取得部1210只要取得与由位置导出部1206导出的三维位置建立关联的厚板的识别信息，则并不一定需要具有识别部1202、获取部1203、对照部1204以及确定部1205。识别信息取得部1210例如也可以仅具有识别部1202。此外，识别信息取得部1210例如也可以仅具有获取部1203。此外，识别信息取得部1210例如也可以仅具有识别部1202以及获取部1203。例如，识别信息取得部1210也可以取得由识别部1202识别出的ID，作为厚板的识别信息。在该情况下，识别信息取得部1210也可以不具有获取部1203、对照部1204以及确定部1205。此外，例如，在作为跟踪对象的物品被预先限定为一个的情况下，识别信息取得部1210也可以取得由获取部1203获取的ID，作为厚板的识别信息。在该情况下，识别信息取得部1210也可以不具有识别部1202、对照部1204以及确定部1205。此外，例如，识别信息取得部1210也可以为，在仅根据由识别部1202识别出的信息来确定厚板的情况下利用识别部1202，在作为跟踪对象的物品被预先限定为一个的情况下利用获取部1203。在该情况下，识别信息取得部1210也可以不具有对照部1204以及确定部1205(也可以仅具有识别部1202以及获取部1203)。
<<第6变形例>>
在本实施方式中，例示了管理表1300存储在跟踪装置1200中的情况。但是，管理表1300也可以处于跟踪装置1200的外部。
<<第7变形例>>
在本实施方式中，例示了物品为厚板的情况。但是，物品并不限定于厚板。例如，物品也可以是厚板以外的制造物。物品也可以是显示有由制造者管理的信息的制造物。制造物例如可以是板坯、钢坯，薄板卷材或者钢管。此外，也可以是制造物以外的物品。物品例如可以是容器。
<<其他变形例>>
另外，以上说明的本发明的实施方式能够通过计算机执行程序来实现。此外，记录有上述程序的计算机可读取的记录介质以及上述程序等的计算机程序产品也能够作为本发明的实施方式来应用。作为记录介质，例如能够使用软盘、硬盘、光盘、光磁盘、CD-ROM、磁带、非易失性存储卡、ROM等。此外，本发明的实施方式可以由PLC(Programmable LogicController)实现，也可以由ASIC(Application Specific Integrated Circuit)等专用的硬件实现。
以上说明的本发明的实施方式均仅是表示实施本发明时的具体化的例子，本发明的技术范围不由这些限定性地解释。即，本发明在不脱离其技术思想或者其主要特征的情况下，能够以各种方式实施。
<硬件>
对跟踪装置1200的硬件的一例进行说明。在图21中，跟踪装置1200具有CPU2101、主存储装置2102、辅助存储装置2103、通信电路2104、信号处理电路2105、图像处理电路2106、I/F电路2107、用户接口2108、显示器2109以及总线2110。
CPU2101总括控制跟踪装置1200的整体。CPU2101将主存储装置2102用作为工作区域，执行存储在辅助存储装置2103中的程序。主存储装置2102暂时保存数据。辅助存储装置2103除了存储由CPU2101执行的程序之外，还存储各种数据。
通信电路2104是用于与跟踪装置1200外部进行通信的电路。通信电路2104与跟踪装置1200外部可以进行无线通信也可以进行有线通信。
信号处理电路2105对由通信电路2104接收到的信号、根据CPU2101的控制而输入的信号进行各种信号处理。
图像处理电路2106对根据CPU2101的控制而输入的信号进行各种图像处理。进行了该图像处理的信号例如被输入到显示器2109。
用户接口2108是供操作人员对跟踪装置1200进行指示的部分。用户接口2108例如具有按钮、开关以及拨盘等。此外，用户接口2108也可以具有使用了显示器2109的图形用户接口。
显示器2109显示基于从图像处理电路2106输出的信号的图像。I/F电路2107在与连接于I/F电路2107的装置之间进行数据的交换。在图21中，作为连接于I/F电路2107的装置而示出了用户接口2108以及显示器2109。但是，连接于I/F电路2107的装置并不限定于这些。例如，也可以在I/F电路2107连接可移动型的存储介质。此外，用户接口2108的至少一部分以及显示器2109也可以处于跟踪装置1200的外部。
输出部1208例如通过使用通信电路2104及信号处理电路2105、图像处理电路2106、I/F电路2107、及显示器2109中的至少任一方来实现。
另外，CPU2101、主存储装置2102、辅助存储装置2103、信号处理电路2105、图像处理电路2106以及I/F电路2107与总线2110连接。这些构成要素之间的通信经由总线2110进行。此外，跟踪装置1200的硬件只要能够实现上述跟踪装置1200的功能，则不限定于图21所示的硬件。
产业上的可利用性
本发明例如能够利用于跟踪物品。

Claims (8)

1.一种跟踪装置，跟踪物品，其特征在于，具有：
1个或者2个以上的图像取得单元，取得包含显示在上述物品上的显示信息的区域的摄像图像；
识别信息取得单元，取得上述物品的识别信息；
位置导出单元，基于由上述图像取得单元取得的上述摄像图像，导出显示上述显示信息的三维位置即信息显示位置；以及
存储单元，将由上述位置导出单元导出的上述物品上的上述信息显示位置与由上述识别信息取得单元取得的该物品的识别信息建立关联地存储在存储介质中。
2.根据权利要求1所述的跟踪装置，其特征在于，
显示在上述物品上的上述显示信息中包含该物品的识别信息，
上述识别信息取得单元具有识别单元和获取单元中的至少一个单元，
上述识别单元基于由上述图像取得单元取得的上述摄像图像，识别上述物品的识别信息，
上述获取单元获取存储在上述存储单元中的上述物品的识别信息。
3.根据权利要求2所述的跟踪装置，其特征在于，
与上述物品的识别信息建立关联地存储在上述存储介质中的上述信息显示位置，作为与显示上述显示信息的三维位置相关的信息，包含与以该物品的规定位置为基准的三维位置相关的信息，
在由上述图像取得单元取得的上述摄像图像中包含包括上述物品的规定位置的区域。
4.根据权利要求2或3所述的跟踪装置，其特征在于，
上述识别信息取得单元具有：
上述识别单元；
上述获取单元；
对照单元，对由上述识别单元识别出的上述物品的识别信息与由上述获取单元获取的上述物品的识别信息进行对照；以及
确定单元，基于上述对照单元的对照结果，确定由上述图像取得单元取得的上述摄像图像中包含的上述物品的识别信息。
5.根据权利要求1至4中任一项所述的跟踪装置，其特征在于，
上述位置导出单元基于由2个以上的上述图像取得单元取得的2个以上的摄像图像，导出显示上述显示信息的上述物品的面的高度方向的位置。
6.一种跟踪方法，跟踪物品，其特征在于，包括：
1个或者2个以上的图像取得工序，取得包含显示在上述物品上的显示信息的区域的摄像图像；
识别信息取得工序，取得上述物品的识别信息；
位置导出工序，基于通过上述图像取得工序取得的上述摄像图像，导出显示上述显示信息的三维位置即信息显示位置；以及
存储工序，将通过上述位置导出工序导出的上述物品上的上述信息显示位置与通过上述识别信息取得工序取得的该物品的识别信息建立关联地存储在存储介质中。
7.一种跟踪数据的数据结构，其特征在于，具有：
显示信息，显示在物品上；以及
非显示信息，不显示在上述物品上，
上述非显示信息包含显示上述显示信息的三维位置即信息显示位置，
跟踪装置被用于基于包含显示在上述物品上的显示信息的区域的摄像图像来导出该物品上的上述信息显示位置。
8.一种程序，用于使计算机执行跟踪物品的处理，其特征在于，使计算机执行如下工序：
1个或者2个以上的图像取得工序，取得包括显示在上述物品上的显示信息的区域的摄像图像；
识别信息取得工序，取得上述物品的识别信息；
位置导出工序，基于通过上述图像取得工序取得的上述摄像图像，导出显示上述显示信息的三维位置即信息显示位置；以及
存储工序，将通过上述位置导出工序导出的上述物品上的上述信息显示位置与通过上述识别信息取得工序取得的该物品的识别信息建立关联地存储在存储介质中。
CN202180076082.6A 2020-11-30 2021-11-29 跟踪装置、跟踪方法、跟踪数据的数据结构以及存储介质 Active CN116472239B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020198065 2020-11-30
JP2020-198065 2020-11-30
PCT/JP2021/043580 WO2022114173A1 (ja) 2020-11-30 2021-11-29 トラッキング装置、トラッキング方法、トラッキングデータのデータ構造、およびプログラム

Publications (2)

Publication Number Publication Date
CN116472239A true CN116472239A (zh) 2023-07-21
CN116472239B CN116472239B (zh) 2024-02-20

Family

ID=81754524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180076082.6A Active CN116472239B (zh) 2020-11-30 2021-11-29 跟踪装置、跟踪方法、跟踪数据的数据结构以及存储介质

Country Status (4)

Country Link
JP (1) JP7288231B2 (zh)
KR (1) KR102595542B1 (zh)
CN (1) CN116472239B (zh)
WO (1) WO2022114173A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116167396A (zh) * 2023-01-09 2023-05-26 太原重工股份有限公司 用于直缝焊管的物料跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040126015A1 (en) * 2002-12-31 2004-07-01 Hadell Per Anders Container identification and tracking system
JP2007326700A (ja) * 2006-06-09 2007-12-20 Nippon Steel Corp 鋼材の管理方法と管理システム
WO2009052854A1 (en) * 2007-10-22 2009-04-30 Abb Ab Device, method and system for recording inspection data about a freight container
CN104724606A (zh) * 2015-03-18 2015-06-24 苏州盈兴信息技术有限公司 一种生产物料贮运作业图像自动跟踪装置和方法
CN105008251A (zh) * 2013-03-13 2015-10-28 日本电气株式会社 核对系统、终端装置、服务器装置、核对方法及程序
JP2017174284A (ja) * 2016-03-25 2017-09-28 株式会社日立ドキュメントソリューションズ ヤード管理装置及び方法
CN108712990A (zh) * 2016-06-28 2018-10-26 新日铁住金系统集成株式会社 信息处理系统、信息处理装置、信息处理方法以及程序

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS519451B1 (zh) 1970-09-11 1976-03-26
JP6552744B2 (ja) * 2017-02-03 2019-07-31 日本パレットレンタル株式会社 搬送対象物特定システム、搬送対象物特定方法及び搬送対象物特定プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040126015A1 (en) * 2002-12-31 2004-07-01 Hadell Per Anders Container identification and tracking system
JP2007326700A (ja) * 2006-06-09 2007-12-20 Nippon Steel Corp 鋼材の管理方法と管理システム
WO2009052854A1 (en) * 2007-10-22 2009-04-30 Abb Ab Device, method and system for recording inspection data about a freight container
CN105008251A (zh) * 2013-03-13 2015-10-28 日本电气株式会社 核对系统、终端装置、服务器装置、核对方法及程序
CN104724606A (zh) * 2015-03-18 2015-06-24 苏州盈兴信息技术有限公司 一种生产物料贮运作业图像自动跟踪装置和方法
JP2017174284A (ja) * 2016-03-25 2017-09-28 株式会社日立ドキュメントソリューションズ ヤード管理装置及び方法
CN108712990A (zh) * 2016-06-28 2018-10-26 新日铁住金系统集成株式会社 信息处理系统、信息处理装置、信息处理方法以及程序

Also Published As

Publication number Publication date
KR102595542B1 (ko) 2023-10-30
CN116472239B (zh) 2024-02-20
JPWO2022114173A1 (zh) 2022-06-02
JP7288231B2 (ja) 2023-06-07
WO2022114173A1 (ja) 2022-06-02
KR20230082662A (ko) 2023-06-08

Similar Documents

Publication Publication Date Title
US20230288219A1 (en) Hands-free augmented reality system for picking and/or sorting assets
US20200104790A1 (en) Smart terminal facility and method suitable for the handling of cargo containers
CN111776762A (zh) 具有自动化包裹扫描和登记机构的机器人系统及其操作方法
US20200279389A1 (en) Object measurement system
US20160167932A1 (en) Method and system for automatically landing containers on a landing target using a container crane
US20120191272A1 (en) Inferential load tracking
JP6011490B2 (ja) 物品保管設備
JP5452524B2 (ja) プラント建設支援方法およびプラント建設支援装置
WO2009052854A1 (en) Device, method and system for recording inspection data about a freight container
CN116472239B (zh) 跟踪装置、跟踪方法、跟踪数据的数据结构以及存储介质
JP2006300929A (ja) 物体の３次元位置認識装置およびデパレタイズシステム
JP2015043175A (ja) 物品認識装置及び物品認識設備
CN111046983A (zh) 标签读取系统
US20200311656A1 (en) Systems and Methods for Mapping Locations of Cartons in Pallets and Containers
US11369999B2 (en) Parcel determination device, parcel sorting system, and parcel determination method
EP3689791A1 (en) Projection instruction device, package sorting system, and projection instruction method
TWI841973B (zh) 物品管理裝置、物品管理方法、及程式
KR20110069205A (ko) 컨테이너 하역 시스템의 컨테이너 위치 및 거리 측정 장치 및 그 방법
WO2023233506A1 (ja) 物品管理装置、物品管理方法、物品管理用データのデータ構造、およびプログラム
JP7129616B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
TW202349152A (zh) 物品管理裝置、物品管理方法、物品管理用資料之資料結構、及程式
JPH08304025A (ja) 矩形荷物の位置計測方法
JP6486784B2 (ja) 物流支援装置、物流支援システム、および物流支援プログラム
JP7434986B2 (ja) 物品判別システム
CN116547702A (zh) 识别装置、识别方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant