CN108965795A - 摄像装置、系统以及方法 - Google Patents

Abstract

本发明提供摄像装置、系统以及方法。所述摄像装置包括摄像部、进行从图像数据获得特征值的图像处理的控制器、以及累积图像数据的存储设备。在由所述摄像部拍摄目标物体的图像的摄像时段中，所述控制器在将所拍摄的图像数据累积在所述存储设备中的同时，将图像处理的结果发送到数据管理服务器，而在不进行摄像的摄像暂停时段中，所述控制器将累积在所述存储设备中的图像数据发送到所述数据管理服务器。

Description

摄像装置、系统以及方法

技术领域

本发明涉及一种摄像装置，该摄像装置被构造为进行从通过摄像获得的图像数据获得特征值的图像处理并且将所获得的图像数据发送到外部，本发明还涉及包括该摄像装置的系统。

背景技术

近年来，物联网(IoT)也在工厂自动化(FA)领域中得到发展。例如，已知包括从生产设备的部件收集信息的数据管理服务器的生产设备管理系统。在这种生产设备管理系统中，例如，数据管理服务器对通过诸如深度学习的方法收集的数据进行分析，并且存在如下尝试：将分析的结果用于预测生产设备的异常的预测维护，并在故障发生时对故障的起因或趋势进行分析。对于这种分析，监视照相机和图像检查装置的图像信息是有用的，并且在例如下面所示的日本特开2016-1768号公报和日本特开2004-333446号公报中已经提出了一种如下的构造：由数据管理服务器收集由这些装置获得的图像数据，并且使用该图像数据用于生产设备的管理。

然而，存在图像信息在通过网络被通信时占用大的通信带宽的问题。在近年来的IoT大数据处理中，通信数据的量急剧增加。因此，构建连接到数据管理服务器等的有线或无线网络接口(网络I/F)变得困难。例如，通信数据的量的增加造成各种问题，诸如伴随布线的量的增加，装置的成本和大小增加，以及，在无线通信的情况下，信道的数量不足。

同时，近年来技术极大地进步，并且已经出现了诸如所谓的智能照相机的摄像装置，所述智能照相机不仅简单地进行摄像，还具有对通过摄像获得的图像数据进行图像处理或图像分析的处理能力。例如，下面所示的日本特开2013-158889号公报公开了一种生产系统，在该生产系统中，通过从拍摄机器人的操作区域的图像的智能照相机向机器人控制装置等直接发送基于对拍摄图像数据的图像处理的信息来控制机器人。

这种智能照相机能够使用内置I/F，该内置I/F能够以低功耗并且容易地经由近场高速通信进行图像数据的高速通信而不受外部干扰影响。另外，智能照相机与生产系统的控制装置之间的网络能够通过低成本的诸如100 BASE或1000 BASE的普通局域网(普通LAN)或无线LAN来实现，因为只要发送不包括大量信息的图像处理结果即可。另外，从照相机发送的数据的量大幅减少，因此进行诸如大数据处理的高负荷处理的管理服务器上的通信负荷减少。

以这种方式，在将智能照相机用于生产管理的情况下，能够降低各个设备的生产成本和网络成本，并且有可能变得更容易降低生产管理系统的整体大小和重量。另外，由管理服务器传统地进行的处理的一部分能够由智能照相机进行，并且有可能能够实现应当快速地识别多种生产设备和工件的先进的生产管理。

然而，在包括上述智能照相机的生产系统中，在构建生产设备管理系统的情况下出现以下问题。

智能照相机生成通过图像处理获得的处理信息、基于图像处理的分析或诊断的结果等。因此，虽然能够解决在生产系统的正常操作期间发生的故障或预期范围内的故障，但是该信息缺少作为用于分析意外故障的信息的许多要素。例如，存在这样的情况：通过由照相机进行摄像获得的信息包括除了工件的处理图像以外的信息，并且图像处理的缺陷或缺陷的起因能够通过人在故障发生时只观看图像的整体来揭示。与此相对，在仅提供图像处理结果的情况下，难以识别处理的缺陷，并且也难以估计缺陷的起因。另外，对于在照相机中进行的图像处理，需要用于调整图像处理的图像处理参数，并且通常，需要根据照明和摄像装置的随时间的改变以及工件的颜色的突然改变来调整这些参数。对于这种调整，例如，在某些情况下需要原拍摄图像，换句话说，未经处理或压缩的原始拍摄图像。

此外，存在如下的情况：在生产系统的正常操作期间，当根据图像处理的结果检测工件的缺陷或异常时，需要更详细的信息。在这种情况下，有时需要未经处理或压缩的原始拍摄图像。

在如上所述的这种情形下，为了例如解决意外故障、调整照相机或解决已检测到的工件的缺陷或异常，有时需要通过由智能照相机拍摄生产设备或工件的图像而获得的原拍摄图像或原始拍摄图像。因此，理想地，期望如下的构造：不仅从智能照相机发送处理结果，而且将由智能照相机获得的原拍摄图像或原始拍摄图像登入在设置在网络中的诸如硬盘的存储设备中。然而，如上所述由智能照相机获得的原拍摄图像或原始图像数据的大小是大的，并且存在发送全部拍摄图像数据不实际的情况。例如，在为了使智能照相机以高速通信大量的图像数据而加速生产管理系统的整个网络的情况下，有可能消除上述使用智能照相机的优点。

为了解决上述的问题，能够考虑减小图像数据的大小或通信的图像数据的大小。例如，能够考虑如在日本特开2017-1768号公报中的切出图像数据的所需部分的方法以及在智能照相机中提供诸如联合照片专家组编码器(JPEG编码器)(换句话说，JPEG引擎)的图像压缩部分的构造。然而，在试图通过诸如JPEG的图像压缩方法实现高压缩率的情况下，图像数据被不可逆地压缩。在进行不可逆压缩的情况下，不可能根据通过压缩获得的JPEG图像数据来恢复压缩前的图像数据。因此，在从照相机向服务器发送不可逆地压缩的图像数据的系统中，不能根据管理服务器等中保留的图像数据来恢复与照相机中使用的未压缩的RAW格式图像相同的数据。因此，在某些情况下，很难精细地调整例如上述的图像参数。

另外，虽然切出图像数据能够减少图像数据的信息量，但是与进行图像压缩的情况相比，切出的图像数据的大小仍然是大的，并且因此切出图像数据不会大幅降低网络成本。另外，在目标处理所需的部分未保留在切出的图像区域中的情况下，上述的图像参数的调整和分析几乎是不可能的。

此外，如果经由诸如JPEG的方法压缩图像数据，则需要解压缩处理，并且该解压缩可能在系统的响应中造成问题。例如，伴随IoT的发展，从生产系统的各个部件向管理服务器发送的数据的量急剧增加，并且因此发送大块的信息(诸如图像数据)可能会大幅影响IoT通信I/F的数据响应。

也就是说，作为大数据的图像数据需要通过使用大包来通信。然而，在包被发送的同时，大包占用通信资源。如果通信资源被大图像数据占用，则不能进行其他信息的通信，结果，出现了这样的问题：即使在已经生成具有更高优先级的信息的情况下，在包被通信的同时，控制系统也不能立即响应。这个问题被称为数据响应降低。要注意，虽然能够通过发送被划分成小包的图像数据来确保数据响应，但是在这种情况下，图像数据的通信效率大幅降低，并且出现诸如利用图像的生产系统的性能下降的其他问题。

包括生产设备部件并且利用无线通信的生产设备管理系统是造成上述问题的典型示例。在无线通信中，由于通信频率受限，因此能够同时用于通信的信道的数量受限。因此，在无线通信中，通过根据需要依据优先级分配不同的信道不能确保其他通信路径。这是因为，如果将所有信道分配给一个生产设备系统，则在该无线通信与相邻的其他生产设备的无线通信之间发生干扰，并且数据响应进一步降低。另外，在这种生产系统中，设置有在经由无线通信使用时方便的、需要快速的数据响应并且具有更高的处理优先级的设备(诸如紧急停止面板)。在包括作为这种紧急停止面板的设备的生产系统中，将由智能照相机拍摄的图像经由与设备所使用的网络相同的网络发送到图像记录管理系统的构造不是优选的，因为这种构造降低其他设备的响应。

发明内容

根据本发明的一个方面，一种摄像装置包括：摄像部，被构造为拍摄目标物体的图像；控制器，被构造为进行从由所述摄像部获得的图像数据获得特征值的图像处理；以及存储设备，被构造为累积图像数据。在由所述摄像部拍摄目标物体的图像的摄像时段中，所述控制器在将由所述摄像部获得的图像数据累积在所述存储设备中的同时，将图像处理的结果发送到数据管理服务器。在不进行由所述摄像部对目标物体的摄像的摄像暂停时段中，所述控制器将累积在所述存储设备中的图像数据发送到所述数据管理服务器。

根据本发明的另一方面，一种系统包括：摄像装置，所述摄像装置具有被构造为拍摄目标物体的图像的摄像部、被构造为进行从由所述摄像部获得的图像数据获得特征值的图像处理的控制器、以及被构造为累积图像数据的存储设备；以及数据管理服务器，被构造为与所述摄像装置进行通信。在由所述摄像部拍摄目标物体的图像的摄像时段中，所述控制器在将由所述摄像部获得的图像数据累积在所述存储设备中的同时，将图像处理的结果发送到所述数据管理服务器。在不进行由所述摄像部对目标物体的摄像的摄像暂停时段中，所述控制器将累积在所述存储设备中的图像数据发送到所述数据管理服务器。

根据本发明的另一方面，一种使用生产装置生产产品的方法包括：配设摄像装置，所述摄像装置具有摄像部、被构造为对由所述摄像部获得的图像数据进行图像处理的控制器、以及被构造为累积图像数据的存储设备；由所述摄像装置拍摄要由所述生产装置生产的产品的图像，将由所述摄像装置获得的图像数据累积在所述摄像装置的所述存储设备中，由所述摄像装置的所述控制器对图像数据进行图像处理，并且将图像处理的结果发送到数据管理服务器；基于被发送到所述数据管理服务器的图像处理的结果，在由生产控制装置监视产品的生产状态的同时由所述生产装置生产产品，对在由所述摄像装置拍摄产品的图像的摄像时段中由所述摄像装置获得的图像数据进行了所述图像处理；以及在不进行由所述摄像装置对产品的摄像的摄像暂停时段中，将存储在所述存储设备中的图像数据从所述摄像装置发送到所述数据管理服务器。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示本发明的第一示例性实施例的生产系统的示例性构造的说明图。

图2是例示图1的智能照相机的构造的说明图。

图3是例示图1的数据管理服务器的构造的说明图。

图4是例示本发明的第二示例性实施例的生产系统的示例性构造的说明图。

图5是图4的系统中的智能照相机、用作生产设备的机器人装置的手、以及在暂停期间放置智能照相机的支架的说明图。

图6是例示图4的智能照相机的构造的说明图。

图7是例示图4的数据管理服务器的构造的说明图。

图8是例示第一示例性实施例或第二示例性实施例中的智能照相机的操作的概要的流程图。

图9是例示第一示例性实施例或第二示例性实施例中的与在摄像时段中从智能照相机发送的ID信息相关联的图像处理结果的示例的说明图。

图10是第一示例性实施例或第二示例性实施例中的与在摄像暂停时段中从智能照相机发送的ID信息相关联的图像数据的说明图。

具体实施方式

下面将参照附图描述本发明的示例性实施例。要注意，下面所示的构造仅仅是示例，并且例如，其细节能够在本发明的要点内由本领域技术人员适当地修改。另外，示例性实施例中示出的数值仅仅是为了参考而示出的，而不应限制本发明。

下面所示的生产系统包括摄像装置，所述摄像装置包括摄像部、图像处理部和存储设备。摄像部拍摄诸如生产设备或工件的目标物体的图像。图像处理部对由摄像部获得的图像数据进行图像处理。存储设备累积图像数据。该摄像装置对应于例如作为摄像部的包括照相机206、206a或206b的立体智能照相机106、107、108或403以及作为图像处理部的智能照相机程序203。另外，摄像装置能够被构造作为包括上述的摄像部和图像处理部的IoT设备。该摄像装置包括作为存储设备的内部存储器208或609。另外，生产设备对应于例如下面描述的示例性实施例中的机器人臂101或401或者运送装置103。

在下面描述的示例性实施例中，在由摄像部进行摄像的摄像时段中，摄像装置将由图像处理部根据由摄像部获得的图像数据而获得的图像处理结果与ID信息相关联，并且在将图像数据累积在存储设备中的同时，将图像处理结果发送到数据管理服务器112。另外，在不进行摄像部的摄像的摄像暂停时段中，摄像装置将累积在存储设备中的图像数据与ID信息相关联，并且将图像数据发送到数据管理服务器112。

在下面描述的示例性实施例中，上述的ID信息可以包括由摄像装置从计时部获得的计时信息。另外，摄像装置能够经由网络时间设置协议与数据管理服务器112或不同于数据管理服务器112的计时服务器(诸如网络时间协议(NTP)服务器)进行通信以设置计时部的时间。另外，上述的ID信息可以包括过程管理编号、识别信息等。过程管理编号用于控制生产设备。识别信息用于识别生产设备或由生产设备操纵的工件。

在下面描述的示例性实施例中，在上述的摄像时段和摄像暂停时段中，能够分别使用不同的网络用于通信。例如，在摄像时段中，摄像装置经由无线网络将与ID信息相关联的图像处理结果发送到数据管理服务器。另外，在摄像暂停时段中，摄像装置将累积在存储设备中的图像数据与ID信息相关联，并且经由有线网络将图像数据发送到数据管理服务器。

另外，能够采用将摄像装置放置在支架上并且在摄像暂停时段中经由支架连接到有线网络的构造。可以进一步使用该支架，使得放置在支架上的摄像装置在摄像暂停时段中经由支架被充电。另外，可以由生产设备例如机器人臂401进行将摄像装置放置在支架上的操作。例如，当转变到摄像暂停时段时，机器人臂401将摄像装置放置在支架上。

另外，数据管理服务器112能够通过使用例如深度学习处理来分析从摄像装置106至108发送的图像处理结果和/或图像数据，并且能够基于其分析结果来更新生产设备和/或摄像装置的控制程序和/或控制参数。

要注意，虽然在下面示例性示出的构造中，将控制器划分成用作生产控制装置的控制装置114和包括外部记录设备113的数据管理服务器112，但是这仅仅是示例，并且该构造能够由本领域技术人员任意修改。例如，可以将数据管理服务器112和用作生产控制装置的控制装置114一体化并设置为单个控制服务器或管理服务器。另外，可以将外部记录设备113配设在系统中作为与数据管理服务器112分开的诸如网络附加存储器(NAS)的设备。

第一示例性实施例

图1至图3例示根据第一示例性实施例的生产系统的构造。图1例示了生产系统的整体构造。图1中所示的生产系统包括连接到具有大容量的外部记录设备113的数据管理服务器112。

另外，图1的生产系统包括机器人臂101和运送装置103。机器人臂101操作并运送例如工件105，作为构成生产线的生产设备。运送装置103的示例包括运送器和X-Y台。机器人臂101和运送装置103分别由机器人臂控制装置102和运送控制装置104控制以实现预定的生产过程。

机器人臂控制装置102和运送控制装置104被构造作为例如具有某种智能控制功能并且能够经由网络通信与另一设备协作的所谓的IoT设备。

另外，在第一示例性实施例中，IoT设备是指如下的设备：包括被构造为连接到数据管理服务器112的外部I/F，并且至少能够向给数据管理服务器112发送在由该IoT设备控制的设备中设置的各种传感器的输出信息及其处理结果。在该定义下，稍后将描述的智能照相机106、107和108是能够向数据管理服务器112发送由图像传感器获得的图像数据或其图像处理结果的IoT设备。

例如，机器人臂控制装置102控制机器人臂101，并且具有将各种机器人信息(诸如机器人臂101中包括的电机和编码器的温度)发送到数据管理服务器112的功能。另外，作为IoT设备的智能照相机106、107和108、机器人臂控制装置102以及运送控制装置104能够生成在数据管理服务器112中能够使用(例如，能够与其他信息相关联)的ID信息。

由用作摄像装置的智能照相机106至108来拍摄或监视用作生产设备的机器人臂控制装置102和运送控制装置104。虽然为了方便起见，在图1中智能照相机106至108被例示在运送控制装置104上方，但是这些照相机被设置在任意位置处以监视或拍摄生产线上的生产状态。例如，可以将智能照相机106至108中的一个或更多个设置在机器人臂101的或另一机器人的操作区域中。

智能照相机106至108各自包括存储由用作图像传感器的照相机206获得的图像数据的内部存储器208。另外，智能照相机106至108各自包括用作图像处理部的智能照相机程序203，所述图像处理部对由用作图像传感器的照相机206获得的图像数据进行预定的图像处理。稍后将参照图2描述智能照相机106至108的构造的详情。

在图1的生产系统中，数据管理服务器112经由有线LAN集线器109、110和111分别连接到机器人臂控制装置102、运送控制装置104和智能照相机106至108。在本示例性实施例中，有线LAN集线器109至111是例如用于IEEE 802.3网络的集线器，并且只要集线器满足诸如100BASE或1000BASE的相对低成本的网络标准即可。

另外，图1的生产系统包括控制装置114，控制装置114是例如控制所有生产设备的可编程逻辑控制器(PLC)。该控制装置114还配设有LAN端口，并且经由LAN端口连接到机器人臂控制装置102、运送控制装置104以及智能照相机106至108。也就是说，图1的生产系统的部件经由使用LAN集线器109至111构建的相对低成本的单个网络而互连。

如下面简要描述地进行图1的生产线中的生产过程。例如，控制装置114使运送装置103进行操作，并且使智能照相机106至108拍摄工件105的图像。然后，控制装置114从智能照相机106至108接收图像处理结果，并且根据接收到的结果向作为IoT设备的机器人臂控制装置102发送所需的生产设备控制的指令。

在智能照相机106、107或108中，在摄像时段中，将由照相机206获得的图像数据以与ID信息相关联的状态记录在内部存储器208中。然后，将由用作图像处理部的智能照相机程序203获得的图像处理结果发送到控制装置114和数据管理服务器112。控制装置114能够使用该图像处理结果来控制例如构成生产线的机器人臂101和运送装置103的操作。另外，数据管理服务器112将与ID信息相关联的图像处理结果累积在例如外部记录设备113中。

在由IoT设备构成的系统中，ID信息用于将IoT设备中生成的信息相关联或识别与该信息对应的事件。这里，ID信息可以是任何ID信息，只要能够将控制装置114和数据管理服务器112与IoT设备(即，机器人臂控制装置102、运送控制装置104以及智能照相机106至108)中生成的信息相关联即可。

ID信息的典型示例包括计时信息。计时信息的示例包括时间信息和日期时间信息。例如，在使用计时信息作为ID信息的情况下，能够识别各自与ID信息相关联的多个IoT信息或与其对应的事件的同时性和在时间轴上的顺序关系。然而，在使用计时信息作为ID信息的情况下，保持由IoT设备生成的计时信息的时间的计时部需要被精确地同步，也就是说，其时间需要被精确地设置。为了实现这一点，例如，能够考虑IoT设备(例如，智能照相机或网络照相机)经由网络时间设置协议与数据管理服务器112或与数据管理服务器112不同的诸如NTP服务器的计时服务器进行通信来设置时间。为了实现这一点，在数据管理服务器112或控制装置114中执行提供NTP服务的NTP服务器守护进程。因此，IoT设备和智能照相机106至108能够各自包括未例示的诸如真实时钟(RTC)210A的计时设备。另外，通过以适当的间隔经由NTP协议与数据管理服务器112或控制装置114进行通信来设置时间。其结果，能够针对长时间段以亚秒级的误差来高精度地设置各个服务器和IoT设备的时间，并且因此能够维持作为ID信息的计时信息的可靠性。要注意，能够任意地选择上述的用于设置时间的计时信息数据的格式。

要注意，同样在使用计时信息作为与从IoT设备发送的各种IoT信息相关联的ID信息的情况下，获得计时信息的定时是重要的。例如，希望使用如下的用作ID信息的计时信息，该计时信息不应是诸如从外部I/F等发送数据的时间的时间信息，而应当是获得源自IoT信息的信息的时间。

例如，作为智能照相机106至108的ID信息，不是优选使用在图像处理之后发送图像处理结果的时间的计时信息或时间信息，而是优选使用向智能照相机中的摄像部提供摄像触发的时间的时间信息。这是因为，在本示例性实施例中，发送图像处理结果的时间与用作ID信息的计时信息延迟智能照相机中的图像处理所需的时间，并且延迟的程度依据处理内容和图像数据而变化。

在图1的系统中，这同样适用于除智能照相机106至108以外的其他IoT设备的ID信息。在使用计时信息作为ID信息的情况下，基本上使用获得源自IoT信息的数据的时间的计时信息或时间信息作为ID信息。

根据上述构造，能够经由作为例如计时信息的ID信息来关联地管理IoT设备中生成的所有IoT信息，并且变得能够通过使用诸如深度学习的方法来进行高级趋势分析。

作为ID信息的另一示例，能够考虑将ID信息作为条形码等配设在工件或承载工件的托盘上。在这种情况下，由智能照相机106读取条形码，从条形码解码的信息被发送并用作IoT设备的ID信息。该条形码能够用作用于识别由生产设备或作业台或其托盘操纵的工件的识别信息。在这种情况下，例如，从数据管理服务器112发送命令以使智能照相机106至108同时读取条形码，并且将读取的结果作为ID信号与图像处理结果一起发送。作为其结果，能够将生产设备的操作与各种预定的工件相关联。

另外，可能智能照相机106至108不能总是成功地读取条形码。在这种情况下，能够使用由智能照相机(例如智能照相机106)正确获得的第一条形码数据作为ID信息的基础。此外，可以将读取条形码的时间重置为0，并且可以与条形码数据结合使用此后经过的时间。作为其结果，能够通过使用从读取用于识别特定工件的条形码数据的时间起经过的相对时间，来识别并关联与该工件有关的生产过程的事件。

如上所述，ID信息被用于识别用作生产设备的事件数据的各种IoT数据，并且例如，能够单独地或者将多个组合地来使用经由条形码获得的工件的计时信息和识别信息。另外，也能够由控制装置114经由用于控制生产设备的过程管理编号等来进行用作生产设备的事件数据的IoT数据的关联。例如，在控制装置114使用彼此相关联的计时信息和特定生产控制事件的过程管理编号作为ID信息的情况下，能够将智能照相机的图像处理结果、图像数据以及特定生产设备彼此相关联。要注意，能够使用任意信息作为用于IoT信息的ID信息，只要ID信息能够被服务器112或控制装置114用于将用作生产事件的各种IoT数据、智能照相机的图像处理结果以及图像处理前的图像彼此相关联即可。

接下来，将参照图2和图3分别描述图1中所示的智能照相机106至108和数据管理服务器112。

图2例示了各自对应于本示例性实施例的摄像装置的智能照相机106至108中的各个的构造。图2的智能照相机106、107或108的部件设置有中央处理单元(CPU)201。由各种信号线(诸如由CPU 201管理的数据总线和地址总线)构成的总线212连接到存储器202、照相机206、内部存储器208、ID生成部210和LAN端口211。

用作摄像装置的摄像部的照相机206包括例如摄像镜头和图像传感器，并且经由例如用于输入和输出通过摄像获得的图像数据的移动工业处理器接口(MIPI)205连接到总线212。MIPI 205是用于例如移动电话的照相机设备的接口，并且虽然该接口不适于长距离通信，但是能够构成具有低功耗和低成本的照相机接口。

包括嵌入式多媒体卡(eMMC)、SD存储器等的内部存储器208经由例如串行数字接口(SDI)207连接到总线212。虽然SDI 207不适于连接到外部设备等，但是SDI 207能够构成具有低功耗的接口，并且适用于智能照相机等。

在本示例性实施例中，内部存储器208例如用于累积在适当长的摄像时段中由照相机206获得的未压缩的图像数据(未经由网络发送该图像数据)。在本示例性实施例中，在摄像时段期间累积在内部存储器208中的图像数据在摄像暂停时段中被发送到数据管理服务器112。因此，虽然能够任意地设置内部存储器208的存储容量，但是存储容量被设置为例如足够大来存储正常预期的在摄像时段中由照相机206获得的全部未压缩的图像数据。虽然内部存储器208的存储容量依据生产系统的规格而变化，但是即使对于诸如SD存储器的存储介质的情况，也相对容易获得如100GB大的大小的产品。

ID生成部210被构造为生成上述的一种或多种类型的ID信息，并且例如，在使用计时信息或时间信息的情况下，ID生成部210包括诸如RTC210A的计时部。ID生成部210经由例如内部集成电路(I2C)接口209连接到总线212。在使用I2C接口的情况下，能够通过使用要求相对低的成本的双线布线硬件来输入和输出数据，并且I2C接口具有足够的能力来输入和输出诸如计时信息或时间信息的大小较小的数据。另外，在使用上述的条形码等用于ID信息的情况下，ID生成部210可以由例如对来自由照相机206拍摄的条形码的图像的数据内容进行解码的硬件或由CPU 201运行的软件来构成。

在本示例性实施例中，仅LAN端口211是智能照相机的外部通信I/F，并且LAN端口211的格式也用于IoT设备。也就是说，同一LAN骨干网能够以时间共享的方式用于其他IoT设备，并且因此能够显著减少网络布线的量。

包括在智能照相机中并且在图2的左侧所示的存储器202由诸如动态随机存取存储器(DRAM)或只读存储器(ROM)的存储设备构成。在内部上，存储器202被粗略划分成临时存储区域204和智能照相机程序203。临时存储区域204临时存储图像、数据等。

其中，智能照相机程序203由包括程序模块、子例程和内核服务的部分程序2031至2039构成。下面将描述这些程序2031至2039的构造和基本操作。

当智能照相机的电源接通时，系统诊断程序2036启动，并且进行对智能照相机的各个部件的故障的有无进行确认的自我诊断。如果作为自我诊断的结果不存在问题，则通过外部I/F控制程序2033将智能照相机的启动通知给控制装置114和数据管理服务器112。

响应于启动，例如，在数据管理服务器112中操作的NTP服务器向LAN端口211发送调整时间的命令。作为选择，可以从图2的智能照相机向数据管理服务器的NTP服务器112或控制装置114发送调整时间的请求，作为初始操作的一部分。通过该NTP服务，ID信息关联程序2034经由内部I/F控制程序2035调整例如ID生成部210的RTC的时间。能够以如由NTP服务器或智能照相机主导的几分钟至几十分钟的间隔来定期地进行该时间调整。

然后，图2的智能照相机处于待机状态等待来自控制装置114的触发信号。在本发明中，从待机状态至图像传感器的摄像、图像处理以及结果的发送的一系列操作将被称为摄像时段，并且除此以外的时段将被称为摄像暂停时段。在图1中，智能照相机106至108各自拍摄工件105的图像、进行图像处理、并发送图像处理结果的时段是摄像时段，并且从发送图像处理结果至接收下一个触发信号的时段是摄像暂停时段。另外，工件105的供应由于诸如工件的维护或切换的原因而停止一段时间的时段以及系统响应于操作完成命令而停止的时段也对应于摄像暂停时段。

作为智能照相机程序203，安装了根据由智能照相机进行的检查内容而进行一些不同种类的图像处理的图像处理程序2031。图像处理程序2031被描述为通过使用作为基本图像处理程序的图像处理LIB 2032的例程来执行。这里，LIB代表库。图像处理LIB 2032存储用于机器视觉的多个图像处理程序。这些用于机器视觉的图像处理程序进行从拍摄图像中提取特征值的处理。用于机器视觉的图像处理程序的示例包括与根据拍摄图像计算所需的特征位置的位置相位测量有关的程序以及与从噪声等中埋入的拍摄图像中提取所需的特征值的检查有关的程序。此外，具体而言，前一示例的代表性示例包括模式匹配、模式拟合等的程序，并且后一示例的代表性示例包括进行中值滤波或斑点分析的应用的程序。这里提取的特征值是要用于控制机器人臂101和运送装置103以及用于工件的质量确定的值。例如，使用用作标记的预定形状的位置、工件的位置和姿势、或者工件的划伤或缺陷的有无，作为特征值。

图2的智能照相机106、107或108配设有照相机206以按特定的视场角和摄像距离来拍摄目标生产设备的图像，并且响应于来自控制装置114的触发命令由照相机206拍摄目标生产设备的图像。该摄像可以是一个或多个静止图像的摄像或特定长度的运动图像的摄像。然而，在下面的描述中，为了更容易描述，摄像是一个静止图像的摄像。

当经由外部I/F控制程序2033接收到来自控制装置114的指示摄像的触发命令时，图2的智能照相机经由内部I/F控制程序2035使ID生成部210生成ID信息。这里，ID生成部210获得与摄像定时对应的计时信息作为ID信息。所获得的作为计时信息的ID信息被存储在例如在RAM中确保的临时存储区域204中。照相机控制程序2037将摄像开始信号发送到照相机206，因此照相机206开始摄像操作。

这里，外部I/F(即LAN端口211)的时间延迟和图像处理程序的处理时间占据智能照相机中的大多数的时间延迟因素。在近来的硬件和软件的情况下，将ID信息存储在临时存储区域204中与将摄像开始信号发送到照相机206之间的时间差几乎为0，因此该时间差能够被认为几乎可忽略不计。

由照相机206获得的图像数据由照相机控制程序2037被临时传送到临时存储区域204。随后，图像处理程序2031进行预定的图像处理，并且其图像处理结果被存储在临时存储区域204中。

如上所述存储在临时存储区域204中的ID信息和图像处理结果在外部I/F控制程序2033的控制下经由LAN端口211被发送到控制装置114和数据管理服务器112。控制装置114能够通过使用ID信息和图像处理结果来控制对机器人臂控制装置102和运送控制装置104的命令。数据管理服务器112将例如接收到的ID信息和图像处理结果存储在外部记录设备113中。

另外，在图2的智能照相机中，将存储在临时存储区域204中的ID信息和图像处理前的图像数据记录在内部存储器208中，并且在内部I/F控制程序2035的控制下再次处于待机状态等待触发信号。

在设置在生产线中的生产设备的操作期间，图2的智能照相机根据来自控制装置114的指令重复上述的操作(即，摄像时段)。图8的步骤S12至S15分别对应于在摄像时段中根据来自控制装置114的触发进行的处理。步骤S12对应于ID信息的生成，步骤S13对应于生产设备的摄像，步骤S14对应于图像处理，并且步骤S15对应于ID信息和图像处理结果的发送。从智能照相机输出的图像处理结果经由集线器111和110被发送到控制装置114。控制装置114将控制信号发送到机器人臂控制装置102和运送控制装置104，以根据图像处理结果控制机器人臂101和运送装置103的操作。例如，在要由智能照相机获得的特征值是与工件的质量确定以及位置有关的值的情况下，控制装置114控制机器人臂101和运送装置103移除被确定为质量差的工件。

控制装置114重复进行经由LAN发送与生产系统中的IoT设备(诸如机器人臂控制装置102以及运送控制装置104)的各角色对应的控制信号的处理，并且因此设备的生产过程进行。另外，响应于来自控制装置114的这些指令，如上所述从诸如机器人臂控制装置102和运送控制装置104的IoT设备发送ID信息和IoT数据，并且将其累积并存储在数据管理服务器112中。这里，IoT数据是消息。

当终止生产线或构成生产线的生产设备的操作时，控制装置114向IoT设备102和104以及智能照相机106至108发送操作终止命令。作为其结果，智能照相机106至108的摄像模式(换句话说，摄像时段)终止。要注意，除了停止生产线的情况以外，在例如需要更换智能照相机106至108的情况下，也可以类似地终止摄像时段。

例如，在图8的步骤S11中，在智能照相机在等待触发的待机状态下经由外部I/F控制程序2033接收到发送图像数据的命令或操作终止命令的情况下，识别出摄像时段已经终止。也就是说，根据上述的命令，智能照相机识别出摄像时段已经终止并且摄像暂停时段已经开始。也就是说，处理从步骤S11进行到步骤S16。

图8的步骤S16对应于智能照相机的摄像暂停时段。能够响应于从控制装置114到智能照相机的命令等进行切换到摄像暂停时段。

当从控制装置114接收到发送图像数据的命令时，智能照相机进入摄像暂停时段，将图像数据发送开始命令发送到数据管理服务器112，并且因此检查数据管理服务器112是否就绪。如果确认数据管理服务器112就绪，则智能照相机106、107或108开始相关数据发送，在相关数据发送中，将在生产设备的操作期间通过摄像获得并累积在内部存储器208中的ID信息和与其相关联的图像数据发送到数据管理服务器112。关于要发送的图像数据，能够根据摄像暂停时段的长度发送合适大小的图像数据。例如，在摄像暂停时段期间，能够发送在一次摄像中获得的图像数据或者在多次摄像中获得的图像数据。

此时，通常从智能照相机的内部存储器208中删除已被发送的ID信息和拍摄图像。然而，能够采用如下的构造：只要内部存储器的存储容量允许就存储信息，并且如果内部存储器为满，则按顺序删除由其拍摄信息识别的较旧图像，以使空间存储新记录的数据。

要注意，在图2的智能照相机106、107或108中，图像处理程序2031需要用于图像处理的图像处理参数。可以将该图像处理参数记录在例如图像处理程序2031的程序代码中。另外，可以采用如下的构造：将图像处理参数存储在设置在内部存储器208中的存储区域中并且每次图像处理程序2031启动时被读取。另外，能够通过来自数据管理服务器的命令发送和数据传送来独立地或一起地远程更新图像处理程序2031和图像处理参数。在智能照相机106、107或108中，在智能照相机程序203中可以包括与上述的更新操作对应的更新程序。

图3例示了在本示例性实施例中使用的数据管理服务器112的示例性构造。图3的数据管理服务器112的部件设置有构成控制器的CPU 301。除了存储器311以外，由各种信号线(诸如由CPU 301管理的数据总线和地址总线)构成的总线302还连接到USB控制器303至305。

此外，图3的数据管理服务器112包括用于连接到IoT设备和智能照相机106至108的LAN控制器306以及ID信息生成部315。ID信息生成部315经由例如I2C接口314连接到总线302。

USB控制器303连接到累积大量的IoT数据的非易失性存储设备310。非易失性存储设备310能够由诸如硬盘驱动器(HDD)或固态驱动器(SSD)的盘设备构成。另外，非易失性存储设备310可以经由诸如SATA或小型计算机系统接口(SCSI)的盘I/F而不是USB接口而连接到USB控制器303。

显示装置309由例如用于检查设备的操作状态、图像以及图像处理结果的诸如液晶显示器(LCD)的显示设备构成。操作输入装置308与显示装置309一起构成用于例如生产线的管理员的用户接口。该操作输入装置308由键盘、鼠标或另一指点设备构成。

LAN集线器307经由LAN控制器306连接。该LAN集线器307可以与LAN集线器110相同，或者可以是用于将网络线缆连接到LAN集线器110的连接的另一集线器。无论哪种方式，经由LAN集线器307构建至上述的IoT设备102和104以及智能照相机106至108的网络连接。

存储器311是由DRAM或ROM构成的记录存储器，并且在内部上，存储器311能够被粗略划分成临时存储区域313和信息管理程序312。临时存储区域313临时存储图像、数据等。

此外，信息管理程序312由包括程序模块、子例程和内核服务的部分程序3120至3129构成。下面将描述这些程序3120至3129的构造和基本操作。

数据管理服务器112需要比生产线中的IoT设备和智能照相机更早启动，并且需要即使在生产设备不操作时也连续操作而不停止。

当经由外部I/F控制程序3123识别到来自IoT设备和智能照相机的启动信号时，数据管理服务器112通过NTP服务器程序3129提取计时信息。例如，从ID信息生成部315中包括的RTC 315A提取主计时信息作为标准ID信息。然后，将用作标准ID信息的计时信息发送到IoT设备和智能照相机，以将数据管理服务器112中的ID信息与IoT设备和智能照相机的ID信息(在该情况下是计时信息)进行匹配。能够在新识别到IoT设备102或104或者智能照相机106、107或108的启动时或者在从控制装置114发送生产操作开始命令时，进行用作ID信息的计时信息的该匹配。此外，能够当连续操作时间已经超过预定时间并且已经从数据管理服务器112发送了命令时进行匹配。此外，可以响应于来自IoT设备102和104以及智能照相机106至108的请求进行匹配。

作为由该ID信息生成部315生成的ID信息，代替上述的计时信息，能够使用以固定定时或者在各PLC阶段增加的计数器的测量值作为所谓的钟摆(tick)等。

信息管理程序312包括数据存储程序3127，以响应于发送将从IoT设备和智能照相机发送的信息连续地记录在非易失性存储设备310中。以能够通过使用ID信息作为关键项来搜索用作用于各种分析的数据的所发送的IoT信息的格式，来将该数据存储程序3127存储在非易失性存储设备310中。能够通过使用能够进行这种数据库处理的已知的数据库引擎来构造数据存储程序3127。

要注意，由于在本示例性实施例中ID信息是与获得源自IoT信息的传感器信息时的时间相对应的计时信息，因此计时信息并不总是以对应时间的顺序到达数据管理服务器112。因此，例如，能够通过由信息重构程序3124基于用作关键信息的ID信息以时间顺序重新排列数据，来重建数据。要注意，此时，IoT数据的整体不必由信息重构程序3124进行排序。例如，作为关键字的ID信息被分配有对应的数据编号，并且与其相关联地被记录在非易失性存储设备310中。在这种情况下，可以针对ID信息和与其相关联的数据编号进行数据的排序。

在生产线的正常操作中，例如，当分析所需的全部IoT信息都在非易失性存储设备310中时，能够通过趋势管理程序3126来分析各个设备的操作趋势。根据趋势管理程序3126，例如，能够进行更新图像处理参数以及显示并记录对设备的警告的预测维护操作，从而能够动态地控制生产线，并且能够实现生产线的稳定操作。趋势管理程序3126可以包括手动程序分析部，并且还能够通过使用深度学习处理3125来针对各种IoT信息进行与生产事件的关联以及趋势分析。

另外，数据管理服务器112的数据存储程序3127能够在生产设备未运行时，获得用作与在图8的步骤S16中从智能照相机106、107或108发送的ID信息相关联的生产设备的摄像结果的图像数据。该ID信息和原始图像数据被登入在例如图1的构造中的外部记录设备113中。能够如下利用从智能照相机106、107或108发送的ID信息和原始图像数据。

首先，能够在生产设备中发生其起因对于趋势管理程序3126而言难以揭示的意外事件或故障时使用ID信息和原始图像数据。如上面已经描述的，数据管理服务器112中的ID信息被与IoT设备和智能照相机的ID信息定期地匹配。因此，能够通过使用ID信息将在出现意外事件时由智能照相机106、107或108拍摄的并且未经历图像处理的原始图像数据与来自IoT设备102和104的信息相关联。例如，具体而言，能够将与发生意外事件的时间对应的ID信息相关联的机器人臂中包括的电机的温度和编码器的输出值与原始图像数据进行比较。据此，生产系统的管理员能够从各种角度紧密地观察在意外事件中生产设备的状态，并且因此能够调查事件的真正起因。

另外，深度学习处理3125可以用于这种分析。在图3的数据管理服务器112中，设置有与智能照相机106至108中的各个中包括的图像处理程序2031和图像处理LIB 2032等同的图像处理程序3121和图像处理LIB 3122。因此，能够通过操作它们由深度学习处理3125来分析来自IoT设备的信息和各种图像参数的趋势。据此，例如，能够预先模拟在改变智能照相机106至108的图像处理程序和图像处理参数的情况下发生何种事件。另外，也能够经由深度学习处理3125进行诸如部分地改变图像处理程序和图像处理参数的更新。以这种方式更新的图像处理程序和图像处理参数，如由外部I/F控制程序3123主导的，经由LAN控制器306被发送到智能照相机106、107或108。据此，在智能照相机106、107或108中，能够进行与图像处理程序2031和图像处理LIB 2032的情况等同的更新。另外，不仅可以更新智能照相机106至108，还可以更新用作生产设备101和103的其他IoT设备的控制设备102和104的设备控制程序及其控制参数。

也就是说，数据管理服务器112能够通过深度学习处理等分析从智能照相机106至108发送的图像处理结果和/或图像数据，并且能够基于分析结果更新生产设备的控制设备102和104以及智能照相机106至108的控制程序。

作为另一示例，在交替地设置发送图像处理结果的摄像时段和发送原始图像数据的摄像暂停时段的情况下，能够根据图像处理结果对原始图像数据进行图像处理并且能够获得更详细的信息。例如，在作为图像处理结果获得与工件的质量确定有关的特征值的情况下，如果图像处理结果表示工件的差质量，则从刚在此之后获得的原始图像数据中获得工件的详细信息。具体而言，例如，通过经由进行与智能照相机中的图像处理不同的图像处理来进行分析，能够获得被确定为差质量的状态的进一步的详情。这使得能够追踪工件的差质量的起因。

这里，图9例示了在与图8的步骤S11至S15对应的上述的摄像时段中与从智能照相机106、107或108发送的ID信息相关联的并登入在例如外部记录设备113中的用作IoT信息的图像处理结果的示例。另外，图10例示了在与图8的步骤S16对应的摄像暂停时段中与从智能照相机106、107或108发送的ID信息相关联的并登入在例如外部记录设备113中的用作生产设备的摄像结果的图像数据的示例。

图9的各行对应于与特定的ID信息L1相关联的图像处理结果数据的一条记录。该一条记录除了ID信息的字段L1以外还可以由字段L2至L5构成。要注意，在图9中，仅为了便于理解，使用与各种操作系统中使用的日志数据类似的可读文本格式的显示来进行说明。因此，实际通信的ID信息和图像处理结果可以是另一格式(例如，基于特定规则描述的二值数据)。这同样适用于图10。另外，图9也可以被认为是在数据管理服务器112的显示装置309的显示画面中显示的日志格式的画面。这同样适用于图10。

图9的ID信息的字段L1是用于显示日期和时间的字段，并且在如在本第一示例性实施例中使用计时信息作为ID信息的情况下，该部分对应于与图像处理结果相关联的ID信息。包括LOGCODE的字段L4对应于与图像处理结果对应的结果代码或者错误或警告代码，并且实际上由某些数字或字符串来表达。在本示例性实施例中，只要发送与ID信息对应的图像处理结果记录的字段L1和L4以及图像处理结果，就能够实现上述的构造和操作。然而，图9的示例包括用于识别智能照相机106、107或108的字段L2、识别编号的字段L3以及指向详细的图像处理结果或由数据管理服务器112进行的分析的结果的指针的字段L5。其中，能够为数据管理服务器112提供字段L2的智能照相机识别信息，以识别从中发送了记录的智能照相机。可以由数据管理服务器112生成字段L3的识别编号作为记录的序列号。这样的数据编号能够被用作于上述的IoT数据的重新排列的指针数据。

与此相对，图10代表在与图8的步骤S16对应的摄像暂停时段中与从智能照相机106、107或108发送的ID信息相关联的并且登入在例如外部记录设备113中的用作生产设备的摄像结果的图像数据。这里，各行包括从智能照相机中的特定一个(即，camera-0001)发送的未处理的图像数据记录或图像处理结果数据记录LD1。图10的该状态是在使用ID信息(即，计时信息)作为关键字进行排序之后，并且在第二行处设置有与图9的顶行处的记录LD1相同的图像处理结果记录LD1。

在图10中，字段L1、L2和L3与图9类似地分别对应于ID信息、照相机的识别信息和记录编号。另外，字段L6代表未压缩的图像数据，并且例如可以将诸如TIFF，BMP和PNM的格式的未压缩的图像数据的流布置在日志文件中的字段L6的位置中。作为选择，例如，可以将作为不同文件而存储在外部记录设备113中的图像文件的路径名称布置在字段L6的位置中。

要注意，在如稍后所述的使用诸如经由条形码获得的过程管理编号的ID信息的情况下，图9和图10中的字段L1可以用于ID信息。另外，图9和图10的字段L3可以被分配用于记录如过程管理编号那样的ID信息。

如上所述，本示例性实施例的生产管理系统能够使用用作与ID信息相关联的IoT信息的智能照相机106至108的分析的图像处理结果，并且能够使用从IoT设备102和104反馈的生产管理信息。据此，能够定期地进行生产管理，诸如操作中的生产设备101和103的倾向分析以及基于其的控制参数的改变。

此外，例如，在停止生产线时，能够使智能照相机106至108转变到摄像暂停时段并且发送在摄像时段中获得的且未经历图像处理的原始图像数据，并且例如，能够将原始图像数据累积并记录在外部记录设备113中。作为其结果，能够通过不仅使用智能照相机106至108的分析的图像处理结果，还使用通过摄像获得的原始图像数据，来进行更详细的数据分析。因此，即使在生产设备中发生意外事件或故障的情况下，解决该问题的可能性也增加，并且因此能够稳定地操作生产系统。

要注意，通过进行与上面描述的类似的数据分析，例如，可以通过使用信息的有用性等作为度量在外部记录设备113和非易失性存储设备310中将已经获得的图像和IoT设备的IoT信息分级。例如，作为趋势分析的结果，针对具有低关联性的信息和拍摄图像数据设置低等级。通过进行这样的分级，例如，能够当外部记录设备113或非易失性存储设备310接近满时，进行从具有较低等级的数据开始依次删除数据。作为其结果，可以抑制趋于增加而没有限制的大数据的信息的量。

第二示例性实施例

图4至图7例示了包括智能照相机的生产系统的第二示例性实施例。在上述的第一示例性实施例中，生产线的各个部件经由有线网络系统与智能照相机进行通信。与此相对，在第二示例性实施例中，使用能够使用无线通信的立体智能照相机403。另外，立体智能照相机403利用可充电电池进行操作，并且电池被构造为当立体智能照相机403被放置在支架407上时被充电。

图4以与图1相同的方式例示了第二示例性实施例的生产管理系统的总体构造。包括手402作为保持装置的机器人臂101被提供为一个生产设备。虽然在图4中未例示，但是生产线还可以包括诸如另一机器人臂和图1中所示的运送装置103的生产设备。

在第二示例性实施例中，能够通过例如机器人臂101的手402来控制能够在摄像时无线地操作的立体智能照相机403的位置和姿势。也就是说，当需要摄像时由机器人臂101的手402保持立体智能照相机403，并且控制其位置和姿势以拍摄例如未例示的工件、标记、条形码或另一生产设备的图像。然后，当完成摄像模式并转变为摄像暂停模式时，能够由用作保持装置的机器人臂101将立体智能照相机403传送到并放置在支架407上。在上述的第一示例性实施例中，由控制设备切换摄像时段和摄像暂停时段。然而，在如在第二示例性实施例中能够使用支架的情况下，能够通过使用支架来切换摄像时段和摄像暂停时段。例如，在智能照相机106至108中的各个中提供针对支架407的检测机构，并且进行控制以使得智能照相机在被从支架移除时转变为摄像时段，并且在被放置在支架上时转变为摄像暂停时段。

要注意，将相同的附图标记分配给与上述的第一示例性实施例中的构件相同或等同的构件，并且将省略冗余描述，除非该描述特别需要。

立体智能照相机403包括图6的至少两个照相机206a和206b作为摄像部，并且能够进行诸如三维测量和深度测量的位置测量。

机器人臂101在作业台404上操纵作为生产的目标的未例示的工件。作业台404配设有标记405和条形码406。标记405被提供用于在操作期间控制机器人臂101的位置和姿势。条形码406包括对与作业台404对应的处理特有的值。

类似于第一示例性实施例，机器人臂101由控制装置114经由机器人臂控制装置102控制。控制装置114是例如控制生产设备的整体的PLC。另外，能够经由接收操作者的手动操作的操作盘409实时操作机器人臂101，能够通过操作盘409的动作进行机器人的操作的教示和调整。

在摄像暂停时段中，立体智能照相机403被放置在支架407上，并且在经由支架407对立体智能照相机403中的电池充电的同时经由支架407连接到系统的有线LAN。因此，能够经由支架407进行摄像暂停时段中的图像数据到数据管理服务器112的发送。

类似于上述的第一示例性实施例，图4的生产系统包括数据管理服务器112和控制装置114。数据管理服务器112连接到具有大容量的外部记录设备113，并且控制装置114控制上述的生产设备的整体。

数据管理服务器112、控制装置114和机器人臂控制装置102通过经由LAN集线器413和414形成的有线LAN的网络互连。例如，有线LAN是IEEE 802.3。LAN集线器413连接到WiFi站410，用于根据例如IEEE802.11标准与立体智能照相机403进行无线通信。

由PLC控制器等构成的控制装置114以及机器人臂控制装置102的构造与第一示例性实施例中的相同。控制装置114经由机器人臂控制装置102向机器人臂101和手402提供针对各个步骤的操作指令。

机器人臂控制装置102包括由例如用于教示的操作盘409预先指示并生成的机器人教示数据，并且使机器人臂101针对每个步骤进行由来自控制装置114的指令定义的操作。

另外，类似于第一示例性实施例，机器人臂控制装置102经由上述的有线LAN将机器人中包括的各种传感器的输出值发送到数据管理服务器112。输出值的示例包括温度、编码器值和力感测值。

图5例示了立体智能照相机403、支架407以及操纵立体智能照相机403的机器人臂101的手402。立体智能照相机403在不进行摄像的摄像暂停时段中被放置在支架407上。支架407配设有触点503，并且当立体智能照相机403被放置在支架407上的同时，智能照相机403的固定触点502与触点503接触，因此其中的电池被充电，并且立体智能照相机403连接到上述的有线LAN。要注意，虽然图5中例示了两个触点503，但是能够任意地选择用于充电以及与有线LAN的连接的端子的数量和布置模式。

与此相对，当进行工件或作业台404的附近的摄像(即，在上述的摄像时段中)时，控制装置114控制机器人臂101以使手402保持立体智能照相机403、从支架407移除立体智能照相机403以及控制立体智能照相机403的位置和姿势以用于摄像。

图5的右侧的例示对应于手402正保持立体智能照相机403的状态。在该状态501下，通过配设在立体智能照相机403的后表面上的突起505(例示在图5的左侧)将立体智能照相机403的底表面相对于手402定位。同时，手402经由例如配设在手402的内表面上的诸如爪部402a的突起保持与立体智能照相机403的固定触点502对应的部分。如上所述，例如，能够保证保持立体智能照相机403的手402的位置和姿势在适当的精确范围内。

在摄像暂停时段中，手402将立体智能照相机403放置在设置在生产线中的预定位置处的支架407上。在该放置状态下，立体智能照相机403被放置使得固定触点502与支架407的触点503接触。图5的左侧所示的线缆504是连接到触点503的电源电缆，并且还连接到图4中所示的LAN集线器414。据此，立体智能照相机403能够在被放置在支架407上的状态下经由有线LAN与数据管理服务器112进行通信。另外，如上所述，固定触点502具有向立体智能照相机403的电池供应电力的功能。

在图4的作业台404上，预先在条形码406中描述与作业台404的过程管理编号对应的特有编号。立体智能照相机403读取条形码406的值并且读取配设在作业台404上的标记405，并且因此能够进行位置测量。

通过使用从拍摄图像读取的条形码值(即，过程管理编号)作为ID信息，经由无线WiFi站410通过无线通信将由立体智能照相机403拍摄并测量的作业台404的位置测量值发送到数据管理服务器112。另外，用作ID信息的条形码值(即，过程管理编号)和位置测量值被发送到图4的机器人臂控制装置102和/或被发送到控制装置114。

据此，图4的机器人臂控制装置102能够经由标记405的测量位置来指定作业台404的实际位置，并且因此能够计算机器人手应该处于的位置与当前教示位置之间的偏差。因此，例如，通过使用作业台404的实际位置信息，能够自动校正由操作盘409教示的教示点位置。

在当机器人臂101的主体或手与作业台404等干涉(换句话说，与作业台404等碰撞)时更换手402或测量手位置的偏差量的情况下，这样的使用视觉系统(即，立体智能照相机403)的位置测量也是有效的。例如，通过使用这样的视觉系统(即，立体智能照相机403)，能够在操作者粗略地教示机器人的动作之后以高精度来自动校正教示点。另外，同样在手402中存在由于零件更换或碰撞而引起的扭曲的情况下，也能够适当地校正教示点，并且因此能够大幅减少操作者的作业。

图6例示了与第一示例性实施例的图2相同的格式的立体智能照相机403的构造。在图6中，相同的附图标记被用于与图2中的构件相同或等同的构件，并且省略其描述。在下面的描述中，将仅描述不同的构件。

图6的构造与图2的不同之处在于，两个照相机206a和206b被用作立体构造中的摄像部，以及由于条形码406被用作ID信息，因此省略了图2中的由RTC等构成的ID生成部210的例示。然而，类似于图2的情况，由RTC等构成的ID生成部210可以设置在立体智能照相机403中。另外，在图6的立体智能照相机403中，如下所述，与网络有关的构造与图2的构造不同。

类似于上面已经描述的，进行立体拍摄的照相机206a和206b分别经由MIPI接口205a和205b连接到CPU 201。特别是在像这样配设多个照相机的情况下，能够通过采用具有低功耗和相对简单的结构的MIPI接口来实现低成本构造。内部存储器208周围的构造与图2中的相同。

与图6的立体智能照相机403的网络有关的构造包括控制以太网供电(POE)615和无线LAN设备612的LAN控制器611。当立体智能照相机403被放置在支架407上时，POE 615经由支架407的触点503和立体智能照相机403的固定触点502连接到有线网络，并且电力经由POE615被供应到立体智能照相机403的电源控制器616。

图6的立体智能照相机403的各个组件在立体智能照相机403被从支架407移除的状态下通过来自电池617的电力进行操作。该电池617是可充电电池，并且在立体智能照相机403被放置在托架407上的状态下通过使用经由POE 615供应到电源控制器616的电力根据例如剩余电量而被充电。

在图6中，存储器202的智能照相机程序203的构造在块尺度上几乎相同。然而，包括程序模块、子例程和内核服务的部分2031至2039的操作在一定程度上不同。下面将描述这些程序2031至2039的各个部分的构造或基本操作。

在启动生产系统时，图4的立体智能照相机403处于立体智能照相机403被放置在支架407上的待机状态。在此状态下，如上所述，图6的立体智能照相机403的电池617被充电并且立体智能照相机403经由图5的触点503和固定触点502连接到有线LAN。

当立体智能照相机403的电源接通时，启动系统诊断程序2036并且进行对立体智能照相机403的各个部件的故障的有无进行检查的自我诊断。另外，此时，检查LAN控制器611的状态(即，有线和无线LAN等的连接状态)。如果作为上述的自我诊断的结果未发现问题，则通过外部I/F控制程序2033将立体智能照相机403的启动通知给控制装置114和数据管理服务器112。

在控制装置114中，针对各个过程编号对生产设备和立体智能照相机403预先编程各种操作，并且手402和立体智能照相机403的全部操作由例如控制装置114控制。

在本示例性实施例中，虽然与上面已经描述的类似地可以使用计时信息作为ID信息，但是例如，通过使用能够经由条形码406获得的过程管理编号作为ID信息来进行设备的管理。数据管理服务器112通过使用过程管理编号作为ID信息，来记录由IoT设备(诸如机器人臂101、手402和立体智能照相机403)输出了何种信息。

在智能照相机程序203中，安装有根据由智能照相机403进行的检查内容而进行各种不同的图像处理的图像处理程序2031。图像处理程序2031描述为通过使用作为基本图像处理程序的图像处理LIB 2032的例程来执行。

在第二示例性实施例中，例如，立体智能照相机403能够用于校正机器人臂101的教示数据。如下所述，在控制装置114(即，PLC)的控制下进行机器人臂101的教示数据的该校正。例如，通过与在生产线的主操作中使用的控制程序独立的子程序来实现机器人臂101的教示数据的该校正。

首先，控制装置114控制机器人臂101和手402以保持立体智能照相机403，并且因此将立体智能照相机403从支架407移除。当将立体智能照相机403从支架407移除时，由电源控制器616使立体智能照相机403的各个部件转变为由电池617驱动的状态，并且网络连接被切换为经由无线WiFi站410的无线连接。

在校正教示数据的情况下，控制装置114控制机器人臂101以将由手402保持的立体智能照相机403按由操作盘409等教示的特定的位置和姿势移动。立体智能照相机403此时的位置和姿势是立体智能照相机403能够拍摄设置在作业台404上的条形码406的图像的位置和姿势。

当控制装置114发送指示摄像的触发命令时，立体智能照相机403经由无线WiFi站410接收触发命令。由立体智能照相机403的外部I/F控制程序2033来检测触发命令的该接收。

根据所接收的触发命令，在立体智能照相机403中，照相机控制程序2037进行操作，并且使照相机206a和206b拍摄设置在作业台404上的条形码406的图像。要注意，在对条形码406进行解码的情况下，并不总是必须进行立体拍摄，只要照相机206a和206b中的一个用于摄像即可。

由图像处理LIB 2032中准备的例程将条形码406的摄像数据转换成与条形码406中描述的内容对应的数值或字符串。在本示例性实施例中，条形码406的内容是过程管理编号，并且使用经由条形码406获得的过程管理编号用作ID信息。

从条形码406解码的过程管理编号被存储在临时存储区域204中，并且通过经由照相机控制程序2037向照相机206a和206b发送摄像开始信号来开始摄像操作。通过照相机206a和206b的立体拍摄获得的图像数据被临时存储在临时存储区域204中。

接下来，图像处理程序2031对通过摄像获得的图像数据进行图像处理，并且其图像处理结果被存储在临时存储区域204中。在用于校正教示点的该图像处理中，获得作业台404的标记405的相对于立体智能照相机403或手402的当前的相对位置和姿势。

存储在临时存储区域204中的ID信息和图像处理结果经由无线LAN被发送到有线LAN侧，并且因此被发送到控制装置114和数据管理服务器112。也就是说，与ID信息相关联的图像处理结果如由外部I/F控制程序2033主导地经由LAN控制器611和无线LAN设备612被发送到有线LAN侧，并且因此被发送到控制装置114和数据管理服务器112。

控制装置114能够通过使用与ID信息相关联的图像处理结果(例如，作业台404的标记405的当前的相对位置和姿势)，来校正接近作业台404的机器人臂101的轨迹数据等。

存储在临时存储区域204中的ID信息和图像处理前的拍摄图像经由内部I/F控制程序2035被记录并存储在立体智能照相机403的内部存储器208中。然后，立体智能照相机403返回到等待触发的待机状态。

如上所述，在第二示例性实施例中，不使用诸如第一示例性实施例的ID生成部210的专用硬件，并且使用通过拍摄条形码406的图像而获得的过程管理编号作为ID信息。另外，在这种情况下，能够认为ID生成部由照相机206a和206b的智能照相机程序203构成。以这种方式，代替使用专用硬件，也可以通过使用照相机的硬件和软件来实现ID生成部。

要注意，通过上述的子处理控制对教示点的校正与主生产过程没有直接关系，因此并不总是以主生产过程的顺序进行立体智能照相机403的摄像。因此，在作业台404上提供与主生产过程对应的过程管理编号作为条形码406，并且通过拍摄该条形码406的图像并将其结果作为ID信息发送到控制装置114和数据管理服务器112，能够容易地进行与主生产过程的控制操作的关联。另外，在指定机器人控制器中的教示点数据的情况下，也能够使用从过程管理编号导出的ID信息。

在上面的描述中，仅提及了一个作业台404、一个标记405和一个条形码406。然而，在准备多个作业台并且针对各个作业台提供特有标记和特有条形码的情况下，能够通过与上述的处理类似的处理在一个子过程中进行多个教示数据的校正。

当对教示数据进行校正的全部子过程完成时，立体智能照相机403被移回到支架407上，网络连接被切换到有线LAN，并且同时，开始对电池617的充电。另外，同样在主生产过程中需要立体智能照相机403的摄像的情况下，也能够在与上述控制相同的控制中实现立体智能照相机403的摄像时段。另外，当使立体智能照相机403转变到摄像暂停时段时，立体智能照相机403也被放回到支架407上。

此时移回到支架407上的立体智能照相机403变得能够经由有线LAN与数据管理服务器112进行通信。因此，在该状态下，与第一示例性实施例类似，能够将累积在内部存储器208中的ID信息和原始图像数据经由有线LAN发送到数据管理服务器112。在数据管理服务器112中，图像数据能够在与ID信息相关联的状态下被累积在外部记录设备113中。因此，类似于第一示例性实施例，当发生意外事件时，能够通过使用ID信息和原始图像数据来进行详细的事件分析。

要注意，在将ID信息和拍摄图像发送到数据管理服务器112之后，可以以与第一示例性实施例中相同的方式来处理立体智能照相机403的内部存储器208。

如上所述，在第二示例性实施例中，立体智能照相机403在被机器人臂101的手402保持的状态下经由无线通信连接到控制装置114和数据管理服务器112。以这种方式，立体智能照相机403能够例如在摄像时段中无线地进行操作。这具有的优点是，例如在教示点校正操作中，机器人臂101的各部分的动作不受线缆阻碍。

另外，在立体智能照相机403的摄像时段中，只要可以在与ID信息相关联的状态下发送内部进行的图像处理的结果即可。因此，无线通信中所需的包长度是小的，并且因此即使在使用相对低速的无线LAN的情况下，也能够将与ID信息相关联的图像处理结果有效地发送到控制装置114和数据管理服务器112。另外，由于与ID信息相关联的图像处理结果的大小非常小，因此其对其他无线通信设备的影响非常小，并且因此无线通信设备的数据响应不受影响。

另外，教示点校正后的时段或者主生产过程的步骤之间的生产设备不进行操作的间隔对应于立体智能照相机403被移回到支架407上的摄像暂停时段。在该状态下，立体智能照相机403连接到有线网络。在该状态下，与ID信息相关联的未处理的图像数据(即，原始图像数据)经由有线LAN从立体智能照相机403被发送，并且能够被登入在数据管理服务器112中。当然，该操作根本不影响无线LAN，并且在发生故障的情况下，能够将立体智能照相机403的未压缩的原始图像发送到并登入在数据管理服务器112中。

要注意，能够通过在教示校正时段和被放置在支架407上的时段二者中接通电源，来启动立体智能照相机403的有线通信和无线通信。然而，当然，可以进行将与不使用的通信中的一种对应的网络接口的电源断开的控制。

例如，照相机206a和206b的光学系统的光轴之间的距离(即，基线长度)被立体智能照相机403中产生的热改变，这是一个重大问题。然而，根据上述的构造，能够缩短在教示点校正操作同时的数据的外部通信时间，因此能够缩短在此期间消耗大量电的网络I/F的电力供应时间，并且能够减少内部产生的热量。作为其结果，能够减少对照相机206a和206b的光学系统的光轴之间的距离(即，基线长度)的影响，并且因此能够增加立体智能照相机403的测量精度。

另外，根据第二示例性实施例，使用过程管理编号作为ID信息。因此，在特定的步骤中发生了故障的情况下，能够通过使用过程管理编号，容易地对与该步骤有关的各种IoT数据与拍摄图像数据之间的关系进行指定、搜索或排序。另外，类似于上述的第一示例性实施例，能够通过诸如深度学习的学习系统来进行与过程管理编号对应的各种分析。

要注意，针对图像处理程序2031，图像处理参数的存储位置或其校正方法与第一示例性实施例中描述的相同。另外，通过使用过程管理编号作为ID信息来将图像处理前的原始图像数据登入到数据管理服务器112。因此，例如在发生了由机器人臂101的教示数据导致的故障的情况下，数据管理服务器112能够随时检查在立体智能照相机403中进行的图像处理以用于教示数据的校正等。

另外，能够独立地或一体地远程更新立体智能照相机403的图像处理程序2031及其图像处理参数。例如，通过数据管理服务器112向立体智能照相机403给出更新命令并且进行数据发送，来更新图像处理程序2031和/或其图像处理参数。因此，能够在立体智能照相机403的智能照相机程序203中准备能够接收上述的更新处理的更新程序。

要注意，也能够由第二示例性实施例的智能照相机程序203几乎以相同的方式来实现图8的智能照相机的摄像时段和摄像暂停时段的控制顺序的流程。在本示例性实施例中，能够通过例如确定智能照相机是否被放置在支架上，来进行步骤S11中的智能照相机是否处于摄像模式(即，摄像时段)的确定。另外，在第二示例性实施例的教示数据校正处理中，步骤S12中的ID信息的生成和步骤S13中的摄像也能够被读作上述的条形码406的摄像和解码处理。步骤S16中的ID信息和未处理的原始图像数据的发送与第一示例性实施例相同。

另外，关于图9的ID信息和图像处理结果的数据格式以及图10的ID信息和未压缩的原始图像数据的数据格式，在第二示例性实施例中也能够采用几乎相同的构造。在该情况下，字段L1的计时信息能够是在数据管理服务器112中进行日志记录时的时间的时间信息。例如，能够通过使用诸如字段L3的存储位置，来登入经由条形码406获得的并且用作本示例性实施例的ID信息的过程管理编号。

图7例示了能够在第二示例性实施例中实现的数据管理服务器112的示例性构造。图7的基本构造与图3中所示的第一示例性实施例的数据管理服务器112的构造相同。图7与图3的不同之处在于，省略了图3中配设的用于设置用作ID信息的计时信息的时间的NTP服务器程序3129。然而，在第二示例性实施例中的数据管理服务器112中也配设图3的NTP服务器程序3129并使其进行操作没有问题。

另外，在图7中，子ID生成部3151经由I2C接口314连接到总线302。类似于图3的情况，能够由诸如RTC 315A的计时设备构成该子ID信息生成部3151，并且能够使用该RTC的计时信息(即，时间信息)等作为子ID信息。例如，在上述的第二示例性实施例中，已经描述了使用图9和图10的字段L1用于登入时间的构造。能够使用由子ID信息生成部3151生成的并用作子ID信息的计时信息(即，时间信息)用于字段L1的登入时间。

如上所述，在第二示例性实施例中，能够使用由控制装置114管理的过程管理编号作为用于识别IoT信息并将IoT信息彼此相关联的主ID信息，并且能够使用子ID生成部3151的RTC的计时信息(即，时间信息)作为子ID。与仅使用一种ID信息的构造相比，这种能够使用主ID和子ID用于IoT信息的构造具有以下优点。例如，通过使用用作主ID信息的过程管理编号作为主关键字并且使用用作子ID信息的信息获得时间(即，登入时间)作为子关键字来对数据内容进行排序(即，重新排列)的处理变得可能。作为其结果，能够将各个步骤的信息与一个关键字相关联，能够明确IoT信息(换句话说，事件)是新的还是旧的，并且便利了信息的选择。

其他实施例

另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以便涵盖所有这些变型例以及等同的结构和功能。

Claims (19)

1.一种摄像装置，所述摄像装置包括：

摄像部，被构造为拍摄目标物体的图像；

控制器，被构造为进行从由所述摄像部获得的图像数据获得特征值的图像处理；以及

存储设备，被构造为累积图像数据，

其中，所述控制器在由所述摄像部拍摄目标物体的图像的摄像时段中，在将由所述摄像部获得的图像数据累积在所述存储设备中的同时，将图像处理的结果发送到数据管理服务器，并且

所述控制器在不进行由所述摄像部对目标物体的摄像的摄像暂停时段中，将累积在所述存储设备中的图像数据发送到所述数据管理服务器。

2.根据权利要求1所述的摄像装置，其中，所述控制器将图像处理的结果和图像数据与ID信息相关联，并且将与ID信息相关联的图像处理的结果和图像数据发送到所述数据管理服务器。

3.根据权利要求1或2所述的摄像装置，所述摄像装置还包括计时部，其中，ID信息包括从所述计时部获得的计时信息。

4.根据权利要求3所述的摄像装置，其中，所述控制器经由网络时间调整协议与所述数据管理服务器或不同于所述数据管理服务器的计时服务器进行通信，并且设置所述计时部的时间。

5.根据权利要求1所述的摄像装置，其中，所述摄像装置被构造作为包括所述摄像部和所述控制器的IoT设备。

6.一种系统，所述系统包括：

摄像装置，所述摄像装置包括被构造为拍摄目标物体的图像的摄像部、被构造为进行从由所述摄像部获得的图像数据获得特征值的图像处理的控制器、以及被构造为累积图像数据的存储设备；以及

数据管理服务器，被构造为与所述摄像装置进行通信，

其中，所述控制器在由所述摄像部拍摄目标物体的图像的摄像时段中，在将由所述摄像部获得的图像数据累积在所述存储设备中的同时，将图像处理的结果发送到所述数据管理服务器，并且

其中，所述控制器在不进行由所述摄像部对目标物体的摄像的摄像暂停时段中，将累积在所述存储设备中的图像数据发送到所述数据管理服务器。

7.根据权利要求6所述的系统，所述系统还包括：

生产设备，被构造为对所述目标物体进行处理；以及

生产控制装置，被构造为控制所述生产设备，

其中，所述数据管理服务器与所述生产控制装置进行通信，并且

其中，所述生产控制装置基于发送到所述数据管理服务器的图像处理的结果，来控制所述生产设备。

8.根据权利要求6或7所述的系统，其中，所述数据管理服务器基于对从所述摄像装置发送的图像处理的结果和图像数据中的至少一者进行的数据处理的结果，来更新所述生产设备和所述摄像装置中的至少一者的控制程序和/或控制参数。

9.根据权利要求7所述的系统，

其中，所述控制器将图像处理的结果和图像数据与ID信息相关联，并且将与ID信息相关联的图像处理的结果和图像数据发送到所述数据管理服务器，并且

其中，所述生产控制装置将所述生产设备的事件数据与ID信息相关联，并且将与ID信息相关联的事件数据发送到所述数据管理服务器。

10.根据权利要求9所述的系统，其中，与图像处理的结果和图像数据相关联的ID信息和/或与生产设备的事件数据相关联的ID信息包括计时信息。

11.根据权利要求10所述的系统，其中，所述摄像装置和/或所述生产控制装置包括计时部，并且通过与所述数据管理服务器或不同于所述数据管理服务器的计时服务器进行通信，来设置所述计时部的时间。

12.根据权利要求9所述的系统，其中，与图像处理的结果和图像数据相关联的ID信息和/或与生产设备的事件数据相关联的ID信息包括用于控制所述生产设备的过程管理编号。

13.根据权利要求9所述的系统，其中，与图像处理的结果和图像数据相关联的ID信息和/或与生产设备的事件数据相关联的ID信息包括用于识别目标物体的识别编号。

14.根据权利要求6所述的系统，

其中，在所述摄像时段中，所述摄像装置将图像处理的结果经由无线网络发送到所述数据管理服务器，并且，在所述摄像暂停时段中，所述摄像装置将累积在所述存储设备中的图像数据经由有线网络发送到所述数据管理服务器。

15.根据权利要求14所述的系统，其中，在所述摄像暂停时段中，所述摄像装置被放置在支架上，并且所述摄像装置经由所述支架连接到所述有线网络。

16.根据权利要求15所述的系统，其中，在所述摄像暂停时段中，被放置在所述支架上的所述摄像装置经由所述支架被充电。

17.根据权利要求15或16所述的系统，所述系统还包括被构造为保持所述摄像装置的保持装置，

其中，在转变到所述摄像暂停时段的情况下，所述保持装置保持所述摄像装置并且将所述摄像装置放置在所述支架上。

18.一种使用生产装置生产产品的方法，所述方法包括：

配设摄像装置，所述摄像装置包括摄像部、被构造为对由所述摄像部获得的图像数据进行图像处理的控制器、以及被构造为累积图像数据的存储设备；

由所述摄像装置拍摄要由所述生产装置生产的产品的图像，将由所述摄像装置获得的图像数据累积在所述摄像装置的所述存储设备中，由所述摄像装置的所述控制器对图像数据进行图像处理，并且将图像处理的结果发送到数据管理服务器；

基于被发送到所述数据管理服务器的图像处理的结果，在由生产控制装置监视产品的生产状态的同时由所述生产装置生产产品，对在由所述摄像装置拍摄产品的图像的摄像时段中由所述摄像装置获得的图像数据进行了所述图像处理；以及

在不进行由所述摄像装置对产品的摄像的摄像暂停时段中，将存储在所述存储设备中的图像数据从所述摄像装置发送到所述数据管理服务器。

19.根据权利要求18所述的生产产品的方法，其中，所述控制器将图像处理的结果和图像数据与ID信息相关联，并且将与ID信息相关联的图像处理的结果和图像数据发送到所述数据管理服务器。