CN110088797A - 工业设备图像识别处理器及控制器 - Google Patents

工业设备图像识别处理器及控制器 Download PDF

Info

Publication number
CN110088797A
CN110088797A CN201780078312.6A CN201780078312A CN110088797A CN 110088797 A CN110088797 A CN 110088797A CN 201780078312 A CN201780078312 A CN 201780078312A CN 110088797 A CN110088797 A CN 110088797A
Authority
CN
China
Prior art keywords
image recognition
recognition processor
image data
industrial equipment
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780078312.6A
Other languages
English (en)
Other versions
CN110088797B (zh
Inventor
足立胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Publication of CN110088797A publication Critical patent/CN110088797A/zh
Application granted granted Critical
Publication of CN110088797B publication Critical patent/CN110088797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

问题：提高图像识别处理的实际适用性。解决方案：提供图像识别处理器(11)，其集成电路实现以下功能：存储已经基于先前学习确定的图像数据处理算法；获取包括预定图案的图像的图像数据；基于该算法对图像数据进行识别处理；和输出用于标识所识别的图案的标识信息。标识信息的输出由已经学习了预定图案与类型之间的对应关系的神经网络来处理，并且神经网络从预先准备的多种类型的图案中选择性地分类和输出。在图像中检测所识别的图案的位置区域，并且对图像数据进行处理并在图像中输出。

Description

工业设备图像识别处理器及控制器
技术领域
本公开的实施例涉及用于工业设备的图像识别处理器及控制器。
背景技术
在专利文献1中，描述了配置为例如基于设置在机械臂的手掌上的相机的成像信息来识别抓取目标物体的控制设备。
引用列表
专利文献
专利文献1：JP 2011-235386 A。
发明内容
技术问题
然而，配置为进行图像识别的处理设备本身使用了经由网络的服务器或大型电路规模的处理设备，因此，在应用于比如工厂自动化中的工业设备的情况下，图像识别处理的实际适用性已经很低。
鉴于上述问题提出了本发明，因此本发明的目的是提供一种能够提高图像识别处理的实际适用性的用于工业设备的图像识别处理器和控制器。
问题的解决方案
为了解决上述问题，根据本发明的一个方面，采用了一种用于工业设备的图像识别处理器，该图像识别处理器在其集成电路上实现以下功能：存储已经基于先前学习确定的图像数据处理算法；获取包括预定图案的图像的图像数据；和基于图像数据处理算法对图像数据进行识别处理，以输出用于标识识别图案的标识信息。
此外，根据本发明的另一方面，采用了一种用于工业设备的图像识别处理器，该图像识别处理器包括：存储单元，其配置为存储通过对包括具有预定属性的物体的外观图案的图像数据进行识别处理并学习该图像数据而生成的图像数据识别处理算法；和识别处理单元，其配置为使用图像数据识别处理算法来对包括在图像数据的图像中的外观图案进行识别处理。
此外，根据本发明的又一方面，采用了一种控制器，该控制器配置为对待控制的物体进行预定的后续控制，该待控制的物体对应于在用于工业设备的图像识别处理器中识别的图案。
本发明的有利效果
根据本发明的各方面，可以提高图像识别处理的实际适用性。
附图说明
图1是用于说明根据本发明的实施例的包括图像识别处理器的拣选系统的示意性系统框图配置的示例的图。
图2是用于说明图像识别处理器的可移除更换的机械配置的视图。
图3是用于说明由相机采集的容器内部的图像数据的示例的图。
图4是用于说明由图像识别处理器对图像数据进行的图像识别处理的结果的示例的图。
图5是用于说明包括在图像识别处理器中的神经网络的示意性模型配置的示例的图。
图6是用于说明包括图像识别处理器的检查系统的示意性系统块配置的示例的图。
图7是用于说明通过三维相机获得食品的图像数据的配置示例的图。
图8是用于说明在基于两组图像数据输出标识信息的情况下神经网络的示意性模型配置的示例的图。
具体实施方式
现在，参照附图描述本公开的实施例。
<拣选系统的示意性配置>
在图1中，说明了根据本实施例的包括用于工业设备的图像识别处理器的拣选系统的示意性系统块配置的示例。拣选系统是配置为进行拣选以便将随机布置在容器中的多种类型的大量工业部件根据类型分类并将所分类的工业部件划分在多个目标箱中的系统。在图1中，拣选系统1(工业设备)包括相机2、机器人控制器3、伺服放大器4和拣选机器人5。拣选系统1还可以包括三维传感器8。
在该示例中，将工业部件作为待拣选的物体。然而，待拣选的物体可以是食品、化妆品、文具等而非工业部件，只要物体在生产线中进行处理即可。在这些物体中，一种类型的物体所共有的特征表现为属性。属性的示例包括形状、尺寸、颜色、图案和光泽。
本示例中的相机2是配置为光学采集二维像素阵列的图像数据的图像拣选设备。相机2布置在容器6上方，并且能够对以随机姿态布置在容器6内的多种类型的大量工业部件10(物体、待控制的物体)的整体进行成像。此外，该示例中的三维传感器8是配置为光学获取关于到物体表面上的点的距离的数据的传感器。与相机2相同，三维传感器8布置在容器6上方，并且能够对容器6内的工业部件10的整体进行成像。
机器人控制器3配置为基于由上述相机2采集的图像数据并且进一步根据需要基于来自三维传感器8的距离数据，进行关于拣选机器人5的拣选操作的处理，以向伺服放大器4输出驱动命令。机器人控制器3包括图像识别处理器11、操作规划单元12和逆运动学计算单元13。此外，当使用三维传感器8时，机器人控制器3还包括距离识别单元16。
图像识别处理器11(用于工业设备的图像识别处理器)配置为对由上述相机2采集的图像数据进行图像识别，以识别此时布置在容器6中的多个工业部件10中的各个工业部件的类型，并输出相应的标识信息，并且检测和输出图像数据的图像中的各个工业部件10的布置区域。本实施例的示例中的图像识别处理器11的处理单元本身由实现为硬件的单个集成电路形成，并且通过使用神经网络作为内部处理的机器学习来进行对工业部件10的类型的识别处理和对工业部件10的布置区域的检测处理。稍后详细描述图像识别处理器11的处理的细节和方法。
操作计划单元12配置为基于从上述图像识别处理器11输入的标识信息和布置区域来规划待由拣选机器人5来进行的具体操作细节(比如稍后描述的臂远端部分5a的抓取器5b的轨迹)，并且将基于具体操作细节而生成的操作命令输出到逆运动学计算单元13。可以采用这样的配置，其中，在操作细节的规划中，根据需要，由距离识别单元16基于由三维传感器8获取的距离数据来识别工业产品的三维姿态(取向)，并且将其作为姿态信息输入到操作规划单元12。在这种情况下，在操作计划单元12中，不仅基于标识信息和布置区域而且基于姿态信息来规划操作细节。
逆运动学计算单元13配置为基于从上述操作规划单元12输入的操作命令，计算拣选机器人5的驱动轴马达(未示出)实现操作命令的操作细节(比如抓取器5b在规划轨迹上的移动)所需的目标转动角度，并输出相应的驱动命令。
伺服放大器4配置为基于从上述机器人控制器3的逆运动学计算单元13输入的驱动命令来进行控制，以提供用于驱动和控制拣选机器人5的驱动轴马达(未示出)的驱动功率。
在本实施例的说明示例中，拣选机器人5是包括六个关节轴的操纵臂(六轴机器人)。拣选机器人5包括设置到臂远端部分5a的抓取器5b，抓取器5b能够抓取工业部件10，并且具有将容器6中的工业部件10逐一地运输到附近的目标箱9的能力。
根据如上所述配置的本实施例的拣选系统1，机器人控制器3可以基于输入图像数据来掌握容器6内的工业部件10的布置位置。具体地，机器人控制器3可以基于摄像机2在拣选机器人5中设置的操作坐标(未具体示出)中的安装位置以及图像识别处理器11在图像数据的图像中输出的工业部件10的布置区域来进行用于转换坐标的计算，以掌握容器6内的工业部件10在操作坐标中的布置位置。此外，机器人控制器3能够基于图像识别处理器11输出的标识信息来选择和控制抓取器5b的抓取操作，抓取器5b的抓取操作适当地对应于布置在容器6内的每种类型的工业部件10。结果，拣选系统1可以将随机放置在容器6中的多种类型的工业部件10根据类型分类，并且将分类的工业部件划分到多个目标箱9中。
此外，如上所述，在本实施例中使用的图像识别处理器11由实现为硬件的单个集成电路形成。例如，如图2所示，图像识别处理器11由所谓的PGA(引脚网格阵列)型封装形成，以可移除更换地设置在机器人控制器3的电路板14上的插座15。图像识别处理器11的附接配置不限于所示的引脚插座类型，而是可以是另一附接配置，例如，盒连接器类型(未示出)。
<本实施例的特点>
近年来，随着机器学习技术的进步，用于从图像数据中识别预定图案的图像识别的处理精度显著提高。
然而，这种通过机器学习的图像识别处理已经基于大型高性能云服务器的处理，并且已经要求经由网络通信的数据的发送和接收，结果存在处理速度和安全性显著降低的问题。还提出了一种配置，其中，所谓的GPU(图形处理器单元)直接连接到配置为在操作地点采集并生成图像数据的相机，例如，以进行图像识别处理。然而，当使用GPU时，另外需要具有用于存储各种数据和参数的大容量的存储器以及外围控制电路，因此存在电路规模增大以增大整个设备的尺寸和重量以及功耗增大的问题。结果，在应用于比如工厂自动化的工业机器的情况下，图像识别处理的实际适用性已经很低。
相反，本实施例中使用的图像识别处理器11配置为用于工业设备的图像识别处理器11，该工业设备在其集成电路上实现以下功能：存储已经基于先前学习确定的图像数据处理算法；获取包括预定图案的图像的图像数据；和基于图像数据处理算法对图像数据进行识别处理，以输出用于标识所识别的图案的标识信息。通过这种方式，在集成电路上仅专门实现了在操作地点(例如，特别是工厂)肯定需要的图案识别和标识信息的输出的最小功能，结果可以在图像识别处理所需的整个设备配置中实现显著的小型化和轻量化、功耗的降低以及处理速度的提高。
<图像识别处理器的处理细节>
在图3中，说明了在本实施例中由拣选系统1中的相机2采集的容器6内部的图像数据的示例，并且在图4中，示出了由图像识别处理器11对图像数据进行的图像识别处理的结果的示例。
在说明的示例中，三种类型的工业部件A、B和C以随机姿态布置在容器内部，工业部件A、B和C包括圆柱形部件A、开有椭圆形通孔的板状部件B、以及比上述部件A更薄且更长的杆状部件C。对于工业部件的部件A，将在其一端直立的姿态下的部件和位于其侧表面上的部件混合。此外，对于部件B，将那些完全倒置以具有椭圆形通孔的不同布置关系的部件混合。
在上述图像数据上，图像识别处理器11识别相同类型的工业部件A、B和C所共有的外部形状的图案，而与工业部件A、B和C的个体的姿态无关，并且单独地输出与图案相对应的类型作为标识信息(图4中的“A”、“B”和“C”)。换言之，由本实施例中的图像识别处理器11进行的标识信息的输出通过所谓的聚类来进行，该聚类包括选择性地分类成已经预先准备的多种类型(在该示例中为A、B和C的三种类型)，并输出结果。
此外，在示出的示例中，图像识别处理器11通过具有平行于X轴和Y轴的四条边的矩形包围框线S在图像数据中设置的坐标X-Y中包围工业部件A、B和C的布置区域，并且分别输出包围框线S的两个相对点的坐标位置(图4中的(xia、yia)和(xib、yib))。
<关于神经网络的配置>
如上所述，图像识别处理器11通过使用神经网络的机器学习来进行对工业部件10的类型的识别和对布置区域的检测。如图5所示的示意性模型图中那样，本实施例的示例中的神经网络基于从相机2输入的二维像素阵列的图像数据对图像中存在的一个工业部件10的类型(A、B或C)的标识信息进行聚类并输出。在图示的示例中，作为用于输出标识信息的特定模式，准备与待识别的图案的类型(A、B和C)的数目相同数目的输出节点，并且从输出节点中与识别的图案的类型相对应的仅一个输出节点提供二进制输出(例如，以正逻辑输出)。此外，神经网络还设计为输出包围框线S的两个相对点的坐标位置(xia、yia、xib和yib)，该坐标位置指示所识别的工业部件10的布置区域。对于布置区域的输出，神经网络设计成通过所谓的回归问题输出整数值的坐标位置。
在上述基本说明下的神经网络中，当输入层附近的层配置为卷积神经网络(未具体示出)时，例如，实现了灵活的图案识别，该卷积神经网络是所谓的卷积层和采样层的组合。此外，例如，输出层附近的层配置为适合于图案识别和最优值的计算的所谓的完全连接层(未具体示出)。
此外，当如本实施例的示例中那样在图像数据的图像中存在多个工业部件10时，可以在任何一层(例如，上述卷积神经网络和上述完全连接的层之间的层)中输入用于指定待进行识别处理的单个工业部件的索引i。例如，索引i是当从图像的左上沿预定方向扫描时位于第i个位置的单个部件的标识号，并且对于与输入索引i相对应的待识别的工业部件10，输出标识信息和布置区域。
包括在图像识别处理器11中的神经网络已经预先学习了各种姿态下的外部形状的图案与针对待识别的每种类型的工业部件10(在该示例中为部件A、B和C)将输出的类型的标识信息之间的对应关系。通过单独的学习计算机(另一信息设备；未具体示出)在图像识别处理器11的设计和开发阶段预先进行学习。具体地，学习计算机通过所谓的反向传播处理来进行学习，在反向传播处理中，调整每个边缘连接节点的权重因子，使得每次将相当数量的示教数据(组合待输入的图案数据、待输出的标识信息数据和待输出的布置区域数据的数据集合)重复地给予等效层结构处的神经网络模型时，建立输入层和输出层之间的关系。除了这种反向传播之外，还可以使用比如所谓的自动编码器、丢弃、噪声添加和稀疏正则化之类的各种学习方法来提高处理精度。然后，通过将通过学习获得的加权因子的组合阵列存储在图像识别处理器11中，可以提供已经学习了指示外部形状的图案与工业部件10的类型之间的对应关系的特征的神经网络。
作为特定实施例，图像识别处理器11中的上述神经网络可以实现为待由所谓的冯纽曼型设备进行的软件处理。例如，可以通过由具有专门处理行列式的内积运算(张量运算)的配置的冯纽曼型设备(相当于所谓GPU或TPU的集成电路)进行的软件处理来实现节点的输出和连接到节点的边缘的加权因子的积分运算、将积分结果彼此相加的加法运算以及输入相加结果的节点的激活函数运算。在这种情况下，使用主要使用数字数据(离散值数据)的顺序处理。
替代地，作为另一特定实施例，图像识别处理器11中的上述神经网络可以实现为所谓神经形态设备中的硬件。例如，边缘的加权因子可以存储为物理量，比如电阻值和电容，并且物理量的相加值可以输入另一节点从而实现所谓的感知器(神经网络的最小组成模型)，该相加值指示加权因子和作为电流或电压输出的节点输出的积分值，该另一节点将激活函数实现为硬件电路。在这种情况下，使用并行分布式处理，并行分布式处理使用数字数据(离散值数据)和模拟数据(连续值数据)中的任何一个或两者。
此外，通过将图像识别处理器11的集成电路配置为以下形式中的任何一种，便于使用迄今为止已经开发的集成电路的实现技术来实现图像识别处理器11：现场可编程门阵列(FPGA)、专用集成电路(ASIC)和数字信号处理器(DSP)。
此外，指示上述图4中说明的工业部件10的布置区域的包围框S可以通过对图像数据的处理而渲染在图像数据中。该渲染处理可以在图像识别处理器11中进行，或者可以在已经接收到包围框线S的两个相对点的坐标位置(xia、yia、xib和yib)的后续处理单元(未示出)中单独进行。此外，在由图像识别处理器11输出的每个布置区域中，存在于布置区域中的工业部件10的姿态可以例如通过机器人控制器3的另一处理单元(未示出)使用3D激光扫描器等(未具体示出)单独地检测为三维CAD模型(预先准备以对应于标识信息的类型的模型)。
在以上描述中，神经网络的网络连接配置和边缘的加权因子的组合阵列作为整体对应于所附权利要求中的图像数据处理算法。此外，当神经网络实现为上述冯纽曼型设备时，配置为存储神经网络的网络连接配置的存储区域和与边缘的加权因子的组合阵列相对应的行列式对应于存储单元，并且配置为进行行列式运算的计算单元对应于所附权利要求中的识别处理单元。此外，当神经网络实现为上述神经形态设备时，形成神经网络的整个硬件电路对应于所附权利要求的存储单元和识别处理单元。
<本实施例的效果>
如上所述，根据本实施例的图像识别处理器11在其集成电路上实现以下功能：存储已经基于先前学习确定的图像数据处理算法；获取包括预定图案的图像的图像数据；和基于图像数据处理算法对图像数据进行识别处理，以输出用于标识所识别的图案的标识信息。例如，当物体是食品时，可以生成专用于预制食品的图像识别处理器和专用于鱼片的图像识别处理器；当物体是工业品时，可以生成专用于螺钉的图像识别处理器和专用于连接杆的图像识别处理器；当物体是化妆品时，可以生成专用于唇膏的图像识别处理器和专用于香水瓶的图像识别处理器；当物体是药品时，可以生成专用于感冒药的图像识别处理器和专用于胃肠药的图像识别处理器；当物体是文具时，可以生成专用于剪刀的图像识别处理器。如上所述，在集成电路上仅专门实现了在操作地点(例如，特别是工厂)需要的图案识别和标识信息的输出的最小功能，结果可以在图像识别处理所需的整个设备配置中实现显著的小型化和轻量化、功耗的降低以及处理速度的提高。结果，可以提高图像识别处理的实际适用性。
此外，特别是在本实施例中，通过将所识别的图案的标识信息选择性地分类成预先准备的多种类型的图案并对结果的输出进行聚类来对所识别的图案的标识信息进行输出。结果，通过将待识别的图案的类型限制为与图像识别处理的应用(工业品、食品等)相对应的多种类型，可以简化集成电路的电路规模。此外，明确待输出的类型，以便于选择与每种类型相对应的待进行的后续控制(机器人控制器3的操作规划单元12中的选择性拣选控制)。在上述实施例中，已经采用了一种模式，其中准备了与待识别的图案的类型(A、B和C)的数量相同数量的输出节点，并且其中仅从输出节点中与所识别的图案的类型相对应的一个输出节点提供二进制输出(例如，正逻辑中的输出)，但是本发明不限于此。例如，可以采用在通过组合多个输出节点的二进制输出而获得的二进制表达式中提供输出的模式。
此外，特别是在本实施例中，图像识别处理器11检测并输出所识别的图案在图像数据的图像中的布置区域。结果，在已经采集图像数据的相机2的成像视野中，可以粗略地掌握对应于所识别的图案的工业部件10的布置位置，并且当基于所识别的图案的标识信息进行拣选或其他处理时可以使用该布置位置。
此外，特别是在本实施例中，布置区域的输出包括通过图像数据的处理(包围框线的渲染)在图像中输出。结果，当在显示器(未具体示出)或其他设备上显示图像数据的图像时，可以可视地显示对应于所识别的图案的工业部件10的布置位置。图像中的布置区域的渲染输出不限于上述包围框线S。例如，可以通过填充(填充与标识信息相对应的颜色)图像中的整个所识别的图案的像素来表现布置区域。
此外，特别是在本实施例中，通过已经学习了待识别的图案与标识信息之间的对应关系的神经网络(深度学习)来处理算法。结果，能够以低功耗高速且高精度地进行图案识别。作为应用于图像识别处理器11的机器学习，除了使用神经网络的深度学习之外，还可以应用通过数据挖掘的另一种机器学习方法，例如，支持向量机。
此外，特别是在本实施例中，神经网络实现为由冯纽曼型设备(顺序处理设备)进行的软件处理，这使得能够实现高度兼容于在与安装环境(比如电源)有关的图像识别处理器11的后续控制中使用的另一冯纽曼型设备(例如，所谓的CPU)。
此外，特别是在本实施例中，神经网络实现为神经形态设备(并行分布式处理设备)中的硬件，实现了功耗的进一步降低、重量的精简和减小以及处理速度的增加。
此外，特别是在本实施例中，集成电路配置为以下形式中的任何一种，便于使用迄今为止已经开发的集成电路的实现技术来实现图像识别处理器11：现场可编程门阵列(FPGA)、专用集成电路(ASIC)和数字信号处理器(DSP)。
假设根据本实施例的图像识别处理器11实现已经学习了待识别的各种图案和用于各种图案的识别算法的神经网络，但是本发明不限于此。另外，当以FPGA的形式实现图像识别处理器11的集成电路时，可以将算法实现为可重写的。结果，当由神经网络处理算法时，例如，可以在用户侧重写整个神经网络的连接结构的设计以及权重因子的学习和设置，因此提高了图像数据识别处理的通用性。此外，便于通过重写更新到实现学习上更先进的神经网络的新算法。
此外，特别是在本实施例中，通过使用另一信息设备(学习计算机)预先进行的学习来确定算法。结果，用于确定算法的学习所需的硬件资源可以由与机器人控制器3分离的信息设备形成，因此可以显著地简化图像识别处理器11和安装有图像识别处理器11的机器人控制器3或其他应用设备的配置规模。
此外，特别是在本实施方式中，机器人控制设备3与由图像识别处理设备11识别出的图案对应地对工业部件10进行规定的拣选控制。结果，图像识别处理器11可以被简单地合并为图像识别接口，并且可以实现与输出图案的标识信息相对应的各种后续控制的执行。
此外，特别是在本实施例中，机器人控制器3包括可移除更换的图像识别处理器11。结果，可以共享机器人控制器3的主体，使得除了上述实施例的示例中的工业部件10之外，还可以更换专门用于对待识别的物体(例如食品)进行分类的图像识别处理器11，以提高机器人控制器3的通用性。此外，便于通过由实现学习上更先进的神经网络的新图像识别处理器11来更换来进行更新。
<修改示例>
注意，上述实施例不限于上述实施例，并且在不脱离其主旨和技术概念的范围内可以进行各种修改。
<修改示例1：相机和图像识别处理器安装在臂远端部分上的情况>
例如，在上述实施例中，已经通过将相机2固定的固定点成像来获取图像数据，但是本发明不限于此。例如，如图6所示，相机2可以固定在六轴机器人5A的臂远端部分5a上，并且可以从各种视线对形成目标结构21的详细部件的形状进行成像，以对结构21进行组装检查。
在这种情况下，图像识别处理器11从图像数据中识别待检查的详细部件的图案，并输出标识信息和布置区域，检查设备7基于标识信息和布置区域确定检查结果。此外，检查设备7输出详细部件的坐标信息，基于该坐标信息，机器人控制器3A可以掌握结构21的姿态和布置。结果，即使当结构体21以不确定的姿态和位置布置时，机器人控制器3A也可以在六轴机器人5A中设置的操作坐标中掌握结构体21的姿态和位置。
在这样的检查系统1A(工业设备)中，当传输相机2的图像数据所需的长而厚的电缆沿着六轴机器人5A的机械臂布线时，电缆的重量倾向于不利地影响臂操作控制，并且电缆倾向于与外部干涉而阻碍机械臂的操作控制。然而，如图6所示，当图像识别处理器11也安装在臂远端部5a上并且靠近相机2，并且用于从图像识别处理器传输关于标识信息和布置区域的信息的信号线布线在机械臂的内部时，可以获得这样的优点，即，整个机械臂的重量减轻，并且可以避免与外部的干涉。在这种情况下，图像识别处理器11的重量轻并且在集成电路上实现的配置还提供了对机械臂的操作控制没有显著影响的优点。
<修改示例2：利用由多个相机采集的多个图像数据集合进行图案识别的情况>
在图7所示的示例中，使用所谓的三维相机43从不同的成像方向对一个食品50(在所示示例中，炸鸡)成像，该三维相机43由具有重叠成像区域的两个相机41和42形成。结果，如图8的左侧所示，可以针对一个食品50获取彼此具有视差的两个图像数据集合(每个集合是二维像素阵列)。
在图8所示的示例中，图像识别处理器11的神经网络设计为使得将上述两个图像数据集合单独地输入到其中，并且基于两个食品数据集合来识别食品50的形状图案。通过以这种方式使用三维图像数据，特别是对于具有不确定形状和尺寸的食品50，提高了立体形状的空间识别精度。可以使用三个或更多个相机，只要其成像区域重叠即可，并且可以在图像识别处理器11的神经网络中的各个卷积神经网络中处理每个图像数据集合之后，在相同的完全连接的层中进行图案识别。
<其他修改示例>
此外，虽然未具体示出，但是作为用于获取物体的图像数据的光学感测装置，可以使用激光扫描仪等来代替相机2(和三维传感器8)。在这种情况下，例如，利用由激光扫描仪投影的扫描线来测量到物体表面上的每个点的距离，并且获取图像数据作为距离数据的集合。
在以上描述中，当使用术语“垂直”、“平行”和“平面”时，这些术语不是严格意义上使用的。换句话说，术语“垂直”、“平行”和“平面”允许设计和制造公差和误差，并且表示“基本垂直”、“基本平行”和“基本平面”。
此外，在以上描述中，当外观尺寸、大小、形状、位置等被描述为“相同”、“等同”、“相等”和“不同”时，这些术语不是严格意义上使用的。换句话说，术语“相同”、“相等”和“不同”允许设计和制造公差和误差，并且表示“基本上相同”、“基本上等同”、“基本上相等”和“基本上不同”。
此外，除了以上描述之外，可以适当地组合使用修改示例中的上述实施例和方法。此外，尽管没有逐一地示出，但是在不脱离其精神的情况下，上述实施例和修改示例通过各种改变来实现。
附图标记表
1 拣选系统(工业设备)
1A 检查系统(工业设备)
2 相机
3 机器人控制器
4 伺服放大器
5 拣选机器人
6 容器
8 三维传感器
10 工业部件(物体、待控制的物体)
11 图像识别处理器(用于工业设备的图像识别处理器)
12 操作规划单元
13 逆运动学计算单元
16 距离识别单位
43 三维相机
50 食品
S 包围框线

Claims (13)

1.一种用于工业设备的图像识别处理器，所述图像识别处理器在其集成电路上实现以下功能：
存储已经基于先前学习确定的图像数据处理算法；
获取包括预定图案的图像的图像数据；和
基于所述图像数据处理算法对所述图像数据进行识别处理，以输出用于标识所识别的图案的标识信息。
2.根据权利要求1所述的用于工业设备的图像识别处理器，其中，所述标识信息的输出包括选择性地分类成预先准备的多种类型的图案，以输出其结果。
3.根据权利要求1或2所述的用于工业设备的图像识别处理器，其中，所述图像识别处理器还配置为检测并输出所述图像中所识别的图案的布置区域。
4.根据权利要求3所述的用于工业设备的图像识别处理器，其中，所述布置区域的输出包括处理所述图像数据以在所述图像中输出。
5.根据权利要求1至4中任一项所述的用于工业设备的图像识别处理器，其中，所述图像数据处理算法由已经学习了待识别的预定图案与所述标识信息之间的对应关系的神经网络来处理。
6.根据权利要求5所述的用于工业设备的图像识别处理器，其中，所述神经网络实现为要由冯纽曼型设备进行的软件处理。
7.根据权利要求5所述的用于工业设备的图像识别处理器，其中，所述神经网络由神经形态型设备实现为硬件。
8.根据权利要求5至7中任一项所述的用于工业设备的图像识别处理器，其中，所述集成电路配置为以下形式中的任一种：现场可编程门阵列(FPGA)、专用集成电路(ASIC)和数字信号处理器(DSP)。
9.根据权利要求8所述的用于工业设备的图像识别处理器，
其中，所述集成电路配置为FPGA的形式，并且
其中，所述图像数据处理算法实现为可重写的。
10.根据权利要求1至9中任一项所述的用于工业设备的图像识别处理器，其中，通过使用另一信息设备预先进行的学习来确定所述图像数据处理算法。
11.一种用于工业设备的图像识别处理器，所述图像识别处理器包括：
存储单元，其配置为存储图像数据识别处理算法，所述图像数据识别处理算法通过对包括具有预定属性的物体的外观图案的图像数据进行识别处理并学习所述图像数据而生成；和
识别处理单元，其配置为使用所述图像数据识别处理算法来对包括在所述图像数据的图像中的所述外观图案进行识别处理。
12.一种控制器，其配置为对待控制的物体进行预定的后续控制，所述待控制的物体对应于在根据权利要求1至11中任一项所述的用于工业设备的图像识别处理器中识别的图案。
13.根据权利要求12所述的控制器，包括用于可移除更换的工业设备的图像识别处理器。
CN201780078312.6A 2016-12-19 2017-10-12 工业设备图像识别处理器及控制器 Active CN110088797B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016245763 2016-12-19
JP2016-245763 2016-12-19
PCT/JP2017/036974 WO2018116589A1 (ja) 2016-12-19 2017-10-12 産業機器用の画像認識プロセッサ及びコントローラ

Publications (2)

Publication Number Publication Date
CN110088797A true CN110088797A (zh) 2019-08-02
CN110088797B CN110088797B (zh) 2023-04-21

Family

ID=62626065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780078312.6A Active CN110088797B (zh) 2016-12-19 2017-10-12 工业设备图像识别处理器及控制器

Country Status (5)

Country Link
US (1) US11004191B2 (zh)
EP (1) EP3557521B1 (zh)
JP (1) JP7022076B2 (zh)
CN (1) CN110088797B (zh)
WO (1) WO2018116589A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112757284A (zh) * 2019-10-21 2021-05-07 佳能株式会社 机器人控制装置、方法和存储介质
CN113064373A (zh) * 2021-04-07 2021-07-02 四川中鼎智能技术有限公司 基于视频图像识别的工业水电设备逻辑信号控制方法、系统、终端及存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP6453922B2 (ja) * 2017-02-06 2019-01-16 ファナック株式会社 ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法
JP6680750B2 (ja) * 2017-11-22 2020-04-15 ファナック株式会社 制御装置及び機械学習装置
JP7191569B2 (ja) * 2018-07-26 2022-12-19 Ntn株式会社 把持装置
EP4339890A3 (en) * 2018-09-19 2024-06-19 Artec Europe S.à r.l. Three-dimensional scanner with data collection feedback
US10481379B1 (en) * 2018-10-19 2019-11-19 Nanotronics Imaging, Inc. Method and system for automatically mapping fluid objects on a substrate
JP7205752B2 (ja) * 2018-11-09 2023-01-17 オムロン株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
JP6656627B1 (ja) * 2019-02-13 2020-03-04 日本金銭機械株式会社 紙幣取扱いシステム
JP7275759B2 (ja) * 2019-03-28 2023-05-18 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
WO2021010298A1 (ja) * 2019-07-12 2021-01-21 株式会社Ｒｏｍｓ 物品管理システム、物流システム、サーバ機器、及び物品管理方法
EP4023398A4 (en) * 2019-08-26 2023-09-13 Kawasaki Jukogyo Kabushiki Kaisha INFORMATION PROCESSING DEVICE, CONFIGURATION DEVICE, IMAGE RECOGNITION SYSTEM, ROBOT SYSTEM, CONFIGURATION METHOD, LEARNING DEVICE, AND LEARNED MODEL GENERATION METHOD
CN113524172B (zh) * 2021-05-27 2023-04-18 中国科学院深圳先进技术研究院 机器人及其物品抓取方法、计算机可读存储介质
CN113379905A (zh) * 2021-07-16 2021-09-10 秦皇岛信能能源设备有限公司 一种轮毂产线用3d视觉智能识别及控制系统
CN117593554A (zh) * 2023-12-28 2024-02-23 上海凯士比泵有限公司 用于预测转动设备的轴心轨迹的方法、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475768A (en) * 1993-04-29 1995-12-12 Canon Inc. High accuracy optical character recognition using neural networks with centroid dithering
EP1110168A1 (en) * 1999-07-07 2001-06-27 Renishaw plc Neural networks
JP2005267407A (ja) * 2004-03-19 2005-09-29 Canon Inc パターン識別方法及びパターン識別装置
US7016885B1 (en) * 2001-08-28 2006-03-21 University Of Central Florida Research Foundation, Inc. Self-designing intelligent signal processing system capable of evolutional learning for classification/recognition of one and multidimensional signals
CN105938558A (zh) * 2015-03-06 2016-09-14 松下知识产权经营株式会社 学习方法
US20160300125A1 (en) * 2015-04-10 2016-10-13 Cognex Corporation Systems and methods for classification and alignment of highly similar or self-similar patterns
US20160321540A1 (en) * 2015-04-28 2016-11-03 Qualcomm Incorporated Filter specificity as training criterion for neural networks

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4988408B2 (ja) 2007-04-09 2012-08-01 株式会社デンソー 画像認識装置
JP5121506B2 (ja) * 2008-02-29 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US7857114B2 (en) * 2008-07-07 2010-12-28 Glory, Ltd. Banknote discrimination apparatus and banknote discrimination method
JP2011235386A (ja) 2010-05-10 2011-11-24 National Institute Of Advanced Industrial Science & Technology ロボットアームのためのハンドカメラ装置
JP5806606B2 (ja) 2011-12-01 2015-11-10 キヤノン株式会社 情報処理装置、情報処理方法
JP2014093023A (ja) * 2012-11-06 2014-05-19 Canon Inc 物体検出装置、物体検出方法及びプログラム
JP6425405B2 (ja) 2014-04-16 2018-11-21 キヤノン株式会社 情報処理装置、方法、プログラム
JP2016203293A (ja) * 2015-04-21 2016-12-08 株式会社豊田自動織機 ピッキング装置およびピッキング方法
US9767386B2 (en) * 2015-06-23 2017-09-19 Adobe Systems Incorporated Training a classifier algorithm used for automatically generating tags to be applied to images
US9792531B2 (en) * 2015-09-16 2017-10-17 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475768A (en) * 1993-04-29 1995-12-12 Canon Inc. High accuracy optical character recognition using neural networks with centroid dithering
EP1110168A1 (en) * 1999-07-07 2001-06-27 Renishaw plc Neural networks
US7016885B1 (en) * 2001-08-28 2006-03-21 University Of Central Florida Research Foundation, Inc. Self-designing intelligent signal processing system capable of evolutional learning for classification/recognition of one and multidimensional signals
JP2005267407A (ja) * 2004-03-19 2005-09-29 Canon Inc パターン識別方法及びパターン識別装置
CN105938558A (zh) * 2015-03-06 2016-09-14 松下知识产权经营株式会社 学习方法
US20160300125A1 (en) * 2015-04-10 2016-10-13 Cognex Corporation Systems and methods for classification and alignment of highly similar or self-similar patterns
US20160321540A1 (en) * 2015-04-28 2016-11-03 Qualcomm Incorporated Filter specificity as training criterion for neural networks

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112757284A (zh) * 2019-10-21 2021-05-07 佳能株式会社 机器人控制装置、方法和存储介质
TWI802820B (zh) * 2019-10-21 2023-05-21 日商佳能股份有限公司 機器人控制裝置、方法和儲存媒體
CN112757284B (zh) * 2019-10-21 2024-03-22 佳能株式会社 机器人控制装置、方法和存储介质
CN113064373A (zh) * 2021-04-07 2021-07-02 四川中鼎智能技术有限公司 基于视频图像识别的工业水电设备逻辑信号控制方法、系统、终端及存储介质
CN113064373B (zh) * 2021-04-07 2022-04-15 四川中鼎智能技术有限公司 基于视频图像识别的工业水电设备逻辑信号控制方法、系统、终端及存储介质

Also Published As

Publication number Publication date
US11004191B2 (en) 2021-05-11
JP7022076B2 (ja) 2022-02-17
JPWO2018116589A1 (ja) 2019-06-24
CN110088797B (zh) 2023-04-21
US20190295244A1 (en) 2019-09-26
EP3557521A4 (en) 2020-08-05
EP3557521A1 (en) 2019-10-23
WO2018116589A1 (ja) 2018-06-28
EP3557521B1 (en) 2024-09-25

Similar Documents

Publication Publication Date Title
CN110088797A (zh) 工业设备图像识别处理器及控制器
US10755437B2 (en) Information processing device, image recognition method and non-transitory computer readable medium
KR102625214B1 (ko) 상자들의 검출
JP6879464B2 (ja) 干渉判定方法、干渉判定システム及びコンピュータプログラム
JP5897624B2 (ja) ワークの取出工程をシミュレーションするロボットシミュレーション装置
JP5743499B2 (ja) 画像生成装置、画像生成方法、およびプログラム
Rolley-Parnell et al. Bi-manual articulated robot teleoperation using an external RGB-D range sensor
Khalil et al. Dexterous robotic manipulation of deformable objects with multi-sensory feedback-a review
CN107756422A (zh) 拾取系统
US20210023718A1 (en) Three-dimensional data generation device and robot control system
JP2021003801A (ja) ロボットシステムの制御方法及び制御装置
WO2020231319A1 (en) Robot cell setup system and process
CN113711275A (zh) 在机器学习中为图像中的对象标注创建训练数据可变性
JP5544464B2 (ja) 対象物の３次元位置・姿勢認識装置及びその方法
Zeller et al. Motion planning of a pneumatic robot using a neural network
CN113601501B (zh) 机器人柔性作业方法、装置及机器人
CN117769724A (zh) 使用深度学习的对象检测和分类的合成数据集创建
Roa-Garzón et al. Vision-based solutions for robotic manipulation and navigation applied to object picking and distribution
Wang et al. A visual servoing system for interactive human-robot object transfer
CN116160450A (zh) 用于机器人物体放置的系统和方法
Fröhlig et al. Three-dimensional pose estimation of deformable linear object tips based on a low-cost, two-dimensional sensor setup and AI-based evaluation
Brandão Intelligent 3D Vision System for Robotic System integration
Weisenböhler et al. Automated item picking-machine learning approach to recognize sports and fashion articles
Gorges et al. Haptic object exploration using attention cubes
Wang et al. Deep Dynamic Layout Optimization of Photogrammetry Camera Position Based on Digital Twin

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant