CN104915947A - 图像处理装置、系统、图像处理方法及图像处理程序 - Google Patents

图像处理装置、系统、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN104915947A
CN104915947A CN201510076062.5A CN201510076062A CN104915947A CN 104915947 A CN104915947 A CN 104915947A CN 201510076062 A CN201510076062 A CN 201510076062A CN 104915947 A CN104915947 A CN 104915947A
Authority
CN
China
Prior art keywords
image processing
corresponding relation
model information
input picture
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510076062.5A
Other languages
English (en)
Inventor
凑善久
加藤豊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104915947A publication Critical patent/CN104915947A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)

Abstract

期望有对可能变形为与作为模型信息登记的形状不同的形状的检测对象也能够适当地决定应施加操作的位置的方法，为此本发明提供图像处理装置、系统、图像处理方法及图像处理程序。该图像处理装置具有：存储单元，其保持模型信息，该模型信息包括表示检测对象的多个特征点的信息，对应关系决定单元，其提取作为二维图像或三维图像的输入图像中所包含的多个特征点，并且决定所提取的多个特征点与模型信息中的多个特征点之间的对应关系，位置推定单元，其基于对应关系，推定与对检测对象设定的一个或多个第一位置相对应的输入图像中的一个或多个第二位置。在此，一个或多个第一位置包含于点、线或区域中。

Description

图像处理装置、系统、图像处理方法及图像处理程序
技术领域
本发明涉及一种对形状可变的物体也能够进行位置识别的图像处理装置、图像处理方法、图像处理程序及具有该图像处理装置的系统。
背景技术
在FA(Factory Automation，工厂自动化)领域中，对工件等检测对象进行拍摄，并执行对其大小及位置等进行测量的处理、搜索与预先登记的模型图像一致的位置或区域的处理等。
例如，日本特开2013-156094号公报(专利文献1)公开了如下技术，即：即使是在检查对象存在个体差异的情况或检查对象的位置、方向不一定的情况下，也能够适应地自动设定检查区域，并进行高精度的检查的技术。
专利文献1：日本特开2013-156094号公报
作为如上述的图像处理的应用，拍摄检测对象以确定其存在的位置或区域，并且对以确定的位置或区域为基准任意设定的位置或区域，施加某种操作(例如，工件的握持、对工件的各种加工)。在如这样的应用中，预先登记检测对象的特征量及应该对该检测对象进行操作的位置或区域的信息作为模型信息。
但是，在有些情况下，也会将可能产生与作为模型信息登记的形状不同的形状的物体作为检测对象。例如，假设有如下的工件，即：形状取决于前工序的温度、湿度等环境条件而决定的工件或由柔性的材质构成，受外力(例如，重力)的影响形状很容易地变化的工件。
发明内容
期望提出对可能变形为与作为模型信息登记的形状不同的形状的检测对象也能够恰当决定应施加操作的位置的方法。
本发明的一个技术方案的图像处理装置具有：存储单元，其保持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，对应关系决定 单元，其提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的对应关系，位置推定单元，其基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；所述一个或多个第一位置包含于点、线或区域中。
优选地，所述对应关系决定单元对所述模型信息中的各特征点与从所述输入图像上提取的各特征点分别建立一一对应的对应关系，并且决定表示如下的二个集合之间的所述对应关系的函数，这二个集合是指，分别由相互建立了对应关系的所述模型信息中的多个特征点和从所述输入图像上提取的多个特征点组成的二个集合。
本发明的另一个技术方案的系统具有：图像处理装置，根据来自所述图像处理装置的输出进行动作的机器人；所述图像处理装置具有：存储单元，其保持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，对应关系决定单元，其提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的对应关系，位置推定单元，其基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；所述一个或多个第一位置包含于点、线或区域中。
本发明的又一个技术方案的图像处理方法包括：取得模型信息的步骤，取得持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，决定对应关系的步骤，提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的对应关系，推定第二位置的步骤，基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；所述一个或多个第一位置包含于点、线或区域中。
本发明的再一个技术方案提供一种利用计算机执行的图像处理程序。所述图像处理程序使所述计算机执行以下步骤：取得模型信息的步骤，取得持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，决定对应关系的步骤，提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的 对应关系，推定第二位置的步骤，基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；所述一个或多个第一位置包含于点、线或区域中。
若根据本发明，对可能变形为与作为模型信息登记的形状不同的形状的检测对象，也能够适当地决定应该施加操作的位置。
附图说明
图1为示出具有本实施方式的图像处理装置的系统的结构的示意图。
图2的(a)部分和(b)部分为用于说明本发明的现有技术及其课题的图。
图3的(a)部分和(b)部分为示出本实施方式的图像处理装置所处理的模型图像及输入图像的一个例子的图。
图4为示出对图3所示的模型图像及输入图像决定的对应关系的一个例子的图。
图5为示出显示特征点的显示例的图，该特征点用来决定表示本实施方式的图像处理装置所提供的对应关系的函数。
图6为示出本实施方式的图像处理装置的硬件结构的示意图。
图7为示出本实施方式的图像处理装置的功能结构的示意图。
图8为示出本实施方式的图像处理装置所执行的处理顺序的流程图。
图9为用于说明本实施方式的图像处理装置的检测点的推定处理的变形例的图。
图10为示出本实施方式的显示图像处理装置的检测点的推定处理结果的画面例的图。
其中，附图标记说明如下：
1系统，8摄像部，10传送带，100图像处理装置，102显示部，104内部总线，106存储卡，110处理器，112主存储器，114硬盘，116图像处理程序，120摄像头接口，122机器人接口，124网络接口，126存储卡接口，150特征量提取模块，152模型信息生成模块，154对应关系决定模块，156检测点推定模块，158移动指令生成模块，160数据保存部，162模型信息，164检测点设定，200机器人控制器，300机器人，W工件。
具体实施方式
参照附图，详细说明本发明的实施方式。此外，对图中的同一或等同的部分，标记上同一附图标记，不再重复其说明。
＜A.系统的结构＞
本实施方式的图像处理装置虽然能够适用于各种应用，但是作为一个例子，对如下的应用进行说明，即：基于通过拍摄工件得到的信息来确定该工件存在的位置、线或区域，并且使机器人在以所确定的位置、线或区域为基准任意设定的位置、线或区域对工件施加某种操作的应用。也可以将工件存在的“线段”或“区域”及施加操作的“线段”或“区域”看作是多个位置的集合。以下，虽然为了便于说明，主要对确定或检测“位置”(即，一个坐标值)的处理进行说明，但是并不仅限于此，也能够确定或检测多个坐标值的集合“线段”或“区域”。即，关注的一个或多个位置包含于点、线或区域中。以如这样的点、线或区域为单位进行搜索处理。
在本说明书中，“输入图像”可以包含二维图像及三维图像。虽然为了便于说明，主要以二维图像为例子进行说明，但是很明显对于三维图像也能够应用同样的主要部分。即，通过根据输入图像的种类，适当地设定推定如后述的对应关系的方法，就能够使用同样的处理。换言之，虽然在二维图像中，通常情况下在平面上配置点，但是在三维图像中，通常情况下在曲面上配置点。此外，在对三维图像进行显示的情况下，也可以进行二维渲染处理。特别地，在应用于如后述的机器人的情况下，优选以三维图像作为输入图像。
图1为示出具有本实施方式的图像处理装置100的系统1的结构的示意图。参照图1，系统1主要具有：图像处理装置100、机器人控制器200及机器人300。系统1使用摄像部8拍摄传送带10上的局部区域，并且通过处理由摄像得到的该图像(以下也称为“输入图像”)，进而确定在传送带10上搬运的检测对象(以下也称为“工件W”)的位置，再基于所确定的位置的信息来在预先设定的位置握持工件W，并向传送带10外移动工件W。
更加具体地，图像处理装置100对来自摄像部8的输入图像执行如以下详述的图像处理，并将基于该图像处理的执行结果得到的位置信息(或，移动指令)输出给机器人控制器200。机器人控制器200通过按照来自图像处 理装置100的信息赋予驱动指令，来驱动机器人300。通常情况下，机器人300在每一个可动轴都具有伺服马达，机器人控制器200输出对每一个轴计算的相当于移动量的数量的脉冲的脉冲信号。
如后所述，预先登记有机器人300应握持工件W的工件W上的位置。更加具体地，在图像处理装置100中，除了作为握持对象的工件W的形状的信息以外，还要预先登记有应对工件W施加某种操作的位置。即使是在工件W变化为与作为模型信息登记的形状不同的形状的情况下，图像处理装置100也能够确定工件W上的应握持的位置。
如图1所示，除了握持工件W的系统以外，还能够应用于如进行对工件的操作、加工的系统。例如，若预先登记有与工件相关的切断位置、钻孔位置、研磨位置、印刷位置、涂饰位置等，则对于具有与所登记的形状不同的形状的工件，图像处理装置100也能够确定与该登记的位置相对应的位置，并进行处理。
＜B.现有技术及其问题＞
为了对本实施方式的图像处理装置及图像处理方法加深理解，对现有技术及其问题进行概略描述。
图2的(a)部分和(b)部分为用于说明本发明的现有技术及其课题的图。如图2的(a)部分所示，登记检测对象的图像作为模型图像，并且针对模型图像中所包含的检测对象设定检测点20。检测点20例如是作为机器人300的机械手的移动目的的检测对象上的点等。
在如这样的状态下，假设得到了如图2的(b)部分所示的输入图像。图2的(b)部分所示的输入图像中所包含的检测对象的形状与预先登记的模型图像中所包含的检测对象的形状不同，也可以说是处于变形的状态。
当使用通常的图案匹配的技术时，依次改变模型图像相对于输入图像的相对位置、相对角度及相对尺寸等，搜索一致度(或，相似度)最高的位置、角度及尺寸。按照如这样的搜索的结果决定的位置、角度及尺寸，使模型图像与输入图像重合(即，适用转换)，从而决定与模型图像的检测点20相对应的重合的模型图像(相当于图2的(b)部分的区域22)中的变换后的检测点24。
在如这样的方法中，由于不考虑检测对象变形，因而会根据区域22的 位置来决定出检测点24，所以如图2的(b)部分所示，在有些情况下无法正确地决定与当模型登记时想要的检测点相对应的位置。即，在图2的(b)部分所示的例子中，因来自检测对象的模型图像的变形，导致即使移动机器人300的机械手也只能得到检测对象不存在的结果。
作为除了图案匹配以外的其他的方法，还有如下的方法：并不登记模型图像本身，而是事先登记网格状的点群、边缘等控制点作为模型图像的特征量，并使用这些信息进行与输入图像的匹配。在如这样的方法中，由于以在作为模型登记的检测对象与实测的输入图像中所包含的检测对象之间没有实质性的形状的变化为前提，所以在有些情况下无法正确地把握预先登记的检测点与输入图像上的哪一个位置相对应。
如上述地，在现有技术的方法中，在有些情况下无法正确地确定对模型任意设定的检测点与输入图像的哪一个坐标值相对应，因此分不清检测对象的握持位置、应该移动机械手的位置。即，在现有技术的方法中，对其形状与模型登记时不同的检测对象来讲，难以稳定地推定检测点。
本实施方式的图像处理装置及图像处理方法的目的在于，对可能变形为与作为模型信息登记的形状不同的形状的检测对象也能够适当地决定应施加操作的位置。这样，对形状变形的检测对象也能够稳定地进行各种操作、加工等。
＜C.概要＞
本实施方式的图像处理装置100决定作为模型预先登记到的检测对象与作为拍摄对象包含在输入图像中的检测对象之间的对应关系，并利用该对应关系，通过插值法来推定与任意设定的检测点相对应的检测点。
图3的(a)部分和(b)部分为示出本实施方式的图像处理装置100处理的模型图像及输入图像的一个例子的图。图4为示出对图3所示的模型图像及输入图像决定的对应关系的一个例子的图。
首先，如图3的(a)部分所示，当模型登记时，由用户指定在各输入图像上想要确定的一个或多个检测点32(图中的“+”符号)。即，用户在拍摄得到的检测对象30上指定一个或多个想要知道位置的检测点。
在这样登记模型时，图像处理装置100从表示模型30的图像中提取特征量，并且决定并登记表示显著的特征量(在图3的(a)部分所示的例子 中，为边缘峰值点)的特征点作为控制点34。对各个控制点34，将表示位置的信息(即，坐标值)与对应的特征量(可以包含控制点的附近的一个或多个特征量)相关联地保存。一般登记多个控制点34。
此外，可以按照公知的算法自动地决定控制点34，也可以人为决定。进一步地，实施方式还可以是结合了两者的方法，即按照算法自动地决定控制点，并且由用户对这些自动决定的控制点进行人为调整。如后所述，由于只要得到与输入图像的对应关系就能够决定插值函数，所以针对为了决定该对应关系及插值函数而使用的控制点，能够使用任意的指定方法或计算方法。
这样，图像处理装置100从包括作为拍摄对象的检测对象30的模型图像上提取多个特征点。然后，图像处理装置100保持模型信息，该模型信息中包括表示作为检测对象30上的多个特征点的控制点34的信息。可以使用特征点本身的坐标值来指定控制点，也可以使用相对于某个特征点的相对位置来指定控制点。
接着，在由摄像部8拍摄得到如图3的(b)部分所示的输入图像时，图像处理装置100从输入图像上提取特征量，并中特征量中决定为与预先模型登记的控制点34分别对应的控制点44。即，图像处理装置100提取输入图像中包含的多个特征点，并且决定提取的多个特征点与模型信息中的多个特征点之间的对应关系。
最后，图像处理装置100基于从输入图像上提取的控制点44的全部或一部分信息，来推定想要知道位置的检测点42的位置。即，图像处理装置100基于所决定的对应关系，来推定与对检测对象30设定的检测点32(第一位置)相对应的输入图像上的检测点42(第二位置)。
此外，如上述地，不仅可以设定单一的检测点32，也可以设定多个检测点，由此可以以作为多个检测点的集合的线或区域等为单位推定对应关系。
如图3的(b)部分所示，可以将推定出的控制点44相关联地显示在输入图像上。即，图像处理装置100可以具有将推定出的一个或多个控制点44的位置重叠显示在输入图像上的功能。
通常情况下，如图4所示，图像处理装置100决定已预先进行模型登记的多个控制点34与从输入图像上提取的多个控制点44之间的对应关系。然后，图像处理装置100计算表示从多个控制点34向多个控制点44的映射的 插值函数。即，图像处理装置100对模型信息中的各特征点与从输入图像上提取的各特征点分别建立一一对应的对应关系，并且决定表示如下的二个集合之间的对应关系的插值函数，这二个集合是指，分别由相互建立了对应关系的模型信息中的多个特征点和从输入图像上提取的多个特征点构成的二个集合。
作为一个例子，图像处理装置100决定对模型图像上的任意的坐标值(x，y)与输入图像上的任意的坐标值(x’，y’)的关系进行定义的插值函数F(x，y)。能够利用薄板样条插值法等，作为这样的插值函数的决定方法。此时，可以使用对应点群的一部分，也可以使用全部点群。即，图像处理装置100可以使用建立有一一对应的对应关系的特征点的集合的全部或一部分来决定表示对应关系的函数。进一步地，也可以通过向用户的显示来使用户知道用于决定表示对应关系的函数的特征点。
图5示出本实施方式的图像处理装置提供的显示用于决定表示对应关系的函数的特征点的显示例的图。如图5所示，针对设定于模型30上的控制点34中，将从包含检测对象40的输入图像上能够发现的相对应的控制点44以不同的方式显示。通过这样的视觉上的表现，能够便于对用户进行说明。
可以使用在模型图像上的检测点32的坐标值本身来指定检测点32，也可以使用与检测点32相邻的一个或多个控制点34的相对位置及/或相对距离来指定检测点32。在前者的指定方法中，能够根据检测点32的坐标值和插值函数F(x，y)来决定输入图像上的检测点42。在后者的指定方法中，能够根据用于指定的控制点34和插值函数F(x，y)来决定输入图像上的控制点44，并进一步地根据这些控制点44来决定检测点42。即，图像处理装置100根据表示预先设定的检测点32(第一位置)的坐标值(X1，Y1)和表示对应关系的插值函数F(x，y)，来计算检测点42(第二位置)的坐标值(X1’，Y1’)。
此外，在以三维图像作为输入图像的情况下，根据表示预先设定的检测点32(第一位置)的坐标值(X1，Y1，Z1)和表示对应关系的插值函数F(x，y，z)，计算检测点42(第二位置)的坐标值(X1’，Y1’，Z1’)。
此外，在检测对象为源于自然的物体情况下，由于必然地产生某种程度的摇晃，所以在有些情况下无法对于所有的基于模型图像决定的控制点34 搜索对应的控制点44。与此相对地，在检测对象为人工物体的情况下，对于所有基于模型图像决定的控制点34，更容易发现对应的控制点44。
此外，也可以只使用搜索到的对应点来决定插值函数。这样，图像处理装置100计算控制点之间的对应关系即插值函数，再通过使用该插值函数来映射模型图像上的检测点32，进而推定出输入图像上的检测点42。
＜D.图像处理装置100的硬件结构＞
图6为示出本实施方式的图像处理装置100的硬件结构的示意图。参照图6，在通常情况下，图像处理装置100具有适应通用的计算机体系结构的结构，通过处理器执行预先安装的程序，来实现如后述的各种的图像处理。
更加具体地，图像处理装置100具有：显示部102、CPU(Central Processing Unit，中央处理器)或MPU(Micro-Processing Unit，微处理器)等处理器110、主存储器112、硬盘114、摄像头接口120、机器人接口122、网络接口124、存储卡接口126。这些各部分经由内部总线104连接为能够相互进行数据通信。
处理器110通过读出保存于硬盘114中的图像处理程序116，并将其展开到主存储器112中执行，由此实现本实施方式的图像处理。在显示部102显示通过执行图像处理得到的各种信息。另外，图像处理的执行结果的一部分或全部可以通过机器人接口122向机器人控制器200输出。
图像处理程序116例如以保存于存储卡106等的状态进行流通。在该情况下，通过存储卡接口126读出保存于存储卡106的图像处理程序116，并安装到硬盘114。或者，图像处理程序116也可以构成为通过网络接口124从外部服务器传送。
在利用具有适应通用的计算机体系结构的结构的图像处理装置100的情况下，可以安装用于提供计算机的基本功能的OS(Operating System，操作系统)。在该情况下，图像处理程序116也可以在作为OS的一部分而提供的程序模块中，在预定的顺序及/或时机调用必需的模块来执行处理。即，即使本实施方式的图像处理所必需的模块没有全部包含于图像处理程序116中也可，也可以为由OS提供一部分必需的模块的形态。进一步地，本实施方式的图像处理程序116也可以整合到其他程序的一部分来提供。
摄像头接口120接收通过利用摄像部8的拍摄得到的输入图像。摄像部 8在通常情况下构成为，除了透镜等光学系统以外，还具有称为CCD(Coupled Charged Device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器的摄像元件。此外，在以二维图像作为输入图像的情况下，虽然能够使用通常的图像传感器，但是在以三维图像作为输入图像的情况下，也能够使用立体摄像头、通常的图像传感器与距离传感器的组合等。
在图1中，除了图像处理装置100还另外设有摄像部8，虽然示出了提供来自摄像部8的当作图像处理对象的输入图像的结构例，但是并不限于该结构。例如，也可以一体地构成图像处理装置100和摄像部8，以使得对通过拍摄生成的输入图像直接地执行图像处理。或，还可以经由各种存储介质或通信介质，将当作图像处理对象的输入图像给予图像处理装置100。
也可以安装专用硬件电路，取代作为通过执行图像处理程序116而提供的功能的一部分或全部。
＜E.图像处理装置100的功能结构＞
图7为示出本实施方式的图像处理装置100的功能结构的示意图。图7所示的各模块在通常情况下通过处理器110执行图像处理程序116(任一个都如图6)而实现。
参照图7，图像处理装置100作为其功能结构具有：特征量提取模块150、模型信息生成模块152、对应关系决定模块154、检测点推定模块156、移动指令生成模块158。但是，移动指令生成模块158是可选择的，可根据需要设置。在硬盘114(图6)的至少一部分区域上设有数据保存部160。
特征量提取模块150接收模型图像或输入图像，并提取图像内所包含的特征量。即，特征量提取模块150从具有作为拍摄对象的检测对象的模型图像及输入图像中提取多个特征点。将对模型图像提取出的特征量的信息给予模型信息生成模块152，将对输入图像中提取的特征量的信息给予对应关系决定模块154。
模型信息生成模块152生成模型信息162，该模型信息162包含表示模型图像所包含的检测对象的多个特征点(控制点34)的信息。在通常情况下，模型信息对于各个控制点34包含表示其位置的信息(坐标值)和对应的特征量。模型信息162保存于数据保存部160。即，数据保存部160保存模型 信息162，该模型信息162包含表示检测对象的多个特征点(控制点34)的信息。
模型信息生成模块152虽然基本上从模型图像自动地提取控制点34，但是用户也可以手动地变更自动地提取出的控制点34，用户还可以在任意的位置上设定控制点34。例如，通过在检测对象的轮廓发生变化的点(拐点、角点、顶点等)等上设定控制点34，对应的控制点的搜索变得更加容易了。
在数据保存部160上也保存有表示用户任意设定的检测点的坐标值的检测点设定164。
对应关系决定模块154基于保存于数据保存部160的模型信息162，根据从输入图像中提取的特征量对输入图像的控制点44进行决定，进一步地，决定输入图像的控制点44与模型信息162的多个控制点34之间的对应关系。即，特征量提取模块150及对应关系决定模块154提取输入图像所包含的多个特征点(控制点44)，并且决定提取出的多个特征点与模型信息162的多个特征点之间的对应关系。
检测点推定模块156基于由对应关系决定模块154决定的对应关系，根据保存于数据保存部160的检测点设定164所包含的检测点20的坐标值，来推定输入图像的对应的检测点32的坐标值。即，检测点推定模块156基于对应关系，推定与相对于检测对象而设定的检测点32(第一位置)相对应的在输入图像上的检测点42(第二位置)。该推定出的检测点32的坐标值作为位置信息给予机器人300。
移动指令生成模块158根据由检测点推定模块156推定出的检测点32的坐标值，生成应该向外部装置机器人300输出的移动指令。在通常情况下，检测点推定模块156分别推定与相对于检测对象而设定的多个检测点32(第一位置)相对应的多个检测点42(第二位置)。移动指令生成模块158根据多个检测点42生成指令。例如，能够在模型图像上设定加工的开始点及结束点，推定与这些开始点及结束点分别对应的输入图像上的点，并且决定连结推定出的开始点及结束点的轨迹。
＜F.利用图像处理装置100的处理顺序＞
图8为示出利用本实施方式的图像处理装置100执行的处理顺序的流程图。在通常情况下，图8所示的各步骤通过处理器110执行图像处理程序116 (任一个都为图6)来实现。
图8所示的处理顺序包括：用于登记来自模型图像的模型信息的模型登记处理、用于推定输入图像的对应的检测点的推定处理。虽然基本上在模型登记处理的执行后，执行推定处理，但是与该顺序无关。也可以在1次模型登记处理中事先登记模型信息，共同地使用该登记的模型信息，并对多个输入图像分别进行推定处理。
参照图8，在模型登记处理中，处理器110接收模型图像(步骤S10)。更加具体地，在用户将应该作为模型的检测对象配置于摄像部8的视野内的状态下，通过给予摄像部8指令，摄像部8取得拍摄检测对象而得到的模型图像。
接下来，处理器110接收用户对模型图像中的检测对象设定的检测点20(步骤S12)。更加具体地，在显示部102等上显示模型图像，并且用户通过用鼠标等操作在模型图像上概览显示的指示器(例如，为图4所示的“+”符号)的位置，从而设定检测点20。
接下来，处理器110从模型图像提取多个特征点(步骤S14)，基于提取出的多个特征点，来决定控制点34(步骤S16)。最后，处理器110保存包含表示从模型图像提取出的对象物的多个特征点(控制点34)的信息的模型信息(步骤S18)。以上，模型登记处理结束。
另一方面，在推定处理中，处理器110接收输入图像(步骤S20)。更加具体地，当检测对象到达摄像部8的视野内时就给予摄像部8指令，通过摄像部8拍摄检测对象来取得输入图像。
接下来，处理器110从输入图像提取多个特征点(步骤S22)，基于提取出的多个特征点，搜索与模型信息所包含的控制点34分别对应的控制点44(步骤S24)，从而决定从输入图像中提取的控制点34与模型信息所包含的控制点34之间的对应关系(步骤S26)。然后，处理器110基于在步骤S26中决定的对应关系，推定在模型登记处理中，与相对于检测对象而设定的检测点32相对应的，在输入图像中的对应的检测点42(步骤S28)。进一步地，处理器110通过使用在步骤S28中推计算的一个或多个检测点42的坐标值，向机器人控制器200输出位置信息(或移动指令)，从而控制机器人300(步骤S30)。以上，推定处理结束。
＜G.检测点的推定处理的变形例＞
对于上述的检测点的推定处理，还能够安装如以下的变形例。
例如，如上述的对应关系，即当计算表示从模型图像上的多个控制点34向输入图像上的多个控制点44的映射的插值函数时，可以使用全部的多个控制点34，也可以仅使用在预先设定的检测点的附近的若干个控制点44。
图9为用于说明利用本实施方式的图像处理装置100的检测点的推定处理的变形例的图。参照图9，例如，在想要沿着将检测对象在长边方向上二等分的线进行切断、涂敷的情况下，在提取出的控制点44中，通过连结相邻的控制点44之间作出桁架状的三角形，通过连结各三角形的内部的边的二等分点，从而推计算对应的多个检测点(检测区域)46。在作出该桁架状的三角形的处理中，能够利用德劳内三角剖分等方法。
另外，在输入图像中的对应的检测点的推定中仅使用附近的控制点44的情况下，优选将其表现在视觉上，便于对用户进行说明。
图10为示出表示利用本实施方式的图像处理装置100的检测点的推定处理结果的画面例的图。参照图10，例如，在输入图像中的检测点42的推定上，仅使用其附近的控制点44的情况下，也可以将用于其检测点42的推定的控制点44以与除其以外的控制点44不同的方式来进行显示。即，在检测点42的推定上使用附近的若干个控制点44的情况下，优选明确地用颜色划分这些附近的控制点44，并使得能够一目了然地把握用于插值的控制点44。
＜H.机器人控制器200及其与机器人300的接口＞
如上述地，使用来自本实施方式的图像处理装置100的检测点42的推定结果，能够进行例如，工件的握持、对工件的各种的加工(切断、钻孔、研磨、印刷、涂饰等)。在握持的情况下，虽然只要输出输入图像上的一个检测点的坐标值即可，但是在进行各种加工的情况下，需要输出依次计算多个检测点的坐标值，并使用这些计算结果来表示机器人300的轨迹的指令。
例如，对于涂敷、切断等加工，需要推定称为切断的开始点及结束点的多个检测点，在如这样的情况下也能够用与上述的同样的方法来决定。此时，也可以通过将控制点配置得更加密集，来实现操作对象的曲线。另外，还可以通过对多个离散的检测点进行插值，来决定机器人300的连续的轨迹。
在进行对工件的各种加工的轨迹相对较长的情况下，若想要对于全部的轨迹都推定对应的检测点，则处理量会相对地变多。因此，对于各个在输入图像上的想要知道位置的多个检测点，预先登记在模型图像上的附近的若干个控制点及与这些控制点的相对位置，在输入图像的形状与模型图像相比较发生变形的情况下，通过对各检测点适用以对应的若干个控制点作为基准的预先登记的相对位置，依次计算输入图像上的检测点。通过采用如这样的方法，能够降低计算的运算量。
也可以将从图像处理装置100推定出的插值函数本身输出至机器人控制器200。在该情况下，机器人控制器200使用给予的插值函数修正了预先设定的轨迹之后，再依次计算对检测对象施加操作的轨迹。
或，还可以将图像处理装置100搜索到的输入图像上的各个控制点44的坐标值输出至机器人控制器200。在该情况下，机器人控制器200根据给予的各个控制点44的坐标值，来计算轨迹并驱动机器人300。
此外，对于从图像处理装置100向机器人控制器200输出的位置信息(或移动指令)的内容、分类，也可以根据机器人的规格、处理内容而适当地使其不同。进一步地，在系统1能够选择性地对检测对象执行各种加工的情况下，还可以对用户提供用户界面画面，以接收在预先准备的多种加工中执行哪一种加工的选择。
＜I.结论＞
若根据本实施方式的图像处理装置100，则即使是在具有与作为模型信息而登记的检测对象的形状不同的形状的检测对象存在于输入图像中的情况下，也能够更加正确地推定相对于该检测对象任意设定的任意检测点的对应的位置。通过这样，即使是对于因某种因素而导致形状发生变化的检测对象，通过对机器人300等给予适当的指令，也能够在目标位置上施加目标操作。
在上述的说明中，虽然主要是对具有柔软性的检测对象变形的情况进行了说明，但是也能够应用于例如，基于通过摄像部的移动而产生的投影转换的变形。即，除了检测对象的自由变形以外，也能够对应于尽管在检测对象的形状上没有变形，但是在摄像部与检测对象之间的相对位置关系上产生了变化的情况，例如，也能够对应于在摄像部的视点发生了变化的情况下、检 测对象旋转的情况下产生的约束变形。
本次披露的实施方式为在所有方面的例示，应该理解为不是限制性的。本发明的范围不是由上述的说明表示，而是由权利要求的范围来表示的，想要包含与权利要求的范围等同的意思及范围内的全部的变更。

Claims (11)

1.一种图像处理装置，其特征在于，
具有：
存储单元，其保持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，
对应关系决定单元，其提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的对应关系，
位置推定单元，其基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；
所述一个或多个第一位置包含于点、线或区域中。
2.如权利要求1所述的图像处理装置，其特征在于，
还具有提取单元，该提取单元从包含作为拍摄对象的所述检测对象的模型图像上提取多个特征点。
3.如权利要求1或2所述的图像处理装置，其特征在于，
所述对应关系决定单元对所述模型信息中的各特征点与从所述输入图像上提取的各特征点分别建立一一对应的对应关系，并且决定表示如下的二个集合之间的所述对应关系的函数，这二个集合是指，分别由相互建立了对应关系的所述模型信息中的多个特征点和从所述输入图像上提取的多个特征点组成的二个集合。
4.如权利要求3所述的图像处理装置，其特征在于，
所述对应关系决定单元使用建立有一一对应的对应关系的特征点的集合的全部或一部分，来决定表示所述对应关系的函数。
5.如权利要求4所述的图像处理装置，其特征在于，
所述位置推定单元根据表示预先设定的第一位置的坐标值与表示所述对应关系的函数，计算所述第二位置的坐标值。
6.如权利要求1～5中的任一项所述的图像处理装置，其特征在于，
还具有显示单元，所述显示单元，将所推定出的所述一个或多个第二位置重叠显示在所述输入图像上。
7.如权利要求1～6中的任一项所述的图像处理装置，其特征在于，
所述位置推定单元分别推定与对所述检测对象设定的多个所述第一位置相对应的多个第二位置；
所述图像处理装置还具有指令生成单元，该指令生成单元根据所述多个第二位置来生成对外部装置的指令。
8.一种系统，其特征在于，
具有：
图像处理装置，
根据来自所述图像处理装置的输出进行动作的机器人；
所述图像处理装置具有：
存储单元，其保持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，
对应关系决定单元，其提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的对应关系，
位置推定单元，其基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；
所述一个或多个第一位置包含于点、线或区域中。
9.如权利要求8所述的系统，其特征在于，
所述位置推定单元分别推定与对所述检测对象设定的多个所述第一位置相对应的多个第二位置；
所述指令生成单元根据所述多个第二位置来生成所述指令。
10.一种图像处理方法，其特征在于，
包括：
取得模型信息的步骤，取得持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，
决定对应关系的步骤，提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的对应关系，
推定第二位置的步骤，基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；
所述一个或多个第一位置包含于点、线或区域中。
11.一种利用计算机执行的图像处理程序，其特征在于，
所述图像处理程序使所述计算机执行以下步骤：
取得模型信息的步骤，取得持模型信息，该模型信息中包括表示检测对象上的多个特征点的信息，
决定对应关系的步骤，提取作为二维图像或三维图像的输入图像上所包含的多个特征点，并且决定所提取的多个特征点与所述模型信息中的多个特征点之间的对应关系，
推定第二位置的步骤，基于所述对应关系，推定与对所述检测对象设定的一个或多个第一位置相对应的所述输入图像上的一个或多个第二位置；
所述一个或多个第一位置包含于点、线或区域中。
CN201510076062.5A 2014-03-13 2015-02-12 图像处理装置、系统、图像处理方法及图像处理程序 Pending CN104915947A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-050256 2014-03-13
JP2014050256A JP6331517B2 (ja) 2014-03-13 2014-03-13 画像処理装置、システム、画像処理方法、および画像処理プログラム

Publications (1)

Publication Number Publication Date
CN104915947A true CN104915947A (zh) 2015-09-16

Family

ID=52596336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510076062.5A Pending CN104915947A (zh) 2014-03-13 2015-02-12 图像处理装置、系统、图像处理方法及图像处理程序

Country Status (4)

Country Link
US (1) US9607244B2 (zh)
EP (1) EP2919155A1 (zh)
JP (1) JP6331517B2 (zh)
CN (1) CN104915947A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303557A (zh) * 2015-09-21 2016-02-03 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法
CN108144865A (zh) * 2017-12-31 2018-06-12 芜湖哈特机器人产业技术研究院有限公司 汽车油管粗检系统及其检测方法
CN108278126A (zh) * 2018-04-03 2018-07-13 长沙矿山研究院有限责任公司 一种智能型溜井放矿系统
CN108573471A (zh) * 2017-03-13 2018-09-25 欧姆龙株式会社 图像处理装置、图像处理方法以及记录介质
CN110047104A (zh) * 2017-12-26 2019-07-23 精工爱普生株式会社 对象检测和跟踪方法、头戴式显示装置和存储介质
CN110702705A (zh) * 2019-11-20 2020-01-17 大连交通大学 一种基于原子分辨电镜的负载金属催化剂分散度测算方法
CN111133474A (zh) * 2017-09-29 2020-05-08 日本电气方案创新株式会社 图像处理设备、图像处理方法和计算机可读记录介质
CN113763335A (zh) * 2017-02-13 2021-12-07 株式会社高迎科技 检查在印刷电路板贴装的部件的装置、其运转方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551048A (zh) * 2015-12-21 2016-05-04 华南理工大学 一种基于空间面片的三维角点检测方法
CN106228589A (zh) * 2016-08-04 2016-12-14 北京金双狐油气技术有限公司 带方向约束散点数据的网格化方法
JP6915288B2 (ja) * 2017-02-08 2021-08-04 オムロン株式会社 画像処理システム、画像処理装置、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）における回路の再構成方法、および、ＦＰＧＡにおける回路の再構成プログラム
CN107598920A (zh) * 2017-08-23 2018-01-19 深圳果力智能科技有限公司 一种基于视觉控制的机械手
US20230100238A1 (en) * 2019-10-11 2023-03-30 Toyota Motor Europe Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object
CN111250421A (zh) * 2020-03-23 2020-06-09 山东瑞吉德自动化股份有限公司 电表分拣方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038623A (zh) * 2006-03-13 2007-09-19 欧姆龙株式会社 特征点检测装置、特征点检测方法及特征点检测程序
CN101057257A (zh) * 2004-11-12 2007-10-17 欧姆龙株式会社 人脸特征点检测装置、特征点检测装置
US20080013836A1 (en) * 2006-06-19 2008-01-17 Akira Nakamura Information Processing Device, Information Processing Method, and Program
CN101430192A (zh) * 2007-11-07 2009-05-13 三菱电机株式会社 确定场景中的对象的三维姿态的方法和系统
US20100284608A1 (en) * 2009-05-07 2010-11-11 Marchesini Group S.P.A. Feature-based segmentation method, for segmenting a plurality of loosely-arranged duplicate articles and a group for actuating the method for supplying a packaging machine
CN102682469A (zh) * 2011-02-01 2012-09-19 卡西欧计算机株式会社 具有制作三维模型的功能的图像处理装置及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325475A (en) * 1992-09-09 1994-06-28 Massachusetts Institute Of Technology Computer method and apparatus for matching between line drawings
US6633686B1 (en) 1998-11-05 2003-10-14 Washington University Method and apparatus for image registration using large deformation diffeomorphisms on a sphere
US20050286767A1 (en) * 2004-06-23 2005-12-29 Hager Gregory D System and method for 3D object recognition using range and intensity
CA2668941C (en) * 2006-11-17 2015-12-29 Thomson Licensing System and method for model fitting and registration of objects for 2d-to-3d conversion
JP4508283B2 (ja) * 2007-03-09 2010-07-21 オムロン株式会社 認識処理方法およびこの方法を用いた画像処理装置
US20140321756A9 (en) * 2008-05-27 2014-10-30 Samsung Electronics Co., Ltd. System and method for circling detection based on object trajectory
JP2009300230A (ja) * 2008-06-12 2009-12-24 Olympus Corp 位置合わせを行う装置、方法、およびプログラム、ならびに基準モデルを作成する装置、方法、およびプログラム
US9019349B2 (en) * 2009-07-31 2015-04-28 Naturalpoint, Inc. Automated collective camera calibration for motion capture
JP5929238B2 (ja) 2012-01-27 2016-06-01 オムロン株式会社 画像検査方法および画像検査装置
JP6021533B2 (ja) 2012-09-03 2016-11-09 キヤノン株式会社 情報処理システム、装置、方法及びプログラム
US8929602B2 (en) * 2013-01-31 2015-01-06 Seiko Epson Corporation Component based correspondence matching for reconstructing cables

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057257A (zh) * 2004-11-12 2007-10-17 欧姆龙株式会社 人脸特征点检测装置、特征点检测装置
CN101038623A (zh) * 2006-03-13 2007-09-19 欧姆龙株式会社 特征点检测装置、特征点检测方法及特征点检测程序
US20080013836A1 (en) * 2006-06-19 2008-01-17 Akira Nakamura Information Processing Device, Information Processing Method, and Program
CN101430192A (zh) * 2007-11-07 2009-05-13 三菱电机株式会社 确定场景中的对象的三维姿态的方法和系统
US20100284608A1 (en) * 2009-05-07 2010-11-11 Marchesini Group S.P.A. Feature-based segmentation method, for segmenting a plurality of loosely-arranged duplicate articles and a group for actuating the method for supplying a packaging machine
CN102682469A (zh) * 2011-02-01 2012-09-19 卡西欧计算机株式会社 具有制作三维模型的功能的图像处理装置及方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303557B (zh) * 2015-09-21 2018-05-22 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法
CN105303557A (zh) * 2015-09-21 2016-02-03 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法
CN113763335A (zh) * 2017-02-13 2021-12-07 株式会社高迎科技 检查在印刷电路板贴装的部件的装置、其运转方法
CN113763335B (zh) * 2017-02-13 2024-01-26 株式会社高迎科技 检查在印刷电路板贴装的部件的装置、其运转方法
CN108573471A (zh) * 2017-03-13 2018-09-25 欧姆龙株式会社 图像处理装置、图像处理方法以及记录介质
CN111133474A (zh) * 2017-09-29 2020-05-08 日本电气方案创新株式会社 图像处理设备、图像处理方法和计算机可读记录介质
CN111133474B (zh) * 2017-09-29 2023-09-19 日本电气方案创新株式会社 图像处理设备、图像处理方法和计算机可读记录介质
CN110047104B (zh) * 2017-12-26 2023-12-08 精工爱普生株式会社 对象检测和跟踪方法、头戴式显示装置和存储介质
CN110047104A (zh) * 2017-12-26 2019-07-23 精工爱普生株式会社 对象检测和跟踪方法、头戴式显示装置和存储介质
CN108144865A (zh) * 2017-12-31 2018-06-12 芜湖哈特机器人产业技术研究院有限公司 汽车油管粗检系统及其检测方法
CN108278126A (zh) * 2018-04-03 2018-07-13 长沙矿山研究院有限责任公司 一种智能型溜井放矿系统
CN110702705A (zh) * 2019-11-20 2020-01-17 大连交通大学 一种基于原子分辨电镜的负载金属催化剂分散度测算方法
CN110702705B (zh) * 2019-11-20 2022-04-29 大连交通大学 一种基于原子分辨电镜的负载金属催化剂分散度测算方法

Also Published As

Publication number Publication date
EP2919155A1 (en) 2015-09-16
US20150262415A1 (en) 2015-09-17
JP6331517B2 (ja) 2018-05-30
US9607244B2 (en) 2017-03-28
JP2015176217A (ja) 2015-10-05

Similar Documents

Publication Publication Date Title
CN104915947A (zh) 图像处理装置、系统、图像处理方法及图像处理程序
US11833696B2 (en) Vision-based sensor system and control method for robot arms
US11285624B2 (en) Object detection device, control device, and object detection computer program
EP2082850B1 (en) Generating device of processing robot program
US10083512B2 (en) Information processing apparatus, information processing method, position and orientation estimation apparatus, and robot system
CN111598946B (zh) 一种物体位姿测量方法、装置及存储介质
JP6703812B2 (ja) ３次元物体検査装置
US20180247150A1 (en) Information processing device, information processing method, and article manufacturing method
CN112836558B (zh) 机械臂末端调整方法、装置、系统、设备及介质
CN109955244B (zh) 一种基于视觉伺服的抓取控制方法、装置和机器人
US20180285684A1 (en) Object attitude detection device, control device, and robot system
CN109934869B (zh) 位置姿势推断装置、位置姿势推断方法及记录介质
JP2010184300A (ja) 姿勢変更システムおよび姿勢変更方法
US11961255B2 (en) Object detection device and object detection computer program
Nakhaeinia et al. Adaptive robotic contour following from low accuracy RGB-D surface profiling and visual servoing
EP3738725B1 (en) Measurement system, measurement device, measurement method, and measurement program
Schmitt et al. Recognition of dynamic environments for robotic assembly on moving workpieces
Xu et al. A fast and straightforward hand-eye calibration method using stereo camera
JP6670712B2 (ja) 自己位置推定装置、移動体及び自己位置推定方法
US20230011093A1 (en) Adjustment support system and adjustment support method
CN108733011B (zh) 非暂时计算机可读存储介质、机器人移动时间估计方法和装置
KR20230069333A (ko) 스마트 물류 제어를 위한 데이터 처리방법 및 장치
KR20220070592A (ko) 지능형 스마트 물류 자동화 정보처리장치
KR20220152012A (ko) 인공 표식의 위치 추정 방법 및 시스템
KR20240096990A (ko) 비고정 물체를 위치 이동시키는 로봇의 제어 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150916

WD01 Invention patent application deemed withdrawn after publication