CN108510515A - 信息处理装置、信息处理方法、控制系统和物品制造方法 - Google Patents

信息处理装置、信息处理方法、控制系统和物品制造方法 Download PDF

Info

Publication number
CN108510515A
CN108510515A CN201810155245.XA CN201810155245A CN108510515A CN 108510515 A CN108510515 A CN 108510515A CN 201810155245 A CN201810155245 A CN 201810155245A CN 108510515 A CN108510515 A CN 108510515A
Authority
CN
China
Prior art keywords
pixel
information
difference
processor
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810155245.XA
Other languages
English (en)
Inventor
吉井裕人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108510515A publication Critical patent/CN108510515A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/31—Gripping jaw
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Abstract

本发明提供一种信息处理装置、信息处理方法、控制系统和物品制造方法。该信息处理装置基于通过拍摄物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取，并且包括用于对所述图像信号进行轮廓提取处理的处理器。所述处理器针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理。

Description

信息处理装置、信息处理方法、控制系统和物品制造方法
技术领域
本发明涉及信息处理装置、系统、信息处理方法和物品制造方法。
背景技术
存在如下的测量装置(信息处理装置)，其中该测量装置用于使用被投射均匀光的物体的拍摄图像(以下称为灰度图像)以及具有从被投射图案光的物体的拍摄图像获得的距离信息的图像(以下称为距离图像)来以非接触方式识别物体。物体的识别包括物体的配置(例如，位置和姿势至少之一)的识别。这种测量装置可以使用从灰度图像提取出的物体的轮廓来识别物体。轮廓提取的精度依赖于灰度图像的对比度和物体的摄像方向。日本特开2016-038654公开了从具有低对比度的图像提取轮廓的图像处理装置。
然而，在将日本特开2016-038654所公开的图像处理装置应用于例如测量对象是相互重叠的薄的平板的情况下的距离图像时，在轮廓中的级差(距离变化)小的情况下，该图像处理装置由于噪声等的影响而导致无法容易高精度地提取轮廓。
发明内容
本发明例如提供用于提取图像的轮廓的有利技术。
根据本发明的方面，提供一种信息处理装置，用于基于通过拍摄物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取，所述信息处理装置包括：处理器，用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，其中，所述处理器基于所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的数量来进行所述轮廓提取处理。
根据本发明的方面，提供一种信息处理装置，用于基于通过拍摄物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取，所述信息处理装置包括：处理器，用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，其中，所述处理器基于所述阈值与所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的差异之间的差异的总和来进行所述轮廓提取处理。
根据本发明的方面，提供一种信息处理装置，包括：处理器，用于对图像进行轮廓提取处理，其中，所述处理器针对所述图像的一个像素，基于与所述一个像素相对应的像素值和与所述一个像素周围的多个周围像素相对应的像素值之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理。
根据本发明的方面，提供一种控制系统，包括：信息处理装置，用于基于通过拍摄物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取；以及机器人，用于基于所述信息处理装置对所述物体的识别结果来保持和移动所述物体，其中，所述信息处理装置包括处理器，所述处理器用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，以及其中，所述处理器基于所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的数量来进行所述轮廓提取处理。
根据本发明的方面，提供一种控制系统，包括：信息处理装置，用于基于通过拍摄物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取；以及机器人，用于基于所述信息处理装置对所述物体的识别结果来保持和移动所述物体，其中，所述信息处理装置包括处理器，所述处理器用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，以及其中，所述处理器基于所述阈值与所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的差异之间的差异的总和来进行所述轮廓提取处理。
根据本发明的方面，提供一种信息处理方法，用于基于通过拍摄物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来识别所述物体，所述信息处理方法包括以下步骤：针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行轮廓提取处理；以及基于针对所述图像信息的多个像素中的各像素的所述轮廓提取处理的结果来识别所述物体。
根据本发明的方面，提供一种信息处理方法，用于对图像进行轮廓提取处理，所述信息处理方法包括：针对所述图像的一个像素，基于与所述一个像素相对应的像素值和与所述一个像素周围的多个周围像素相对应的像素值之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理。
根据本发明的方面，提供一种物品制造方法，所述物品制造方法包括以下步骤：利用机器人来移动被信息处理装置提取出轮廓的物体，其中所述信息处理装置用于基于通过拍摄所述物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取；以及通过对所移动的物体进行处理来制造所述物品，其中，所述信息处理装置包括处理器，所述处理器用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，以及其中，所述处理器基于所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的数量来进行所述轮廓提取处理。
根据本发明的方面，提供一种物品制造方法，所述物品制造方法包括以下步骤：利用机器人来移动被信息处理装置提取出轮廓的物体，其中所述信息处理装置用于基于通过拍摄所述物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取；以及通过对所移动的物体进行处理来制造所述物品，其中，所述信息处理装置包括处理器，所述处理器用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，以及其中，所述处理器基于所述阈值与所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的差异之间的差异的总和来进行所述轮廓提取处理。
附图说明
图1是示出包括根据第一实施例的信息处理装置的测量装置的结构的示意图。
图2是示出用于检测物体的轮廓的处理的流程图。
图3是示出检测轮廓的拍摄图像的示意图。
图4是示出摄像单元的光轴上的预定坐标被设置为基准坐标的基准坐标系与物体的主平面的法线方向之间的关系的图。
图5是示出根据第二实施例的轮廓提取处理的流程图。
图6是示出根据第三实施例的轮廓提取处理的流程图。
图7是示出用于设置法线方向的候选的容许范围的用户界面的示例的图。
图8是示出根据第四实施例的轮廓提取处理的流程图。
图9是示出倾斜角度的候选的设置示例的图。
图10是示出倾斜角度的候选的另一设置示例的图。
图11是示出第一实施例至第四实施例可适用于的信息处理装置的结构的框图。
图12是示出包括配备有测量装置的把持装置的控制系统的图。
具体实施方式
以下将参考附图等来说明用于执行本发明的模式。
第一实施例
图1是示出包括根据第一实施例的信息处理装置的测量装置1的结构的示意图。测量装置1测量物体W的形状，并且基于测量结果来识别物体W(识别物体的配置(例如，位置和姿势至少之一))。在实施例中，假定物体W是薄的平板，并且测量装置1在多个物体W彼此重叠的状态下进行测量。
测量装置1包括具备投射单元20和摄像单元30的测量头、控制单元40和信息处理装置50。投射单元20向物体W投射光。投射单元20所投射的光包括用于获得距离图像的条纹图案光以及用于获得灰度图像的均匀光。代替条纹图案光，可以使用狭缝光。针对拍摄图像的各像素计算距离信息。摄像单元30拍摄被投射光的物体W。控制单元40控制投射单元20和摄像单元30的操作。信息处理装置50例如包括CPU和存储器，并且从摄像单元30所获取到的拍摄图像获得物体W的位置和姿势。这里，距离图像是包括各像素具有距离数据的多个像素信息的图像信息或图像数据。
信息处理装置50包括距离计算单元51、处理器52以及位置和姿势计算单元53。距离计算单元51根据摄像单元30所获取到的被投射条纹图案光的物体W的拍摄图像来计算表示从摄像单元30的光轴上的预定位置(以下称为基准位置)到物体W的距离的距离信息。处理器52基于距离计算单元51所计算出的距离信息来进行用于提取(检测)物体W的轮廓的轮廓提取处理。处理器52根据摄像单元30所获取到的被投射均匀光的物体W的拍摄图像来检测物体W的轮廓。位置和姿势计算单元53使用距离计算单元51所计算出的距离信息、处理器52所检测到的轮廓信息以及物体W的3D-CAD模型，来获得物体W的配置(例如，位置和姿势)。
图2是示出通过处理器52来检测物体W的轮廓的处理的流程图。图3是示出通过处理器52提取轮廓的拍摄图像的示意图。图3中的拍摄图像301由8×16的128个像素构成。处理器52处理各像素的距离信息，并且确定要用于提取轮廓的各像素的评价值。
S101是像素处理循环的起点。S109是用于判断像素处理循环是否完成的步骤。处理器52针对各处理对象像素重复S102～S109的处理。
在S102中，处理器52对处理对象像素中的一个像素的评价值进行初始化。S103是计算一个像素的距离信息和以该一个像素为中心的预定范围内所包括的附近像素(以下还称为周围像素)的距离信息之间的差异的处理循环的起点。S107是用于判断差异计算处理循环是否完成的步骤。
将参考图3来说明S102～S109的处理的重复次数以及S104～S107的处理的重复次数。在图3中，将S102中评价值被初始化的像素设置为第一像素302。第一像素302是作为重复S102～S109的处理的对象的处理对象像素304中最初处理的像素。将以第一像素302为中心的预定范围设置为范围303。范围303是以第一像素302为中心的5×5的正方形范围。针对第一像素302以及范围303中所包括的各像素重复S104～S107。
在本实施例中，决定处理对象像素304，以使得在对处理对象像素304中的任何一个像素进行处理时以该像素为中心的5×5的像素范围不会超出拍摄图像301。即，在本实施例中，处理对象像素304中所包括的像素数是4×12的48个像素。
如上所述，S102～S109的处理的重复次数是4×12的48次，并且S104～S107的处理的重复次数是5×5的25次。处理对象像素304可以是拍摄图像301的所有像素。
定义附近像素的预定范围不限于诸如范围303等的正方形。例如，处理像素可以被设置为像素305，并且定义像素305的附近像素的预定范围可以是具有如范围306那样的形状的范围。此外，可以设置以处理像素为中心的在给定距离内的所有像素。这里所提及的距离可以是物理距离，或者可以是拍摄图像的像素间距离。
在S104中，处理器52计算第一像素302的距离信息和范围303中所包括的一个像素的距离信息之间的差异、即距离差(距离相减结果)。该差异不限于此。例如，可以使用与该差异相关的其它评价值。例如，可以使用与第一像素302相对应的距离和与第一像素302周围的像素相对应的距离之间的差异、或者表示差异的程度的评价值(例如，比率)。在S105中，处理器52判断所计算出的相减结果是否等于或大小预定阈值。在判断为所计算出的相减结果大于或等于预定阈值的情况下(是)，则在S106中将该值与同第一像素302相对应的评价值相加。
作为相加值，有具有大于预定阈值的相减结果的像素的数量、具有大于预定阈值的相减结果的像素的超过预定阈值的相减结果量、以及具有大于预定阈值的相减结果的像素的超过预定阈值的相减结果量的总和。在S106之后在S105中判断为所计算出的相减结果小于预定阈值的情况下(否)，对范围303中所包括的另一像素执行S104。在针对范围303中所包括的所有像素完成了该处理的情况下，处理进入S108(S107)。
在S108中，处理器52根据需要将评价值标准化。针对处理对象像素，在附近像素的数量相同的情况下无需将评价值标准化。针对处理对象像素，在附近像素的数量不同的情况下，例如，通过将S107中所获得的评价值除以附近像素的数量来将评价值标准化。在附近像素的范围内，可以进行标准化，以使得与距离处理对象像素的近的附近像素的相减结果的权重大，并且与距离处理对象像素的远的附近像素的相减结果的权重小。
在S108之后，计算与第一像素302不同的像素的评价值。在所有处理对象像素304的评价值的计算完成时，可以获得与处理对象像素304相对应的评价值，诸如第一像素的评价值和与第一像素不同的其它像素的评价值等。在使用像素数作为评价值的情况下，数量0～24中之一用作与处理对象像素304相对应的评价值。处理器52基于评价值来检测物体W的轮廓。
在存在轮廓的位置处，相减结果、即距离差增大。因此，评价值增大的像素的位置是轮廓的位置。距离差是级差。通过调整S105中的预定阈值，可以决定可检测到的级差的大小。随着预定值减小，可以检测到更精细的级差。
如上所述，根据本实施例的检测方法，可以提供在对具有小级差的重叠的薄的平板的拍摄图像的轮廓提取中有优势的检测方法。在现有技术的轮廓检测方法中，使用亮度作为基准。然而，在本实施例中，使用距离信息作为基准。因此，可以明确地估计适合物理距离的级差。
第二实施例
在第一实施例中，假定摄像单元30的光轴与物体W的主平面的法线方向平行。然而，通常，摄像单元30的光轴可能与物体W的主平面的法线方向不平行。图4是示出摄像单元30的光轴上的预定坐标(预定位置)被设置为基准坐标(基准位置)的基准坐标系和物体W的主平面的法线方向之间的关系的图。物体W是薄的平板，并且被分散重叠在放置面S上。假定物体W的主平面的法线方向是代表法线向量N。代表法线向量N可以是放置面S的法线方向，或者可以是基于所有多个平板的平面估计结果所获得的法线向量。
摄像单元30的基准坐标系300的Z轴与代表法线向量N不平行。即使在这种情况下，也可以通过根据本实施例的轮廓提取处理来检测物体W的轮廓。图5是示出根据本实施例的轮廓处理的流程图。在本实施例中，将基于基准坐标系的距离图像转换成各像素具有相对于代表法线向量N上的基准位置的距离有关的信息的第二距离图像，并且对该第二距离图像进行轮廓提取处理。向与第一实施例的处理共同的处理赋予同样的附图标记，并且将省略其说明。
在本实施例中，在S101之前，在S201中，处理器52决定代表法线向量N。基于基准坐标系300来将代表法线向量N表示为(a,b,c)。在S103和S104之间，处理器52将基准坐标系300用作基准的附近像素的距离信息转换成代表法线向量N用作基准的距离信息(S202)。
具体地，将基准坐标系300用作基准的第一像素302的位置移动至原点(0,0,0)。随后，在(x,y,z)是从第一像素302观看时的附近像素的相对坐标的情况下，将这些坐标转换成(x,y,ax+by+cz)。结果，第一像素的距离值是0，并且附近像素的距离值是ax+by+cz。相减结果是|ax+by+cz|。
该计算的物理含义在于：假定通过第一像素302的代表法线向量N的平面，并且计算从该平面到附近图像的各点的距离。为了检测该轮廓，深度方向(z方向)上的相减结果是重要的。在该计算中，可以以任何方式平行移动该平面。
在S201的代表法线向量N的决定方法中，例如，可以预先使用距离图像的所有像素的距离信息而拟合平面来获得代表法线向量N。还可以通过使得用户能够预先明确指定放置面S的方向来决定代表法线向量N。还可以预先基于设置有物体W的容器或箱子的位置和姿势来决定代表法线向量N。
根据本实施例的检测方法，由于仅实际上存在级差的部分的评价值增大，因此可以抑制物体W的配置状况对轮廓的检测精度的影响。
第三实施例
在第二实施例中，决定一个代表法线向量N，并且将距离信息转换成代表法线向量N用作基准的距离信息。然而，在S105中的预定阈值极小的情况下，即在检测薄的平板的轮廓的情况下，在一些情况下，在第二实施例中可能产生轮廓的误检测。这是因为，一个代表法线向量N和物体W的法线向量之间的偏差大。
通过根据第三实施例的轮廓提取处理，即使在这种情况下，也可以检测物体W的轮廓。图6是示出根据本实施例的轮廓提取处理的流程图。向与第一实施例或第二实施例的处理共同的处理赋予同样的附图标记，并且将省略其说明。
在本实施例中，在S201和S101之间的S301中，处理器52设置针对物体W的法线方向的容许范围。图7是示出用于设置针对法线向量的候选的容许范围的用户界面(接口)的示例的图。将用户容许的角度的数值输入至输入框701。将20的数值输入至输入框70的事实意味着：在图4的物体W的法线向量和代表法线向量N之间所形成的角度在20度以内的情况下，容许物体W的法线向量作为用于转换距离信息的基准方向。
作为另一决定方法，存在通过读出容许角度来决定信息处理装置50内所存储的设置文件中所写入的容许角度的方法。可以通过测量实际物体W的主平面的分布来决定容许角度。可以通过使用计算机图形而模拟物体W的物理配置来决定容许角度。
在S302中，处理器52在获得第一像素302的评价值之前，在S301中所设置的候选范围中估计第一像素302的法线方向。具体地，通过使用第一像素302的附近像素的距离信息而拟合平面来估计第一像素302的法线，即包括第一像素302的焦平面的方向。这里，将平面的拟合计算中所使用的附近像素设置为与S103之后的附近像素的集合相同的集合。可以使用与S103中所使用的附近像素范围不同的大小或不同的形状范围。
S302中的法线向量的估计方法不限于上述方法。例如，存在如下的方法：在包含没有考虑到S301中所设置的候选范围的情况下所估计的向量以及代表法线向量N这两个向量的平面上，获得与代表法线向量N形成的角度进入S301中所设置的候选范围的向量。
另外，还可以使用如下的方法：用于生成S301中所设置的候选范围内的多个随机向量，并选择第一像素302与连接附近像素的向量的内积的绝对值的总和最小的向量。
在S302中决定与第一像素相对应的法线之后，在S303中，处理器52使用法线向量来转换附近像素的距离信息。在根据第二实施例的S202中，将该距离信息转换成代表法线向量N用作基准的距离信息。然而，在本实施例中，将距离信息转换成与第一像素302相对应的法线向量用作基准的距离信息。
如上所述，在本实施例中，在预定范围内设置物体W相对于代表法线向量N的倾斜角度，并且针对各处理对象像素决定法线向量。因此，即使在全部多个物体W不能近似为一个代表法线向量N的情况下，也可以高精度地检测轮廓。
第四实施例
第四实施例与全部多个物体W不能近似为一个代表法线向量N的情况相对应。在本实施例中，准备针对物体W所取的法线向量的集合(多个候选)，针对集合中所包括的各法线向量来计算评价值，并且评价值最小的法线向量被选择作为用于距离信息的转换基准。
图8是示出根据本实施例的检测方法的流程图。向与第一实施例或第二实施例的处理共同的处理赋予同样的附图标记，并且将省略其说明。
在根据本实施例的S201和S101之间的S401中，处理器52设置物体W相对于代表法线向量N的倾斜角度的多个候选。图9和10是示出倾斜角度的候选的设置示例的图。图9示出以代表法线向量N为中心、等间隔设置法线的六个候选的示例。图10示出在以代表法线向量N为中心的范围R内随机地设置法线的六个候选的示例。
在图9中，可以通过例如用户使用如图7那样的用户界面来预先指定法线的各候选和代表法线向量N之间所形成的角度。还可以通过用户使用用户界面来预先指定图10的范围R。针对物体W所取的法线方向的集合还包括代表法线向量N。
S402是用于法线候选的处理循环的起点。S404是用于判断法线候选的处理循环是否完成的步骤。在如图9中那样设置法线的候选的情况下，循环的重复次数是6个候选+代表法线向量N总共7次。
在S403中，处理器52使用法线的候选作为基准来转换像素的距离信息。在S405中，处理器52选择针对法线的候选所获得的评价值中的最小值作为用于物体W的轮廓检测的评价值。在S108或S107之后，可以将针对法线的各候选所获得的评价值存储在信息处理装置50的存储器中。在S405中，处理器52从存储器读取评价值并选择最小值。
如上所述，在本实施例中，即使在各物体W的姿势细微地改变的情况下，也可以高精度地检测到轮廓。例如，可以得到如下有利效果：即使在物体W的表面的平坦部中发生系统的“波动”的距离信息中，也获得抵消了系统的“波动”的评价值。
图11是示出本实施例可以适用于的信息处理装置200的结构的框图。例如，可以使用个人计算机作为信息处理装置200。可以使用经由网络的嵌入式装置或分布式系统作为其它信息处理装置。
信息处理装置200包括CPU 201、ROM 202、RAM 203、二级存储装置204和总线205。CPU 201执行用于轮廓检测方法的程序，或控制全部装置。作为非易失性存储器，ROM 202保持最初操作信息处理装置200时所需的程序。
RAM 203和二级存储装置204记录由CPU 201所使用的程序210。程序210包括OS211、应用程序212、模块213和数据214。信息处理装置200中所包括的CPU 201、ROM 202、RAM203和二级存储装置204经由总线205来交换信息。信息处理装置200经由总线205而连接至显示器206、键盘206、鼠标208和I/O装置209。
显示器206用于向用户显示诸如处理结果或处理的中途状况等的信息。使用键盘207和鼠标208来从用户输入指示。特别地，使用鼠标208来输入二维或三维位置关系。使用I/O装置209来取的新的数据或登记数据。可以使用测量装置1作为I/O装置209。
代替控制单元40，CPU 201可以控制投射单元20和摄像单元30的操作。CPU 201还可以用作信息处理装置50。I/O装置209还可以将信息处理结果输出至其它信息处理装置。例如，输出目的地还可以是用于控制机器人的装置。
物品制造方法的实施例
可以在通过特定支撑构件来支撑测量装置1的状态下使用上述测量装置1。在本实施例中，例如，将说明如图12中所要使用的可以配备机器人臂400(把持装置)的控制系统。测量装置1将图案光投影至放置于支撑台T上的物体W，以拍摄物体W并获取图像。然后，测量装置1的控制单元(未示出)或者用于获取从测量装置1的控制单元(未示出)输出的图像数据(距离图像)的臂控制单元310获得物体W的位置和姿势，并且臂控制单元310获取与所获得的位置和姿势有关的信息。臂控制单元310基于与位置和姿势有关的信息(识别结果)来将驱动指示发送至机器人臂400，并且控制机器人臂400。机器人臂400在机器人臂400的前端利用机器人手等(把持部)来保持物体W，并进行诸如平移或转动等的移动。此外，通过使得机器人臂400能够将物体W与其它组件组合(组装)，可以制造包括多个组件的物品(例如，电子电路基板或机器)。通过加工(处理)所移动的物体W，可以制造物品。臂控制单元310包括诸如CPU等的运算装置和诸如存储器等的存储装置。可以将用于控制机器人的控制单元安装在臂控制单元310外。可以将测量装置1所测量到的测量数据或者所获得的图像显示在诸如显示器等的显示单元320上。
计算距离信息的像素可以包括相对于其它计算结果显著偏离的距离信息的像素。在这种情况下，在预先进行排除距离信息的像素的处理之后，可以进行用于检测物体W的轮廓的流程。
在上述实施例中，将距离信息进行比较，但是即使在基于灰度图像将亮度信息(像素值)进行比较的情况下，也可以应用上述实施例。用于获得距离图像的投射图案不限于条纹图像。例如，还可以使用随机点图案或者激光狭缝光。
其它实施例
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2017年2月24日提交的日本专利申请2017-032867的优先权，这里通过引用将其全部内容包含于此。

Claims (19)

1.一种信息处理装置，用于基于通过拍摄物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取，所述信息处理装置包括：
处理器，用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，
其中，所述处理器基于所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的数量来进行所述轮廓提取处理。
2.根据权利要求1所述的信息处理装置，其中，所述处理器使用相减结果作为所述差异。
3.根据权利要求1所述的信息处理装置，其中，所述处理器将所述图像信息转换成各像素具有与相对于预先决定的所述物体的法线上的基准位置的距离有关的信息的第二图像信息，并且基于所述第二图像信息来进行所述轮廓提取处理。
4.根据权利要求3所述的信息处理装置，其中，所述处理器基于所述图像信息来估计所述法线。
5.根据权利要求3所述的信息处理装置，其中，所述处理器进行用于提供用于输入与针对所述法线的方向的容许范围有关的信息的接口的处理，并且基于经由所述接口所获得的所述容许范围来估计所述法线。
6.根据权利要求3所述的信息处理装置，其中，所述处理器基于所述法线的多个候选来估计所述法线。
7.一种信息处理装置，用于基于通过拍摄物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取，所述信息处理装置包括：
处理器，用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，
其中，所述处理器基于所述阈值与所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的差异之间的差异的总和来进行所述轮廓提取处理。
8.根据权利要求7所述的信息处理装置，其中，所述处理器对与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异进行加权。
9.根据权利要求7所述的信息处理装置，其中，所述处理器将所述图像信息转换成各像素具有与相对于预先决定的所述物体的法线上的基准位置的距离有关的信息的第二图像信息，并且基于所述第二图像信息来进行所述轮廓提取处理。
10.根据权利要求9所述的信息处理装置，其中，所述处理器基于所述图像信息来估计所述法线。
11.根据权利要求9所述的信息处理装置，其中，所述处理器进行用于提供用于输入与针对所述法线的方向的容许范围有关的信息的接口的处理，并且基于经由所述接口所获得的所述容许范围来估计所述法线。
12.根据权利要求9所述的信息处理装置，其中，所述处理器基于所述法线的多个候选来估计所述法线。
13.一种信息处理装置，包括：
处理器，用于对图像进行轮廓提取处理，
其中，所述处理器针对所述图像的一个像素，基于与所述一个像素相对应的像素值和与所述一个像素周围的多个周围像素相对应的像素值之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理。
14.一种控制系统，包括：
信息处理装置，用于基于通过拍摄物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取；以及
机器人，用于基于所述信息处理装置对所述物体的识别结果来保持和移动所述物体，
其中，所述信息处理装置包括处理器，所述处理器用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，以及
其中，所述处理器基于所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的数量来进行所述轮廓提取处理。
15.一种控制系统，包括：
信息处理装置，用于基于通过拍摄物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取；以及
机器人，用于基于所述信息处理装置对所述物体的识别结果来保持和移动所述物体，
其中，所述信息处理装置包括处理器，所述处理器用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，以及
其中，所述处理器基于所述阈值与所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的差异之间的差异的总和来进行所述轮廓提取处理。
16.一种信息处理方法，用于基于通过拍摄物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来识别所述物体，所述信息处理方法包括以下步骤：
针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行轮廓提取处理；以及
基于针对所述图像信息的多个像素中的各像素的所述轮廓提取处理的结果来识别所述物体。
17.一种信息处理方法，用于对图像进行轮廓提取处理，所述信息处理方法包括：
针对所述图像的一个像素，基于与所述一个像素相对应的像素值和与所述一个像素周围的多个周围像素相对应的像素值之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理。
18.一种物品制造方法，所述物品制造方法包括以下步骤：
利用机器人来移动被信息处理装置提取出轮廓的物体，其中所述信息处理装置用于基于通过拍摄所述物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取；以及
通过对所移动的物体进行处理来制造所述物品，
其中，所述信息处理装置包括处理器，所述处理器用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，以及
其中，所述处理器基于所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的数量来进行所述轮廓提取处理。
19.一种物品制造方法，所述物品制造方法包括以下步骤：
利用机器人来移动被信息处理装置提取出轮廓的物体，其中所述信息处理装置用于基于通过拍摄所述物体所获得的、各像素具有与相对于基准位置的距离有关的信息的图像信息来进行所述物体的轮廓提取；以及
通过对所移动的物体进行处理来制造所述物品，
其中，所述信息处理装置包括处理器，所述处理器用于针对所述图像信息进行轮廓提取处理，并且针对所述图像信息的一个像素，基于与所述一个像素相对应的距离和与所述一个像素周围的多个周围像素相对应的距离之间的差异中的等于或大于阈值的差异来进行所述轮廓提取处理，以及
其中，所述处理器基于所述阈值与所述多个周围像素中的具有等于或大于所述阈值的差异的周围像素的差异之间的差异的总和来进行所述轮廓提取处理。
CN201810155245.XA 2017-02-24 2018-02-23 信息处理装置、信息处理方法、控制系统和物品制造方法 Pending CN108510515A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-032867 2017-02-24
JP2017032867A JP2018136896A (ja) 2017-02-24 2017-02-24 情報処理装置、システム、情報処理方法、および物品の製造方法

Publications (1)

Publication Number Publication Date
CN108510515A true CN108510515A (zh) 2018-09-07

Family

ID=61626869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810155245.XA Pending CN108510515A (zh) 2017-02-24 2018-02-23 信息处理装置、信息处理方法、控制系统和物品制造方法

Country Status (4)

Country Link
US (1) US20180247150A1 (zh)
EP (1) EP3367332A1 (zh)
JP (1) JP2018136896A (zh)
CN (1) CN108510515A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160301A1 (zh) * 2022-02-23 2023-08-31 杭州萤石软件有限公司 物体信息确定方法、移动机器人系统及电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7111497B2 (ja) * 2018-04-17 2022-08-02 株式会社東芝 画像処理装置、画像処理方法、距離計測装置、及び距離計測システム
US10647528B1 (en) 2019-05-31 2020-05-12 Mujin, Inc. Robotic system for palletizing packages using real-time placement simulation
US10679379B1 (en) 2019-05-31 2020-06-09 Mujin, Inc. Robotic system with dynamic packing mechanism
US11077554B2 (en) 2019-05-31 2021-08-03 Mujin, Inc. Controller and control method for robotic system
US10696493B1 (en) 2019-05-31 2020-06-30 Mujin, Inc. Robotic system with packing mechanism
US10618172B1 (en) * 2019-05-31 2020-04-14 Mujin, Inc. Robotic system with error detection and dynamic packing mechanism
US10696494B1 (en) 2019-05-31 2020-06-30 Mujin, Inc. Robotic system for processing packages arriving out of sequence
CN115990896B (zh) * 2023-02-15 2023-06-23 浙江奥桑机械设备有限公司 一种基于图像识别的焊接机器人控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954236A (zh) * 2004-07-30 2007-04-25 松下电工株式会社 图像处理设备
US20130080045A1 (en) * 2011-09-26 2013-03-28 Honeywell International Inc. Generic surface feature extraction from a set of range data
JP2014085940A (ja) * 2012-10-25 2014-05-12 Sharp Corp 平面検出装置およびそれを備えた自律移動装置
CN104044132A (zh) * 2013-03-14 2014-09-17 株式会社安川电机 机器人系统及被加工物的制造方法
CN105336005A (zh) * 2014-06-27 2016-02-17 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5236214B2 (ja) * 2007-06-11 2013-07-17 任天堂株式会社 画像処理プログラム
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
JP6455011B2 (ja) 2014-08-06 2019-01-23 セイコーエプソン株式会社 画像処理装置、輪郭抽出方法及びプログラム
US9754419B2 (en) * 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954236A (zh) * 2004-07-30 2007-04-25 松下电工株式会社 图像处理设备
US20130080045A1 (en) * 2011-09-26 2013-03-28 Honeywell International Inc. Generic surface feature extraction from a set of range data
JP2014085940A (ja) * 2012-10-25 2014-05-12 Sharp Corp 平面検出装置およびそれを備えた自律移動装置
CN104044132A (zh) * 2013-03-14 2014-09-17 株式会社安川电机 机器人系统及被加工物的制造方法
CN105336005A (zh) * 2014-06-27 2016-02-17 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160301A1 (zh) * 2022-02-23 2023-08-31 杭州萤石软件有限公司 物体信息确定方法、移动机器人系统及电子设备

Also Published As

Publication number Publication date
JP2018136896A (ja) 2018-08-30
US20180247150A1 (en) 2018-08-30
EP3367332A1 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
CN108510515A (zh) 信息处理装置、信息处理方法、控制系统和物品制造方法
US9317735B2 (en) Information processing apparatus, information processing method, and program to calculate position and posture of an object having a three-dimensional shape
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
US9355453B2 (en) Three-dimensional measurement apparatus, model generation apparatus, processing method thereof, and non-transitory computer-readable storage medium
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
CN103678754B (zh) 信息处理装置及信息处理方法
JP6594129B2 (ja) 情報処理装置、情報処理方法、プログラム
EP2466543B1 (en) Position and orientation measurement device and position and orientation measurement method
EP1596332B1 (en) Information processing method and apparatus for finding position and orientation of targeted object
US8731243B2 (en) Position and orientation measurement method and position and orientation measurement apparatus
US20110211066A1 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
US20160117824A1 (en) Posture estimation method and robot
US20160182873A1 (en) Image processing apparatus, image processing system, image processing method, and computer program
US20130114886A1 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
CN107907055B (zh) 图案投射模组、三维信息获取系统、处理装置及测量方法
Sušanj et al. Effective area coverage of 2D and 3D environments with directional and isotropic sensors
García-Moreno et al. Error propagation and uncertainty analysis between 3D laser scanner and camera
Di Leo et al. Uncertainty evaluation of camera model parameters
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
KR101901483B1 (ko) 추적 시스템 정확성 측정을 위한 시스템 및 방법
EP4054187A1 (en) Calibration method of a portable electronic device
US9563816B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
WO2016084316A1 (en) Information processing apparatus, information processing method, and program
Jha et al. A depth image quality benchmark of three popular low-cost depth cameras
CN113538578B (zh) 目标定位方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180907

WD01 Invention patent application deemed withdrawn after publication