CN107408429A - 电线组加工用的图像取得系统 - Google Patents

电线组加工用的图像取得系统 Download PDF

Info

Publication number
CN107408429A
CN107408429A CN201680017035.3A CN201680017035A CN107408429A CN 107408429 A CN107408429 A CN 107408429A CN 201680017035 A CN201680017035 A CN 201680017035A CN 107408429 A CN107408429 A CN 107408429A
Authority
CN
China
Prior art keywords
electric wire
image
wire group
image pickup
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680017035.3A
Other languages
English (en)
Inventor
大江聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Wiring Systems Ltd
AutoNetworks Technologies Ltd
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Wiring Systems Ltd
AutoNetworks Technologies Ltd
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Wiring Systems Ltd, AutoNetworks Technologies Ltd, Sumitomo Electric Industries Ltd filed Critical Sumitomo Wiring Systems Ltd
Publication of CN107408429A publication Critical patent/CN107408429A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01BCABLES; CONDUCTORS; INSULATORS; SELECTION OF MATERIALS FOR THEIR CONDUCTIVE, INSULATING OR DIELECTRIC PROPERTIES
    • H01B13/00Apparatus or processes specially adapted for manufacturing conductors or cables
    • H01B13/012Apparatus or processes specially adapted for manufacturing conductors or cables for manufacturing wire harnesses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Automatic Assembly (AREA)

Abstract

目的是提供如下技术:适于使对构成线束的电线组在总体上识别及对该电线组部分地详细识别并存。电线组加工用的图像取得系统是用于对构成线束的电线组进行识别的系统。该图像取得系统具备:第1视觉系统(例如二维视觉系统),其取得第1图像数据,所述第1图像数据用于在第1摄像范围对构成线束的电线组进行识别;以及第2视觉系统(例如三维视觉系统),其对构成线束的电线组取得第2摄像范围且每单位面积的信息量比第1图像数据多的第2图像数据,所述第2摄像范围是与第1摄像范围重叠的区域且小于第1摄像范围。

Description

电线组加工用的图像取得系统
技术领域
本发明涉及一种用于在制造线束时识别电线组的技术。
背景技术
专利文献1公开了如下方法:将多根电线布线成与车辆中的布线路径相应的状态,使其在该图板上分支成与所述布线路径相应的形式并且捆扎,由此制造线束。
专利文献2公开了如下技术:利用3D视觉传感器进行以散乱堆积方式供给到部件供给部的部件的识别,利用2D视觉传感器对放置于临时放置台上的部件的位置姿势进行识别。另外,专利文献2也公开了如下技术:2D视觉传感器包括3D视觉传感器功能,在不能对设置于临时放置台上的特定位置的部件的位置姿势进行识别的情况下,使3D视觉传感器功能有效化。
现有技术文献
专利文献
专利文献1:特开2014-32840号公报
专利文献2:特开2012-245602号公报
发明内容
发明要解决的技术问题
如专利文献1公开的那样,线束是通过在图板上利用手动操作对电线进行捆扎等而制造的。对于这样的线束,也优选使得能使用机器人等自动地制造。因此,需要对构成线束的电线组进行图像识别。
在此,构成线束的电线是数米的纵长产品,而且是不定形物。因此,需要遍及比较宽的范围识别电线组。另外,为了对电线彼此进行捆扎操作等,需要详细的识别,如按cm单位或者mm单位部分地对电线的位置或者立体的位置进行识别等。
但是,在能识别宽范围的相机中,不适合按cm单位或者mm单位的位置识别或者立体的位置识别。另外,在能按cm单位或者mm单位识别位置的相机或者能进行立体的位置识别的相机中,不适合识别宽范围。
在分开使用专利文献2所记载的3D视觉传感器和2D视觉传感器时,不能使对构成上述线束的电线组在总体上识别及部分地详细识别并存。
因此,本发明的目的是提供如下技术:适于使对构成线束的电线组在总体上识别及对该电线组部分地详细识别并存。
用于解决技术问题的技术方案
为了解决上述技术问题,第1方式是电线组加工用的图像取得系统,用于对构成线束的电线组进行识别,所述电线组加工用的图像取得系统具备:第1视觉系统,其取得用于在第1摄像范围对构成所述线束的电线组进行识别的第1图像数据;以及第2视觉系统,其取得用于在第2摄像范围对构成所述线束的电线组进行识别的第2图像数据,第2图像数据的每单位面积的信息量比所述第1图像数据多,所述第2摄像范围是与所述第1摄像范围重叠的区域且小于所述第1摄像范围。
第2方式是第1方式的电线组加工用的图像取得系统,所述第2视觉系统设为三维视觉系统。
第3方式是第2方式的电线组加工用的图像取得系统,所述第2视觉系统包括相位调制方式投影光源和立体相机,设为用主动三角测量方式取得三维点群数据的系统。
第4方式是第1~第3中的任一方式的电线组加工用的图像取得系统,所述第2视觉系统包括相机,所述相机安装于加工机器人的机器人手臂上,所述加工机器人针对构成所述线束的电线组进行加工。
第5方式是第1~第4中的任一方式的电线组加工用的图像取得系统,所述第1视觉系统设为二维视觉系统。
发明效果
根据第1方式,能利用第1视觉系统对构成线束的电线组在总体上适当地识别。另外,能利用第2视觉系统对该电线组部分地适当地详细识别。
根据第2方式,在对电线组部分地识别时,能在三维上进行识别。
根据第3方式,能利用第2视觉系统对该电线组部分地更适当地详细识别。
根据第4方式,在利用加工机器人的手臂针对电线组进行加工时,能对成为加工目标的电线组的部分详细识别。
根据第5方式,在识别比较宽广的第1摄像范围时,能利用第1视觉系统进行比较迅速的处理。
附图说明
图1是表示包括实施方式的电线组加工用的图像取得系统的电线组加工装置的概要图。
图2是电线组加工装置的框图。
图3是表示基于来自图像取得系统的第1图像数据及第2图像数据的加工控制部的处理的一例的流程图。
图4是表示电线组加工装置对电线组的加工例的说明图。
图5是表示电线组加工装置对电线组的加工例的说明图。
图6是表示电线组加工装置对电线组的加工例的说明图。
图7是表示电线组加工装置对电线组的加工例的说明图。
图8是表示电线组加工装置对电线组的加工例的说明图。
图9是表示电线组加工装置对电线组的加工例的说明图。
图10是表示电线组加工装置对电线组的加工例的说明图。
图11是表示变形例的三维视觉系统的概要图。
图12是表示将三维视觉系统支承于底板上的状态的说明图。
具体实施方式
以下对实施方式的电线组加工用的图像取得系统进行说明。图1是表示包括电线组加工用的图像取得系统50的电线组加工装置20的概要图,图2是电线组加工装置20的框图。
成为加工对象的线束10设为分支出多根电线12并且捆扎的构成(参照图10)。在线束10的各分支最前部,安装于电线12的端部的端子插入连接到连接器14。在本线束10装入车辆的状态下,各连接器14与搭载于车辆的各种电气部件连接。由此,线束10起到对搭载于车辆的各种电气部件进行电连接的作用。线束10所包括的电线12以与车辆中的敷设路径相应的形式分支并且捆扎。本电线组加工装置20进行将多根电线12以沿着敷设路径的形式分支并且捆扎的操作。此外,在各图中,通过相同路径的电线12用一条线画出。因此,在各图中,用一条线画出电线12实际上有时会是多根电线12的束。
电线组加工装置20具备电线支承部22、加工机器人30、加工控制部40以及图像取得系统50。
电线支承部22构成为能支承电线12的端部的连接器14。即,多根电线12在各端部的端子插入到连接器14的状态下被本电线支承部22支承。将多根电线12的端部的端子自动地插入到连接器14中的自动插入装置自身是公知的技术,但是该插入操作也可以通过人工来进行。
更具体地,电线支承部22具备底板24和连接器支承部26。
底板24在此形成为方形板状,以沿着重力方向的竖直姿势被支承。以底板24为背景,优选底板24的操作面呈与电线12不同的同样颜色,以使得能容易对位于作为该底板24的一个主面的操作面上的电线12进行图像识别。但是,设置底板24不是必需的。
连接器支承部26构成为能在一定位置支承多个连接器14。作为连接器支承部26,例如能使用在长条构件上沿着其延伸方向隔开间隔地形成有多个连接器安置凹部的构件。另外,在此连接器支承部26固定于底板24的操作面的上方位置。连接器安置凹部形成为能以嵌入的方式安置连接器14的凹形。连接器14以使电线12延伸侧的端部朝向下方的姿势嵌入到连接器安置凹部并被支承在一定位置。从连接器14延伸的电线12以从被连接器支承部26支承在一定位置的连接器14向下方垂下的方式配设。电线12的两端部的端子插入连接到被支承在不同位置的连接器14,因此这之间的电线12以在这两个连接器14之间呈U字状垂下的方式被支承。电线12优选存在于底板24的操作面存在的区域内。
加工机器人30是一般的工业用机器人,在图1中图示出一般的垂直多关节机器人。加工机器人30具备机器人手臂32和设置于机器人手臂32的顶端部的加工操作部34。机器人手臂32设为多个手臂部经由关节机构以能绕轴旋转的方式连结的构成,在其顶端部设置有加工操作部34。该加工机器人30通过使机器人手臂32动作,从而能使加工操作部34以任意的姿势移动到底板24的操作面的任意位置。
加工操作部34是进行针对电线12组的加工的部分。在此,作为针对电线12组的加工,可设想使电线12的延伸方向的规定位置集中在一定位置(使多根电线12的延伸方向的中间位置成束)、以及将多根电线12捆扎(例如缠绕胶带)等。
为了进行前者的加工,作为加工操作部34能使用能抓住电线12使其移动到一定位置、或者以使多根将电线12聚集的方式将其抓住的公知的机器手。为了进行后者的加工,作为加工操作部34能使用公知的自动卷带机。
因为进行多种加工操作,所以也可以具备多个加工机器人30,或者也可以在机器人手臂32的顶端部以能相对移动的状态安装有多个加工操作部34。
此外,加工机器人除了垂直多关节机器人之外,也可以是直角坐标型机器人等。另外,加工操作部可根据针对电线12组进行的操作适当变更。
加工控制部40由具备CPU、RAM、ROM以及输入电路部等的一般的计算机构成。ROM由闪存等能改写的非易失性半导体存储器等构成,存储有程序等,该程序记述有用于基于由图像取得系统50取得的图像数据决定加工对象区域、加工对象(电线12组)的位置及姿势等的步骤、针对电线12组的加工步骤及加工内容。并且,通过CPU执行存储于ROM的程序,从而执行针对加工机器人30给予各种指示的处理,以使得基于由图像取得系统50取得的图像数据进行针对电线12组的各种加工。
图像取得系统50是用于取得图像数据的系统,该图像数据用于对构成上述线束10的电线12组进行识别,具备作为第1视觉系统的二维视觉系统60和作为第2视觉系统的三维视觉系统70。
二维视觉系统60构成为能取得第1图像数据D1,第1图像数据D1用于在第1摄像范围R1对构成线束10的电线12组进行识别(参照图5)。
即,二维视觉系统60具备二维相机62。二维相机62被相机支承构件64支承在离开底板24的操作面的位置,将底板24的操作面上可预想配设电线12组的所有区域作为第1摄像范围R1,以能对其摄像的方式配设二维相机62。由二维视觉系统60获得的第1图像数据D1提供给加工控制部40。
此外,也可以为,二维视觉系统60具备多个能对第1摄像范围R1部分地摄像的二维相机,通过将由多个二维相机摄像的图像结合,从而得到第1摄像范围R1的第1图像数据D1。另外,也可以为,二维视觉系统60具备一个能对第1摄像范围R1部分地摄像的二维相机,并且具备能驱动该二维相机移动的移动机构部,通过使该二维相机移动,得到多个对第1摄像范围R1部分地摄像的图像,将该多个图像结合,从而得到第1摄像范围R1的第1图像数据D1。另外,作为第1视觉系统,也可以使用取得三维图像数据的三维视觉系统。
三维视觉系统70构成为:取得用于在第2摄像范围R2对构成线束10的电线12组进行识别的第2图像数据D2,第2图像数据D2的每单位面积的信息量比第1图像数据D1多,第2摄像范围R2是与第1摄像范围R1重叠的区域且小于第1摄像范围R1(参照图5及图6)。
在此,三维视觉系统70具备包括多个相机的立体相机72和三维图像处理部76。立体相机72的摄像范围小于上述第1摄像范围R1。另外,立体相机72安装于加工机器人30的机器人手臂32的顶端部且与加工操作部34不干扰的位置。因此,立体相机72能在与第1摄像范围R1重叠的区域且小于第1摄像范围R1的第2摄像范围R2对电线12组进行摄像。
此外,立体相机72也可以配设成,能利用与加工机器人30不同的移动机构部使其在底板24的上方移动。
立体相机72从不同的方向摄像第2摄像范围R2,将由此得到的图像数据输出到三维图像处理部76。三维图像处理部76由具备CPU、RAM、ROM以及输入电路部等的一般的计算机构成。ROM由闪存等能改写的非易失性半导体存储器等构成,并存储程序等,该程序记述有基于从不同的方向摄像第2摄像范围R2的多个图像数据生成作为加工对象的电线12组的三维数据(点群数据)作为第2图像数据D2的步骤。并且,由该三维图像处理部76得到的第2图像数据D2输出到加工控制部40。作为基于立体相机174的图像制作三维数据的处理,能采用基于来自不同位置的多个图像数据利用三角测量的原理生成三维点群数据的公知的各种处理。此外,立体相机72不必具备多个相机,也可以使得通过使一个相机移动从而得到来自不同方向的多个图像数据。
作为上述三维数据的第2图像数据D2是每单位面积的信息量比上述第1图像数据D1多的数据。在此,所谓每单位面积的信息量是指在从一定方向观察由电线支承部22支承的电线12组的情况(在此为从底板24的上方观察的情况)下用于表示电线12组的信息量。对此可设想例如下面的两个情况。第一个是如下情况:如本实施方式中说明的那样,第1视觉系统取得二维图像数据作为第1图像数据D1,第2视觉系统取得三维图像数据作为第2图像数据D2。第二个是如下情况:即使在第1视觉系统取得二维图像数据或者三维图像数据作为第1图像数据D1,第2视觉系统取得与第1图像数据D1相同维的二维图像数据或者三维图像数据作为第2图像数据D2的情况下,后者的第2图像数据D2的分辨率也高于前者的第1图像数据D1的分辨率。
图3是表示基于来自图像取得系统50的第1图像数据D1及第2图像数据D2的加工控制部40的处理的一例的流程图。
首先,在步骤S1中,加工控制部40通过二维视觉系统60取得包括电线12组整体的第1摄像范围R1的第1图像数据D1。
在接着的步骤S2中,加工控制部40针对该第1图像数据D1进行边缘提取处理等图像处理,识别电线12组的位置等,决定加工对象区域(第2摄像范围R2)。此时的加工对象区域的决定可以是大致的位置,因此不太要求区域决定的正确性。
在接着的步骤S3中,加工控制部40通过三维视觉系统70取得第2摄像范围R2的第2图像数据D2。
在接着的步骤S4中,加工控制部40基于第2图像数据D2识别第2摄像范围R2中的加工对象的位置、姿势等,基于该识别结果,针对加工机器人30给予加工指示。此时,因为能基于信息量更多的第2图像数据D2识别加工对象的位置、姿势等,因此可进行针对加工机器人30指定正确的位置等的加工指示。由此,加工机器人30针对电线12组实施加工。
在接着的步骤S5中,加工控制部40对在程序中规定的所有加工是否结束进行判定。若加工没有结束时(规定有接着的其它场所的加工的情况等),则返回步骤S1,再次实施步骤S1以下的处理。
在再次执行步骤S1以下的处理的情况下,加工控制部40通过二维视觉系统60再次取得第1摄像范围R1的第1图像数据D1。即,因为电线12是纵长的不定形物,所以当针对电线12组在一个部位实施加工处理时,有其它部分的位置及姿势也变更的担心。因此,在进行接着的其它场所的加工时,再次实施从步骤S 1开始的处理,确定接着的其它场所的加工位置。由此,能根据作为纵长的不定形物的电线12的位置变动等逐次实施适当的加工。
在步骤S5中,在判定为加工已结束的情况下,结束处理。
以下更具体地说明电线组加工装置20对电线12组的加工例。
首先,在初始状态下,如图4所示,与电线12组的端部连接的连接器14被电线支承部22的连接器支承部26支承。各连接器14间的电线12成为在底板24上呈U字状垂下的状态。
在该状态下,通过二维视觉系统60,如图5所示,得到包括电线12组的第1摄像范围R1的第1图像数据D1。所得到的第1图像数据D1包含有以连接器14作为开始位置向下方呈U字状垂下的电线12组。
在此,作为针对电线12组的第一个加工处理,假设规定如下操作(形成分支部的操作):将从左数第一个连接器14和左数第二个连接器14延伸的电线12在离开该连接器14一定尺寸的位置上捆扎。另外,因为各连接器14被连接器支承部26支承,所以能作为已知的位置来处理。
在该情况下,在第1图像数据D1中进行边缘提取处理等图像处理,识别电线12,以包含有从左数第一个连接器14和左数第二个连接器14延伸的电线12中处于所述一定尺寸内的部分的方式决定第2摄像范围R2即可。由此,能在第1摄像范围R1内决定加工对象区域(第2摄像范围R2)。此外,针对第1图像数据D1的边缘提取处理等识别处理也可以由除加工控制部40之外的二维图像处理部构成,该二维图像处理部设置于加工控制部40与二维相机62之间。在该情况下,也可以掌握为包括二维相机62和该二维图像处理部的构成是二维视觉系统。
然后,利用加工机器人30的机器人手臂32使立体相机72移动,将该立体相机72配设于能摄像第2摄像范围R2的位置。然后,利用包括立体相机72的三维视觉系统70,如图6所示,取得第2摄像范围R2的第2图像数据D2。
并且,基于第2图像数据D2,以作为已知位置的连接器14的位置为基准,追踪各电线12的路径,确定离开连接器14所述一定尺寸的位置(在图6中为用圆包围的位置)。各位置是应作为分支点成束的场所。此外,因为第2图像数据D2是三维数据,所以能确定也包含从底板24算起的电线12的高度位置在内的电线12的位置。并且,针对加工机器人30给予指示,以使得各电线12的所述各位置集合于一个部位。在该情况下,也可以使得利用各个机器手使各电线12的所述各位置集合于一个部位。或者,也可以使得利用单一的机器手将多根电线12聚集于一个部位。即使在后者的情况下,通过预先调整连接器14的支承位置以使得各电线12的所述各位置位于一个部位,并且一边从连接器14拉拽各电线12一边使其聚集,从而能使各电线12的所述各位置集合于一个部位。
然后,对从使电线12成束的上述位置延伸的电线12进行捆扎。即,因为使上述各电线12在一个部位成束的位置是利用机器手移动的已知的位置,所以对从该位置延伸到连接器14、14的部分及其向下方延伸的部分进行捆扎。如上所述,捆扎操作能通过安装于机器人手臂32上的自动卷带机等来进行。
在进行该捆扎操作时,电线12的位置等与在整体摄像时不同,因此优选再次通过三维视觉系统70取得第2图像数据D2,并利用该第2图像数据D2再次确定加工位置等。
加工后的状态如图7所示。在图7中,分支点通过用双点划线画出的四方形表示,捆扎部分通过用双点划线画出的圆表示。
接着,与上述同样地,针对从剩余的连接器14延伸出的多根电线12也进行捆扎。在此,针对从左数第三个连接器14及第四个连接器14延伸出的多根电线12在规定位置进行捆扎,针对从左数第五个连接器14及左数第六个连接器14延伸出的多根电线12在规定位置进行捆扎。
于是,如图8所示,从各连接器14延伸的多根电线12成为在靠近各连接器14的分支部位被捆扎的状态。
接着,在到此为止的分支部位间捆扎多根电线12。在此,在多根电线12形成有多个束的干线上,进行捆扎多根电线12的操作。
此时,也首先通过二维视觉系统60取得第1图像数据D1,在该第1图像数据D1中进行边缘提取处理等图像处理,识别电线12,根据接着的加工内容(将哪个分支部位间的电线12捆扎等),以包含有任一多个分支部位之间或者从任一分支部位延伸的电线12中处于一定尺寸内的部分的方式决定第2摄像范围R2。
然后,利用加工机器人30的机器人手臂32使立体相机72移动,将该立体相机72配设于能摄像第2摄像范围R2的位置。并且,利用包括立体相机72的三维视觉系统70,如图9所示,取得第2摄像范围R2的第2图像数据D2。
并且,基于第2图像数据D2,以分支位置(分支位置自身是已知的位置还是在第2图像数据D2中确定为电线12从多个方向集合的位置)为基准,追踪各电线12的路径,确定从分支位置向任一方向离开所述一定尺寸的位置(在图6中用圆包围的位置)。各位置是干线中应成束的场所。并且,给予指示,以使得利用加工机器人30将电线12的该位置的部分集合于一个部位。然后,在使电线12已成束的上述位置的周边部捆扎电线12。
当在分支位置各自之间使多根电线12成束时,如图10中的第1摄像范围R1的第1图像数据D1所示,多根电线12成为在多个位置分支并且捆扎的状态,能制造线束10。
此外,也可以根据需要,针对线束10通过加工机器人30或者手动操作安装有用于将线束10固定于车辆上的夹持部件、用于保护线束10的保护器、波纹管等外装部件。
根据构成为如上的电线组加工用的图像取得系统50,能得到利用作为第1视觉系统的二维视觉系统60摄像构成线束10的电线12组的第1图像数据D1。因此,能设为如下构成:在使用加工机器人30进行加工时,适于掌握线束10的总体形状、加工对象的大致位置等。另外,能利用作为第2视觉系统的三维视觉系统70得到每单位面积的信息量多的第2图像数据D2。因此,在使用加工机器人30进行加工时,能对电线12组部分地适当地详细识别。例如,按cm单位或者mm单位识别、或者立体地识别电线12的位置,利用加工机器人30可进行电线12组的加工。
特别是,因为使用三维视觉系统70作为第2视觉系统,所以立体地识别电线12组,并可进行电线12的加工,因此能利用加工机器人30进行更适当的加工。
另外,因为三维视觉系统70的立体相机72安装于机器人手臂32的顶端部,所以在使机器人手臂32的顶端部接近加工对象位置的状态下可进行第2摄像范围R2的摄像。并且,接着能对存在于第2摄像范围R2的加工对象部分进行加工。因此,能进行有效的操作。k另外,在利用安装于机器人手臂32的顶端部的加工操作部34的操作中也能摄像加工对象。
另外,因为第1视觉系统是二维视觉系统60,所以在摄像作为比较宽的范围的第1摄像范围R1、即电线12组整体并进行其识别处理等的情况下,能进行比较迅速的处理。
{变形例}
此外,如图11及图12所示,在上述实施方式中,作为第2视觉系统,也可以使用包括相位调制方式投影光源172、立体相机174以及三维图像处理部176的三维视觉系统170。
相位调制方式投影光源172构成为:针对对象物能一边改变相位一边投影条纹图案。立体相机174包括设置于不同位置的多个相机173。
在配设于底板24上的方形的框架180上,相位调制方式投影光源172配设于该框架180的中央,针对底板24上的电线12组投影投影光。多个相机173配设于相位调制方式投影光源172的四个方向的位置、即框架180的各边的中央位置,构成为:能分别从不同的方向对底板24上已被投影所述投影光的电线12组进行摄像。
多个相机173一边改变相位一边对已被投影条纹图案的对象物进行摄像,该摄像数据提供给三维图像处理部176。由此,三维图像处理部176基于该摄像数据利用主动三角测量方式生成电线12组的三维特定数据(点群数据)作为第2图像数据D2。
在框架180上装入相位调制方式投影光源172及立体相机174的摄像单元181在底板24上被具备第1方向移动机构部192(参照箭头X)及第2方向移动机构部194(参照箭头Y)的移动机构部190支承。第1方向移动机构部192及第2方向移动机构部194由线性马达、具有螺纹轴、驱动螺纹轴旋转的马达以及与螺纹轴螺合的螺母部等的直线驱动机构、或者气缸、液压缸等线性致动器等构成,并配设成作为各个移动驱动方向的第1方向X和第2方向Y正交的位置关系。并且,通过第1方向移动机构部192及第2方向移动机构部194的驱动,相位调制方式投影光源172及立体相机174能在将它们的相对位置关系原样地保持为一定的状态下在底板24上纵横移动。由此,能利用本摄像单元181对电线12组中的期望区域(第2摄像范围R2)进行摄像。
此外,加工机器人30及二维视觉系统60只要在摄像单元181与底板24之间配设于与摄像单元181等不干扰的位置即可。另外,上述摄像单元181也可以安装于机器人手臂32的顶端部。
根据该变形例,能对电线12组部分地更适当地详细识别。
另外,在上述实施方式中,在捆扎电线12后,在想要识别基于该捆扎的分支位置等的情况下,利用二维视觉系统60或者三维视觉系统70预先得到捆扎加工前后的图像数据,求出该图像数据的变更部位(两图像数据的像素或者点群的“异或”逻辑)即可。由此,锁定包含基于加工的变更部位在内的区域,能识别捆扎后的分支位置等,能进行更迅速的处理。该处理也能被用作如下处理:该处理保证除了加工应对部位以外没有进行加工(没有变动)。
如上对本发明进行了详细说明,但是上述的说明在所有的方面为例示,本发明并不限定于此。应理解的是,在不脱离本发明的范围的情况下可设想没有例示的无数的变形例。
附图标记说明
D1 第1图像数据
D2 第2图像数据
R1 第1摄像范围
R2 第2摄像范围
10 线束
12 电线
14 连接器
20 电线组加工装置
22 电线支承部
26 连接器支承部
30 加工机器人
50 图像取得系统
60 二维视觉系统
62 二维相机
70、170 三维视觉系统
72、174 立体相机
76、176 三维图像处理部
172 相位调制方式投影光源
173 相机。

Claims (5)

1.一种电线组加工用的图像取得系统,用于对构成线束的电线组进行识别,所述电线组加工用的图像取得系统具备:
第1视觉系统,其取得用于在第1摄像范围对构成所述线束的电线组进行识别的第1图像数据;以及
第2视觉系统,其取得用于在第2摄像范围对构成所述线束的电线组进行识别的第2图像数据,第2图像数据的每单位面积的信息量比所述第1图像数据多,所述第2摄像范围是与所述第1摄像范围重叠的区域且小于所述第1摄像范围。
2.根据权利要求1所述的电线组加工用的图像取得系统,
所述第2视觉系统是三维视觉系统。
3.根据权利要求2所述的电线组加工用的图像取得系统,
所述第2视觉系统包括相位调制方式投影光源和立体相机,是用主动三角测量方式取得三维点群数据的系统。
4.根据权利要求1~权利要求3中的任一项所述的电线组加工用的图像取得系统,
所述第2视觉系统包括相机,所述相机安装于加工机器人的机器人手臂上,所述加工机器人针对构成所述线束的电线组进行加工。
5.根据权利要求1~权利要求4中的任一项所述的电线组加工用的图像取得系统,
所述第1视觉系统是二维视觉系统。
CN201680017035.3A 2015-03-31 2016-03-10 电线组加工用的图像取得系统 Pending CN107408429A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-072521 2015-03-31
JP2015072521A JP2016192135A (ja) 2015-03-31 2015-03-31 電線群加工用の画像取得システム
PCT/JP2016/057514 WO2016158282A1 (ja) 2015-03-31 2016-03-10 電線群加工用の画像取得システム

Publications (1)

Publication Number Publication Date
CN107408429A true CN107408429A (zh) 2017-11-28

Family

ID=57005611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017035.3A Pending CN107408429A (zh) 2015-03-31 2016-03-10 电线组加工用的图像取得系统

Country Status (4)

Country Link
US (1) US20180215046A1 (zh)
JP (1) JP2016192135A (zh)
CN (1) CN107408429A (zh)
WO (1) WO2016158282A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110653816A (zh) * 2018-06-28 2020-01-07 克龙贝格和舒伯特两合有限公司 借助于两个力控制机器人对电系统的线束的自动的敷线
CN112020753A (zh) * 2018-04-25 2020-12-01 施洛伊尼格股份公司 用于确定或测试缆束的绞距的扭绞设备和方法、计算机实施的方法以及计算机程序产品和用于扭绞设备的升级套件

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7106571B2 (ja) * 2017-11-16 2022-07-26 倉敷紡績株式会社 線状物把持方法および制御装置
JP6923574B2 (ja) 2019-02-01 2021-08-18 ファナック株式会社 3次元形状計測システムおよび3次元形状計測方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069866A (ja) * 2007-09-10 2009-04-02 Mitsubishi Electric Corp 3次元形状検出装置
CN102349304A (zh) * 2009-03-30 2012-02-08 日本电气株式会社 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质
CN103907338A (zh) * 2011-11-14 2014-07-02 索尼公司 在用于二维拍摄模式的三维图像拍摄装置中的图像显示
CN103971378A (zh) * 2014-05-29 2014-08-06 福州大学 一种混合视觉系统中全景图像的三维重建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62194413A (ja) * 1986-02-21 1987-08-26 Yamaha Motor Co Ltd 三次元座標計測装置
JPS63285410A (ja) * 1987-05-18 1988-11-22 Fanuc Ltd ロボットの作業対象物の位置検出方式
JPH09115640A (ja) * 1995-10-20 1997-05-02 Harness Sogo Gijutsu Kenkyusho:Kk ワイヤーハーネスの製造におけるコネクタ供給方法及びその装置
US9154773B2 (en) * 2013-03-15 2015-10-06 Seiko Epson Corporation 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
JP6382074B2 (ja) * 2014-11-05 2018-08-29 古河電気工業株式会社 外観検査装置、外観検査システム、及び外観検査方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069866A (ja) * 2007-09-10 2009-04-02 Mitsubishi Electric Corp 3次元形状検出装置
CN102349304A (zh) * 2009-03-30 2012-02-08 日本电气株式会社 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质
CN103907338A (zh) * 2011-11-14 2014-07-02 索尼公司 在用于二维拍摄模式的三维图像拍摄装置中的图像显示
CN103971378A (zh) * 2014-05-29 2014-08-06 福州大学 一种混合视觉系统中全景图像的三维重建方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020753A (zh) * 2018-04-25 2020-12-01 施洛伊尼格股份公司 用于确定或测试缆束的绞距的扭绞设备和方法、计算机实施的方法以及计算机程序产品和用于扭绞设备的升级套件
CN112020753B (zh) * 2018-04-25 2022-08-16 施洛伊尼格股份公司 确定或测试缆束绞距的扭绞设备和方法、计算机实施的方法以及计算机程序产品和升级套件
CN110653816A (zh) * 2018-06-28 2020-01-07 克龙贝格和舒伯特两合有限公司 借助于两个力控制机器人对电系统的线束的自动的敷线
CN110653816B (zh) * 2018-06-28 2022-05-24 克龙贝格和舒伯特两合有限公司 借助于两个力控制机器人对电系统的线束的自动的敷线

Also Published As

Publication number Publication date
WO2016158282A1 (ja) 2016-10-06
JP2016192135A (ja) 2016-11-10
US20180215046A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
CN107408429A (zh) 电线组加工用的图像取得系统
JP6587761B2 (ja) 位置制御装置及び位置制御方法
US9503704B2 (en) Apparatus and method for picking up article disposed in three-dimensional space using robot
CN103659838B (zh) 用机器人取出散装物品的装置和方法
DE102015011914B4 (de) Konturlinienmessvorrichtung und Robotersystem
KR102113465B1 (ko) 위치 제어 장치 및 위치 제어 방법
CN109483554A (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
DE102015102740B4 (de) Vorrichtung und Verfahren zum Anordnen von Gegenständen mittels Roboter und Gegenstandübertragungssystem
US9679385B2 (en) Three-dimensional measurement apparatus and robot system
US20180075951A1 (en) Wire harness manufacturing method and connector holding part supporting device
CN104608136B (zh) 用机器人取出散乱堆积的物品的装置以及方法
JP6671694B1 (ja) 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
JP2014184543A (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
CN108028505A (zh) 线束组装装置以及线束的制造方法
JP2014028415A (ja) バラ積みされた物品をロボットで取出す装置
JP2012030320A (ja) 作業システム、作業ロボット制御装置および作業プログラム
JP2004185123A (ja) 3次元モデルデータ生成装置
ES2950961T3 (es) Creación de variabilidad de datos de entrenamiento en aprendizaje automático para etiquetado de objetos a partir de imágenes
CN107918954A (zh) 用于2d兴趣点的3d映射的方法
KR20220139254A (ko) 워크 식별 방법
JP2012071394A (ja) シミュレーションシステムおよびそのためのシミュレーションプログラム
CN113246130A (zh) 一种工件抓取和拨动干预方法及系统
WO2017038401A1 (ja) ワイヤハーネス製造装置、ワイヤハーネス製造方法及び被加工電線位置特定方法
Pachidis et al. A pseudo stereo vision system as a sensor for real time path control of a robot
JP2010214546A (ja) 組立装置および組立方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171128