CN109153099B - 图像处理装置、工件移载装置及图像处理方法 - Google Patents

图像处理装置、工件移载装置及图像处理方法 Download PDF

Info

Publication number
CN109153099B
CN109153099B CN201680085998.7A CN201680085998A CN109153099B CN 109153099 B CN109153099 B CN 109153099B CN 201680085998 A CN201680085998 A CN 201680085998A CN 109153099 B CN109153099 B CN 109153099B
Authority
CN
China
Prior art keywords
workpiece
unit
region
pickup
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680085998.7A
Other languages
English (en)
Other versions
CN109153099A (zh
Inventor
大石信夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Publication of CN109153099A publication Critical patent/CN109153099A/zh
Application granted granted Critical
Publication of CN109153099B publication Critical patent/CN109153099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23PMETAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/02Gripping heads and other end effectors servo-actuated
    • B25J15/0206Gripping heads and other end effectors servo-actuated comprising articulated grippers
    • B25J15/0226Gripping heads and other end effectors servo-actuated comprising articulated grippers actuated by cams
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Automatic Assembly (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

工件移载装置(20)具备图像处理装置。图像处理装置具备:照明部(26),向拾取用载置部(13)照射光;拍摄部(25),能够拍摄拾取用载置部(13)的彩色图像;及判定部,利用根据从拍摄部(25)输出的信号所获得的亮度‑色差信号中的色差信号来检测工件区域,判定能否拾取工件区域的工件,并输出判定结果。工件移载装置(20)利用图像处理装置的判定结果,通过拾取部(22)来拾取拾取用载置部(13)上的工件(W)。

Description

图像处理装置、工件移载装置及图像处理方法
技术领域
本发明涉及图像处理装置、工件移载装置及图像处理方法。
背景技术
以往,作为工件移载装置,例如提出有如下装置:在通过能够开闭的一对把持爪部把持工件而使该工件移动的机器人手的附近安装相机,通过对由相机拍摄的图像进行处理而计测整齐排列在托盘上的工件的位置,并在该位置进行一对把持爪部的把持动作(例如,参照专利文献1)。在该装置中,即使存在有些许位置误差,也能够精确地把持工件。
现有技术文献
专利文献
专利文献1:日本特开2013-43231号公报
发明内容
发明所要解决的课题
然而,在该专利文献1所记载的装置中,例如,在工件为金属等反射光的材料、白色、黑色等工件的颜色发生变化这样的情况下、或者工件的立体形状发生变化而存在有形成影子的部分、反射的部分的情况下等,存在有难以根据拍摄的图像来判定工件的位置的情况。在这样的装置中,存在有因伴随着工件的变更而变更工件的载置台的颜色导致花费功夫的问题。另外,在这样的装置中,若为了不形成影子而在工件附近设置向工件整体照射光的照明,则存在有难以拾取工件的问题。
本发明就是鉴于这样的课题而作成的,其主要目的在于提供能够在具有通用性的同时更加可靠地掌握工件的位置的图像处理装置、工件移载装置及图像处理方法。
用于解决课题的技术方案
本发明为了实现上述主要目的而采取了以下手段。
本发明的图像处理装置用于工件移载装置,该工件移载装置通过拾取部从载置有一个以上工件的拾取用载置部拾取该工件并使该工件移动,所述图像处理装置具备:照明部,向所述拾取用载置部照射光;拍摄部,能够拍摄所述拾取用载置部的彩色图像;及判定部,利用根据从所述拍摄部输出的信号所获得的亮度-色差信号中的色差信号来检测工件区域,判定能否拾取所述工件区域的工件,并输出判定结果。
该图像处理装置利用根据从拍摄彩色图像的拍摄部输出的信号所获得的亮度-色差信号中的色差信号来检测工件区域,判定能否拾取检测出的工件区域的工件,并输出判定结果。在图像处理装置中,例如,当根据亮度信号来检测工件区域时,例如,存在有如下情况:在具有金属光泽的工件中会引起光晕或产生有形成影子的区域,从而无法掌握精确的工件区域。与此相对地,由于在该图像处理装置中,利用色差信号来检测工件区域,因此背景(拾取用载置部)与工件的色差等级变得更加明确,轮廓提取更加稳定。在该装置中,能够抑制例如背景、照明的变更等,能够在具有通用性的同时更加可靠地掌握工件的位置。并且,能够在取得了判定结果的工件移载装置中,基于更加可靠的工件的位置,更加可靠地拾取工件。
附图说明
图1是工件移载系统10的概略说明图。
图2是工件移载装置20的概略说明图。
图3是互补色关系的说明图。
图4是图像处理装置50的概略说明图。
图5是工件移载装置20所执行的工件移载处理的说明图。
图6是表示图像处理例程的一例的流程图。
图7是拾取用载置部13与拍摄图像60的说明图。
图8是拍摄图像与亮度信号、色差信号的说明图。
具体实施方式
以下,参照附图说明本发明的实施方式。图1是作为本发明的一例的工件移载系统10的概略说明图。图2是工件移载系统10所具备的工件移载装置20的概略说明图。图3是拾取用载置部13与照明部26所照射的光的互补色关系的说明图。图4是工件移载装置20所具备的图像处理装置50的概略说明图。工件移载系统10具备工件移载装置20和工件供给装置40。此外,在以下说明中,工件移载系统10中的左右方向(X轴)、前后方向(Y轴)及上下方向(Z轴)如图1所示。
工件移载系统10构成为使收容在工件收容部件11的作业对象的工件W朝向之后的作业所使用的作业用载置部16移动并载置的装置(参照图1)。工件移载系统10也可以设为,例如,为了在后工序中使作业者易于作业而将以不固定姿态载置于工件收容部件11的拾取用载置部13的工件W在以预定的姿态整齐排列的状态下朝向作业用载置部16载置。在此,“不固定姿态”是指工件W的位置、方向等未被统一的状态。工件W并未被特殊限定,例如,列举有机械元件、电气元件、电子元件、化学元件等,例如,也可以设为螺栓、螺母、垫片、螺钉、钉子及铆钉等中的一种以上的紧固部件。该工件W也可以设为至少一部分由磁性体形成。另外,工件W也可以设为例如包括黑色、白色、灰色及银色中的一种以上颜色的非彩色。工件移载系统10具备作为进行作业用载置部16的搬入、搬运、工件W的移载位置处的固定、搬出的单元的搬运部15。
工件收容部件11是储藏工件W的部件。在工件移载系统10中配设有多个工件收容部件11,在各个工件收容部件11收容有预定种类的工件W。该工件收容部件11具备:储藏部12,用于储藏工件W;拾取用载置部13,载置从储藏部12供给的工件W;及壳体14,构成工件收容部件11的外壁。拾取用载置部13详见后述,是在工件W的移载处理时以载置有工件W的状态被拍摄的平板状的部件,被相对于在该拍摄时所照射的光的颜色为互补色关系的颜色着色。作业用载置部16是排列载置工件W的部件。该作业用载置部16带有磁力,构成为通过磁力来固定作为磁性体的工件W的托盘。该作业用载置部16在与工件W的种类相应地确定的位置处配设固定该工件W。作业者利用配设固定有工件W的作业用载置部16,一边基于配设固定的位置来确定工件W,一边进行工件W的组装等。
工件移载装置20具备移载部21,该移载部21从载置有一个以上工件W的工件收容部件11拾取工件W,并将拾取的工件W以预定的排列朝向作业用载置部16移载。如图1、图2所示,移载部21具有拾取部22、拍摄部25、照明部26、臂部28及移载控制部29。工件移载装置20也可以设为,例如,执行使作为工件W的螺栓在工件W上排列的工序、将作为工件W的垫片组装于排列的螺栓的工序等。拾取部22是拾取工件W的部件,能够转动地装配于臂部28的前端(参照图2)。拾取部22具备夹持部24,该夹持部24夹住并支撑被轴部件的磁力吸引的工件W。在该拾取部22中,通过两个夹持部24来夹持工件W,但是也可以通过三个以上夹持部来夹持工件W。臂部28具有:第一臂28a,配设有拾取部22;及第二臂28b,在一端侧支撑第一臂28a且在另一端侧配设有台座。臂部28被多个驱动部驱动。移载控制部29控制装置整体,具备CPU30等。
拍摄部25是拍摄图像的单元,与照明部26一起固定在拾取部22的前端侧。拍摄部25能够拍摄彩色图像,具备拍摄元件27、透镜31及偏振滤光器32。拍摄元件27是通过受光而产生电荷并输出所产生的电荷的元件,接收经由偏振滤光器32及透镜31入射的光。拍摄元件27也可以设为例如CMOS图像传感器。偏振滤光器32调整其偏振面,以使其形成为与照明部26侧的偏振面垂直,从而防止光晕等。拍摄部25基于从拍摄元件27输出的电荷而生成图像数据,并将生成的图像数据朝向移载控制部29输出。照明部26具备环状照明34和偏振板35。环状照明34是呈圆状地配设在拍摄元件27的外周侧的落射照明,对位于下方的拍摄对象照射光。环状照明34通过以蓝色(波长450nm左右)为光源的主要成分的白色LED来照射光。该照明部26向拾取用载置部照射相对于拾取用载置部13的彩色为互补色关系的光。如图3所示,拾取用载置部13被相对于以蓝色为主的光源为互补色的关系的橙色着色。另外,从抑制光的反射的观点出发,优选拾取用载置部13为无光泽。照明部26以向作为拍摄对象的拾取用载置部13的整体照射光的方式配设在拾取部22。在此,将拾取用载置部13说明为,被彩色(橙色)着色并朝向拾取用载置部13照射为互补色的关系的光(蓝色光)。在该组合中,即使工件W是黑色、白色、灰色及银色中的任意一种非彩色,也能够以同样的精度掌握该区域。此外,也考虑到工件W的颜色,拾取用载置部13的颜色、照明部26的照明色能够利用在补色关系中适当且良好的组合。
该工件移载装置20具备图像处理装置50。图像处理装置50检测位于拾取用载置部13上的工件W的区域(工件区域),判定能够拾取的工件W。如图4所示,该图像处理装置50具备拍摄部25、照明部26及判定部51。判定部51进行如下处理:利用根据从拍摄部25输出的信号所获得的亮度-色差信号中的色差信号来检测工件区域,判定能否拾取工件区域的工件W,并输出判定结果。该判定部51具备信号转换部52、色差提取部53、亮度提取部54、亮度判定部55、切换部56、基准图像保持部57、工件识别部58及能够拾取判定部59。信号转换部52通过预定的运算式将从拍摄元件27输出的各像素的RGB信号朝向作为亮度-色差信号的YCbCr信号转换。此外,作为亮度-色差信号,例如,能够利用YUV、YPbPr等。色差提取部53输入被信号转换部52转换后的信号中的色差信号(CbCr信号),判定其像素是否为与工件W相对应的信号等级,从而检测与工件区域相对应的像素。色差提取部53输入对-128~+127的值的正负色差等级进行了偏置而得到的、0~255的值的偏置二进制形式的色差信号。在该色差信号中,非彩色的像素包括白黑且形成在8bit输入的满标度的中间值(值128)附近,彩色的像素形成为相对于值128具有充分等级差的值。在该色差提取部53中,将处于预定的非彩色等级(例如(128-α)~(128+α)等,α是偏置值)的区域检测为工件区域的像素。此外,色差信号的采样率有时也会相对于亮度信号的采样率而下降(4:2:2、4:1:1等),但是在确保位置精度的基础上,优选以与亮度信号相同的速率来进行处理。
亮度提取部54与色差提取部53同步地输入被信号转换部52转换后的亮度信号(Y信号)。在输入至亮度提取部54的值为通过色差提取部53判定出的与工件W相应的色差信号等级时,亮度判定部55根据亮度等级来判定其像素是非彩色所包含的颜色(例如黑色、白色(银色)、灰色)中的哪一种。工件W的颜色能够根据亮度判定部55的判定结果来确定。切换部56用于切换将亮度信号与色差信号中的哪个信号朝向后段的工件识别部58输出。基准图像保持部57是存储作为工件W的模板的基准图像的存储部。基准图像保持部57存储从一个以上的角度观察拾取对象的工件W所得的图像等一个以上的基准图像。工件识别部58通过拾取对象的工件W的基准图像与由色差提取部53检测出的工件区域等级的像素的集合区域的匹配来检测拾取对象的工件区域。能够拾取判定部59基于两个以上工件区域的接近状态及重叠状态来判定能够拾取的工件区域。例如,在多个工件W接近的情况下、重叠的情况下,夹持部24拾取工件W的操作有可能失败。在此,在其它工件区域远离预定值的情况下判定为能够拾取。能够拾取判定部59将能够拾取的工件区域的判定结果向移载控制部29输出。此外,判定部51也可以设为通过软件来进行各处理,但是从缩短处理时间的方面出发,优选通过硬件(电路结构)来进行。
工件供给装置40具备供给部41,该供给部41以能够通过工件移载装置20来拾取的方式拾取收容在工件收容部件11的储藏部12的一个以上工件W并以不固定姿态朝向拾取用载置部13供给(参照图1)。供给部41具备:拾取部42,通过磁力一次性拾取多个工件W;及与臂部28相同的臂部48。另外,工件供给装置40具备控制装置整体的供给控制部44。
接下来,说明这样构成的本实施方式的工件移载系统10的动作,首先,说明使工件W从拾取用载置部13朝向作业用载置部16排列固定的处理。图5是工件移载装置20所执行的工件移载处理的说明图,图5的(a)是拍摄拾取用载置部13上的图,图5的(b)是拾取工件W的图,图5的(c)是以夹持部24来固定工件W的图。另外,图5的(d)是吸引了工件W的图,图5的(e)是移动夹持部24的图,图5的(f)是以夹持部24来固定工件W的图,图5的(g)是朝向作业用载置部16排列载置的图。首先,工件移载系统10通过搬运部15来搬运作业用载置部16,使作业用载置部16固定在移载位置。接下来,工件供给装置40的拾取部42拾取收容在储藏部12的多个工件W并使其向拾取用载置部13上落下。落下的工件W分散而以不固定姿态载置在拾取用载置部13上。接下来,工件移载装置20的CPU30使拍摄部25向存在有应拾取的工件W的拾取用载置部13上移动,并通过照明部26对拾取用载置部13进行照明,继而使拍摄部25进行拍摄(图5的(a))。图像处理装置50检测拾取用载置部13上的工件W的位置,并朝向移载控制部29输出能够拾取的工件W的位置、朝向。CPU30使拾取部22向能够拾取的工件W上移动(图5的(b)),使拾取部22拾取工件W(图5的(c)~(f))。CPU30使拾取的工件W配设在作业用载置部16的预定位置(图5的(g))。这样,在工件移载系统10中,使各种各样的工件W排列在作业用载置部16上。
接下来,说明图像处理装置50所执行的工件区域的检测处理。图6是表示图像处理装置50的判定部51所执行的图像处理例程的一例的流程图。该例程在输入有从拍摄部25拍摄的信号时由判定部51来执行。首先,当从拍摄元件27依次输出拍摄部25所拍摄的图像的RGB信号时,信号转换部52将该信号从RGB信号朝向亮度-色差信号(YCbCr信号)转换并朝向色差提取部53和亮度提取部54输出(步骤S100)。色差提取部53输入色差信号(步骤S110),判定输入的信号等级是否为预定的色差等级(非彩色范围)(步骤S120)。色差提取部53在输入的信号等级为预定的色差等级时判定为相应的像素处于工件区域等级(步骤S130),在输入的信号等级未处于预定的色差等级时判定为相应的像素处于背景区域等级(步骤S170)。接下来,亮度提取部54输入亮度信号(步骤S140),亮度判定部55判定相应的像素是否为预定的亮度等级(步骤S150)。该预定的亮度等级例如与拾取对象的工件W的颜色(例如白、银、黑、灰色等中的任意一种)相符地设定。在相应的像素为预定的亮度等级时,将相应的像素判定为对象工件色(步骤S160),在相应的像素未处于预定的亮度等级时,将相应的像素判定为对象外工件色(步骤S180)。判定部51对全部像素进行这样的处理。
在步骤S160、S170、S180之后,工件识别部58执行工件区域的检测处理(步骤S190)。工件识别部58通过存储在基准图像保持部57的拾取对象的工件W的基准图像与处于由色差提取部53检测出的工件区域等级的像素的集合区域的匹配来检测拾取对象的工件区域。当检测工件区域时,能够拾取判定部59对检测出的工件区域中的能够拾取的工件区域进行判定处理(步骤S200),将判定结果朝向移载控制部29输出(步骤S210),结束该例程。能够拾取判定部59基于两个以上工件区域的接近状态、重叠状态、进而载置位置来判定能够拾取的工件区域。另外,能够拾取判定部59在工件区域的颜色是与拾取对象的工件区域不同的对象外工件色的情况下也将该工件区域判定为无法拾取。图7是拾取用载置部13和拍摄图像60的说明图。如图7所示,判定部51将符合拍摄图像60的工件W的基准图像的工件区域中的、不与其它工件区域重叠且不接近的区域、且不在拾取用载置部13的边缘部分的区域识别为能够拾取工件区域61。另一方面,判定部51将工件区域中的、与其它工件区域重叠的区域、接近的区域、与拾取对象的工件W颜色不同的区域、处于拾取用载置部13的边缘部分的区域识别为无法拾取工件区域62。这样,图像处理装置50检测能够通过拾取部22更加可靠地拾取的工件W的位置。
在此,明确本实施方式的结构要素与本发明的结构要素的对应关系。本实施方式的拍摄部25相当于拍摄部,照明部26相当于照明部,判定部51相当于判定部,拾取用载置部13相当于拾取用载置部。此外,在本实施方式中,通过说明图像处理装置50的动作也明确了本发明的图像处理方法的一例。
以上说明的本实施方式的图像处理装置50是用于工件移载装置的装置,该工件移载装置通过拾取部22从载置有一个以上工件W的拾取用载置部13拾取工件W并使该工件W移动。该图像处理装置50具备:照明部26,向拾取用载置部13照射光;拍摄部25,能够拍摄拾取用载置部13的彩色图像;及判定部51,利用根据从拍摄部25输出的信号所获得的亮度-色差信号中的色差信号来检测工件区域,判定能否拾取工件区域的工件,并输出判定结果。该图像处理装置50主要利用根据从拍摄彩色图像的拍摄部输出的信号所获得的亮度-色差信号中的色差信号来检测工件区域,判定能否拾取检测出的工件区域的工件,并输出判定结果。
图8是具有金属光泽的工件W的拍摄图像的一例和拍摄图像的A-A中的亮度信号、色差信号的说明图。由于亮度信号在整体上输出较大,因此存在有易于设定阈值的优点,但是相反地,如图8所示,在具有金属光泽的工件W中会引起光晕、在具有曲面的工件W中难以对侧面进行照明,因此侧面侧的对比度有时会变弱。或者,在亮度信号中,亮度等级在工件表面的凹凸部分(螺栓的螺纹牙部分等)变得不稳定,图像处理装置50有时会对工件的轮廓形状(边缘部分)进行误检测,存在有无法精确地检测工件的情况。虽然该情况只需从侧面对工件W进行照明即可消除,但是对应每个拾取用载置部13配置照明存在设备方面的问题,若在侧面配置照明则存在有拾取部22难以拾取工件W的问题。另外,在利用亮度信号来检测工件区域的情况下,存在有当工件W的颜色为白、黑时若未与工件W的颜色相应地变更背景色则无法获得对比度差的问题。与此相对地,在利用色差信号来检测工件区域的情况下,只需将非彩色的工件W载置在彩色背景上,则工件区域形成为固定值(大致值128),也能够可靠地进行金属工件W的侧面的轮廓提取,无需进行背景色的变更。这样,由于在图像处理装置50中,利用色差信号来检测工件区域,因此通过恰当地选择背景色,背景(拾取用载置部13)与工件W的色差等级变得更加稳定,轮廓提取更加稳定。在该装置中,例如,能够提高相对于背景的噪音、照明的照度的变动的鲁棒性,能够利用低价且通用的设备更加可靠地掌握工件W的位置。并且,在取得了判定结果的工件移载装置20中,基于更加可靠地求得的工件W的位置,能够更加可靠地拾取工件W。
另外,在图像处理装置50中,拾取用载置部13为预定的彩色,照明部26向拾取用载置部13照射与拾取用载置部13的彩色为互补色关系的光。由于在该装置中,能够通过互补色的光来进一步抑制工件W的影子等影响,因此能够更加可靠地掌握工件W的位置。在图像处理装置50中,优选工件W为非彩色,拾取用载置部13为橙色,照明部26照射蓝色光。进而,在图像处理装置50中,工件W为包括黑色、白色、灰色及银色中的一种以上颜色的非彩色,判定部51利用亮度信号来判定工件区域为非彩色所包含的颜色中的哪一种颜色。由于在色差信号中,在非彩色区域中色差等级形成为固定值(例如,值128),因此在该装置中,易于更加可靠地掌握工件W的位置。另外,由于在该装置中,能够基于亮度信号判定该区域为何种非彩色,因此能够更加可靠地掌握作为拾取对象的工件区域。
另外,判定部51通过拾取对象的工件W的基准图像和与工件区域相对应的像素区域的匹配来检测工件区域,基于两个以上工件区域的接近状态、重叠状态、工件区域的颜色、工件W的载置场所等,判定能够拾取的工件区域。在该装置中,能够利用基准图像来检测工件区域。另外,在该装置中,能够利用工件区域的状态来判定能够拾取的工件区域。进而,在工件移载装置20中,照明部26及拍摄部25配设于移载部21。由于在该装置中,能够在更加靠近工件W的位置拍摄图像,因此能够更加精确地检测工件W的位置坐标。
此外,本发明并不局限于上述实施方式,不言而喻地,只要从属于本发明的技术范围就能够以各种方式来实施。
例如,在上述实施方式中,说明了拾取用载置部13与照明部26的照射光为互补色的关系,但是并不特别局限于此,也可以不为互补色的关系。即使在该装置中,由于利用色差等级来检测工件区域,因此也能够在具有通用性的同时更加可靠地掌握工件W的位置。
在上述实施方式中,工件W是包括黑色、白色、灰色及银色中的一种以上颜色的非彩色,判定部51利用亮度信号判定工件区域为非彩色所包含的颜色中的哪一种颜色,但是也可以省略基于亮度信号的确定非彩色的处理。只要朝向工件收容部件11收容的工件W不掺入预定以外的物品,就能够省略该处理。
在上述实施方式中,判定部51将处于预定的非彩色等级的区域检测为工件区域,但是并不局限于此,也可以将处于预定的彩色等级(例如,值90以下等)的区域以外的区域(参照图8的色差信号的图)检测为工件区域。在该情况下,在上述图像处理例程中,步骤S120的色差等级被设定为背景色的等级,在步骤S130中,将相应的像素判定为背景区域,利用反转信号等将其补色区域(背景区域以外的区域)判定为工件区域即可。
在上述实施方式中,照明部26及拍摄部25配设于移载部21,但是并不特别局限于此,既可以配设在拾取用载置部13的上方、也可以配设在移载部21及配设在拾取用载置部13的上方。由于在照明部26及拍摄部25配设在拾取用载置部13的上方的装置中,图像处理装置50能够在移载部21移动工件W的过程中拍摄拾取用载置部13上的工件W的图像而检测工件区域,因此能够进一步实现处理时间的缩短,是优选的。
在上述实施方式中,拾取部22通过磁力吸引并通过夹持部24把持而拾取工件W,但是并不特别局限于此,既可以仅通过磁力来拾取工件W,也可以仅通过夹持部24把持而拾取工件W,或者也可以通过吸嘴吸附而拾取工件W。
在上述实施方式中,将拾取对象的工件W载置于配设在工件收容部件11的拾取用载置部13,但是并不特别局限于此。例如,也可以将拾取对象的工件W载置于移动的传送带上。在该装置中,传送带相当于拾取用载置部,将该传送带的颜色形成为彩色等。在该装置中,由于利用色差等级来检测工件区域,因此也能够在具有通用性的同时更加可靠地掌握工件W的位置。在拾取用载置部是传送带的情况下,也可以将多种工件W载置于传送带上,在图像处理装置50对工件区域的识别中确定拾取对象的工件W。此外,在配设在工件收容部件11的拾取用载置部13中,也可以载置多种工件W,在图像处理装置50对工件区域的识别中确定拾取对象的工件W。
在上述实施方式中,工件W为非彩色,但是也可以不是非彩色。在对该工件W进行处理的装置中,只需将拾取用载置部13的颜色、照明部26的颜色形成为适于工件W的颜色即可。例如,也可以是,工件W为彩色,拾取用载置部13被着色为非彩色。
在上述实施方式中,图像处理装置50执行图像处理例程,但是并不特别局限于此,也可以由移载控制部29来执行。
在上述实施方式中,工件移载系统10具备工件移载装置20和工件供给装置40各一个,但是并不特别局限于此,也可以针对各个装置而分别具备一个以上。
在上述实施方式中,本发明被应用于通过拾取部来拾取工件并使该工件移动的工件移载装置,但是也可以被应用于电子元件电路组装机中的元件、基板的标志的识别、机床中的刀具、工件的识别。
在上述实施方式中,说明了具备工件移载装置20和工件供给装置40的工件移载系统10,但是既可以仅作为工件移载装置20而提供,也可以仅作为图像处理装置50而提供,也可以作为图像处理方法而提供。此外,在该图像处理方法中,也可以采用上述图像处理装置50的各种方式,另外,也可以追加实现上述图像处理装置50的各功能这样的步骤。
工业实用性
本发明能够应用于拾取工件而进行配置等处理的装置的技术领域中。
附图标记说明
10工件移载系统、11工件收容部件、12储藏部、13拾取用载置部、14壳体、15搬运部、16作业用载置部、20工件移载装置、21移载部、22拾取部、24夹持部、25拍摄部、26照明部、27拍摄元件、28臂部、28a第一臂、28b第二臂、29移载控制部、30CPU、31透镜、32偏振滤光器、34环状照明、35偏振板、40工件供给装置、41供给部、42拾取部、43臂部、44供给控制部、50图像处理装置、51判定部、52信号转换部、53色差提取部、54亮度提取部、55亮度判定部、56切换部、57基准图像保持部、58工件识别部、59能够拾取判定部、60拍摄图像、61能够拾取工件区域、62无法拾取工件区域、W工件。

Claims (8)

1.一种图像处理装置,用于工件移载装置,所述工件移载装置通过拾取部从载置有一个以上工件的拾取用载置部拾取该工件并使该工件移动,
所述图像处理装置具备:
照明部,向所述拾取用载置部照射光;
拍摄部,能够拍摄所述拾取用载置部的彩色图像;及
判定部,利用根据从所述拍摄部输出的信号所获得的亮度-色差信号中的色差信号来检测工件区域,判定能否拾取所述工件区域的工件,并输出判定结果,
所述拾取用载置部为预定的彩色,
所述照明部向所述拾取用载置部照射与所述拾取用载置部的彩色为互补色关系的光。
2.根据权利要求1所述的图像处理装置,其中,
所述工件为包括黑色、白色、灰色及银色中的一种以上颜色的非彩色,
所述判定部利用所述亮度信号来判定所述工件区域为所述非彩色所包含的颜色中的哪一种颜色。
3.根据权利要求1所述的图像处理装置,其中,
所述判定部将处于预定的非彩色等级的区域检测为所述工件区域,或者将处于预定的彩色等级的区域以外的区域检测为所述工件区域。
4.根据权利要求2所述的图像处理装置,其中,
所述判定部将处于预定的非彩色等级的区域检测为所述工件区域,或者将处于预定的彩色等级的区域以外的区域检测为所述工件区域。
5.根据权利要求1~4中任一项所述的图像处理装置,其中,
所述判定部通过拾取对象的工件的基准图像与所述工件区域的匹配来检测拾取对象的工件区域,基于两个以上该工件区域的接近状态及重叠状态来判定能够拾取的工件区域。
6.一种工件移载装置,具备:
权利要求1~5中任一项所述的图像处理装置;
移载部,配设有拾取工件的拾取部,并使该拾取部移动;及
控制部,基于从所述图像处理装置的所述判定部输出的判定结果来控制所述移载部。
7.根据权利要求6所述的工件移载装置,其中,
所述照明部及所述拍摄部配设于所述拾取用载置部的上方和/或所述移载部上。
8.一种图像处理方法,用于工件移载装置,所述工件移载装置通过拾取部从载置有一个以上工件的拾取用载置部拾取该工件并使该工件移动,所述拾取用载置部为预定的彩色,
所述图像处理方法包括如下步骤:
(a)向所述拾取用载置部照射与所述拾取用载置部的彩色为互补色关系的光,通过拍摄部拍摄所述拾取用载置部的彩色图像;及
(b)利用根据从所述拍摄部输出的信号所获得的亮度-色差信号中的色差信号来检测工件区域,判定能否拾取所述工件区域的工件,并输出判定结果。
CN201680085998.7A 2016-06-01 2016-06-01 图像处理装置、工件移载装置及图像处理方法 Active CN109153099B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/066180 WO2017208389A1 (ja) 2016-06-01 2016-06-01 画像処理装置、ワーク移載装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN109153099A CN109153099A (zh) 2019-01-04
CN109153099B true CN109153099B (zh) 2020-11-17

Family

ID=60479346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680085998.7A Active CN109153099B (zh) 2016-06-01 2016-06-01 图像处理装置、工件移载装置及图像处理方法

Country Status (4)

Country Link
EP (1) EP3466604B1 (zh)
JP (1) JP6737882B2 (zh)
CN (1) CN109153099B (zh)
WO (1) WO2017208389A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019181600A (ja) * 2018-04-05 2019-10-24 花王株式会社 ピックアンドプレイス装置
CN108908294B (zh) * 2018-07-09 2022-03-29 无锡南理工科技发展有限公司 一种自动化机械抓手装置
EP3715067A3 (de) * 2019-03-07 2020-12-23 Zahoransky AG Greifvorrichtung, vereinzelungsvorrichtung sowie verfahren zum greifen von körpern und verwendung einer greifvorrichtung
JP7145332B2 (ja) * 2019-07-12 2022-09-30 株式会社Fuji ロボット制御システム及びロボット制御方法
CN113109365A (zh) * 2021-04-16 2021-07-13 中国科学院自动化研究所 适用于多种工件的缺陷检测系统及方法
CN114535114B (zh) * 2022-01-19 2023-11-21 湖南视比特机器人有限公司 输送线上工件随动分拣系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4402053A (en) * 1980-09-25 1983-08-30 Board Of Regents For Education For The State Of Rhode Island Estimating workpiece pose using the feature points method
JPH0646403B2 (ja) * 1985-06-13 1994-06-15 株式会社クボタ 作物認識装置
JPS62274379A (ja) * 1986-05-22 1987-11-28 Kubota Ltd 果実認識用の画像処理装置
JPH08271223A (ja) * 1995-02-03 1996-10-18 Kobe Steel Ltd 物体の位置認識装置
JP3668383B2 (ja) * 1998-02-27 2005-07-06 松下電器産業株式会社 電子部品実装装置
JP3878023B2 (ja) * 2002-02-01 2007-02-07 シーケーディ株式会社 三次元計測装置
KR101734962B1 (ko) * 2010-01-12 2017-05-15 삼성전자주식회사 로봇의 위치 인식 장치 및 방법
JP5846363B2 (ja) * 2011-09-02 2016-01-20 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
JP2014006852A (ja) * 2012-06-27 2014-01-16 Seiko Epson Corp 認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム

Also Published As

Publication number Publication date
EP3466604B1 (en) 2020-12-23
EP3466604A1 (en) 2019-04-10
EP3466604A4 (en) 2019-04-24
CN109153099A (zh) 2019-01-04
JPWO2017208389A1 (ja) 2019-03-28
WO2017208389A1 (ja) 2017-12-07
JP6737882B2 (ja) 2020-08-12

Similar Documents

Publication Publication Date Title
CN109153099B (zh) 图像处理装置、工件移载装置及图像处理方法
CN108037130B (zh) 电芯的极耳缺陷自动检测方法及自动检测装置
US9665946B2 (en) Article conveyor system
KR101527525B1 (ko) 삼차원 계측 장치
US11305432B2 (en) Work machine and pick-up position selection method
KR20140117319A (ko) 전자 부품 반송 장치 및 전자 부품 검사 장치
CN110823922A (zh) 外观检测装置
JP2011143496A (ja) トレイ移載装置及び方法
WO2019123527A1 (ja) 実装装置、検出装置及び検出方法
CN108962784B (zh) 半导体制造装置及半导体器件的制造方法
US10518406B2 (en) Component feeder and a system for picking components comprising the component feeder
WO2017068638A1 (ja) 画像処理装置および部品実装機
JP2007198903A (ja) 搬送装置の位置調整方法、搬送装置の位置調整装置及びicハンドラー
WO2015052755A1 (ja) 実装装置
US20240033933A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
CN109644585B (zh) 元件安装装置及位置识别方法
WO2018055757A1 (ja) 照明条件特定装置及び照明条件特定方法
JP4618203B2 (ja) 電子部品実装装置及び電子部品実装方法
WO2018055663A1 (ja) 撮像装置及び実装装置
JP3386183B2 (ja) 物品の位置検出装置
CN111278612A (zh) 元件移载装置
JP7312663B2 (ja) 線状物の作業位置決定方法、ロボットの制御方法、線状物の固定方法、線状物の作業位置決定装置および線状物把持システム
WO2022107286A1 (ja) 画像処理装置、実装装置、実装システム、画像処理方法及び実装方法
TWI623998B (zh) Electronic component transfer device and its operation classification device
JP2022178573A (ja) 材質判定方法及び材質判定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant