CN102753933B - 透明物体检测系统和透明平板检测系统 - Google Patents

透明物体检测系统和透明平板检测系统 Download PDF

Info

Publication number
CN102753933B
CN102753933B CN201180009141.4A CN201180009141A CN102753933B CN 102753933 B CN102753933 B CN 102753933B CN 201180009141 A CN201180009141 A CN 201180009141A CN 102753933 B CN102753933 B CN 102753933B
Authority
CN
China
Prior art keywords
image
polarization
transparent plate
transparent
vertical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180009141.4A
Other languages
English (en)
Other versions
CN102753933A (zh
Inventor
平井秀明
青木伸
小林正典
李雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2010030238A external-priority patent/JP5589422B2/ja
Priority claimed from JP2010030247A external-priority patent/JP5589423B2/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN102753933A publication Critical patent/CN102753933A/zh
Application granted granted Critical
Publication of CN102753933B publication Critical patent/CN102753933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21Polarisation-affecting properties
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958Inspecting transparent materials or objects, e.g. windscreens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21Polarisation-affecting properties
    • G01N21/23Bi-refringence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/90Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9018Dirt detection in containers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/90Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9018Dirt detection in containers
    • G01N21/9027Dirt detection in containers in containers after filling

Abstract

本发明提供了一种透明物体检测系统,包括:图像获取单元,其通过获取第一区域的图像来获取垂直极化图像和水平极化图像,所述图像包括透明体,所述透明体具有透射光的极化方向改变的特性;置物桌,在所述置物桌上将放置所述透明体;极化过滤器,其被设置为跨所述置物桌与所述图像获取单元相对、并且位于包括第二区域的位置处,所述第二区域的图像至少包括在所述第一区域中的所述透明体并且是被获取的;以及图像处理装置,其基于垂直/横向极化度图像的垂直/横向极化度的分布来检测所述透明体,其中所述垂直/横向极化度图像基于所述垂直极化图像和水平极化图像。

Description

透明物体检测系统和透明平板检测系统
技术领域
本发明涉及一种透明物体检测系统和透明平板检测系统,并且尤其涉及一种基于图像处理而方便和准确地分别检测透明物体和透明平板的透明物体检测系统和透明平板检测系统。
背景技术
传统上,透明塑料成型物体(下文中称为“透明物体”)用于各种领域,例如食品包装、家用电器、和汽车部件等,并且也广泛用作光学部件,例如显示器、和光盘等。然而,当将这样的透明物体作为要被成像的物体时,使用仅能检测亮度信息的典型相机难于适当地检测透明物体。这是因为透明物体具有低的反射率和高的透射率。因而,透明物体和背景之间的获取的反差易于变得不清楚。
为了解决这个问题,专利文件1揭示了一种用于图1的透明体检测系统中使用的透明物体检测方法。如图1示意性地示出,透明体检测系统包括光投影侧极化板95,光投影设备91,具有光接收侧极化板96的极化装置92,TV照相机93以及图像处理装置94。光投影侧极化板95在特定方向对光进行极化。光投影设备91将光投影到包括透明物体90的预定区域。光接收侧极化板96仅从已经发送通过预定区域的光发送特定极化光。TV照相机93基于通过接收通过光接收侧极化板96透射的光而获取的图像而进行二维图像成像。图像处理装置94基于TV照相机93获取的图像的投影光的分布而检测透明物体90。通过具有该配置,能够检测透明物体90。为此,在特定方向被极化的光被投影到包括透明物体90的预定区域。然后,已经发送通过预定区域的光进一步通过仅发送特定极化光的光接收侧极化板96发送。通过光接收侧极化板96透射的光由TV照相机93的CCD(电容耦合器件)接收。基于由CCD获取的图像的投影光分布,检测到透明物体90。
然而,根据专利文件1描述的技术,使用透明物体的双折射特性来检测透明物体。由于该特点,当应用专利文件1中描述的技术时,可能难于检测不具有双折射特性的透明平板(例如玻璃平板)。
另一方面,作为检测板状物体的图像的技术,专利文件2揭示了如图2所示的表面检查装置。如图2中示意性地示出的,表面检查装置通过使用行传感器照相机82a到82c而检测与来自钢板81的表面的不同的反射光对应的极化光而形成指示极化光的强度分布的图像。
【专利文件1】日本公开专利申请号2002-98650;
【专利文件2】日本公开专利申请号09-166552。
发明内容
要解决的技术问题
(问题1:发光装置的位置)
在专利文件1的技术中,需要将发光装置97和光投影侧极化板95相对于TV照相机93设置在透明物体90之下。然而,在实际生产线等中,可能有清洁透明物体或透明平板的处理。在这样的处理中,液滴可能向下滴落。为了安全原因等,可能存在难于将发光装置97设置在透明物体或透明平板下的情况。
进一步地,在专利文件2中描述的技术中,可能需要将光投影部83和极化器相对于照相机82彼此面对地设置。由于该需要,当透明平板物体是要被检查的铁板81时,需要将光在透明平板物体的整个表面上照射。因而,当要检查多个透明平板物体或具有大尺寸的透明平板物体时,可能需要使用具有大的发光区域的发光装置或者将发光装置设置成与物体分离。结果是,系统的尺寸可能会变得更大。
(问题2:从托盘向检测装置迁移)
进一步地,在专利文件1中描述的技术中,当在处理中使用托盘或一起使用置物桌和托盘时,可能需要首先将透明物体迁移到透明物体检测装置。
(问题3:需要旋转机构和校准处理)
进一步地,在专利文件1中描述的技术中,需要将光投影侧极化板95和光接收侧极化板96的发送极化方向设置为彼此平行或彼此正交。为此,可能需要在每个预定旋转节距旋转光接收侧极化板96并且测量各个图像。由于该特点,当例如改变透明物体90的类型时,需要时间响应于该改变并且可能浪费时间。进一步地,增加了旋转机构,装置的尺寸相应地变得更大。进一步地,这样的旋转机构在例如制造工厂的环境中可能会受到随着时间而改变(例如中心位置可能偏移)的困扰。进一步地,旋转机构的移动部可能会受到由于被损耗而导致的问题的困扰。因而,可能需要适当的维护。
本发明鉴于上述问题而提出,并且提出方便和准确地分别检测透明物体和透明平板的透明物体检测系统和透明平板检测系统,尤其是提出一种不管透明物体的姿态如何、不需将发光装置设置在较低侧、不要求校准操作并且不需要专用旋转机构的检测透明物体的透明物体检测系统和透明平板检测系统。
进一步地,本发明也提出一种方便和准确地检测透明平板的透明平板检测系统,尤其是提出一种不管透明平板的姿态如何、不需专用发光装置、不要求校准操作并且不需要旋转机构的检测透明平板的透明平板检测系统。
解决上述问题的方法
根据本发明的第一方面,为了解决上述问题,提供了一种透明体检测系统,包括:图像获取单元,通过获取第一区域的图像而获取垂直极化图像和水平极化图像,所述图像包括具有发送光的极化方向在其中改变的特性的透明体;置物桌,用于放置透明体;极化过滤器,设置为跨过置物桌与图像获取单元相对并且位于包括第二区域的位置,第二区域的图像至少包括在第一区域中的所述透明体并且是被获取的;以及图像处理装置,根据基于垂直极化图像和水平极化图像的垂直/横向极化度图像的垂直/横向极化度的分布来检测透明体。
通过具有该配置,获取垂直/横向极化度图像。因此,不需要依赖于设置在透明物体之下的极化过滤器的方向,可以检测透明物体的极化改变,从而使得能够消除校准操作。进一步地,可以不需要旋转机构(可以解决问题3)。进一步地,作为要被发送到透明物体的光,使用通过极化过滤器112已经被透射的光(即具有特定极化方向的光)。不需要在极化过滤器112正下方设置发光装置(可以解决问题1)。进一步地,在置物桌设置在托盘之上的配置中,极化过滤器设置在置物桌和托盘之间。不需要执行操作将透明物体从置物桌移位到透明物体检测装置(可以解决问题2)。
进一步地,根据本发明的第二方面,提供了一种透明体检测系统,包括:图像获取单元,通过获取第一区域的图像而获取垂直极化图像和水平极化图像,所述图像包括具有发送光的极化方向在其中改变的特性的透明体;置物桌,用于放置透明体,置物桌反射具有与第三区域的极化方向基本相同的极化方向的光,第三区域的图像不包括透明体并且是被获取的;基底,设置为跨过置物桌与图像获取单元相对并且具有垂直极化图像和水平极化图像中的一个的等级值高于垂直极化图像和水平极化图像中的另一个的等级值的特性;以及图像处理装置,根据基于垂直/横向极化度图像的垂直/横向极化度的分布来检测透明体,垂直/横向极化度图像基于垂直极化图像和水平极化图像。
通过具有该配置,获取垂直/横向极化度图像。因而,不需根据设置在透明物体之下的极化过滤器的方向,可以检测透明物体的极化改变,从而使得能够消除校准操作。进一步地,可以不需要旋转机构(可以解决问题3)。进一步地,系统可以被简化并且系统成本可以降低。
进一步地,根据本发明的第三方面,在根据本发明第一或第二方面的透明体检测系统中,图像处理装置检测被检测的透明体的位置和姿态。
进一步地,根据本发明的第四方面,在根据本发明第三方面的透明体检测系统中,透明体检测系统进一步包括:机器人手;以及控制机器人手的机器人控制器,其中,机器人控制器基于被检测的透明体的位置使得机器人手移动并且基于被检测的透明体的姿态拾起透明体。
进一步地,根据本发明的第五方面,在根据本发明第三或第四方面的透明体检测系统中,图像处理装置基于被检测的透明体的位置和姿态确定透明体的存在区域,比较透明体的两个或更多个存在区域,并且检测透明体形状中的缺陷。
进一步地,根据本发明的第六方面,在根据本发明第三至第五方面的任一方面的透明体检测系统中,图像处理装置基于被检测的透明体的位置和姿态确定透明体的存在区域并且根据基于垂直极化图像和水平极化图像的单色亮度图像的亮度分布来检测透明体外观中的缺陷。
进一步地,根据本发明的第七方面,在根据本发明第三至第六方面的任一方面的透明体检测系统中,图像处理装置基于被检测的透明体的位置和姿态确定透明体的存在区域并且根据基于垂直极化图像和水平极化图像的单色亮度图像的亮度分布来检测字符信息和设计图案信息中的至少一个,字符信息和设计图案信息形成在透明体的表面上。
进一步地,根据本发明的第八方面,在根据本发明第三至第七方面的任一方面的透明体检测系统中,透明体是要混在空瓶子里或者装满透明液体的瓶子里的透明异物,和图像处理装置根据基于垂直极化图像和水平极化图像的垂直/横向极化度图像的垂直/横向极化度的分布来确定透明异物是否混在空瓶子里或者装满透明液体的瓶子里。
进一步地,根据本发明的第九方面,提供了一种透明平板检测系统,包括:图像获取单元,通过获取包括透明平板的区域的图像而获取垂直极化图像和水平极化图像,所述图像通过相对于透明平板的平面表面部分的法线的预定角度获取;置物桌,用于放置透明平板;反射表面,设置在通过透明平板和图像获取单元的光学路径上并且位于置物桌之下;光屏蔽板,设置为相对于透明平板的平面表面部分的法线面对图像获取单元并且阻挡光使得防止来自透明平板的平面表面部分的镜面反射光入射到图像获取单元;以及图像处理装置,根据基于垂直极化图像和水平极化图像的垂直/横向极化度图像的垂直/横向极化度的分布来检测透明平板。
通过具有该配置,获取垂直/横向极化度图像数据。因而,不需根据设置在透明平板之下的极化过滤器的方向,可以检测透明平板的极化改变,从而使得能够消除校准操作。进一步地,可以不需要旋转机构(可以解决问题3)。进一步地,来自透明平板的镜面反射光不入射到图像获取单元并且使用通过透明平板透射的光。因而,不需要提供专用发光装置,并且即使在荧光下,可以检测透明平板(可以解决问题1)。进一步地,在置物桌设置在托盘之上并且透明平板放置在置物桌之上的情况下,或者在透明平板直接放置在置物桌之上的情况下,可以检测透明平板(可以解决问题2)。
进一步地,根据本发明的第十方面,提供了一种透明平板检测系统,包括:图像获取单元,通过获取包括透明平板的区域的图像而获取垂直极化图像和水平极化图像,所述图像通过相对于透明平板的平面表面部分的法线的预定角度获取;反射表面,设置为相对于透明平板的平面表面部分的法线面对图像获取单元并且具有仰角使得来自透明平板的平面表面部分的镜面反射光入射到图像获取单元;以及图像处理装置,根据基于垂直极化图像和水平极化图像的垂直/横向极化度图像的垂直/横向极化度的分布来检测透平板。
通过具有该配置,获取垂直/横向极化度图像数据。因而,不需根据设置在透明平板之下的极化过滤器的方向,可以检测透明平板的极化改变,从而使得能够消除校准操作。进一步地,可以不需要旋转机构(可以解决问题3)。进一步地,反射表面被设置为面对图像获取单元,从而来自透明平板的平面表面部分的镜面反射光入射到图像获取单元。因而,不需要提供专用发光装置,并且即使在荧光下,也可以检测透明平板(可以解决问题1)。进一步地,例如,在置物桌设置在托盘之上并且透明平板放置在置物桌之上的情况下,或者在透明平板直接放置在置物桌之上的情况下,可以检测透明平板,而无关于透明平板的放置状态(可以解决问题2)。
进一步地,根据本发明的第十一方面,在根据本发明的第九或第十方面的透明平板检测系统中,图像处理装置检测被检测的透明平板的位置和姿态。
进一步地,根据本发明的第十二方面,根据本发明的第十一方面的透明平板检测系统还包括机器人手;以及控制机器人手的机器人控制器,其中,机器人控制器基于被检测的透明平板的位置使得机器人手移动并且基于被检测到的透明平板的姿态拾起透明平板。
进一步地,根据本发明的第十三方面,在根据本发明的第十一或第十二方面的透明平板检测系统中,图像处理装置基于被检测到的透明平板的位置和姿态确定透明平板的存在区域,比较透明平板的两个或更多个存在区域,并且检测透明平板形状中的缺陷。
进一步地,根据本发明的第十四方面,在根据本发明的第十一至第十三方面的任一方面的透明平板检测系统中,图像处理装置基于被检测的透明平板的位置和姿态确定透明平板的存在区域并且根据基于垂直极化图像和水平极化图像的单色亮度图像的亮度分布来检测透明平板外观中的缺陷。
进一步地,根据本发明的第十五方面,在根据本发明的第十一至第十四方面的任一方面的透明平板检测系统中,图像处理装置基于被检测的透明平板的位置和姿态确定透明平板的存在区域,并且根据基于垂直极化图像和水平极化图像的单色亮度图像的亮度分布来检测字符信息和设计图案信息中的至少一个,字符信息和设计图案信息形成在透明平板的表面上。
本发明的效果
根据本发明的实施例,可以方便和准确地检测透明体和透明平板。
附图说明
图1是说明现有透明体检测系统的实例的图;
图2是说明现有表面检查装置的实例的图;
图3是说明根据本发明实施例的透明物体检测系统的示意图;
图4是说明图像获取单元的第一示例配置的图;
图5是说明图像获取单元的第二示例配置的图;
图6是说明图像获取单元的第三示例配置的图;
图7是说明图像获取单元的第一示例配置的图;
图8是说明区域划分类型过滤器的图;
图9A是说明获取的透明物体的图像的第一实例的单色亮度图像的图;
图9B是说明第一实例的垂直/横向极化度图像的图;
图10A是说明获取的透明物体的图像的第二实例的单色亮度图像的图;
图10B是说明第二实例的垂直/横向极化度图像的图;
图11A是说明获取的透明物体的图像的第三实例的单色亮度图像的图;
图11B是说明第三实例的垂直/横向极化度图像的图;
图12A是说明获取的透明物体的图像的第四实例的单色亮度图像的图;
图12B是说明第四实例的垂直/横向极化度图像的图;
图13是图像处理装置执行的图像处理过程的流程图的实例;
图14是说明透明物体具有缺失部分的位置的图;
图15是说明透明物体具有毛边的位置的图;
图16是说明透明物体不具有瑕疵的图;
图17是说明透明物体具有瑕疵的图;
图18是说明根据本发明实施例的透明平板检测系统的图;
图19是说明透明平板的透射率的实例的图;
图20A是说明获取的透明平板的图像的实例的单色亮度图像的图;
图20B是说明实例的垂直/横向极化度图像的图;
图21是由图像形成装置执行的图像处理的示例流程图;
图22是说明作为透明平板的区域提取结果而获取的图像的实例的图;
图23是说明在执行梯形扭曲纠正之后的图像的图;
图24是说明具有缺失部分的透明平板的示例图像的图;
图25是说明具有毛边的透明平板的示例图像的图;
图26是说明不具有污点的透明平板的示例图像的图;
图27是说明具有污点的透明平板的示例图像的图;
图28是说明根据本发明另一个实施例的透明平板检测系统的图;
图29是说明透明平板的反射率的实例的图;
图30A是说明获取的透明平板的图像的另一实例的单色亮度图像的图;以及
图30B是说明实例的垂直/横向极化度图像的图。
附图标记的描述
1A:透明物体检测系统
1B:透明平板检测系统
11A:透明物体放置部
11B:透明平板放置部
12:照相机(图像获取单元)
13:图像处理装置
14:监视器
15:机器人控制器
16:机器人手
20a,20b:极化过滤器
21:光学系统
22:透镜阵列
23:光屏蔽间隔物
24:极化过滤器
25:间隔物
26:固态成像单元
27a,27b:光轴
28a,28b:透镜
29a,29b:孔径
30a,30b:极化区域
31:孔径
32:基板
33a,33b:固态成像设备
34:半镜箱
35:镜子
36:垂直极化过滤器
37:水平极化过滤器
38,39:CCD
40:光接收器件阵列
41:极化过滤器区域(垂直)
42:极化过滤器区域(横向)
43:缺失部
44:毛边
45:瑕疵
101:荧光
102:光屏蔽板
103:反射板
111:托盘
112:极化过滤器
113:置物桌
114A:透明物体
114B:透明平板
115:反射表面
131:A/D转换器
132:存储器
133:显示控制部
135:CPU
具体实施方式
在下文中参考图3至图18描述根据本发明实施例的示例配置。
透明物体检测系统
根据本发明实施例的透明物体检测系统1A包括图像获取单元(照相机12)、置物桌113、极化过滤器112以及图像处理装置13。图像获取单元(照相机12)通过获取第一区域的图像而获取垂直极化图像和水平极化图像,该第一区域的图像包括具有透射光的极化方向改变的特性的透明物体114A。提供置物桌113使得透明物体114A被放置在置物桌113上。极化过滤器112设置在跨过置物桌113与图像获取单元(照相机12)面对的位置。进一步地,极化过滤器112被设置在某一位置,使得当获取第二区域的图像时,获取的图像至少包括在第一区域中包括的透明物体114A,该第二区域被包括在极化过滤器112中。图像处理装置13根据基于垂直极化图像和水平极化图像的垂直/横向极化度图像的垂直/横向极化度的分布来检测透明物体114A。
图3示意性地说明了透明物体检测系统1A的配置。透明物体检测系统1A包括透明物体放置部11A,照相机12,图像处理装置13,监视器14,机器人控制器15以及机器人手16。照相机12获取单色亮度图像和垂直/横向极化度图像。
例如,透明物体检测系统1A被安装在制造工厂并且放置在例如荧光101的室内照明下。进一步地,透明物体检测系统1A被设置使得透明物体放置部11A的置物桌113与地面平行,并且照相机12获取沿着置物桌113的法线方向的透明物体114A的图像。进一步地,光屏蔽板102设置在照相机12和室内照明(例如荧光101)之间,使得室内照明不能直接照射透明物体114A。然而,来自上方荧光101的光可以被部分屏蔽。例如,彩色塑料板可以用作光屏蔽板102。然而,可选地可以使用具有足够光屏蔽能力的任何其他板等。通过设置光屏蔽板102,可以移除透明物体114A表面上的不必要的反射光,从而使得能够提高透明物体114A的检测准确度。
透明物体放置部11A包括置物桌113和极化过滤器112。提供置物桌113使得透明物体114A被放置在置物桌113上。极化过滤器112设置在跨过置物桌113与图像获取单元(照相机12)面对的位置并且包括区域(第二区域)范围,该第二区域至少包括透明物体114,从而可以获取第二区域的图像。在极化过滤器112之下设置托盘111。提供托盘111从而接收在例如对透明物体114A的清洁处理后从透明物体114A落下的液滴。
进一步地,置物桌113具有网状(网眼)结构,该网状(网眼)结构的网眼(图案)的占有率被确定为使得从托盘111反射然后通过极化过滤器112透射的光能够通过透明物体114A充分地透射。特别地,优选网眼(图案)的占有率是透明物体114A的区域的大约5%。进一步地,优选网眼(图案)的线比较细,使得线的宽度等于或小于透明物体114A的尺寸的5%。通过具有上述尺寸(结构),通过透明物体114A透射的极化光的区域的尺寸可以增加并且背景区域的尺寸也可以增加,从而使得能够提高透明物体114A的边缘检测准确度。
优选地使用具有有机膜结构的过滤器作为极化过滤器112。通过使用这样的有机膜,可以较小成本地获得较大区域,从而使得能够降低透明物体检测系统1A的成本。进一步地,这样的有机膜具有弹性,从而即使当托盘111具有适中的凹凸部分时也可以使用密封材料容易地将膜贴在托盘111上。
进一步地,在该实施例中,描述了设置了托盘111的情况。然而,当极化过滤器112被设置在置物桌113下面时也是足够的。因而,例如,在极化过滤器112下面可以设置地板。进一步地,提供极化过滤器112的目的是用于将特定极化光照射至透明物体114A上。因而,只要达到该目的,可选地可以使用任何适当的过滤器。例如,替代使用透射极化过滤器,可以使用反射极化过滤器。例如,已知树脂成型的线网类型的过滤器是反射极化过滤器。
进一步地,在该实施例中,描述了使用具有半球形状的并且通过注塑聚碳酸酯形成的透明物体114的情况。已知由例如玻璃制成的透明物体114A不改变极化特性并且由树脂制成的透明物体114A改变极化特性或者根据形成方法不改变极化特性。然而,当例如使用聚碳酸酯作为透明物体114A时,当基于注塑方法等形成透明物体114A时,形成极化方向改变的特性。这是为什么在这里使用由聚碳酸酯树脂制成的并且通过注塑等形成的透明物体114A。
在该实施例中使用的照相机12也获取亮度单色图像和垂直/横向极化度图像。从照相机12中的各个传感器将二维获取图像的像素信号输出(透射)到图像处理装置13。
图像处理装置13包括A/D转换器131,存储器132,显示控制部133,CPU135以及通信控制部(未示出)。A/D转换器131将像素信号A/D转换为数字二进制值或多个值。存储器132存储这些值。显示控制部133控制监视器14的显示。通信控制部对机器人控制器15的控制信号执行通信控制。CPU135基于ROM(未示出)等中存储的程序执行各种图像处理和计算。
图像处理装置13通过使用存储器132中存储的图像数据的投影光分布(亮-暗分布)并基于照相机12获取的图像检测透明物体114A的位置、姿态、和大小(存在区域)等。
进一步地,在图像处理装置13中,显示控制部133使得监视器14显示透明物体114A的获取的透明物体114A的位置、和姿态等的结果。进一步地,在图像处理装置13中,基于透明物体114A的位置、和姿态等获取的控制信号被发送到机器人控制器15。
监视器14是例如LCD或CRT的显示装置。机器人控制器15基于从图像处理装置13发送的控制信号控制机器人手16。机器人手16拾起置物桌113上放置的透明物体114A并且将拾起的透明物体114A安排和存储在例如设置在由机器人控制器15控制的托盘的存储部(未示出)中。
图像获取单元
接下来,描述作为获取垂直/横向极化度图像的图像获取单元的照相机12的配置。照相机12通过使用例如CCD(电容耦合器件)或CMOS(互补金属氧化物半导体)的成像获取设备(光接收器件),获取包括透明物体114A的周围区域的图像,该图像具有兆像素尺寸等。在根据本发明实施例的透明物体检测系统1A中使用的照相机12不仅获取亮度图像还获取极化图像。在下文中,描述用于获取(形成)极化图像的照相机12。
图像获取单元(照相机)的第一实施例
在该实施例中,如图4示意性地说明,照相机12包括第一照相机和第二照相机,第一照相机用于使用设置在透射在垂直方向被极化的极化光的位置的极化过滤器20a来获取垂直极化图像,第二照相机用于使用设置在透射在横向方向被极化的极化光的位置的极化过滤器20b来获取横向极化图像。通过具有该结构,照相机12可以同时获取垂直极化图像和横向极化图像两者,而不像传统照相机那样不同时获取这些图像,并且不需要旋转极化过滤器,旋转极化过滤器会导致获取的图像之间的时延。
进一步地,与已知方法不同,第一和第二照相机可以设置为彼此靠近。近来,对于缩小装置的尺寸有强烈的需求。作为进一步缩小图4中的照相机尺寸的结构,优选地,如图5所示,照相机12具有使用单光接收器件经由透镜阵列和极化过滤器阵列获取图像的结构。
图5示意性地说明了照相机12的光学系统21的配置。光学系统21包括两个光学系统,一个光学系统用于获取垂直极化图像,另一个光学系统用于获取横向极化图像。进一步地,透镜阵列22、光屏蔽间隔物23、极化过滤器24、间隔物25以及固态图像获取单元26形成并彼此层叠。
透镜阵列22包括两个透镜28a和28b。两个透镜28a和28b由具有相同形状(例如半球透镜等)的各个单个透镜制成。两个透镜28a和28b具有彼此平行的各个光轴27a和27b。进一步地,两个透镜28a和28b设置在相同平面上。即,当与光轴27a和27b平行的方向被定义为Z方向时,与Z方向垂直的一个方向被定义为X方向并且与Z方向和X方向垂直的方向被定义为Y方向,两个透镜28a和28b设置在相同的XY平面上。
光屏蔽间隔物23具有两个孔径29a和29b,并且设置为相对于透镜阵列22与击中目标侧(设置了要被成像的物体侧)相对。孔径29a和29b是具有预定尺寸和设置在各个光轴27a和27b上的中心的通孔。进一步地,对孔径29a和29b的内壁执行光学抗-反射处理,光学抗-反射处理包括涂黑、粗糙表面、糙面精整等。
极化过滤器24包括具有彼此成90度的各个极化平面的两个极化区域30a和30b。极化过滤器24设置成相对于光屏蔽间隔物23与透镜阵列22相对。极化区域30a和30b被设置成使得极化区域30a和30b的中心被分别设置在光轴27a和27b上,并且进一步地设置在XY平面上。极化区域30a和30b中的每个被提供用于对未极化光(在未极化光中电场和磁场在不特定方向振动)进行极化,以仅发送具有沿指定极化平面方向的振动分量的线性极化光。
间隔物25具有矩形框形状,间隔物25具有孔径31,孔径31是通孔,该通孔包括与极化过滤器24的极化区域30a和30b对应的区域。间隔物25设置成相对于极化过滤器24与光屏蔽间隔物23相对。
固态图像获取单元26包括安装在具有信号处理部(未示出)的基板32上的两个固态图像获取设备33a和33b。固态图像获取单元26设置成相对于间隔物25与极化过滤器24相对。固态图像获取设备33a和33b的成像区域被设置成使得固态图像获取设备33a和33b的成像区域的中心被分别设置在光轴27a和27b上,并且被设置在XY平面上。成像区域是形成要被成像的物体的图像的位置。当每个固态图像获取设备33a和33b感知(获取)黑白图像时,不包括彩色过滤器。另一方面,当每个固态图像获取设备33a和33b感知(获取)彩色图像时,在先前阶段设置彩色过滤器。
图像获取单元(照相机)的第二实施例
在该实施例中,如图6示意性地说明的,优选地使用照相机12(其中使用了单个成像透镜(或者相同轴上的多个透镜))来获取(形成)图像,并且在后续阶段,将图像划分为垂直极化图像和横向(水平)极化图像来形成垂直/水平极化度图像。
为了获取垂直极化图像和横向极化图像,如图6示意性地说明的,照相机12包括半镜箱34,镜子35,垂直极化过滤器36,水平极化过滤器37以及CCD38和39。半镜箱34具有1:1的透射率(即50%的光被透射,50%的光被反射)。CCD38和39提供用于分别获取通过垂直极化过滤器36和水平极化过滤器37的视觉场图像。第一实施例中的照相机12能够获取垂直极化图像和横向极化图像,但是在获取的图像之间可能出现视差。另一方面,第二实施例中的照相机12不会导致视差,因为使用相同的成像光学系统(透镜)来获取图像。由于该特点,检测区域可以变得更小并且不再需要校准视差等。
替代使用半镜箱34,可以使用反射横向极化光并且透射垂直极化光的极化光束分离器。当使用极化光束分离器时,不再需要垂直极化过滤器36和水平极化过滤器37。进一步地,可以简化光学系统的配置并且提高光使用效率。
图像获取单元(照相机)的第三实施例
在该实施例中,如图7示意性地说明的,优选地使用照相机12(其中使用了单个成像透镜(或者相同轴上的多个透镜))来获取(形成)图像,并且在透镜的后续阶段,设置区域划分类型极化过滤器24,区域划分类型极化过滤器24包括仅透射垂直极化光的一个或多个极化区域以及仅透射水平(横向)极化光的一个或多个极化区域。在该情况下,为了形成极化区域,可以通过使用基于具有细凹凸形状的金属的线网方法或自我复制类型光子晶体方法形成在区域之间具有明显界限的区域划分类型极化过滤器24。
当使用第二实施例中的照相机12时,通过使用棱镜分离光而获取垂直极化光和横向极化光。由于该特点,光学系统的尺寸可以变得更大,并且需要两个光接收器件。另一方面,当使用第三实施例中的照相机12时,通过具有成像透镜的相同轴的光学系统获取横向极化图像和垂直极化图像。
在该实施例中,区域划分类型极化过滤器24的配置不限于光接收器件的每个像素和对应的过滤器之间存在一对一的对应的配置。例如,优选地区域划分类型极化过滤器24具有如图8示意性地说明的配置。在图8的配置中,在垂直和横向方向安排的方块表示各个光接收器件的光接收部(即光接收器件阵列40)。两种类型的斜带表示在垂直和横向方向的极化过滤器区域41和42。每个极化过滤器区域41和42具有带状。带状的宽度对应于一个像素,该宽度与一个光接收器件的宽度相同。进一步地,带状的极化过滤器区域41和42之间的边界的斜值是二(2),即斜的角度由横向方向上的一个像素宽度和垂直方向上的两个像素长度来确定(当在横向方向上前进一个像素时,在垂直方向上也前进两个像素)。
通过使用过滤器的这样的特定设置图案以及信号处理技术,即使当成像设备阵列和区域划分类型极化过滤器联合的对准准确度不足够时也可以在整个屏幕上重新创建过滤器透射图像,并且可以低成本实现这样的图像获取装置。
如上所述,根据本发明的该实施例的透明物体检测系统1A中的照相机12获取极化图像。进一步地,优选地,能够实时获取透明物体114A的图像,并且将获取的图像提供给图像处理装置13。
透明物体的检测
根据本发明的该实施例的透明物体检测系统1A中的照相机12使用(检测)在塑料透明物体中特别发生的双折射。在例如膜和基板的物体中,作为扭曲或压力的结果可能发生双折射,并且由于配置中的微小各向异性可能发生光学各向异性和相位差。当中特定方向上极化的光入射到这样的物体时,通过该物体透射的光的极化方向可能改变。照相机12检测到该改变。
极化过滤器的极化光透射方向是P方向的情况
如上所述,照相机12获取垂直/横向极化度图像。例如,垂直/横向极化度图像具有在从水平分量(S分量)至垂直分量(P分量)的极化方向的等级(等级值)(例如256等级)。在这种情况下,例如,当具有S分量的光入射时,显示亮度等级。另一方面,当具有P分量的光入射时,显示暗度等级。
图9A和9B说明了设置使得极化过滤器的透射方向表示P分量的照相机12获取的图像的实例。图9A说明了单色亮度图像的实例,图9B说明了垂直/横向极化度图像的实例。
如图9B所示,在光不会通过透明物体114A透射的背景部分的垂直/横向极化度被显示为暗度等级。另一方面,由于双折射导致的透射光的极化方向的改变,在光会通过透明物体114A透射的区域的垂直/横向极化度被显示为亮度等级。另一方面,在图9A的单色亮度图像中,仅将透明物体114A的边缘部分略微显示为白色。进一步地,在图像处理中,难于从置物桌113分辨透明物体114A。如上所述,当使用垂直/横向极化度图像时,透明物体114A的区域和其它区域之间的对比度会变得清楚,即可以从其它区域清楚地分辨透明物体114A的区域。由于该特点,可以基于下述图像处理过程(流程)提取透明物体114A的区域。
极化过滤器的极化光透射方向是S方向的情况
图10A和10B说明了设置使得极化过滤器的透射方向表示S分量的照相机12获取的图像的实例。图10A说明了单色亮度图像的实例,图10B说明了垂直/横向极化度图像的实例。
如图10B所示,在光不会通过透明物体114A透射的背景部分的垂直/横向极化度被显示为亮度等级。另一方面,由于透射光的极化方向的改变(该改变是由双折射导致的),在光会通过透明物体114A透射的区域的垂直/横向极化度被略微偏移到暗度等级。另一方面,在图10A的单色亮度图像中,仅将透明物体114A的边缘部分略微显示为白色。因而,在图像处理过程中,难于从置物桌113分辨透明物体114A。如上所述,当使用垂直/横向极化度图像时,透明物体114A的区域和其它区域之间的对比度会变得清楚,即可以从其它区域清楚地分辨透明物体114A的区域。由于该特点,可以基于下述图像处理过程(流程)提取透明物体114A的区域。
如上所述,通过使用垂直/横向极化度图像,可以在暗度等级或亮度等级显示区域,该区域与存储器中获取的像素值制成的图像中的透明物体114A的存在区域对应,从而该区域和背景区域之间的对比度会变得高(清楚)。由于该特点,可以检测透明物体114A的位置、姿态、尺寸等。
与使用亮度图像的区域提取的组合
进一步地,除了通过使用垂直/横向极化度图像而提取区域之外,通过使用亮度图像提取区域,也可以进一步提高检测准确度。在这种情况下,为了提高在亮度图像中提取区域的准确度,例如,在置物桌113和极化过滤器112之间可以设置光源,并且光源可以照射极化过滤器112。即,在该设置中,置物桌113的网状(图案)部分被显示作为暗度等级的光阴影,会使得易于从置物桌113的网状(图案)部分辨透明物体114A的区域。
图11A和11B说明了在这种情况下由照相机12获取的图像的实例。图11A说明了单色亮度图像的实例并且图11B说明了垂直/横向极化度图像的实例。
如图11B所示,在光不会通过透明物体114A透射的背景部分的垂直/横向极化度被显示为暗度等级。另一方面,由于双折射导致的透射光的极化方向的改变,在光会通过透明物体114A透射的区域的垂直/横向极化度被略微偏移到亮度等级侧。另一方面,在图11A的单色亮度图像中,与图9A的图像不同,强调置物桌113的部分以及透明物体114A的边缘部分。
不具有极化过滤器的配置
进一步地,根据本发明该实施例的透明物体检测系统1A可以不包括极化过滤器112。在这种情况下,透明物体检测系统1A包括图像获取单元(照相机12),置物桌113,托盘111以及图像处理装置13。图像获取单元(照相机12)通过获取第一区域的图像获取垂直极化图像和水平极化图像的图像,该第一区域的图像包括具有透射光的极化方向改变的特性的透明物体114A。提供置物桌113从而将透明物体114A放置到置物桌113上。置物桌113反射具有与第三区域的极化方向基本相同的极化方向的光,第三区域包括在第一区域中,第三区域的图像被获取为不包括透明物体114A。托盘111是设置在跨过置物桌113与图像获取单元(照相机12)相对的基座,并且位于垂直极化图像和水平极化图像中的一个的等级值高于(强于)垂直极化图像和水平极化图像中的另一个的等级值的位置。图像处理装置13根据基于垂直极化图像和水平极化图像的垂直/横向极化度图像的垂直/横向极化度的分布来检测透明物体114A。
在不具有极化过滤器112的这样的透明物体检测系统1A中,来自置物桌113的下侧(基座)的光具有特定强度的极化方向。为此,例如,可以使用使得从托盘111反射的光具有特定强度的极化方向的托盘111。在这种情况下,优选地托盘111的材料与置物桌113的材料相同。
图12A和12B说明了在不提供极化过滤器112的情况下由照相机12获取的图像的实例。图12A说明了单色亮度图像的实例并且图12B说明了垂直/横向极化度图像的实例。
如图12B所示,当与具有稍暗等级的背景光相比,通过透明物体114A透射的光被略微偏移到亮度等级侧。因而,即使当不使用极化过滤器112时,透明物体114A的区域和除了透明物体114A的区域之外的区域之间的对比度会变得高(清楚)。通过具有不如上所述提供(使用)透明物体114A的配置,可以简化系统并且减少系统成本。
透明物体区域提取流程的第一实施例
图13是说明当如图9所示极化过滤器的极化方向表示P分量时,由透明物体检测系统1A的图像处理装置执行的处理流程的流程图。
首先,照相机12获取垂直/横向极化度图像(步骤S101)。然后,由A/D转换器131将基于获取的垂直/横向极化度图像的像素的垂直/横向极化度信号A/D转换为数字数据(步骤S102)。
接下来,对数字数据执行二进制处理(步骤S103),并且将像素的二进制像素值存储在存储器132中作为图像数据(步骤S104)。
接下来,为了分辨亮度等级部分,对亮度等级部分的每个块进行标记(标记处理)(步骤S105),并且检测到具有比预定区域更大的区域的亮度等级部分的块。进一步地,计算具有比预定区域更大的区域的亮度等级部分的块的重力中心和副力矩。然后,CPU135执行处理使得计算的亮度等级部分的块的重力中心被确定作为透明物体114A的位置并且将副力矩的方向确定作为透明物体114A的姿态(步骤S106)。
如上所述,首先,通过检测具有比预定区域更大的区域的亮度等级部分的块,可以在图像处理中检测透明物体114A。进一步地,通过计算具有比预定区域更大的区域的亮度等级部分的所检测到的块的重力中心和副力矩,可以确定透明物体114A的位置和姿态。
在上述检测处理之后,CPU135执行将控制信号发送到机器人控制器15的处理,该控制信号是基于透明物体114A的位置和姿态数据获取的。作为结果,通过控制和驱动机器人控制器15,透明物体114A可以由机器人手16根据透明物体114A的姿态拾起并在托盘(未示出)中安排和堆放(步骤S107)。重复该堆放处理直到堆放所有的被检测的透明物体114A(步骤S108和S109)。
进一步地,如下执行上述处理中的垂直/横向极化度的计算。通过使用照相机12,获取垂直极化分量(P)、水平极化分量(S)、包括垂直极化分量(P)和水平极化分量(S)的原始极化图像数据。基于获取的垂直极化分量(也称为“P极化分量”或“P分量”)以及水平极化分量(也称为“S极化分量”或“S分量”),垂直/横向极化度信息处理部生成垂直/横向极化度图像并确定(计算)垂直/横向极化度。在该计算中,通过下述公式(1)获取垂直/横向极化度图像数据(垂直/水平极化度)。
垂直/水平极化度=((P极化分量—S极化分量)/(P极化分量+S极化分量))    公式(1)
进一步地,为了计算(确定)位置和姿态,可以预先提供模板并且可以基于模板确定位置和姿态。透明物体114A的形状不限于如图9A和9B所示的球形。例如,在模板中提供每旋转一度的图像,并且基于该模板,可以计算根据旋转条件的姿态。
其它由图像处理装置13执行的成像处理,即例如二进制化处理、计算重力中心和副力矩的处理之类的图像处理不限于基于特定算法的处理,并且可以基于各个已知或新算法执行。因而,这里省略算法的详细描述。进一步地,可以根据透明物体114A的尺寸、和形状等适当地设定处理中使用的阈值。
如上所述,在根据本发明的该实施例的透明物体检测系统1A中,透明物体114A所在部分与其他部分之间的对比度可能变高(清楚),从而使得能够检测透明物体114A。进一步地,获取垂直/横向极化度图像数据。因而,不需根据设置在透明物体114A之下的极化过滤器112的方向,可以检测透明物体114A的极化改变,从而使得能够消除校准操作。进一步地,可以不需要旋转机构(可以解决问题3)。进一步地,作为要被发送到透明物体114A的光,使用已经通过极化过滤器112透射的光。不需要将发光装置正好设置在极化过滤器112之下(可以解决问题1)。进一步地,在置物桌113设置在托盘111之上的配置中,极化过滤器112设置在置物桌113和托盘111之间。不需要执行操作将透明物体114A从置物桌113移位到透明物体检测装置(可以解决问题2)。
进一步地,可以方便和准确地计算(确定)由图像处理检测到的透明物体114A的位置和姿态。进一步地,基于计算的透明物体114A的位置和姿态,可以通过使用机器人手16准确地拾起透明物体114A。
缺陷检查
进一步地,在透明物体检测系统1A中,除了对透明物体114A的位置和姿态的检测,优选地还检查是否存在诸如缺失部分、和毛边等的缺陷。
为此,第一,与上述类似,指定透明物体114A的存在区域。在这种情况下,当透明物体114A中存在缺失部分43的缺陷(错误)时,如图14所示,获取的(二进制化的)垂直/横向极化度图像的亮度等级部分的尺寸会比非缺陷透明物体114A的存在区域小。另一方面,当透明物体114A具有如图15所示的毛边44时,获取的(二进制化的)垂直/横向极化度图像的亮度等级部分的尺寸超过非缺陷透明物体114A的存在区域。
在这种情况下,非缺陷透明物体114A的存在区域的像素数目已知。因而,基于像素的数目,可以确定上限值和下限值之间的普通范围作为用于确定透明物体114A是否具有缺陷的参考。然后,在指定透明物体114A的存在区域之后,计数透明物体114A的亮度等级部分的像素数目。当计数在普通范围内时,可以确定透明物体114A不具有缺陷。当计数大于上限值时,可以确定透明物体114A具有毛边44的缺陷。当计数小于下限值时,可以确定透明物体114A具有缺失部分43的缺陷。通过以此方式,可以检测可能在透明物体114A中导致的缺失部分43和毛边44的形状的缺陷,从而使得能够确定透明物体114A是无缺陷的还是具有缺陷的。
透明异物检查
进一步地,优选地,透明物体检测系统1A用于检查半透明瓶中是否存在透明异物。即,当存在透明异物时,透明异物被成像为垂直/横向极化度图像中的亮度等级部分的块或暗度等级部分的块。由于该特点,可以根据在图像中是否存在块而确定是否存在透明异物。因而,可以检测空瓶子或装满透明液体的瓶子中存在的透明异物。
透明物体区域提取流程的第二实施例
下面描述由透明物体检测系统1A的图像处理装置13执行的另一个处理流程。在第二实施例的处理流程中,与第一实施例的处理流程不同,不仅使用垂直/横向极化度图像还使用亮度图像来检测例如污点、刮擦以及裂痕的缺陷和例如标记和标志的字符信息以及图像信息,从而使得当堆放透明物体114A时能够增加分类数目。
接下来,描述从照相机12使用极化信息生成单色亮度信息。单色亮度处理部生成单色图像并使用获取的P分量和S分量计算亮度信息。进一步地,基于下述公式(2)通过生成和输出亮度信息图像数据获取单色亮度。
单色亮度=P极化分量+S极化分量    公式(2)
当执行检查以用于检测在透明物体114A上导致的例如污点、刮擦和裂痕的缺陷时,基于图13的处理流程获取透明物体114A的位置和姿态,并且指定透明物体114A的存在区域。
在这种情况下,当透明物体114A中没有缺陷时,如图16所示,在获取作为单色亮度图像的图像中的存在区域获取低对比度图像。另一方面,当透明物体114A中存在缺陷(例如污点45)时,如图17所示,与污点45对应的部分变得比周围部分更暗,并且部分地,与污点45对应的部分和周围部分的对比度变高(清楚)。
通过使用该特点,在亮度图像的透明物体114A的存在区域,确定单色亮度图像的亮度分布改变的部分的尺寸或改变程度是否在普通范围内。即,测量具有低于预定亮度的亮度的像素数目。然后,基于测量结果,可以确定是否存在缺陷。例如,当确定测量结果中的像素数目大于预定检查阈值时,可以确定存在缺陷。否则,可以确定不存在缺陷。通过以此方式,可以检测透明物体114A上产生的例如污点、刮擦和裂痕的表面缺陷,从而使得能够确定透明物体114A是无缺陷的还是具有缺陷的。
进一步地,在通过使用垂直/横向极化度图像指定透明物体114A的位置和姿态后,优选地基于单色亮度图像的亮度分布在单色亮度图像中改变的部分的大小或改变程度,检测透明物体114A的表面上形成(描述)的例如标记和标志的字符信息和设计图案信息。通过以此方式,可以例如基于字符信息和设计图案信息以及形状的确定来拾起透明物体114A。
接下来,基于参考图4至图8以及图18至图30的本发明的实施例来描述透明平板检测系统的示例配置。
透明平板检测系统
第一实施例
根据本发明实施例的透明平板检测系统1B包括图像获取单元(照相机12)、置物桌113、极化过滤器112、反射表面115、光屏蔽板102以及图像处理装置13。图像获取单元(照相机12)通过以相对于透明平板114B的平面表面部分的法线方向的规定角度获取区域的图像而获取垂直极化图像和水平极化图像的图像,该图像包括透明平板114B。提供置物桌113使得透明平板114B被放置在置物桌113上。反射表面115设置在经过透明平板114B和图像获取单元(照相机12)的光学路径上,并且在置物桌113下。光屏蔽板102被设置使得相对于透明平板114B的平面表面部分的法线而面对图像获取单元(照相机12)并且挡住光,以使得防止来自透明平板114B的平面表面部分的镜面反射光入射到图像获取单元(照相机12)。图像处理装置13根据基于垂直极化图像和水平极化图像的垂直/横向极化度图像的垂直/横向极化度的分布来检测透明平板114B。
图18示意性地说明了透明平板检测系统1B的配置。透明平板检测系统1B包括透明平板放置部11B,照相机12,图像处理装置13,监视器14,机器人控制器15以及机器人手16。照相机12获取单色亮度图像和垂直/横向极化度图像。
例如,透明平板检测系统1B被安装在制造工厂并且设置在例如荧光101的室内照明下。进一步地,透明平板检测系统1B被设置使得透明平板检测系统1B的置物桌113与地面平行,并且照相机12被设置使得以相对于置物桌113的法线方向的预定仰角获取透明平板114B的图像。进一步地,光屏蔽板102设置在照相机12和室内照明(例如荧光101)之间,使得室内照明不能直接照射透明平板114B。然而,来自上方荧光101的光可以被部分屏蔽。例如,上面涂敷了黑布的塑料板可以用作光屏蔽板102。然而,可选地可以使用具有足够光屏蔽能力的任何其他板等。
通过设置光屏蔽板102,可以避免透明平板114B的表面上的不必要的反射光,并且照相机12获取入射到并且通过透明平板114B透射的光的图像。结果,可以检测由光透射导致的极化条件的改变而不需被镜面反射光淹没。因此,可以提高检测透明平板114B的准确度。
透明平板放置部11B包括置物桌113和反射表面115。提供置物桌113使得透明平板114B被放置在置物桌113上。反射表面115设置为跨过置物桌113与照相机12相对。例如,可以使用托盘作为反射表面115从而接收在例如对透明平板114B的清洁处理后从透明平板114B落下的液滴。
进一步地,置物桌113具有网状(网眼)结构,该网状(网眼)结构的网眼(图案)的占有率被确定为使得从反射表面115反射然后通过极化过滤器112透射的光能够通过透明平板114B足够地透射。特别地,优选网眼(图案)的占有率是透明平板114B的区域的大约5%。进一步地,优选网眼(图案)的线比较细,使得每个线的宽度等于或小于透明平板114B的尺寸的5%。通过具有上述尺寸(结构),通过透明平板114B透射的极化光的区域的尺寸可以增加并且背景区域的尺寸也可以增加,从而使得能够提高透明平板114B的边缘检测准确度。
在该实施例中使用的照相机12也获取亮度单色图像和垂直/横向极化度图像。从照相机12的各个传感器将二维获取图像的像素信号输出(发送)到图像处理装置13。
图像处理装置13包括A/D转换器131,存储器132,显示控制部133,CPU135以及通信控制部(未示出)。A/D转换器131将像素信号A/D转换为数字二进制值或多个值。存储器132存储这些值。显示控制部133控制监视器14的显示。通信控制部对机器人控制器15的控制信号执行通信控制。CPU135基于ROM(未示出)等中存储的程序执行各种图像处理和计算。
图像处理装置13通过使用存储器132中存储的图像数据的投影光分布(亮-暗分布)并基于照相机12获取的图像检测透明平板114B的位置、姿态、大小(存在区域)等。
进一步地,在图像处理装置13中,显示控制部133使得监视器14显示获取的透明平板114B的位置、姿态等的结果。进一步地,在图像处理装置13中,基于透明平板114B的位置、姿态等获取的控制信号被发送到机器人控制器15。
监视器14是例如LCD或CRT的显示装置。机器人控制器15基于从图像处理装置13发送的控制信号控制机器人手16。机器人手16拾起置物桌113上放置的透明平板114B并且将拾起的透明平板114B安排和存储在例如设置在由机器人控制器15控制的托盘的存储部(未示出)中。
图像获取单元
接下来,描述作为获取垂直/横向极化度图像的图像获取单元的照相机12的配置。照相机12通过使用例如CCD(电容耦合器件)或CMOS(互补金属氧化物半导体)的成像获取设备(光接收器件),获取包括透明平板114B的周围区域的图像,该图像具有兆像素尺寸等。在根据本发明实施例的透明平板检测系统1B中使用的照相机12不仅获取亮度图像还获取极化图像。在下文中,描述用于获取(形成)极化图像的照相机12。
图像获取单元(照相机)的第一实施例
在该实施例中,如图4示意性地说明,照相机12包括第一照相机和第二照相机,第一照相机用于使用设置在透射在垂直方向被极化的极化光的位置的极化过滤器20a来获取垂直极化图像,第二照相机用于使用设置在透射在横向方向被极化的极化光的位置的极化过滤器20b来获取横向极化图像。通过具有该结构,照相机12可以同时获取垂直极化图像和横向极化图像而不像传统照相机那样不同时获取这些图像,并且不需要旋转极化过滤器,旋转极化过滤器会导致获取的图像之间的时延。
进一步地,与已知方法不同,第一和第二照相机可以设置为彼此靠近。近来,对于缩小装置的尺寸有强烈的需求。作为进一步缩小图4中的照相机尺寸的结构,优选地,如图5所示,照相机12具有使用单光接收器件经由透镜阵列和极化过滤器阵列获取图像的结构。
图5示意性地说明了照相机12的光学系统21的配置。光学系统21包括两个光学系统,一个光学系统用于获取垂直极化图像,另一个光学系统用于获取横向极化图像。进一步地,透镜阵列22、光屏蔽间隔物23、极化过滤器24、间隔物25以及固态图像获取单元26形成并彼此层叠。
透镜阵列22包括两个透镜28a和28b。两个透镜28a和28b均由具有相同形状(例如半球透镜等)的单个透镜制成。两个透镜28a和28b具有彼此平行的各个光轴27a和27b。进一步地,两个透镜28a和28b设置在相同平面上。即,当与光轴27a和27b中的每一个平行的方向被定义为Z方向时,与Z方向垂直的一个方向被定义为X方向、并且与Z方向和X方向垂直的方向被定义为Y方向,两个透镜28a和28b设置在相同的XY平面上。
光屏蔽间隔物23具有两个孔径29a和29b,并且设置为相对于透镜阵列22与击中目标侧(设置了要被成像的物体侧)相对。孔径29a和29b是具有预定尺寸和设置在各个光轴27a和27b上的中心的通孔。进一步地,对孔径29a和29b的内壁执行光学抗-反射处理,光学抗-反射处理包括涂黑、粗糙表面、或糙面精整等。
极化过滤器24包括具有彼此相差90度的各个极化平面的两个极化区域30a和30b。极化过滤器24设置成相对于光屏蔽间隔物23与透镜阵列22相对。极化区域30a和30b被设置成使得极化区域30a和30b的中心被分别设置在光轴27a和27b上,并且进一步地设置在XY平面上。每个极化区域30a和30b被提供用于对未极化光(在未极化光中电场和磁场在不特定方向振动)进行极化,以仅透射具有沿指定极化平面方向的振动分量的线性极化光。
间隔物25具有矩形框形状,间隔物25具有孔径31,孔径31是通孔,该通孔包括与极化过滤器24的极化区域30a和30b对应的区域。间隔物25设置成相对于极化过滤器24与光屏蔽间隔物23相对。
固态图像获取单元26包括安装在具有信号处理部(未示出)的基板32上的两个固态图像获取设备33a和33b。固态图像获取单元26设置成相对于间隔物25与极化过滤器24相对。固态图像获取设备33a和33b的成像区域被设置成使得固态图像获取设备33a和33b的成像区域的中心被分别设置在光轴27a和27b上,并且被设置在XY平面上。成像区域是形成要被成像的物体的图像的位置。当每个固态图像获取设备33a和33b感知(获取)黑白图像时,不包括彩色过滤器。另一方面,当每个固态图像获取设备33a和33b感知(获取)彩色图像时,在先前阶段设置彩色过滤器。
图像获取单元(照相机)的第二实施例
在该实施例中,如图6示意性地说明的,优选地使用照相机12(其中使用了单个成像透镜(或者相同轴上的多个透镜))来获取(形成)图像,并且在后续阶段,将图像划分为垂直极化图像和横向(水平)极化图像来形成垂直/横向极化度图像。
为了获取垂直极化图像和横向极化图像,如图6示意性地说明的,照相机12包括半镜箱34、镜子35、垂直极化过滤器36、水平极化过滤器37以及CCD38和39。半镜箱34具有1:1的透射率(即50%的光被透射,50%的光被反射)。CCD38和39被提供来分别获取通过垂直极化过滤器36和水平极化过滤器37的视觉场图像。第一实施例中的照相机12能够获取垂直极化图像和横向极化图像,但是在获取的图像之间可能出现视差。另一方面,第二实施例中的照相机12不会导致视差,因为使用相同的成像光学系统(透镜)来获取图像。由于该特点,检测区域可以变得更小并且不再需要校准视差等。
替代使用半镜箱34,可以使用反射横向极化光并且透射垂直极化光的极化光束分离器。当使用极化光束分离器时,不再需要垂直极化过滤器36和水平极化过滤器37。进一步地,可以简化光学系统的配置并且提高光使用效率。
图像获取单元(照相机)的第三实施例
在该实施例中,如图7中示意性地说明的,优选地使用照相机12(其中使用了单个成像透镜(或者相同轴上的多个透镜))来获取(形成)图像,并且在透镜的后续阶段,设置区域划分类型极化过滤器24,区域划分类型极化过滤器24包括仅透射垂直极化光的一个或多个极化区域以及仅透射水平(横向)极化光的一个或多个极化区域。在该情况下,为了形成极化区域,可以通过使用基于具有细凹凸形状的金属的线网方法或自我复制类型光子晶体方法形成在区域之间具有明显界限的区域划分类型极化过滤器24。
当使用第二实施例中的照相机12时,通过使用棱镜分离光而获取垂直极化光和横向极化光。由于该特点,光学系统的尺寸可以变得更大,并且需要两个光接收器件。另一方面,当使用第三实施例中的照相机12时,通过具有成像透镜的相同轴的光学系统获取横向极化图像和垂直极化图像。
在该实施例中,区域划分类型极化过滤器24的配置不限于光接收器件的每个像素和对应的过滤器之间存在一对一的对应的配置。例如,优选地区域划分类型极化过滤器24具有如图8示意性地说明的配置。在图8的配置中,在垂直和横向方向安排的每个方块表示各个光接收器件的光接收部(即光接收器件阵列40)。两种类型的斜带表示在垂直和横向方向的极化过滤器区域41和42。每个极化过滤器区域41和42具有带状。带状的宽度对应于一个像素,该一个像素与一个光接收器件的宽度相同。进一步地,带状的极化过滤器区域41和42之间的边界的斜值是二(2),即斜的角度由横向方向的一个像素宽度和垂直方向的两个像素长度来确定(当在横向方向前进一个像素时,在垂直方向也前进两个像素)。
通过使用过滤器的这样的特定设置图案以及信号处理技术,即使当成像设备阵列和区域划分类型极化过滤器联合的对准准确度不足够时也可以在整个屏幕重新创建过滤器透射图像,并且可以低成本实现这样的图像获取装置。
如上所述,根据本发明的该实施例的透明平板检测系统1B中的照相机12获取极化图像。进一步地,优选地,能够实时获取透明平板114B的图像,并且将获取的图像提供给图像处理装置13。
透明平板的检测
根据本发明的该实施例的透明平板检测系统1B中的照相机12特别使用(检测)通过透明平板114B倾斜地透射的光的极化条件的改变。在入射到平行平板的光中,垂直分量(P分量)的透射率与水平分量(S分量)的透射率不同。
图19说明了以入射角θ入射到具有1.5的折射率的玻璃平板上的光的透射率的特性。特别地,如图19所示,水平分量(S分量)的透射率简单降低。然而垂直分量(P分量)的透射率先增加然后降低。
透明平板检测系统1B使用水平分量(S分量)的透射率与垂直分量(P分量)的透射率之间的改变(差异)。在这种情况下,如图19所示,当仰角近似70度时,P分量和S分量之间的差异大并且垂直分量(P分量)的透射率足够高(90%或更多)。因此,优选地将仰角设置在例如50度到70度之间的范围。
如上所述,照相机12获取垂直/横向极化度图像。例如,垂直/横向极化度图像具有在从水平分量(S分量)至垂直分量(P分量)的极化方向的等级(等级值)(例如256等级)。在这种情况下,例如,当具有P分量的光入射时,显示暗度等级。另一方面,当具有S分量的光入射时,显示亮度等级。
图20A和20B说明了由照相机12获取的图像的实例。图20A说明了单色亮度图像的实例,图20B说明了垂直/横向极化度图像的实例。
如图20B所示,在光不会通过透明平板114B透射的背景部分的垂直/横向极化度被显示为亮度等级。另一方面,在光已经通过透明平板114B透射的区域的垂直/横向极化度被移位到暗度等级侧。这是因为S分量被反射到透明平板114B的较低侧并且降低(变弱),但是P分量没有被反射地透射,并且作为结果,P分量的光被加强。另一方面,在图20A的单色亮度图像中,仅透明平板114B的边缘部分被略微显示为白色。进一步地,在图像处理中,显得难于从置物桌113分辨透明平板114B。
如上所述,当使用垂直/横向极化度图像时,透明平板114B的区域和其它区域之间的对比度会变得清楚,即可以从其它区域清楚地分辨透明平板114B的区域。由于该特点,可以基于下述图像处理过程(流程)提取透明平板114B的区域。
透明平板区域提取流程的第一实施例
图21是说明当如图20A和20B所示检测通过透明平板透射的光时由透明平板检测系统1B的图像处理装置13执行的处理流程的流程图。
首先,照相机12获取垂直/横向极化度图像(步骤S101)。然后,由A/D转换器131将基于获取的垂直/横向极化度图像的像素的每个垂直/横向极化度信号A/D转换为数字数据(步骤S102)。
接下来,根据照相机仰角设置在二进制处理中使用的阈值(步骤S103),并且对数字数据执行二进制处理(步骤S103b)。然后将像素的二进制像素值存储在存储器132中作为图像数据(步骤S104)。
接下来,为了彼此分辨暗度等级部分,对亮度等级部分的每个块(图22说明了提取结果的示例)进行标记(标记处理)(步骤S105),并且检测到具有比预定区域更大的区域的亮度等级部分的块。进一步地,计算具有比预定区域更大的区域的亮度等级部分的块的重力中心和副力矩。然后,CPU135执行处理使得计算的亮度等级部分的块的重力中心被确定作为透明平板114B的位置并且将副力矩的方向确定作为透明平板114B的姿态(步骤S106)。
如上所述,首先,通过检测具有比预定区域更大的区域的亮度等级部分的块,可以在图像处理中检测透明平板114B。进一步地,通过计算具有比预定区域更大的区域的亮度等级部分的检测到的块的重力中心和副力矩,可以确定透明平板114B的位置和姿态。
在上述检测处理之后,CPU135执行将控制信号发送到机器人控制器15的处理,该控制信号是基于透明平板114B的位置和姿态的数据获取的。作为结果,通过控制和驱动机器人控制器15,透明平板114B可以由机器人手16根据透明平板114B的姿态拾起并在托盘(未示出)中安排和堆放(步骤S107)。重复该堆放处理,直到堆放所有的被检测到的透明平板114B为止(步骤S108和S109)。
进一步地,如下执行上述处理中的垂直/横向极化度的计算。通过使用照相机12,获取垂直极化分量(P)、水平极化分量(S)、包括垂直极化分量(P)和水平极化分量(S)的原始极化图像数据。基于获取的垂直极化分量(也称为“P极化分量”或“P分量”)以及水平极化分量(也称为“S极化分量”或“S分量”),生成垂直/横向极化度图像并确定(计算)垂直/横向极化度。在该计算中,通过下述公式(3)获取垂直/横向极化度图像数据(垂直/水平极化度)。
垂直/水平极化度=((P极化分量—S极化分量)/(P极化分量+S极化分量))    公式(3)
进一步地,在要拾起透明平板114B的情况下,如果获取的图像是倾斜的(例如图像形状是梯形的),可能难于确定中心位置等。在这种情况下,例如,优选地执行梯形失真校正处理,例如仿射变换。通过以此方式,图22所示的图像可以被转换为如图23所示的直接从上方观看的图像,并且作为结果,可以提高提取重力中心的位置的准确度。
进一步地,为了计算(确定)位置和姿态,可以预先提供模板并且可以基于模板确定位置和姿态。透明平板114B的形状不限于图20A和20B所示的球形。例如,在模板中提供每旋转一度的图像,并且基于该模板,可以计算根据旋转条件的姿态。
其它由图像处理装置13执行的成像处理,即例如二进制化处理、计算重力中心和副力矩的处理的图像处理不限于基于特定算法的处理,并且可以基于各个已知或新算法执行。因而,这里省略算法的详细描述。进一步地,可以根据照相机的仰角θ和透明平板114B的尺寸、和形状等适当地设定处理中使用的阈值。
如上所述,在根据本发明的该实施例的透明平板检测系统1B中,使用从透明平板114B倾斜地入射到透明平板114B的透射光的极化条件的改变并且阻挡镜面反射光的不必要的光。因而,在透明平板114B存在的部分与其他部分之间的对比度会变高(清楚),从而使得能够检测透明平板114B。进一步地,获取垂直/横向极化度图像数据。因而,不需根据设置在透明平板114B之下的极化过滤器112的方向,可以检测透明平板114B的极化改变,从而使得能够无需校准操作。进一步地,可以不需要旋转机构(可以解决问题3)。进一步地,来自透明平板114B的镜面反射光不入射到图像获取单元(照相机12)并且使用通过透明平板114B透射的光。因而,不需要提供专门的发光装置,并且即使在荧光101下,也可以检测透明平板114B(可以解决问题1)。进一步地,在置物桌113设置在托盘之上并且透明平板114B放置在置物桌113之上的情况下,或者在透明平板114B直接放置在置物桌113之上的情况下,可以检测透明平板114B(可以解决问题2)。
进一步地,可以方便和准确地计算(确定)通过图像处理检测到的透明平板114B的位置和姿态。进一步地,基于计算的透明平板114B的位置和姿态,可以通过使用机器人手16准确地拾起透明平板114B。
缺陷检查
进一步地,在透明平板检测系统1B中,除了对透明平板114B的位置和姿态的检测,优选地还检查是否存在缺失部分、毛边等的缺陷。
为此,第一,与上述类似,指定透明平板114B的存在区域。在这种情况下,当透明平板114B中存在缺失部分43的缺陷(默认)时,如图24所示,获取的(二进制化的)垂直/横向极化度图像的亮度等级部分的尺寸会比非缺陷透明平板114B的存在区域小。另一方面,当透明平板114B具有如图25所示的毛边44时,获取的(二进制化的)垂直/横向极化度图像的亮度等级部分的尺寸超过非缺陷透明平板114B的存在区域。
在这种情况下,非缺陷透明平板114B的存在区域的像素数目已知。因而,基于像素的数目,可以确定上限值和下限值之间的普通范围作为用于确定透明平板114B是否具有缺陷的参考。然后,在指定透明平板114B的存在区域之后,计数透明平板114B的亮度等级部分的像素数目。当计数在普通范围内时,可以确定透明平板114B不具有缺陷。当计数大于上限值时,可以确定透明平板114B具有毛边44的缺陷。当计数小于下限值时,可以确定透明平板114B具有缺失部分43的缺陷。通过以此方式,可以检测可能在透明平板114B中导致的缺失部分43和毛边44的形状的缺陷,从而使得能够确定透明平板114B是无缺陷的还是具有缺陷的。
透明异物检查
进一步地,优选地,透明平板检测系统1B用于检查半透明瓶中是否存在透明异物。即,当存在透明异物时,透明异物被成像为主垂直/横向极化度图像中的亮度等级部分的块或暗度等级部分的块。由于该特点,可以根据在图像中是否存在块而确定是否存在透明异物。因而,可以检测空瓶子或装满透明液体的瓶子中存在的透明异物。
透明平板区域提取流程的第二实施例
下面描述由透明平板检测系统1B的图像处理装置13执行的另一个处理流程。在第二实施例的处理流程中,与第一实施例的处理流程不同,不仅使用垂直/横向极化度图像还使用亮度图像来检测例如污点、刮擦以及裂痕的缺陷和例如标记和标志的字符信息以及图像信息,从而使得当堆放透明平板114B时能够增加分类数目。
接下来,描述从照相机12使用极化信息生成单色亮度信息。单色亮度处理部生成单色图像并使用获取的P分量和S分量计算亮度信息。进一步地,基于下述公式(4)通过生成和输出亮度信息图像数据获取单色亮度。
单色亮度=P极化分量+S极化分量    公式(4)
当执行检查以用于检测在透明平板114B上导致的例如污点、刮擦和裂痕的缺陷时,基于图21的处理流程获取透明平板114B的位置和姿态,并且指定透明平板114B的存在区域。
在这种情况下,当透明平板114B中没有缺陷时,如图26所示,在获取作为单色亮度图像的图像中的存在区域中获取低对比度图像。另一方面,当透明平板114B中存在缺陷(例如污点45)时,如图27所示,与污点45对应的部分变得比周围部分更暗,并且部分地,与污点45对应的部分和周围部分之间的对比度变高(清楚)。
通过使用该特点,在亮度图像的透明平板114B的存在区域中,确定单色亮度图像的亮度分布改变的部分的尺寸或改变程度是否在普通范围内。即,测量具有低于预定亮度的亮度的像素数目。然后,基于测量结果,可以确定是否存在缺陷。例如,当确定测量结果中的像素数目大于预定检查阈值时,可以确定存在缺陷。否则,可以确定不存在缺陷。通过以此方式,可以检测透明平板114B上产生的例如污点、刮擦和裂痕的表面缺陷,从而使得能够确定透明平板114B是无缺陷的还是具有缺陷的。
进一步地,在通过使用垂直/横向极化度图像指定透明平板114B的位置和姿态后,优选地基于单色亮度图像的亮度分布在单色亮度图像中改变的部分的大小或改变程度检测透明平板114B的表面上形成(描述)的例如标记和标志的字符信息和设计图案信息。通过以此方式,可以例如基于字符信息和设计图案信息以及形状的确定来拾起透明平板114B。
透明平板检测系统
第二实施例
描述根据本发明另一实施例的透明平板检测系统1B。根据本发明的该实施例的透明平板检测系统1B包括图像获取单元(照相机12)、反射板103以及图像处理装置13。图像获取单元(照相机12)通过以相对于透明平板114B的平面表面部分的法线方向的规定角度获取区域的图像而获取垂直极化图像和水平极化图像的图像,该图像包括透明平板114B。反射板103设置成相对于透明平板114B的平面表面部分的法线与图像获取单元(照相机12)相对,并且具有仰角,从而来自透明平板114B的镜面发射光入射到图像获取单元(照相机12)。图像处理装置13根据基于垂直极化图像和水平极化图像的垂直/横向极化度图像的垂直/横向极化度的分布来检测透明平板114B。
图28示意性地说明了透明平板检测系统1B的配置。透明平板检测系统1B包括透明平板放置部11B,照相机12,图像处理装置13,监视器14,机器人控制器15以及机器人手16。照相机12获取单色亮度图像和垂直/横向极化度图像。根据本发明第二实施例的透明平板检测系统1B包括反射板103来代替光屏蔽板102。与第一实施例的元件类似的元件的描述被相应地省略。
例如,透明平板检测系统1B被安装在制造工厂并且设置在例如荧光101的室内照明下。进一步地,透明平板检测系统1B被设置使得透明平板检测系统1B的置物桌113与地面平行,并且照相机12被设置使得以相对于置物桌113的法线方向的预定仰角获取透明平板114B的图像。进一步地,设置反射板103使得当室内照明不直接照射透明平板114B时,不是直接来自荧光101的光而是来自周围的光入射到透明平板114B上,并且来自周围的光的反射光入射到照相机12上。然而,可以部分地屏蔽来自上方荧光101的光。例如可以使用塑料板作为反射板103。
通过设置反射板103,可以移除作为从荧光101的直接反射光的不需要的反射光,并且照相机12获取从反射板103入射到透明平板114B并且通过透明平板114B透射的光的图像。结果,可以检测由在反射时导致的极化条件的改变而不受例如来自荧光101的光的干扰光的干扰。因而,可以提高检测透明平板114B的准确度。
如同在本发明的该实施例中,当使用透明平板反射光时,透明平板114B下的条件并不限于特定条件。然而,优选地,使用具有特别反射P分量的特性的材料。特别反射P分量的材料包括具有内部散射特性的材料,例如塑料。因此,例如,当塑料托盘被设置在透明平板114B之下时,透明平板114B的区域和除了透明平板114B的区域之外的区域之间的对比度会变高(清楚)。
透明平板的检测
根据本发明的该实施例的透明平板检测系统1B中的照相机12特别使用(检测)倾斜地入射到透明平板114B并通过透明平板114B反射的光的极化条件的改变。在入射到平行平板的光中,垂直分量(P分量)的透射率与水平分量(S分量)的反射率不同。
图29说明了以入射角θ入射到具有1.5的折射率的玻璃平板上的光的反射率的特性。特别地,如图29所示,水平分量(S分量)的反射率简单降低。然而垂直分量(P分量)的反射率先增加然后降低。
透明平板检测系统1B使用水平分量(S分量)的反射率与垂直分量(P分量)的反射率之间的改变(差异)。在这种情况下,如图29所示,当仰角近似70度时,P分量和S分量之间的差异大并且水平分量(P分量)的反射率足够高(20%或更多)。因此,优选地将仰角设置在例如50度到70度之间的范围。
如上所述,照相机12获取垂直/横向极化度图像。例如,垂直/横向极化度图像具有在从水平分量(S分量)至垂直分量(P分量)的极化方向的等级(等级值)(例如256等级)。在这种情况下,例如,当具有S分量的光入射时,显示暗度等级。另一方面,当具有P分量的光入射时,显示亮度等级。
图30A和30B说明了由照相机12获取的图像的实例。图30A说明了单色亮度图像的实例,图30B说明了垂直/横向极化度图像的实例。
如图30B所示,当选择基底使得在光不会通过透明平板114B透射的背景部分的垂直/横向极化度被显示为暗度等级,在光通过透明平板114B透射的区域的垂直/横向极化度被移位到亮度等级侧。另一方面,在图30A的单色亮度图像中,仅透明平板114B的边缘部分被略微显示为白色。因而,在图像处理中,难于从置物桌113分辨透明平板114B。
如上所述,当使用垂直/横向极化度图像时,所获取的图像中的与透明平板114B的存在区域对应的部分被以亮度等级或暗度等级显示。作为结果,该部分和其它部分之间的对比度变高(清楚)。由于该特点,基于上述的图像处理流程,可以检测透明平板114B的存在区域并进一步检测透明平板114B的位置、姿态、和尺寸等。
如上所述,在根据本发明该实施例的透明平板检测系统1B中,使用从反射表面115倾斜地入射到透明平板114B的透射光的极化条件的改变,并且阻挡镜面反射光的不必要的光。因而,在透明平板114B存在的部分与其他部分之间的对比度会变高(清楚),从而使得能够检测透明平板114B。进一步地,获取垂直/横向极化度图像数据。因而,不需根据设置在透明平板114B之下的极化过滤器112(基底)的方向,可以检测透明平板114B的极化改变,从而使得能够消除校准操作。进一步地,可以不需要旋转机构(可以解决问题3)。进一步地,来自透明平板114B的镜面反射光不入射到图像获取单元(照相机12)并且使用通过透明平板114B透射的光。因而,不需要提供专用发光装置,并且即使在荧光101下,也可以检测透明平板114B(可以解决问题1)。进一步地,在置物桌113设置在托盘之上并且透明平板114B放置在置物桌113之上的情况下,或者在透明平板114B直接放置在置物桌113之上的情况下,可以检测透明平板114B(可以解决问题2)。
尽管已经关于特定实施例描述了本发明以进行完整和清楚的揭示,所附权利要求不因此而受限,而是应当被理解为体现对于本领域技术人员可见的落入这里提供的基本教示的范围内的所有变型和可选构造。
本申请基于并且要求在2010年2月15日申请的日本专利申请No.2010-030238、2010年2月15日申请的日本专利申请No.2010-030247的优先权,其全部内容通过引用包括于此。

Claims (15)

1.一种透明体检测系统,包括:
图像获取单元,其通过获取第一区域的图像来获取垂直极化图像和水平极化图像,所述图像包括透明体,所述透明体具有透射光的极化方向改变的特性;
光屏蔽板,其位于所述图像获取单元与室内照明之间并且被设置为当将所述透明体放置在所述室内照明下时,使得所述室内照明不能直接照射所述透明体;
置物桌,所述置物桌具有网眼结构并且在所述置物桌上将放置所述透明体;
极化过滤器,其被设置为跨所述置物桌与所述图像获取单元相对、并且位于包括第二区域的位置处,所述第二区域的图像至少包括在所述第一区域中的所述透明体并且是被获取的;以及
图像处理装置,其基于垂直/横向极化度图像的垂直/横向极化度的分布来检测所述透明体,其中所述垂直/横向极化度图像基于所述垂直极化图像和水平极化图像。
2.一种透明体检测系统,包括:
图像获取单元,其通过获取第一区域的图像来获取垂直极化图像和水平极化图像,所述图像包括透明体,所述透明体具有透射光的极化方向改变的特性;
光屏蔽板,其位于所述图像获取单元与室内照明之间并且被设置为当将所述透明体放置在所述室内照明下时,使得所述室内照明不能直接照射所述透明体;
置物桌,所述置物桌具有网眼结构并且在所述置物桌上将放置所述透明体,所述置物桌反射具有与第三区域的极化方向基本相同的极化方向的光,所述第三区域的图像不包括所述透明体并且是被获取的;
基底,其被设置为跨所述置物桌与所述图像获取单元相对、并且具有如下特性:所述垂直极化图像和水平极化图像中的一个的等级值高于所述垂直极化图像和水平极化图像中的另一个的等级值;以及
图像处理装置,其基于垂直/横向极化度图像的垂直/横向极化度的分布来检测所述透明体,其中所述垂直/横向极化度图像基于所述垂直极化图像和水平极化图像。
3.根据权利要求1或2所述的透明体检测系统,其中
所述图像处理装置检测所检测到的透明体的位置和姿态。
4.根据权利要求3所述的透明体检测系统,还包括:
机器人手;以及
机器人控制器,其控制所述机器人手,其中,
所述机器人控制器基于所检测到的透明体的位置使得所述机器人手移动、并且基于所检测到的透明体的姿态使得所述机器人手拾起所述透明体。
5.根据权利要求3所述的透明体检测系统,其中,
所述图像处理装置基于所检测到的透明体的位置和姿态确定所述透明体的存在区域,比较所述透明体的两个或更多个存在区域,并且检测所述透明体的形状中的缺陷。
6.根据权利要求3所述的透明体检测系统,其中,
所述图像处理装置基于所检测到的透明体的位置和姿态确定所述透明体的存在区域,并且基于单色亮度图像的亮度分布来检测所述透明体的外观中的缺陷,其中所述单色亮度图像基于所述垂直极化图像和水平极化图像。
7.根据权利要求3所述的透明体检测系统,其中,
所述图像处理装置基于所检测到的透明体的位置和姿态确定所述透明体的存在区域,并且基于单色亮度图像的亮度分布来检测字符信息和设计图案信息中的至少一个,其中所述单色亮度图像基于所述垂直极化图像和水平极化图像,所述字符信息和设计图案信息形成在所述透明体的表面上。
8.根据权利要求3所述的透明体检测系统,其中,
所述透明体是要混在空瓶子中或者要混在装有透明液体的瓶子中的透明异物,并且
所述图像处理装置基于所述垂直/横向极化度图像的垂直/横向极化度的分布,来确定所述透明异物是混在所述空瓶子中还是混在装有所述透明液体的瓶子中,其中所述垂直/横向极化度图像基于所述垂直极化图像和水平极化图像。
9.一种透明平板检测系统,包括:
图像获取单元,其通过获取包括透明平板的区域的图像来获取垂直极化图像和水平极化图像,所述图像是以相对于所述透明平板的平面表面部分的法线的预定角度获取的;
置物桌,所述置物桌具有网眼结构并且在所述置物桌上将放置所述透明平板;
反射表面,其被设置在通过所述透明平板和图像获取单元的光学路径上并且位于所述置物桌之下;
光屏蔽板,其位于所述图像获取单元与室内照明之间,被设置为使得相对于所述透明平板的平面表面部分的法线面对所述图像获取单元,并且当将所述透明平板放置在所述室内照明下时,使得所述室内照明不能直接照射所述透明平板;以及
图像处理装置,其基于垂直/横向极化度图像的垂直/横向极化度的分布来检测所述透明平板,其中所述垂直/横向极化度图像基于所述垂直极化图像和水平极化图像。
10.一种透明平板检测系统,包括:
图像获取单元,其通过获取包括透明平板的区域的图像来获取垂直极化图像和水平极化图像,所述图像是以相对于所述透明平板的平面表面部分的法线的预定角度获取的;
置物桌,所述置物桌具有网眼结构并且在所述置物桌上将放置所述透明平板;
反射板,其位于所述图像获取单元与室内照明之间,被设置为使得相对于所述透明平板的平面表面部分的法线面对所述图像获取单元,当将所述透明平板放置在所述室内照明下时,使得所述室内照明不能直接照射所述透明平板并且具有仰角,从而来自所述透明平板的平面表面部分的镜面反射光入射到所述图像获取单元上;以及
图像处理装置,其基于垂直/横向极化度图像的垂直/横向极化度的分布来检测所述透明平板,其中所述垂直/横向极化度图像基于所述垂直极化图像和水平极化图像。
11.根据权利要求9或10所述的透明平板检测系统,其中
所述图像处理装置检测所检测到的透明平板的位置和姿态。
12.根据权利要求11所述的透明平板检测系统,还包括:
机器人手;以及
机器人控制器,其控制所述机器人手,其中,
所述机器人控制器基于所检测到的透明平板的位置使得所述机器人手移动、并且基于所检测到的透明平板的姿态使得所述机器人手拾起所述透明平板。
13.根据权利要求11所述的透明平板检测系统,其中,
所述图像处理装置基于所检测到的透明平板的位置和姿态确定所述透明平板的存在区域,比较所述透明平板的两个或更多个存在区域,并且检测所述透明平板的形状中的缺陷。
14.根据权利要求11所述的透明平板检测系统,其中,
所述图像处理装置基于所检测到的透明平板的位置和姿态确定所述透明平板的存在区域,并且基于单色亮度图像的亮度分布来检测所述透明平板的外观中的缺陷,其中所述单色亮度图像基于所述垂直极化图像和水平极化图像。
15.根据权利要求11所述的透明平板检测系统,其中,
所述图像处理装置基于所检测到的透明平板的位置和姿态确定所述透明平板的存在区域,并且基于单色亮度图像的亮度分布来检测字符信息和设计图案信息中的至少一个,其中所述单色亮度图像基于所述垂直极化图像和水平极化图像,所述字符信息和设计图案信息形成在所述透明平板的表面上。
CN201180009141.4A 2010-02-15 2011-01-26 透明物体检测系统和透明平板检测系统 Active CN102753933B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010-030238 2010-02-15
JP2010030238A JP5589422B2 (ja) 2010-02-15 2010-02-15 透明体検出システム
JP2010030247A JP5589423B2 (ja) 2010-02-15 2010-02-15 透明平板検出システム
JP2010-030247 2010-02-15
PCT/JP2011/052073 WO2011099404A1 (en) 2010-02-15 2011-01-26 Transparent object detection system and transparent flat plate detection system

Publications (2)

Publication Number Publication Date
CN102753933A CN102753933A (zh) 2012-10-24
CN102753933B true CN102753933B (zh) 2015-06-10

Family

ID=44367680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180009141.4A Active CN102753933B (zh) 2010-02-15 2011-01-26 透明物体检测系统和透明平板检测系统

Country Status (5)

Country Link
US (1) US9080986B2 (zh)
EP (1) EP2536997B1 (zh)
KR (1) KR101430330B1 (zh)
CN (1) CN102753933B (zh)
WO (1) WO2011099404A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953658B2 (ja) 2011-05-25 2016-07-20 ソニー株式会社 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
KR101932595B1 (ko) 2012-10-24 2018-12-26 삼성전자주식회사 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법
JP6260006B2 (ja) * 2013-07-30 2018-01-17 パナソニックIpマネジメント株式会社 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
DE102013109005A1 (de) * 2013-08-20 2015-02-26 Khs Gmbh Vorrichtung und Verfahren zur Identifikation von Codierungen unter Folie
CN103472072A (zh) * 2013-09-09 2013-12-25 深圳市维图视技术有限公司 一种新的玻璃管缺陷视觉检测方法及其装置
GB2521429A (en) * 2013-12-19 2015-06-24 Canon Kk Visual Servoing
JP6380843B2 (ja) * 2013-12-19 2018-08-29 株式会社リコー 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
JP2016053478A (ja) * 2014-09-02 2016-04-14 株式会社東芝 相分離観測方法、相分離観測装置、及びアニール装置
CN104597058B (zh) * 2015-01-08 2017-06-30 中国科学院自动化研究所 一种基于视觉的白酒瓶内异物自动检测装置和方法
CN105486700B (zh) * 2016-02-01 2022-01-11 许迪 一种检测透明物体缺陷的系统及其使用方法
CN105700037B (zh) * 2016-04-19 2018-01-09 惠州先进制造产业技术研究中心有限公司 一种发动机缸盖螺丝漏装检测装置及检测方法
JP6698451B2 (ja) * 2016-07-11 2020-05-27 オリンパス株式会社 観察装置
US10281916B1 (en) 2016-09-21 2019-05-07 Amazon Technologies, Inc. Detection of transparent elements using specular reflection
US10196141B1 (en) * 2016-09-21 2019-02-05 Amazon Technologies, Inc. Detection of transparent elements using reflective disparities
US10289930B2 (en) * 2017-02-09 2019-05-14 Glasstech, Inc. System and associated for online measurement of the optical characteristics of a glass sheet
US10267750B2 (en) 2017-02-09 2019-04-23 Glasstech, Inc. System and associated method for online detection of small defects on/in a glass sheet
US11710289B2 (en) * 2017-06-29 2023-07-25 Sony Interactive Entertainment Inc. Information processing apparatus, information processing system, and material identification method
CN109656033B (zh) * 2017-10-12 2021-07-02 凌云光技术股份有限公司 一种区分液晶显示屏灰尘和缺陷的方法及装置
WO2019102734A1 (ja) * 2017-11-24 2019-05-31 ソニー株式会社 検出装置、及び電子機器の製造方法
JP2019120518A (ja) * 2017-12-28 2019-07-22 日立造船株式会社 異物検出装置および異物検出方法
CN108317971B (zh) * 2018-01-30 2023-06-16 河南理工大学 一种角度检测装置
US11175353B2 (en) 2018-02-16 2021-11-16 Analog Devices International Unlimited Company Position sensor with compensation for magnet movement and related position sensing method
CN108593681A (zh) * 2018-03-28 2018-09-28 中车唐山机车车辆有限公司 车体侧墙玻璃缺陷检测系统及检测方法
JP6933776B2 (ja) * 2018-05-08 2021-09-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および被写体情報取得方法
US11276197B2 (en) 2018-05-08 2022-03-15 Sony Interactive Entertainment Inc. Information processing apparatus and subject information acquisition method
CN109142377B (zh) * 2018-08-30 2020-02-07 昆明理工大学 一种饮用矿泉水水质检测装置
CN109471198B (zh) * 2018-12-29 2023-11-28 清华大学 一种全极化毫米波/太赫兹探测计、包括其在内的图像识别装置及其方法
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
BR112022006617A2 (pt) 2019-10-07 2022-06-28 Boston Polarimetrics Inc Sistemas e métodos para detecção por sensor de normais à superfície com polarização
EP4066001A4 (en) * 2019-11-30 2024-01-24 Boston Polarimetrics Inc SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
KR102306848B1 (ko) * 2019-12-27 2021-09-29 (주) 인텍플러스 배터리 외관 검사장치
CN112304249B (zh) * 2020-09-22 2022-03-18 江苏大学 一种透明材料三维表面及厚度分布同时检测系统及方法
DE102022110476A1 (de) 2022-04-29 2023-11-02 Carl Zeiss Industrielle Messtechnik Gmbh Beleuchtungsmodul und Koordinatenmessgerät
CN117630020A (zh) * 2024-01-25 2024-03-01 上海波创电气有限公司 一种用于对材料表面缺陷的检测装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1908638A (zh) * 2006-08-24 2007-02-07 上海交通大学 玻璃缺陷的光学检测装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0776753B2 (ja) * 1986-11-21 1995-08-16 株式会社堀場製作所 異物検査装置
JPH04282440A (ja) * 1991-03-12 1992-10-07 Fujitsu Ltd 貫通孔検査装置
JPH0518889A (ja) * 1991-07-15 1993-01-26 Mitsubishi Electric Corp 異物検査方法およびその装置
US5557324A (en) * 1992-10-29 1996-09-17 The Johns Hopkins University Polorization viewer
US5850284A (en) * 1995-06-13 1998-12-15 Robotic Vision Systems, Inc. Apparatus for detecting a polarization altering substance on a surface
JP3591160B2 (ja) 1995-10-09 2004-11-17 Jfeスチール株式会社 表面検査装置
JP2001141670A (ja) * 1999-11-17 2001-05-25 Masayoshi Tsuchiya 光散乱方式ガラス基板検査装置
JP2002098650A (ja) * 2000-09-26 2002-04-05 Matsushita Electric Works Ltd 透明体検出方法およびそのシステム
US7352889B2 (en) * 2000-10-30 2008-04-01 Ganz Brian L Automated storage and retrieval device and method
US6985616B2 (en) * 2001-10-18 2006-01-10 Robodesign International, Inc. Automated verification and inspection device for sequentially inspecting microscopic crystals
US7347817B2 (en) * 2001-08-02 2008-03-25 Given Imaging Ltd. Polarized in vivo imaging device, system and method
JP4093850B2 (ja) * 2002-12-03 2008-06-04 シャープ株式会社 光学式物体識別装置、それを用いた印刷装置および物体種類分類装置
DE10347240B4 (de) 2003-10-10 2015-10-15 Trützschler GmbH & Co Kommanditgesellschaft Vorrichtung in der Spinnereivorbereitung zum Erkennen von Fremdteilen aus Kunststoff in Faserflocken
CN101890720B (zh) * 2004-07-13 2012-01-11 松下电器产业株式会社 物品保持系统、机器人以及机器人控制方法
JP2007057244A (ja) 2005-08-22 2007-03-08 Nikon Corp 偏光測定装置、露光装置、および露光方法
JP2008045959A (ja) * 2006-08-12 2008-02-28 Sharp Corp 液晶表示パネルの検査装置及び検査方法
CN100427933C (zh) * 2006-08-22 2008-10-22 中国科学院上海光学精密机械研究所 玻璃质量检测仪
KR100838655B1 (ko) * 2006-10-27 2008-06-16 (주)쎄미시스코 유리기판의 품질 검사장치 및 그 검사방법
JP5610254B2 (ja) * 2008-06-18 2014-10-22 株式会社リコー 撮像装置及び路面状態判別方法
US8466960B2 (en) * 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1908638A (zh) * 2006-08-24 2007-02-07 上海交通大学 玻璃缺陷的光学检测装置

Also Published As

Publication number Publication date
KR101430330B1 (ko) 2014-08-13
EP2536997A4 (en) 2018-01-17
KR20120104635A (ko) 2012-09-21
US9080986B2 (en) 2015-07-14
EP2536997A1 (en) 2012-12-26
WO2011099404A1 (en) 2011-08-18
EP2536997B1 (en) 2020-12-16
CN102753933A (zh) 2012-10-24
US20130123985A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
CN102753933B (zh) 透明物体检测系统和透明平板检测系统
JP5589422B2 (ja) 透明体検出システム
CN101086483B (zh) 用于检查膜缺陷的设备和方法
US8040502B2 (en) Optical inspection of flat media using direct image technology
CN102037396B (zh) 区域传感器和带区域传感器的显示装置
KR20140146636A (ko) 패턴 위상차 필터의 검사 장치 및 검사 방법
CN107884414B (zh) 一种剔除灰尘影响的镜面物体表面缺陷检测系统及方法
CN107664644A (zh) 一种基于机器视觉的物件表观自动检测装置及方法
CN101587081A (zh) 缺陷检测方法及装置
CN107767377A (zh) 基于双目视觉系统的液晶屏缺陷与灰尘区分法及检测装置
JP5589423B2 (ja) 透明平板検出システム
CN110186937A (zh) 剔除灰尘影响的镜面物体表面二维缺陷检测方法及系统
CN103234979A (zh) 玻璃瓶缺陷检测装置及分像装置
JP2002098650A (ja) 透明体検出方法およびそのシステム
CN108628015B (zh) 检测装置及其检测方法、检测设备
CN102235979A (zh) 手机镜片外观检测装置
CN104458758A (zh) 一种人造蓝宝石晶片缺陷检测装置
KR20110103683A (ko) 평판디스플레이 패널의 검사방법 및 장치
CN207379945U (zh) 光学影像检测装置
TWI470210B (zh) 顯示裝置之光學層件之缺陷檢測方法
CN106383125B (zh) 用于纱线疵点检测的光电系统
CN204214788U (zh) 用于检测基材的基材缺陷检测装置
CN211403005U (zh) 一种cf基板修复设备
CN203148862U (zh) 玻璃瓶缺陷检测装置和分像装置
CN203786047U (zh) 棱镜片检测装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant