CN110632077A - 视觉传感器的镜头或镜头盖的异常检测系统 - Google Patents

视觉传感器的镜头或镜头盖的异常检测系统 Download PDF

Info

Publication number
CN110632077A
CN110632077A CN201910458324.2A CN201910458324A CN110632077A CN 110632077 A CN110632077 A CN 110632077A CN 201910458324 A CN201910458324 A CN 201910458324A CN 110632077 A CN110632077 A CN 110632077A
Authority
CN
China
Prior art keywords
lens
contamination
degree
lens cover
vision sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910458324.2A
Other languages
English (en)
Other versions
CN110632077B (zh
Inventor
新仓美穗
黑济泰彦
樽井贺彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN110632077A publication Critical patent/CN110632077A/zh
Application granted granted Critical
Publication of CN110632077B publication Critical patent/CN110632077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B13/00—Accessories or details of general applicability for machines or apparatus for cleaning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N21/13—Moving of cuvettes or solid samples to or from the investigating station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G03B11/041—Lens caps as separate accessory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0162—Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G01N2021/945—Liquid or solid deposits of macroscopic size on surfaces, e.g. drops, films, or clustered contaminants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9583—Lenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37208—Vision, visual inspection of workpiece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Manipulator (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

提供一种视觉传感器的镜头或镜头盖的异常检测系统，能够预测将来要实施的视觉传感器的镜头或镜头盖的清扫定时以防止生产线的运转率降低。该异常检测系统具有：照相机(6)，其设置于机器人(5)或其周边，用于获取多个图像；信息处理装置(20)，其基于由照相机(6)获取到的图像来计算照相机(6)的镜头或镜头盖的脏污程度；以及清扫定时预测部(43)，其基于计算出的镜头或镜头盖的脏污程度来计算与镜头或镜头盖的将来要实施的预测清扫定时有关的信息。

Description

视觉传感器的镜头或镜头盖的异常检测系统
技术领域
本发明涉及一种视觉传感器的镜头或镜头盖的异常检测系统。更为详细地说，涉及一种在具备产业机械的生产系统中设置的用于监视视觉传感器的镜头或镜头盖的脏污程度的视觉传感器的镜头或镜头盖的异常检测系统。
背景技术
在用于进行对象物的搬运、加工的机器人或机床、用于判定对象物的好坏的检查装置等各种产业机械中设置有一种用于获得与对象物的视觉有关的信息的视觉传感器。例如将对象物从规定的位置搬运到下一个规定的位置的搬运机器人基于由视觉传感器得到的视觉信息来掌握对象物的位置、姿势，在适当的位置把持对象物并将其搬运到规定的位置。在这种具备视觉传感器和产业机械的生产系统中，在视觉传感器的镜头上附着有脏污而无法利用视觉传感器获得期望的图像的情况下，有可能无法适当地发挥使用由该视觉传感器得到的视觉信息控制的产业机械的功能。
例如在专利文献1中提出了以下一种技术：在生产系统中具备用于判定照相机的镜头脏污的单元，在判定为镜头有脏污的情况下，输出报警警报，来禁止检测被判定为脏污区域。
另外，例如在专利文献2中提出了以下一种技术：在生产系统中无法检测设置于工件的标记的情况下，作为其原因，考虑灯的劣化、摄像机的镜头的脏污等，因此点亮警告灯，检测出是否灯的更换、摄像机的清扫等维护时期。
专利文献1：日本特开平6-148083号公报
专利文献2：日本特开平5-346307号公报
发明内容
发明要解决的问题
根据专利文献1所示的技术，在判定为镜头有脏污的情况下，输出报警警报，因此能够掌握输出了该报警警报的定时是需要进行镜头的清扫等维护的定时。
另外，根据专利文献2所示的技术，也在无法检测设置于工件的标记的情况下点亮警告灯，因此能够掌握警告灯点亮的定时是需要进行灯的更换、镜头的清扫等维护的定时。
另外，在生产系统中，实施维护以避免生产线的运转率降低是重要的。
然而，在专利文献1、2所示的技术中，无法预测将来要实施的视觉传感器的镜头的清扫定时，因此需要在每次输出警报时都实施镜头的清扫等维护。这种应对导致生产线的运转率的降低。
本发明是鉴于上述问题而完成的，其目的在于提供一种能够预测将来要实施的视觉传感器的镜头或镜头盖的清扫定时的视觉传感器的镜头或镜头盖的异常检测系统。由此，能够在适当的定时执行维护，能够防止生产线的运转率的降低。
用于解决问题的方案
(1)本发明所涉及的视觉传感器的镜头或镜头盖的异常检测系统(例如，镜头异常检测系统1)具有：视觉传感器(例如，照相机6)，其设置于产业机械(例如，机器人5)或其周边，用于获取多个图像；计算部(例如，具备脏污程度计算部41的信息处理装置20)，其基于由所述视觉传感器获取到的所述图像来计算所述视觉传感器的镜头或镜头盖的脏污程度(例如，脏污指数)；以及预测部(例如，清扫定时预测部43)，其基于由所述计算部计算出的所述镜头或镜头盖的脏污程度来计算与所述镜头或镜头盖的将来要实施的预测清扫定时有关的信息。
(2)在(1)所述的镜头或镜头盖的异常检测系统中，也可以是，还具备：判定部(例如，脏污程度判定部42)，其判定所述镜头或镜头盖的脏污程度是否为规定的阈值以下；告知部(例如，显示装置23)，其告知与所述预测清扫定时有关的信息；以及停止信号输出部(例如，具备脏污程度判定部42的信息处理装置20)，其输出用于使所述产业机械的动作停止的停止信号，其中，在由所述判定部得到的判定结果为所述镜头或镜头盖的脏污程度是所述阈值以下的情况下，所述告知部告知与所述预测清扫定时有关的信息，在由所述判定部得到的判定结果为所述镜头或镜头盖的脏污程度超过所述阈值的情况下，所述停止信号输出部输出所述停止信号。
(3)在(1)或(2)所述的镜头或镜头盖的异常检测系统中，也可以是，所述计算部根据基于初始图像的信息与基于动作后图像的信息的比较，来计算镜头或镜头盖的脏污程度。
(4)在(3)所述的镜头或镜头盖的异常检测系统中，也可以是，所述计算部根据基于初始图像的像素值的二值化图像与基于动作后图像的像素值的二值化图像之差来判定图像中的脏污区域，基于所述图像中的脏污区域的大小来计算所述镜头或镜头盖的脏污程度。
(5)在(1)～(4)中的任一项所述的镜头或镜头盖的异常检测系统中，也可以是，还具备标准摄影对象部，在计算所述镜头或镜头盖的脏污程度时，该标准摄影对象部成为由所述视觉传感器拍摄的对象，所述视觉传感器和/或所述标准摄影对象部被固定于可动部(例如，机器人5)，所述可动部能够进行动作，使得所述标准摄影对象部进入所述视觉传感器的摄影范围。
(6)在(1)～(4)中的任一项所述的镜头或镜头盖的异常检测系统中，也可以是，还具备标准摄影对象部，在计算所述镜头或镜头盖的脏污程度时，该标准摄影对象部成为由所述视觉传感器拍摄的对象，所述标准摄影对象部是覆盖所述视觉传感器的所述镜头或镜头盖的镜头罩(例如，镜头罩12)。
(7)在(1)～(6)中的任一项所述的镜头或镜头盖的异常检测系统中，也可以是，根据基于所述多个图像的摄影定时和所述多个图像的脏污程度导出的函数以及所述镜头或镜头盖的脏污程度的容许极限阈值来计算所述镜头或镜头盖的预测清扫定时。
(8)在(1)～(7)中的任一项所述的镜头或镜头盖的异常检测系统中，也可以是，还具备重启处理执行部(例如，重启处理执行部44)，该重启处理执行部将第一动作后图像中的所述镜头或镜头盖的第一脏污程度与在所述第一动作后图像之后的定时拍摄到的第二动作后图像中的所述镜头或镜头盖的第二脏污程度进行比较，基于该比较结果来执行镜头或镜头盖的异常检测系统的重启处理，在所述第二脏污程度相对于所述第一脏污程度降低了规定值以上的情况下，所述重启处理执行部执行所述重启处理。
(9)在(1)所述的镜头或镜头盖的异常检测系统中，也可以是，还具备：判定部(例如，脏污程度判定部42)，其判定所述镜头或镜头盖的脏污程度是否超过规定的阈值；可使用区域确定部(例如，可使用区域确定部45)，其确定由所述视觉传感器拍摄到的图像中的所述镜头或镜头盖的脏污轻微的可使用区域；以及信息输出部(例如，信息处理装置20)，其输出用于进行所述产业机械的动作的控制的信息，其中，在由所述判定部得到的判定结果为所述镜头或镜头盖的脏污程度超过所述阈值的情况下，所述可使用区域确定部确定所述可使用区域，在由所述可使用区域确定部确定的可使用区域为规定的大小以上的情况下，所述信息输出部输出用于使所述产业机械的动作继续的信息，在所述可使用区域小于所述规定的大小的情况下，所述信息输出部输出用于使所述产业机械的动作停止的信息。
(10)在(8)所述的镜头或镜头盖的异常检测系统中，也可以是，所述视觉传感器具备用于使摄影位置变化的可动部，在所述可使用区域为规定的大小以上的情况下，使所述可动部动作以使所述视觉传感器的摄影位置变化，使得能够在所述可使用区域内拍摄摄影对象物的至少一部分。
(11)在(1)所述的镜头或镜头盖的异常检测系统中，也可以是，还具备信息输出部(例如，信息处理装置20)，该信息输出部输出用于进行所述产业机械和所述视觉传感器的动作的控制的信息，设置有多个所述视觉传感器，所述计算部分别计算多个所述视觉传感器(例如，照相机6a、6b、6c、6d)的所述镜头或镜头盖的脏污程度，在检测到所述镜头或镜头盖的脏污程度超过规定的阈值的视觉传感器的情况下，所述信息输出部输出用于代替该视觉传感器而使用所述镜头或镜头盖的脏污程度为规定的阈值以下的其它视觉传感器继续进行摄影、并使所述产业机械的动作继续的信息。
(12)一种记录有本发明所涉及的视觉传感器的镜头或镜头盖的异常检测用程序的计算机可读介质，记录了使构成视觉传感器的镜头或镜头盖的异常检测系统(例如，镜头异常检测系统1)的信息处理装置(例如，信息处理装置20)的计算机实现计算功能(例如，具备脏污程度计算部41的信息处理装置20的功能)和预测功能(例如，清扫定时预测部43的功能)的程序，其中，该视觉传感器的镜头或镜头盖的异常检测系统具备设置于产业机械(例如，机器人5)或其周边区域的、用于获取多个图像数据的视觉传感器(例如，照相机6)，所述计算功能(例如，具备脏污程度计算部41的信息处理装置20的功能)用于基于由所述视觉传感器拍摄到的所述图像数据来计算所述视觉传感器的镜头或镜头盖的脏污程度(例如，脏污指数)，所述预测功能(例如，清扫定时预测部43的功能)用于基于由所述计算功能测量出的所述镜头或镜头盖的脏污程度来计算与所述镜头或镜头盖的将来要实施的预测清扫定时有关的信息。
发明的效果
根据本发明，能够提供一种能够预测将来要实施的视觉传感器的镜头或镜头盖的清扫定时的视觉传感器的镜头或镜头盖的异常检测系统。由此，能够在适当的定时执行维护，能够防止生产线的运转率的降低。
附图说明
图1是表示组装有本发明的第一实施方式所涉及的照相机的镜头异常检测系统的生产系统的整体结构的图。
图2是表示上述实施方式所涉及的镜头异常检测系统的运算装置的功能模块的结构的功能框图。
图3是使上述实施方式所涉及的镜头异常检测系统的照相机靠近罩状构件时的放大图。
图4A是用于说明上述实施方式所涉及的镜头异常检测系统的计算照相机的镜头的脏污程度的处理的图。
图4B是用于说明上述实施方式所涉及的镜头异常检测系统的计算照相机的镜头的脏污程度的处理的图。
图4C是用于说明上述实施方式所涉及的镜头异常检测系统的计算照相机的镜头的脏污程度的处理的图。
图5是用于说明在上述实施方式所涉及的镜头异常检测系统的初始图像以后的图像为一张的情况下计算预测清扫定时的方法的曲线图。
图6是用于说明上述实施方式所涉及的镜头异常检测系统的有多个动作后图像的情况下的计算预测清扫定时的方法的曲线图。
图7是用于说明上述实施方式所涉及的镜头异常检测系统的重启镜头异常检测系统的情况下的处理的曲线图。
图8是表示上述实施方式所涉及的镜头异常检测系统的进行预测清扫定时的计算和告知的处理的流程图。
图9是表示本发明的第二实施方式所涉及的镜头异常检测系统的运算装置的功能模块的结构的功能框图。
图10A是用于说明上述实施方式所涉及的镜头异常检测系统的使摄影位置偏移的处理的图。
图10B是用于说明上述实施方式所涉及的镜头异常检测系统的使摄影位置偏移的处理的图。
图10C是用于说明上述实施方式所涉及的镜头异常检测系统的使摄影位置偏移的处理的图。
图11A是表示本发明的第三实施方式所涉及的镜头异常检测系统的照相机以及具备标准摄影对象部的镜头罩的概要图。
图11B是表示本发明的第三实施方式所涉及的镜头异常检测系统的照相机以及具备标准摄影对象部的镜头罩的概要图。
图12是表示上述实施方式所涉及的镜头异常检测系统的在照相机上安装有镜头罩的状态下进行了摄影时得到的图像的图。
图13是表示本发明的第四实施方式所涉及的镜头异常检测系统的控制装置和照相机的图。
附图标记说明
1：镜头异常检测系统；5：机器人(产业机械)；6：照相机(视觉传感器)；8：照明部；10：底座；11：罩状构件；12：镜头罩镜头；20：信息处理装置；21：图像处理装置；22：运算装置；23：显示装置；30：控制装置；31：机器人控制装置；32：照相机控制装置；41：脏污程度计算部；42：脏污程度判定部；43：清扫定时预测部；44：重启处理执行部；45：可使用区域确定部。
具体实施方式
<第一实施方式>
以下，参照附图对本发明的第一实施方式进行说明。
图1是表示组装有本实施方式所涉及的视觉传感器的镜头异常检测系统的生产系统S的整体结构的图。
生产系统S具备：作为产业机械的机器人5；作为视觉传感器的照相机6，其设置于该机器人5；信息处理装置20，其对照相机6的输出进行处理，并执行监视镜头的脏污情况的处理等；以及控制装置30，其基于由信息处理装置20处理后的照相机6的输出等各种信息来控制机器人5和照相机6等。
在此，在本实施方式中，照相机6和信息处理装置20构成本申请发明的镜头异常检测系统1。
机器人5是执行以下一系列搬运动作的搬运机器人：根据从控制装置30发送的控制信号，在规定的位置把持作为对象物的工件W，并将把持的工件W搬运到下一个规定的位置，该对象物是生产品的一个部件。
照相机6设置于机器人5，根据来自控制装置30的要求拍摄工件W等，并将其图像信号以规定的周期发送到信息处理装置20。
照相机6具备保持着镜头的镜头保持部7。另外，在照相机6中设置有用于向工件W照射照明光的照明部8。
信息处理装置20由具备以下装置的计算机构成：图像处理装置21，其对照相机6的输出进行处理；运算装置22，其基于由图像处理装置21进行处理得到的信息来执行用于监视照相机6的镜头的脏污程度的运算；作为告知部的显示装置23，其以操作员能够视觉识别的方式显示由该运算装置22得到的运算结果；以及存储装置24，其存储用于实现后述的各种功能的程序以及各种信息等。
图像处理装置21对从照相机6发送的图像信号实施各种处理。图像处理装置21将进行处理得到的信息以规定的周期发送到控制装置30和运算装置22。在此，在从图像处理装置21发送的信息中例如包含拍摄后述的标准摄影对象部得到的图像信息、包括工件W在内的图像信息、与根据图像进行检测的工件W的检测位置及其误差有关的信息等。
运算装置22基于从图像处理装置21发送的信息来执行用于监视镜头的脏污情况的处理等。图2是表示运算装置22的功能模块的结构的功能框图。
运算装置22具备脏污程度计算部41、脏污程度判定部42以及清扫定时预测部43，通过具备这些功能模块来计算照相机6的镜头的脏污程度，预测将来要实施的照相机6的镜头的清扫定时。另外，运算装置22还具备后述的重启处理执行部44。以下，依次说明构成为能够通过运算装置22的运算实现的各功能模块41～43的功能。
脏污程度计算部41基于从图像处理装置21发送来的信息计算照相机6的镜头的脏污程度。使用图3～图4在后文叙述该脏污程度的计算方法的详细内容。然后，与计算出的脏污程度有关的信息被发送到脏污程度判定部42。
脏污程度判定部42判定由脏污程度计算部41计算出的脏污程度是否超过规定的阈值。在脏污程度超过阈值的情况下，向控制装置30发送用于使由机器人5等产业机械进行的加工动作等动作停止的停止信号。在此，信息处理装置20的脏污程度判定部42也发挥作为停止信号输出部的功能，该停止信号输出部输出用于使机器人5等的动作停止的停止信号。
另一方面，在脏污程度为阈值以下的情况下，为了计算预测清扫定时，向清扫定时预测部43发送与脏污程度有关的信息。
清扫定时预测部43基于由脏污程度计算部41计算出的脏污程度来计算将来要实施的清扫定时、即预测清扫定时。使用图5～图7在后文叙述该预测清扫定时的计算方法的详细内容。计算出的预测清扫定时的信息被发送到显示装置23。
显示装置23基于从清扫定时预测部43发送来的预测清扫定时的信息来显示与照相机6的镜头的预测清扫定时有关的信息，从而告知操作员。
存储装置24保存从照相机6发送的图像信号、由图像处理装置21进行处理得到的信息、由运算装置22运算出的信息等各种信息。
此外，也可以设为以下结构：将从照相机6发送的图像信号暂时保存到存储装置24中，根据需要读出所保存的该图像信号，来执行上述的图像处理装置21、运算装置22的处理。
控制装置30控制机器人5和照相机6等。控制装置30基于在信息处理装置20中进行处理得到的信息来生成用于使机器人5执行搬运动作的控制信号，并向机器人5发送该控制信号。例如，在信息处理装置20中，基于根据图像进行检测的工件W的检测位置等信息来生成位置校正信息，控制装置30向机器人5发送与该位置校正信息相应的控制信号。由此，能够以对工件W与机器人5的位置关系进行了校正的状态控制机器人5。
另外，控制装置30生成用于由照相机6拍摄工件W等的控制信号，并向照相机6发送该控制信号。
接着，使用图3～图4对计算照相机6的镜头的脏污程度的处理进行说明。
图3是使图1所示的机器人5的臂活动以使照相机6的镜头保持部7靠近具备标准摄影对象部的罩状构件11时的放大图。
罩状构件11被安装于固定有机器人5的底座10。在计算照相机6的镜头的脏污程度时，使作为可动部的机器人5的臂活动，来利用照相机6拍摄罩状构件11的底部11a。
在此，机器人5的基准位置与罩状构件11的位置关系始终固定，因此在获取用于计算脏污程度的图像的情况下的使机器人5的臂活动的控制始终设为在相同场所活动的控制即可。由此，此时的控制是简便的。
罩状构件11的底部11a构成标准摄影对象部，如果拍摄该部分，则通常始终获得相同的图像。
在该罩状构件11的底部11a描绘了规定的标记。作为规定的标记，如果是作为后面的处理的基准那样的标记，则也可以是任意的标记，例如，也可以是模仿了工件W的标记。另外，并不限于如图4所示那样的标记，例如也可以设为网格状的标记。另外，标准摄影对象部是将获取用于计算脏污的程度的图像作为第一目的的部分，因此虽然没有描绘标记，但也可以是例如由白色等特定颜色形成的一样的表面。
另外，期望从罩状构件11的上表面到底部11a的距离预先处于照相机6的焦点距离的范围内。
在此，罩状构件11具备包围底部的周围的筒状部11b，以排除摄影时的由外部照明光等外部因素造成的影响。根据该结构，在以规定的照明条件从照明部8照射照明光来拍摄了罩状构件11的底部11a时，除在照相机6的镜头上附着有脏污的情况以外，能够始终获取固定的明亮度和颜色的图像。由此，能够更加准确地执行以下所示的用于计算照相机6的镜头的脏污程度的处理。
图4是用于说明计算照相机6的镜头的脏污程度的处理的图。
首先，在照相机6的镜头上没有脏污的状态下启动镜头异常检测系统1，将固定于机器人5的照相机6的镜头保持部7引导至罩状构件11的附近。这样，作为固定有照相机6的可动部的机器人5能够使照相机活动，以使标准摄影对象部进入照相机6的摄影范围。将该状态设为初始状态，将在初始状态下拍摄到的标准摄影对象部的图像保存为初始图像。
接着，每隔由操作员预先决定的任意的时间自动地或者以基于操作员的手动操作的定时执行与初始图像的摄影同样的动作，来再次获取标准摄影对象部的图像。然后，将该图像保存为动作后图像。在图4A中表示像这样拍摄到的初始图像和动作后图像。
图像处理装置21如图4B所示那样利用规定的阈值将初始图像的像素值和动作后图像的像素值分别进行二值化，来分别生成二值化图像。并且，图像处理装置21如图4C所示那样基于初始图像的二值化图像与动作后图像的二值化图像之差来生成差图像。
运算装置22的脏污程度计算部41基于由图像处理装置21生成的差图像的信息来计算镜头的脏污程度。
在此，在照相机6的镜头上没有附着脏污的情况下，由于初始化图像的二值化图像与动作后图像的二值化图像为相同的图像，因此两者的差图像的值在其整个区域内为零。另一方面，在照相机6的镜头上附着有脏污的情况下，对于附着有脏污的部分而言差值不为零。由此，脏污程度计算部41能够将该差值不为零的部分判定为摄像图像中的脏污区域。通过这种二值化处理，能够准确且简便地判定脏污区域。
脏污程度计算部41通过将被判定为脏污的该区域的大小除以整个摄影图像的区域的大小来计算作为脏污程度的脏污指数。该脏污指数是取0～1的值的指数，在初始状态下为零。
此外，上述的二值化处理以后的处理既可以由图像处理装置21执行，也可以由运算装置22的脏污程度计算部41执行。
此外，判定脏污区域的方法并不取决于上述的二值化方法，例如也能够采用直接使用图像的像素值来获取差图像的方法等各种方法。
另外，也可以不判定脏污区域就计算镜头的脏污程度。
即，能够采用根据基于初始图像的信息与基于动作后图像的信息的比较来计算镜头的脏污程度的各种方法。
例如，认为图像的像素值的信息示出了脏污的浓淡。由此，也可以将初始图像的像素值与动作后图像的像素值进行比较，获取表示脏污的浓淡的变化程度的信息，基于该信息来求出镜头的脏污程度。
如以上示出的那样，基于拍摄标准摄影对象部得到的图像来计算镜头的脏污程度，因此能够准确地计算镜头的脏污程度。
另外，基于在以规定的照明条件拍摄标准摄影对象部时的图像来计算镜头的脏污程度，因此能够更加准确地计算镜头的脏污程度。
并且，在拍摄规定的对象时，由于具备作为用于排除由外部因素光产生的影响的排除单元的筒状部11b，因此能够也不受外部因素光的影响地更加准确地计算镜头的脏污程度。
接着，使用图5～图7的曲线图对基于由脏污程度计算部41计算出的脏污程度来计算将来要实施的照相机6的镜头的清扫定时、即预测清扫定时的处理进行说明。
在图5中示出了将横轴设为时刻、将纵轴设为脏污指数的曲线图。
如图5的纵轴所示，对脏污指数设定了在计算镜头的预测清扫定时之后要参照的容许极限阈值。该容许极限阈值被预先设定为由于镜头的极度的脏污而认为无法正常地基于照相机6的输出控制机器人5的值、例如认为无法正常地基于图像信息进行工件W的位置校正处理等的值。
图5示出了在初始图像以后的图像为一张的情况下计算预测清扫定时的方法。
在该情况下，基于初始图像的摄影定时t0、动作后图像的摄影定时t以及动作后图像的脏污指数来导出函数。然后，基于该函数计算直到脏污指数达到容许极限阈值为止的时间，根据该时间和初始图像的摄影定时t0的时刻导出被预测为达到容许极限阈值的时刻，来作为清扫定时T。与该时刻有关的信息是将来要实施的清扫定时的信息、即表示预测清扫定时的信息。此外，用于在显示装置23中告知操作员的与预测清扫定时有关的信息并不限于时刻自身，只要是与预测清扫定时有关的信息即可。
在此，在导出函数时，脏污程度计算部将初始图像的脏污指数计算为零，并发送到清扫定时预测部43。另外，作为函数，导出了能够以少的运算量导出的一次函数。
这样，能够基于包括初始图像的多个图像的摄影定时和多个图像的脏污程度来计算镜头的预测清扫定时。
一般地，在存储容量不足的情况下，难以预先保存多个图像。然而，根据该结构，即使在存储容量不足的情况下，也能够仅使用初始图像和当前时刻t的动作后图像来计算预测清扫定时T。
图6是表示初始图像以后的图像为多个的情况下、即动作后图像有多个的情况下的计算预测清扫定时T的方法的图。
在该情况下，基于初始图像的摄影定时t0、多个动作后图像的摄影定时以及多个动作后图像的脏污指数来导出函数。例如，如图6所示那样使用最小二乘法等导出近似直线来作为函数。由此，即使在中途的摄影定时在脏污指数中存在异常值等情况下，也能够更加准确地计算预测清扫定时T。
此外，计算预测清扫定时T的函数并不限于一次函数。为了更加准确地预测，也可以基于过去的实际成绩数据导出描绘曲线的函数。
另外，也可以构建以下方法：获取多个在实际需要清扫的定时拍摄到的过去的图像的摄影定时及脏污程度的信息以及到目前为止的多个图像的摄影定时及脏污程度信息，并使用该信息进行机械学习，由此计算预测清扫定时T。
这样，能够基于多个图像的摄影定时和多个图像的脏污程度来计算镜头的预测清扫定时。
图7是用于表示重启镜头异常检测系统的情况下的处理的图。
在清扫了照相机6的镜头的情况下，为了重启镜头异常检测系统1，需要重置初始状态的时刻。作为执行这种重启处理的方法，考虑操作员在清扫了镜头的定时通过手动来执行重启处理的方法。另外，也能够如图7所示那样采用以下方法：将连续的多个动作后图像的脏污指数进行比较，在脏污指数大幅地降低的情况下、例如降低了规定值以上的情况下，自动地执行重启处理。由此，自动地进行重启处理，因此能够更加可靠地进行重启处理。
此外，重启处理也可以是将刚刚使脏污指数大幅地降低后的动作后图像再次设定为初始图像的处理。例如运算装置22中的重启处理执行部44执行该重启处理。
此外，也可以采用以下结构：在脏污指数大幅地降低的情况下，显示用于操作员确认是否进行了清扫的确认画面。例如，也可以采用以下结构：在脏污指数降低了规定值以上的情况下，在显示装置23中显示“在进行了镜头的清扫的情况下，请按[重启]。重启镜头异常检测系统。”。根据该结构，也能够更加可靠地进行重启处理。
以下，使用图8的流程图说明基于照相机6的镜头的脏污程度进行预测清扫定时的告知的镜头异常检测系统的处理
在步骤S11中，脏污程度计算部41计算照相机6的镜头的脏污程度。接着，在步骤S12中，脏污程度判定部42判定脏污程度是否超过规定的阈值。该规定的阈值也可以是与在图5等中说明过的容许极限阈值相同的值。
脏污程度判定部42为了在脏污程度为阈值以下的情况下(步骤S12为“否”)计算将来要实施的清扫定时，将与脏污程度有关的信息发送到清扫定时预测部43。在步骤S14中，清扫定时预测部43计算将来要实施的清扫定时、即预测清扫定时，显示装置23告知该定时的内容。之后，返回到步骤S11。每隔由操作员预先决定的任意的时间自动地或者在基于操作员的手动操作的定时重复进行该处理。
另一方面，在脏污程度超过规定的阈值的情况下(步骤S12为“是”)，在步骤S13中，向控制装置30发送用于使机器人5等产业机械的动作停止的停止信号。此外，此时也可以通知警报。
通过这种镜头异常检测处理，操作员能够掌握将来要实施的照相机6的镜头的清扫定时，因此能够在适当的定时执行维护，能够防止生产线的运转率的降低。
此外，在本申请的脏污中包括切削液、水垢、尘土、原本不应该附着于照相机的镜头的从产业机械喷出的涂料等各种脏污。
此外，检测脏污的附着的对象是照相机6的镜头或镜头盖。即，如果具有使光线折射的功能的镜头自身露出到照相机6的镜头保持部7的前端外表面，则检测脏污的附着的对象为镜头，但在镜头的前面配置有镜头盖、例如平板状的盖玻璃等的情况下，检测脏污的附着的对象为该镜头盖。
此外，在本实施方式中，将具备标准摄影对象部的罩状构件11设置在机器人5的底座10上，但用于设置罩状构件11的部分并不限于该部分。例如，也可以在工件W的载置台9上设置罩状构件11。在该情况下，在用于计算脏污程度的摄影动作时，能够减少使机器人5活动的量。
此外，在本实施方式中，照相机6被固定在机器人5的手附近，但照相机6也可以设置于机器人5的周边的其它部分。例如，也可以设为以下结构：将照相机6设置于与机器人5不同的可动臂，并使该可动臂活动。
另外，也可以将照相机6固定地设置于机器人5的底座10、工件W的载置台9等非可动部。在该情况下，也可以设为以下结构：将标准摄影对象部固定于可动部，在用于计算脏污程度的摄影动作时，使可动部进行动作，使得标准摄影对象部以进入照相机6的摄影范围的方式移动。
另外，也可以采用以下结构：将可自如移动的标准摄影对象部与照相机6一体地设置在照相机6的镜头保持部7附近。
另外，也可以设为以下结构：将照相机6和标准摄影对象部均固定于可动部，且使两者移动。
此外，在本实施方式中，作为用于计算脏污程度的图像，使用了拍摄标准摄影对象部得到的图像，但也能够使用拍摄工件W得到的图像等其它图像。在该情况下，虽然脏污程度的检测灵敏度下降，但不使机器人5进行用于镜头异常检测的多余动作就能够计算脏污程度。
根据本实施方式的镜头异常检测系统，发挥以下效果。
(1)本实施方式所涉及的镜头异常检测系统1具有：脏污程度计算部41，其基于由照相机6获取到的图像来计算照相机6的镜头的脏污程度；以及清扫定时预测部43，其基于该镜头的脏污程度来计算与镜头的将来要实施的预测清扫定时有关的信息。
由此，能够提供一种能够预测将来要实施的照相机6的镜头的清扫定时的照相机6的镜头异常检测系统，因此能够在适当的定时执行维护，能够防止生产线的运转率的降低。
(2)在由脏污程度判定部42得到的判定结果为镜头的脏污程度是阈值以下的情况下，本实施方式所涉及的镜头异常检测系统1基于镜头的脏污程度告知与镜头的预测清扫定时有关的信息，在判定结果为镜头的脏污程度超过阈值的情况下，本实施方式所涉及的镜头异常检测系统1输出使机器人5等的动作停止的停止信号。
由此，能够根据镜头的脏污程度进行更加适当的控制。
(3)本实施方式所涉及的镜头异常检测系统1根据基于初始图像的信息与基于动作后图像的信息的比较来计算镜头的脏污程度。
由此，能够适当地计算镜头的脏污程度。
(4)本实施方式所涉及的镜头异常检测系统1根据基于初始图像的像素值的二值化图像与基于动作后图像的像素值的二值化图像之差来判定图像中的脏污区域，基于图像中的脏污区域的大小来计算镜头的脏污程度。
由此，能够通过进行二值化处理来准确且简便地判定脏污区域。
(5)本实施方式所涉及的镜头异常检测系统1还具备标准摄影对象部，该标准摄影对象部在计算镜头的脏污程度时成为由照相机6拍摄的对象，固定有照相机6和/或标准摄影对象部的可动部能够进行动作，以使标准摄影对象部进入照相机6的摄影范围。
由此，能够通过使用标准摄影对象部来更加准确地计算脏污程度。
(6)本实施方式所涉及的镜头异常检测系统1根据基于多个图像的摄影定时和多个图像的脏污程度导出的函数以及镜头的脏污程度的容许极限阈值来计算镜头的预测清扫定时。
由此，能够准确地计算预测清扫定时。
(7)在第二动作后图像中的镜头的第二脏污程度相对于第一动作后图像中的镜头的第一脏污程度降低了规定值以上的情况下，本实施方式所涉及的镜头异常检测系统1执行重启处理。
由此，自动地进行重启处理，因此能够可靠地进行重启处理。
<第二实施方式>
接着，参照图9～图10对第二实施方式所涉及的镜头异常检测系统进行说明。此外，在以下的说明中，对与第一实施方式相同的结构标注相同的附图标记，另外，省略详细的说明。
图9是表示本实施方式的运算装置22的功能模块的结构的功能框图。
本实施方式的运算装置22除了具备图2所示的功能模块以外，还具备可使用区域确定部45。
在第一实施方式中，在照相机6的镜头的脏污指数超过规定的阈值的情况下，在步骤S13中，使机器人5等的动作停止。然而，即使在判定为脏污指数是规定的阈值以上的情况下，有时也能够通过使摄影位置偏移来继续进行基于照相机6的输出的机器人5等的加工动作。
图10A是拍摄到标准摄影对象部的标记时的图像。在图像上附着有超过规定的阈值的脏污。
在本实施方式中，信息处理装置20的运算装置22中的可使用区域确定部45确定如图10B所示那样的由照相机6拍摄到的图像中的镜头的脏污轻微的可使用区域。
然后，在尽管照相机6的镜头的脏污指数超过规定的阈值、但上述可使用区域为预先决定的规定的大小以上的情况下，进行使机器人5等的动作继续的处理。
此外，在继续进行加工动作的期间，使用镜头的脏污轻微的可使用区域来控制基于照相机6的输出的机器人5等的动作。
此外，在照相机6具备作为用于使摄影位置变化的单元的可动部、例如用于保持照相机的未图示的可动臂、用于使摄影方向变化的未图示的机构等的情况下，也可以进行以下控制：在上述的可使用区域为规定的大小以上的情况下，使可动部动作以使照相机6的摄影位置变化，使得作为摄影对象的工件W或标准摄影对象部的标记进入可使用区域内。重复进行变更该摄影位置的控制，直到可使用区域的大小低于容许值为止。
而且，在可使用区域小于预先决定的规定的大小的情况下，进行用于使机器人5等的动作停止的处理。
这样，本实施方式的信息处理装置20具有作为信息输出部的功能，该信息输出部输出用于进行机器人5等的动作的控制以及照相机6的摄影的控制的信息，在可使用区域为规定的大小以上的情况下，本实施方式的信息处理装置20输出用于使机器人5的动作继续的信息，在可使用区域小于规定的大小的情况下，本实施方式的信息处理装置20输出用于使机器人5的动作停止的信息。
根据这种结构，能够进一步提高生产线的运转率。
此外，是否为镜头的脏污轻微的可使用区域的判定并不依赖于上述的二值化的方法，例如，也能够采用直接使用图像的像素值来获取差图像的方法等各种方法。
根据本实施方式所涉及的镜头异常检测系统，除了发挥上述(1)～(7)的效果以外，还发挥以下效果。
(8)在本实施方式中，在镜头的脏污轻微的可使用区域为规定的大小以上的情况下，使所述产业机械的动作继续。
由此，能够进一步提高生产线的运转率。
(9)在本实施方式中，在镜头的脏污轻微的可使用区域为规定的大小以上的情况下，使可动部动作以使照相机6的摄影位置变化，使得能够在可使用区域内拍摄摄影对象物的至少一部分。
由此，能够进一步提高生产线的运转率。
<第三实施方式>
接着，参照图11～图12对第三实施方式所涉及的镜头异常检测系统进行说明。此外，在以下的说明中，对与第一实施方式相同的结构标注相同的附图标记，另外，省略详细的说明。
图11A是表示本实施方式的照相机6和具备标准摄影对象部的镜头罩12的概要图。
在本实施方式中，标准摄影对象部设置在镜头罩12的内面侧的底部。
在该结构的情况下，仅通过手动地将镜头罩12覆盖于照相机6的镜头保持部7，就能够获取用于计算脏污程度的图像。由此，此时不需要使照相机6移动。
此外，镜头罩12的内面侧的底部也可以如图11B所示那样设置网格状的标记。图12是在安装具备这种标记的镜头罩12来进行了摄影时获得的图像。
由于该网格状的标记，而能够在镜头上附着有脏污时进行变更照相机6的摄影位置以使工件W等对象物的至少一部分进入可使用区域内的控制的情况下，基于以标记为基准进行处理得到的信息来适当地进行摄影位置的变更控制。另外，标记也成为照相机6的焦点调整时的基准。
根据本实施方式所涉及的镜头异常检测系统，除了发挥上述(1)～(9)的效果以外，还发挥以下效果。
(10)在本实施方式中，标准摄影对象部是覆盖照相机6的镜头的镜头罩12。
由此，通过手动地将镜头罩12覆盖于照相机6，能够简单地获取用于计算脏污程度的图像。另外，此时不需要使照相机6移动。
<第四实施方式>
接着，参照图13对第四实施方式所涉及的镜头异常检测系统进行说明。此外，在以下的说明中，对与第一实施方式相同的结构标注相同的附图标记，另外，省略详细的说明。
图13是表示本实施方式的控制装置30和照相机6的图。
在本实施方式中，机器人控制装置31与照相机控制装置32分离。而且，多个照相机6a～6d连接于照相机控制装置。
根据该结构，在由信息处理装置20的运算装置22中的脏污程度判定部42判定为多个照相机6a～6d中的某一个照相机、例如第一照相机6a的镜头的脏污程度超过规定的阈值的情况下，判定在其它照相机6b～6d中是否存在镜头的脏污程度为规定的阈值以下的照相机。而且，在其它照相机中存在镜头的脏污程度为规定的阈值以下的照相机的情况下，选择镜头的脏污程度为规定的阈值以下的其它照相机中的一个照相机代替第一照相机6a来继续进行摄影。此时，在存在多个镜头的脏污程度为规定的阈值以下的照相机的情况下，也可以优先选择使用脏污程度最小的照相机。
这样，本实施方式的具备脏污程度判定部42的信息处理装置20具有作为信息输出部的功能，该信息输出部输出用于进行机器人5等的动作的控制以及照相机6的摄影的控制的信息，在检测到镜头的脏污程度超过规定的阈值的照相机的情况下，将用于代替该照相机而使用镜头的脏污程度为规定的阈值以下的其它照相机继续进行工件W的摄影、并使机器人5等的动作继续的信息输出到控制装置30。
此外，多个照相机既可以全部设置于机器人5，也可以设置于机器人5和机器人5以外的部分。另外，也可以设为以下结构：安装于与机器人5不同的未图示的可动部，根据情况将多个机器人与多个照相机6a～6d适当地组合来使用。
此外，根据该结构，并不限于镜头的脏污严重时，也能够在任一个照相机发生故障的情况下，通过控制为使用其它照相机来提高运转率。
根据这种结构，能够进一步提高生产线的运转率。
根据本实施方式所涉及的镜头异常检测系统，除了发挥上述(1)～(10)的效果以外，还发挥以下效果。
(11)在本实施方式中，分别计算多个照相机6a～6d的镜头的脏污程度，在检测到镜头的脏污程度超过规定的阈值的照相机的情况下，使用镜头的脏污程度为规定的阈值以下的其它照相机代替该照相机来继续进行摄影，从而使机器人5等的动作继续。
由此，能够进一步提高生产线的运转率。
此外，在各实施方式中，将检测脏污的附着的对象设为镜头并进行了说明，但在镜头的前面配置有镜头盖的情况下，检测脏污的附着的对象为镜头盖。即，本发明的异常检测系统能够构成为视觉传感器的镜头或镜头盖的异常检测系统。
此外，本发明并不限定于上述实施方式，即使在能够实现本发明的目的的范围内进行变形、改良等也包括在本发明的范围内。

Claims (12)

1.一种视觉传感器的镜头或镜头盖的异常检测系统，具备视觉传感器，该视觉传感器设置于产业机械或其周边区域，用于获取多个图像数据，所述异常检测系统具有：
计算部，其基于由所述视觉传感器拍摄到的所述图像数据来计算所述视觉传感器的镜头或镜头盖的脏污程度；以及
预测部，其基于由所述计算部测量出的所述镜头或镜头盖的脏污程度来计算与所述镜头或镜头盖的将来要实施的预测清扫定时有关的信息。
2.根据权利要求1所述的视觉传感器的镜头或镜头盖的异常检测系统，其特征在于，还具备：
判定部，其判定所述镜头或镜头盖的脏污程度是否为规定的阈值以下；
告知部，其告知与所述预测清扫定时有关的信息；以及
停止信号输出部，其输出用于使所述产业机械的动作停止的停止信号，
其中，在由所述判定部得到的判定结果为所述镜头或镜头盖的脏污程度是所述阈值以下的情况下，所述告知部告知与所述预测清扫定时有关的信息，
在由所述判定部得到的判定结果为所述镜头或镜头盖的脏污程度超过所述阈值的情况下，所述停止信号输出部输出所述停止信号。
3.根据权利要求1或2所述的视觉传感器的镜头或镜头盖的异常检测系统，其特征在于，
所述计算部根据基于初始图像的信息与基于动作后图像的信息的比较来计算所述镜头或镜头盖的脏污程度。
4.根据权利要求3所述的视觉传感器的镜头或镜头盖的异常检测系统，其特征在于，
所述计算部根据基于初始图像的像素值的二值化图像与基于动作后图像的像素值的二值化图像之差来判定图像中的脏污区域，基于所述图像中的脏污区域的大小来计算所述镜头或镜头盖的脏污程度。
5.根据权利要求1至4中的任一项所述的视觉传感器的镜头或镜头盖的异常检测系统，其特征在于，
还具备标准摄影对象部，在计算所述镜头或镜头盖的脏污程度时，该标准摄影对象部成为由所述视觉传感器拍摄的对象，
所述视觉传感器和/或所述标准摄影对象部被固定于可动部，所述可动部能够进行动作，使得所述标准摄影对象部进入所述视觉传感器的摄影范围。
6.根据权利要求1至4中的任一项所述的视觉传感器的镜头或镜头盖的异常检测系统，其特征在于，
还具备标准摄影对象部，在计算所述镜头或镜头盖的脏污程度时，该标准摄影对象部成为由所述视觉传感器拍摄的对象，
所述标准摄影对象部是覆盖所述视觉传感器的所述镜头或镜头盖的镜头罩。
7.根据权利要求1至6中的任一项所述的视觉传感器的镜头或镜头盖的异常检测系统，其特征在于，
根据基于所述多个图像的摄影定时和所述多个图像的脏污程度导出的函数以及所述镜头或镜头盖的脏污程度的容许极限阈值，来计算所述预测清扫定时。
8.根据权利要求1至7中的任一项所述的视觉传感器的镜头或镜头盖的异常检测系统，其特征在于，
还具备重启处理执行部，该重启处理执行部将第一动作后图像中的所述镜头或镜头盖的第一脏污程度与在所述第一动作后图像之后的定时拍摄到的第二动作后图像中的所述镜头或镜头盖的第二脏污程度进行比较，基于该比较的结果来执行异常检测系统的重启处理，
在所述第二脏污程度相对于所述第一脏污程度降低了规定值以上的情况下，所述重启处理执行部执行所述重启处理。
9.根据权利要求1所述的视觉传感器的镜头或镜头盖的异常检测系统，其特征在于，还具备：
判定部，其判定所述镜头或镜头盖的脏污程度是否超过规定的阈值；
可使用区域确定部，其确定由所述视觉传感器拍摄到的图像中的所述镜头或镜头盖的脏污轻微的可使用区域；以及
信息输出部，其输出用于进行所述产业机械的动作的控制的信息，
其中，在由所述判定部得到的判定结果为所述镜头或镜头盖的脏污程度超过所述阈值的情况下，所述可使用区域确定部确定所述可使用区域，
在由所述可使用区域确定部确定的可使用区域为规定的大小以上的情况下，所述信息输出部输出用于使所述产业机械的动作继续的信息，在所述可使用区域小于所述规定的大小的情况下，所述信息输出部输出用于使所述产业机械的动作停止的信息。
10.根据权利要求9所述的镜头或镜头盖的异常检测系统，其特征在于，
所述视觉传感器具备用于使摄影位置变化的可动部，
在所述可使用区域为规定的大小以上的情况下，使所述可动部动作以使所述视觉传感器的摄影位置变化，使得能够在所述可使用区域内拍摄摄影对象物的至少一部分。
11.根据权利要求1所述的视觉传感器的镜头或镜头盖的异常检测系统，其特征在于，
还具备信息输出部，该信息输出部输出用于进行所述产业机械和所述视觉传感器的动作的控制的信息，
设置有多个所述视觉传感器，
所述计算部分别计算多个所述视觉传感器的所述镜头或镜头盖的脏污程度，
在检测到所述镜头或镜头盖的脏污程度超过规定的阈值的视觉传感器的情况下，所述信息输出部输出用于代替该视觉传感器而使用所述镜头或镜头盖的脏污程度为规定的阈值以下的其它视觉传感器继续进行摄影、并使所述产业机械的动作继续的信息。
12.一种计算机可读介质，记录有视觉传感器的镜头或镜头盖的异常检测用程序，该异常检测用程序用于使构成视觉传感器的镜头或镜头盖的异常检测系统中的信息处理装置的计算机实现计算功能和预测功能，其中，视觉传感器的镜头或镜头盖的异常检测系统具备设置于产业机械或其周边区域的、用于获取多个图像数据的视觉传感器，
所述计算功能用于基于由所述视觉传感器拍摄到的所述图像数据来计算所述视觉传感器的镜头或镜头盖的脏污程度，
所述预测功能用于基于利用所述计算功能测量出的所述镜头或镜头盖的脏污程度来计算与所述镜头或镜头盖的将来要实施的预测清扫定时有关的信息。
CN201910458324.2A 2018-06-01 2019-05-29 视觉传感器的镜头或镜头盖的异常检测系统 Active CN110632077B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018106252A JP6933608B2 (ja) 2018-06-01 2018-06-01 視覚センサのレンズまたはレンズカバーの異常検出システム
JP2018-106252 2018-06-01

Publications (2)

Publication Number Publication Date
CN110632077A true CN110632077A (zh) 2019-12-31
CN110632077B CN110632077B (zh) 2024-05-24

Family

ID=68576542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910458324.2A Active CN110632077B (zh) 2018-06-01 2019-05-29 视觉传感器的镜头或镜头盖的异常检测系统

Country Status (4)

Country Link
US (1) US10775319B2 (zh)
JP (1) JP6933608B2 (zh)
CN (1) CN110632077B (zh)
DE (1) DE102019207904A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113600525A (zh) * 2021-07-29 2021-11-05 河北白沙烟草有限责任公司保定卷烟厂 一种基于智能识别技术的铜排链在线清洁装置
CN113781499A (zh) * 2021-08-27 2021-12-10 上海微创医疗机器人（集团）股份有限公司 医疗用镜状态检测方法、图像处理方法机器人控制方法及系统
WO2022088620A1 (zh) * 2020-10-28 2022-05-05 北京市商汤科技开发有限公司 相机镜头的状态检测方法、装置、设备及存储介质
CN114778558A (zh) * 2022-06-07 2022-07-22 成都纵横通达信息工程有限公司 基于视频图像的桥梁监测装置、系统及方法
CN115657648A (zh) * 2021-07-07 2023-01-31 苏州宝时得电动工具有限公司 控制自移动设备的方法及装置
CN118371732A (zh) * 2024-06-24 2024-07-23 山东交通学院 基于3d打印的金属零件制造方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020175589A1 (ja) * 2019-02-27 2020-09-03 ダイキン工業株式会社 情報提供システム
KR102370017B1 (ko) * 2019-12-26 2022-03-04 주식회사 메디트 구강스캐너에 내장된 광학요소 검사 방법 및 이를 이용한 시스템
JP7467961B2 (ja) * 2020-02-07 2024-04-16 東芝ライテック株式会社 判定装置
JP6756941B1 (ja) * 2020-04-22 2020-09-16 Dmg森精機株式会社 無人搬送車、及び該無人搬送車を備えた産業機械システム
CN111524125B (zh) * 2020-04-28 2023-09-01 京东科技信息技术有限公司 一种设备清洁方法、装置、系统、电子设备及存储介质
CN111882540B (zh) * 2020-07-28 2024-06-21 歌尔科技有限公司 摄像头保护罩的污迹检测方法、装置以及设备
CN112040223B (zh) * 2020-08-25 2022-08-12 RealMe重庆移动通信有限公司 一种图像处理方法、终端设备及存储介质
US11368672B2 (en) 2020-09-14 2022-06-21 Argo AI, LLC Validation of a camera cleaning system
US11457204B1 (en) * 2020-11-06 2022-09-27 Waymo Llc Localized window contaminant detection
CN112672017B (zh) * 2020-12-24 2022-08-05 上海炬佑智能科技有限公司 测试结构件、ToF装置以及镜头脏污检测方法
US11982034B2 (en) * 2021-02-03 2024-05-14 Haier Us Appliance Solutions, Inc. Image quality detection for a camera assembly in a laundry appliance
DE102021105260B3 (de) 2021-03-04 2022-08-25 Syntegon Technology Gmbh System zur Erfassung von manuellen Eingriffen in eine automatisierte Produktionsumgebung
CN113523272B (zh) * 2021-05-14 2023-09-29 福建省长汀金龙稀土有限公司 一种基于机器视觉的料盒抓取系统
US12006612B2 (en) * 2021-05-26 2024-06-11 Haier Us Appliance Solutions, Inc. Automated lens cleaning for a camera assembly based on image recognition in a washing machine appliance
CN113702401B (zh) * 2021-08-17 2023-12-08 芜湖东旭光电科技有限公司 玻璃边部缺陷的检测方法
WO2023029633A1 (zh) * 2021-09-01 2023-03-09 寒武纪行歌(南京)科技有限公司 摄像头清洗控制方法、装置、设备及系统
US11468546B1 (en) 2021-11-29 2022-10-11 Unity Technologies Sf Increasing dynamic range of a virtual production display
JP7539621B2 (ja) 2021-12-06 2024-08-26 名古屋電機工業株式会社 画像生成システム、画像生成方法および画像生成プログラム
CN115278105B (zh) * 2022-07-27 2023-09-15 福建省气象科学研究所 一种智慧农业实景监测装置
CN116206266B (zh) * 2023-05-06 2023-08-15 济宁盛世照明电器有限公司 一种基于封口机的视觉对位系统
KR102670072B1 (ko) * 2023-08-17 2024-05-29 오토아이티(주) 카메라 오염도 체크 기능을 가진 스마트 팩토리 모니터링 장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148083A (ja) * 1992-11-09 1994-05-27 Mazda Motor Corp 塗膜欠陥検出におけるレンズ汚れ検出方法及びその装置
JPH1196838A (ja) * 1997-09-22 1999-04-09 Hitachi Ltd ブッシング監視装置
JPH11352852A (ja) * 1998-06-09 1999-12-24 Canon Inc 画像形成装置
JP2003149166A (ja) * 2001-11-15 2003-05-21 Fuji Heavy Ind Ltd 汚れ自動検知方法、および自動清掃方法、並びに自動清掃装置
US20060077367A1 (en) * 2003-05-23 2006-04-13 Nikon Corporation Exposure apparatus and method for producing device
JP2007024638A (ja) * 2005-07-14 2007-02-01 Toyota Motor Corp レーザートーチの検査システムおよび検査方法
JP2008160635A (ja) * 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd カメラ状態検出方法
JP2012173405A (ja) * 2011-02-18 2012-09-10 Fuji Xerox Co Ltd 画像形成装置
CN103529639A (zh) * 2012-07-03 2014-01-22 歌乐牌株式会社 镜头附着物检测装置、镜头附着物检测方法以及车辆系统
CN104507765A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 摄像机装置、三维物体检测装置以及镜头清洗方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3137739B2 (ja) * 1992-06-15 2001-02-26 マツダ株式会社 ワーク位置検出方法
JP4245452B2 (ja) * 2003-10-06 2009-03-25 富士通株式会社 レンズの汚れ判定方法及び装置
JP2008241650A (ja) * 2007-03-29 2008-10-09 Hitachi Industrial Equipment Systems Co Ltd 欠陥検査装置
JP5635963B2 (ja) * 2011-11-02 2014-12-03 株式会社日立パワーソリューションズ 飲料液異物検査装置および飲料液異物検査方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148083A (ja) * 1992-11-09 1994-05-27 Mazda Motor Corp 塗膜欠陥検出におけるレンズ汚れ検出方法及びその装置
JPH1196838A (ja) * 1997-09-22 1999-04-09 Hitachi Ltd ブッシング監視装置
JPH11352852A (ja) * 1998-06-09 1999-12-24 Canon Inc 画像形成装置
JP2003149166A (ja) * 2001-11-15 2003-05-21 Fuji Heavy Ind Ltd 汚れ自動検知方法、および自動清掃方法、並びに自動清掃装置
US20060077367A1 (en) * 2003-05-23 2006-04-13 Nikon Corporation Exposure apparatus and method for producing device
JP2007024638A (ja) * 2005-07-14 2007-02-01 Toyota Motor Corp レーザートーチの検査システムおよび検査方法
JP2008160635A (ja) * 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd カメラ状態検出方法
JP2012173405A (ja) * 2011-02-18 2012-09-10 Fuji Xerox Co Ltd 画像形成装置
CN103529639A (zh) * 2012-07-03 2014-01-22 歌乐牌株式会社 镜头附着物检测装置、镜头附着物检测方法以及车辆系统
CN104507765A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 摄像机装置、三维物体检测装置以及镜头清洗方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088620A1 (zh) * 2020-10-28 2022-05-05 北京市商汤科技开发有限公司 相机镜头的状态检测方法、装置、设备及存储介质
CN115657648A (zh) * 2021-07-07 2023-01-31 苏州宝时得电动工具有限公司 控制自移动设备的方法及装置
CN113600525A (zh) * 2021-07-29 2021-11-05 河北白沙烟草有限责任公司保定卷烟厂 一种基于智能识别技术的铜排链在线清洁装置
CN113600525B (zh) * 2021-07-29 2022-09-16 河北白沙烟草有限责任公司保定卷烟厂 一种基于智能识别技术的铜排链在线清洁装置
CN113781499A (zh) * 2021-08-27 2021-12-10 上海微创医疗机器人（集团）股份有限公司 医疗用镜状态检测方法、图像处理方法机器人控制方法及系统
CN113781499B (zh) * 2021-08-27 2024-07-26 上海微创医疗机器人（集团）股份有限公司 医疗用镜状态检测方法、机器人控制方法及系统
CN114778558A (zh) * 2022-06-07 2022-07-22 成都纵横通达信息工程有限公司 基于视频图像的桥梁监测装置、系统及方法
CN114778558B (zh) * 2022-06-07 2022-09-09 成都纵横通达信息工程有限公司 基于视频图像的桥梁监测装置、系统及方法
CN118371732A (zh) * 2024-06-24 2024-07-23 山东交通学院 基于3d打印的金属零件制造方法

Also Published As

Publication number Publication date
DE102019207904A1 (de) 2019-12-05
CN110632077B (zh) 2024-05-24
JP6933608B2 (ja) 2021-09-08
JP2019211571A (ja) 2019-12-12
US10775319B2 (en) 2020-09-15
US20190369031A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
CN110632077B (zh) 视觉传感器的镜头或镜头盖的异常检测系统
CN109564382B (zh) 拍摄装置以及拍摄方法
US11373263B2 (en) Image processing device capable of assisting with setting of work restoration, method of controlling the same, and recording medium
US20090067701A1 (en) System and method for detecting blemishes on surface of object
JP6888617B2 (ja) 検査装置、検査方法
US11336831B2 (en) Image processing device, control method, and program storage medium
JP2010522390A (ja) 特に、飲料ボトルのための食品用充填設備の監視、制御及び最適化方法
RU2011109470A (ru) Устройство захвата изображения и способ управления им
JP5347845B2 (ja) 画像処理プログラムおよび画像処理装置
JP4245452B2 (ja) レンズの汚れ判定方法及び装置
JP5207057B2 (ja) 撮影装置の汚れを検知する汚れ検知装置及び同検知方法
JP2022120663A (ja) 装置判別システム、装置判別方法及び装置判別プログラム
KR101672807B1 (ko) 자동공구교환장치의 공구 검사 장치 및 그 방법
US9706110B2 (en) Foreign body information detection device and foreign body information detection method of imaging apparatus
JP2014197762A (ja) 画像処理システムおよび画像処理プログラム
JP2011164228A5 (ja) 光学装置及びその制御方法
JP2008160635A (ja) カメラ状態検出方法
US10038837B2 (en) Imaging device and water droplet adhesion determining method
JP7342480B2 (ja) バケット昇降機の監視装置
KR101497396B1 (ko) 타겟 위치 측정시스템 및 이를 이용한 타겟 위치 측정방법
JP2019028004A (ja) 三次元計測装置、及び三次元計測装置における異常検知方法
CN113467664A (zh) 一种基于模板匹配的尺寸测量仪使用方法
JP2020129187A (ja) 外形認識装置、外形認識システム及び外形認識方法
JP3624867B2 (ja) 道路白線認識装置
WO2023157380A1 (ja) ロボット監視システム、監視装置、監視装置の制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant