DE102019207904A1 - Visuelles sensorobjektiv- oder objektivabdeckungsabnormalitätsdetektionssystem - Google Patents

Visuelles sensorobjektiv- oder objektivabdeckungsabnormalitätsdetektionssystem Download PDF

Info

Publication number
DE102019207904A1
DE102019207904A1 DE102019207904.0A DE102019207904A DE102019207904A1 DE 102019207904 A1 DE102019207904 A1 DE 102019207904A1 DE 102019207904 A DE102019207904 A DE 102019207904A DE 102019207904 A1 DE102019207904 A1 DE 102019207904A1
Authority
DE
Germany
Prior art keywords
lens
contamination
visual sensor
degree
lens cover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019207904.0A
Other languages
English (en)
Inventor
Miho NIIKURA
Yasuhiko KUROSUMI
Yoshihiko TARUI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102019207904A1 publication Critical patent/DE102019207904A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B13/00—Accessories or details of general applicability for machines or apparatus for cleaning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N21/13—Moving of cuvettes or solid samples to or from the investigating station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G03B11/041—Lens caps as separate accessory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0162—Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G01N2021/945—Liquid or solid deposits of macroscopic size on surfaces, e.g. drops, films, or clustered contaminants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9583—Lenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37208—Vision, visual inspection of workpiece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Manipulator (AREA)

Abstract

Ein visuelles Sensorobjektiv oder Objektivabdeckungsabnormalitäts-Detektionssystem, das zur Vorhersage eines Reinigungszeitpunkts eines Objektivs oder eine Objektivabdeckung eines visuellen Sensors in der Lage ist, der in Zukunft durchzuführen ist, wird bereitgestellt. Das System beinhaltet einen visuellen Sensor 6, der in einer Industriemaschine 5 oder in deren Umgebung vorgesehen ist, um eine Vielzahl von Bilddaten zu erfassen, eine Recheneinheit, die einen Kontaminationsgrad eines Objektivs oder einer Objektivabdeckung des visuellen Sensors 6 auf Basis der durch den visuellen Sensor 6 erfassten Bilddaten berechnet, und eine Reinigungszeitpunkt-Vorhersageeinheit 43, welche Information zu einem vorhergesagten Reinigungszeitpunkt, der in der Zukunft durchzuführen ist, des Objektivs oder der Objektivabdeckung auf Basis des berechneten Kontaminationsgrads des Objektivs oder der Objektivabdeckung berechnet.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf ein Abnormalitäts-Detektionssystem zum Detektieren von Abnormalitäten bei Objektiven oder einer Objektivabdeckung eines visuellen Sensors. Spezifischer bezieht sich die vorliegende Erfindung auf ein Abnormalitäts-Detektionssystem zum Detektieren von Abnormalitäten bei Objektiven oder Objektivabdeckungen eines visuellen Sensors, zum Überwachen eines Kontaminationsgrades eines Objektivs oder einer Objektivabdeckung eines visuellen Sensors, der in einem Positionssystem bereitgestellt ist, das eine Industriemaschine beinhaltet.
  • Stand der Technik
  • Visuelle Sensoren zum Ermitteln von visueller Information zu einem Zielobjekt werden in verschiedenen industriellen Maschinen bereitgestellt, wie etwa einem Roboter oder einer Werkzeugmaschine, die das Zielobjekt transportiert und bearbeitet, und eine Inspektionsvorrichtung zum Bestimmen der Qualität des Zielobjekts. Beispielsweise detektiert ein Förderroboter, der ein Zielobjekt von einer vorbestimmten Position zu einer nachfolgenden vorbestimmten Position fördert, die Position und die Stellung eines Zielobjekts auf Basis von durch visuelle Sensoren ermittelter visueller Information, erfasst das Zielobjekt in einer angemessenen Position und transportiert das Zielobjekt zu einer vorbestimmten Position. In einem Produktionssystem, das einen solchen visuellen Sensor und eine Industriemaschine beinhaltet, wenn eine Kontamination an einem Objektiv eines visuellen Sensors anhaftet, und ein gewünschtes Bild nicht durch den visuellen Sensor erhalten werden kann, kann eine Industriemaschine, die unter Verwendung der durch den visuellen Sensor erhaltenen visuellen Information gesteuert wird, unfähig sein, eine angemessene Funktion durchzuführen.
  • Beispielsweise schlägt Patentdokument 1 eine Technologie vor, die sich auf ein Produktionssystem bezieht, welches Mittel zum Bestimmen einer Objektivkontamination einer Kamera beinhaltet, und welche einen Warnalarm ausgibt und die Detektion einer Region hemmt, die als kontaminiert bestimmt wird.
  • Beispielsweise schlägt Patentdokument 2 eine Technologie vor, die sich auf ein Produktionssystem bezieht, in welchem, wenn es nicht möglich ist, auf einem Werkstück vorgesehene Marken zu detektieren, da die Verschlechterung einer Lampe oder einer Kontamination des Objektivs einer Videokamera als die Ursache des Ausfalls der Detektion angesehen wird, wird ein Warnlicht eingeschaltet, um eine Wartungsperiode zum Ersetzen einer Lampe und Reinigen der Videokamera zu detektieren.
    • Patentdokument 1: Japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer H06-148083
    • Patentdokument 2: Japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer H05-346307
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Gemäß der in Patentdokument 1 offenbarten Technologie, wenn festgestellt wird, dass es eine Objektivkontamination gibt, da ein Warnalarm ausgegeben wird, versteht es sich, dass ein Zeitpunkt, zu welchem der Warnalarm ausgegeben wird, der Zeitpunkt ist, zu welchem Wartung wie etwa Reinigung eines Objektivs notwendig ist. Gemäß der in Patentdokument 2 offenbarten Technologie, da ein Warnlicht eingeschaltet wird, wenn es nicht möglich ist, auf einem Werkstück bereitgestellte Marken zu detektieren, versteht es sich, dass ein Zeitpunkt, zu welchem der Warnalarm eingeschaltet wird, der Zeitpunkt ist, zu welchem Wartung wie etwa Austausch einer Lampe oder Reinigung eines Objektivs notwendig ist.
  • Jedoch ist es in einem Produktionssystem wichtig, Wartung durchzuführen, ohne die Betriebsrate einer Fertigungslinie zu senken. Jedoch ist es in Patentdokumenten 1 und 2 offenbarten Technologien, da es nicht möglich ist, den punkt (Timing) des Objektivs eines visuellen Sensors vorherzusagen, die in der Zukunft durchzuführen ist, notwendig, Wartung wie etwa Reinigung eines Objektives durchzuführen, wann immer ein Alarm ausgegeben wird. Solch eine Gegenmaßnahme führt zu einem Sinken bei der Betriebsrate der Fertigungslinie.
  • Die vorliegende Erfindung ist im Hinblick auf die oben beschriebenen Probleme gemacht worden und eine Aufgabe derselben ist es, ein visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem bereitzustellen, das in der Lage ist, einen Reinigungszeitpunkt eines Objektivs oder einer Objektivabdeckung eines visuellen Sensors, was in der Zukunft durchzuführen ist, vorherzusagen. Auf diese Weise ist es möglich, die Wartung zu einem angemessenen Zeitpunkt durchzuführen und ein Absenken bei der Betriebsrate der Fertigungslinie zu verhindern.
  • (1) Ein visuelles Sensorobjektiv oder Objektivabdeckungsabnormalitäts-Detektionssystem (beispielsweise ein Objektivabnormalitäts-Detektionssystem 1) gemäß der vorliegenden Erfindung beinhaltet: einen visuellen Sensor (beispielsweise eine Kamera 6), die in einer Industriemaschine (beispielsweise einem Roboter 5) oder in der Umgebung desselben vorgesehen ist, um eine Vielzahl von Bildern zu erfassen; eine Recheneinheit (beispielsweise eine Information-Verarbeitungsvorrichtung,
    die eine Kontaminationsgrad-Recheneinheit 41 beinhaltet), die einen Kontaminationsgrad (beispielsweise einen Kontaminationsindex) des Objektivs oder der Objektivabdeckung des visuellen Sensors auf Basis der durch den visuellen Sensor fotografierten Bilddaten berechnet; und eine Vorhersageeinheit (beispielsweise eine Reinigungszeitpunkt-Vorhersageeinheit 43), die Information zu einem vorhergesagten Reinigungszeitpunkt, welcher in der Zukunft durchzuführen ist, des Objektivs oder der Objektivabdeckung auf Basis des Kontaminationsgrads des Objektivs oder der Objektivabdeckung, welcher durch die Recheneinheit berechnet wird, berechnet.
  • (2) Das visuelle Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem gemäß (1) kann weiter beinhalten: eine Bestimmungseinheit (beispielsweise eine Kontaminationsgrad-Bestimmungseinheit 42), die bestimmt, ob der Kontaminationsgrad des Objektivs oder der Objektivabdeckung gleich oder kleiner als ein vorbestimmter Schwellenwert ist; eine Mitteilungseinheit (beispielsweise eine Anzeigevorrichtung 23), welche die Information zu dem vorhergesagten Reinigungszeitpunkt mitteilt; und eine Stoppsignal-Ausgabeeinheit (beispielsweise eine Information-Verarbeitungsvorrichtung 20, die eine Kontaminationsgrad-Bestimmungseinheit 42 beinhaltet), die ein Stoppsignal zum Stoppen eines Betriebs der Industriemaschine ausgibt, und die Mitteilungseinheit kann die Information zu dem vorhergesagten Reinigungszeitpunkt mitteilen, wenn ein durch die Bestimmungseinheit ermitteltes Bestimmungsergebnis gleich oder kleiner als der Schwellenwert ist, und die Stoppsignal-Ausgabeeinheit kann das Stoppsignal ausgeben, wenn das durch die Bestimmungseinheit ermittelte Bestimmungsergebnis den Schwellenwert übersteigt.
  • (3) Im visuellen Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem gemäß (1) oder (2) kann die Recheneinheit den Kontaminationsgrad des Objektivs oder der Objektivabdeckung auf Basis von Vergleichen zwischen Information, die auf einem Anfangsbild basiert, und Information, die auf einem Nachbetriebsbild basiert, berechnen.
  • (4) Im visuellen Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem gemäß (3) kann die Recheneinheit ein Kontaminationsregion in einem Bild auf Basis einer Differenz zwischen einem Binärbild, das auf einem Pixelwert des Anfangsbildes basiert, und einem Binärbild, das auf einem Pixelwert des Nachbetriebsbildes basiert, bestimmen und den Kontaminationsgrad des Objektivs oder der Objektivabdeckung auf Basis einer Größe einer Kontaminationsregion im Bild berechnen.
  • (5) Das visuelle Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem gemäß einem von (1) bis (4) kann weiter beinhalten: ein Referenzfotografierziel, das ein durch den visuellen Sensor fotografiertes Ziel bei der Berechnung des Kontaminationsgrads des Objektivs oder der Objektivabdeckung ist, und der visuelle Sensor und/oder das Referenzfotografierziel kann an einer beweglichen Einheit (beispielsweise einem Roboter 5) fixiert sein, und die bewegliche Einheit kann so betreibbar sein, dass das Referenzfotografierziel innerhalb eines Fotografierbereichs des visuellen Sensors fällt.
  • (6) Das visuelle Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem gemäß einem von (1) bis (4) kann weiter beinhalten: ein Referenzfotografierziel, das ein durch den visuellen Sensor fotografiertes Ziel ist, wenn der Kontaminationsgrad des Objektivs oder der Objektivabdeckung berechnet wird, wobei das Referenzfotografierziel eine Objektivkappe (beispielsweise eine Objektivkappe 12) ist, welche das Objektiv oder die Objektivabdeckung des visuellen Sensors abdeckt.
  • (7) Im visuellen Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem gemäß einem von (1) bis (6), wobei der vorhergesagte Reinigungszeitpunkt auf Basis einer Funktion berechnet werden kann, die abgeleitet ist auf Basis von Fotografierzeitpunkten der Vielzahl von Bildern und Kontaminationsgraden der Vielzahl von Bildern, und einem zulässigen Grenzschwellenwert des Kontaminationsgrads des Objektivs oder der Objektivabdeckung.
  • (8) Das visuelle Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem gemäß einem von (1) bis (7) kann weiter beinhalten: eine Neustartprozess-Ausführungseinheit (beispielsweise eine Neustartprozess-Ausführungseinheit 44), die einen ersten Kontaminationsgrad des Objektivs oder der Objektivabdeckung in einem ersten Postbetriebsbild mit einem zweiten Kontaminationsgrad des Objektivs oder der Objektivabdeckung in einem zu einem Zeitpunkt nachfolgend dem ersten Postbetriebsbild fotografierten zweiten Postbetriebsbild und einen Neustartprozess des Abnormalitäts-Detektionssystems auf Basis eines Vergleichsergebnisses ausführt, und die Neustartprozess-Ausführungseinheit den Neustartprozess ausführt, wenn der zweite Kontaminationsgrad um einen vorbestimmten Wert oder größer gegenüber dem ersten Kontaminationsgrad gesenkt ist.
  • (9) Das visuelle Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem gemäß (1) kann weiter beinhalten: eine Bestimmungseinheit (beispielsweise eine Kontaminationsgrad-Bestimmungseinheit 42), die bestimmt, ob der Kontaminationsgrad des Objektivs oder der Objektivabdeckung einen vorbestimmten Schwellenwert übersteigt; eine Verwendbarregions-Spezifiziereinheit (beispielsweise eine Verwendbarregions-Spezifiziereinheit 45), die eine verwendbare Region, in welcher die Kontamination des Objektivs oder der Objektivabdeckung vernachlässigbar ist, in dem durch den visuellen Sensor fotografierten Bild spezifiziert; und eine Informationsausgabeeinheit (beispielsweise eine Information-Verarbeitungsvorrichtung 20), die Information zum Steuern eines Betriebs der Industriemaschine ausgibt, kann die Verwendbarregions-Spezifiziereinheit die verwendbare Region spezifizieren, wenn ein durch die Bestimmungseinheit ermitteltes Bestimmungsergebnis einen Schwellenwert übersteigt, und kann die Informationsausgabeeinheit eine Information ausgeben, um den Betrieb der Industriemaschine zu veranlassen, fortgesetzt zu werden, wenn die Größe der durch die Verwendbarregions-Spezifiziereinheit spezifizierten verwendbaren Region eine vorbestimmte Größe oder größer ist, und kann die Informationsausgabeeinheit Information zum Anhalten des Betriebs der Industriemaschine ausgeben, wenn die Größe der verwendbaren Region kleiner als der vorherbestimmte Wert ist.
  • (10) Im visuellen Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem gemäß (8) kann der visuelle Sensor eine bewegliche Einheit zum Ändern einer Fotografierposition aufweisen und wenn die Größe der verwendbaren Region gleich oder größer als die vorbestimmte Größe ist, kann die bewegliche Einheit betrieben werden, um die Fotografierposition des visuellen Sensors so zu ändern, dass zumindest ein Bereich eines Fotografierzielobjekts innerhalb der verwendbaren Region ist.
  • (11) Das visuelle Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem gemäß (1) kann weiter beinhalten: eine Informationsausgabeeinheit (beispielsweise eine Information-Verarbeitungsvorrichtung 20), die Information zum Steuern eines Betriebs der Industriemaschine und des visuellen Sensors ausgibt, eine Vielzahl von visuellen Sensoren kann vorgesehen sein, die Recheneinheit kann den Kontaminationsgrad des Objektivs oder der Objektivabdeckung jeder der Vielzahl von visuellen Sensoren (beispielsweise Kamera 6a, 6b, 6c und 6d) berechnen und wenn ein visueller Sensor, bei welchem der Kontaminationsgrad des Objektivs oder der Objektivabdeckung einen vorbestimmten Schwellenwert übersteigt, detektiert wird, kann die Informationsausgabeeinheit veranlassen, dass das Fotografieren fortgesetzt wird, unter Verwendung eines anderen visuellen Sensors, bei welchem der Kontaminationsgrad des Objektivs oder der Objektivabdeckung gleich oder kleiner als der vorbestimmte Schwellenwert ist, statt des visuellen Sensors, und Information ausgeben, um zu veranlassen, dass der Betrieb der Industriemaschine fortgesetzt wird.
  • (12) Ein visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionsprogramm, das einen Computer veranlasst, der eine Information-Verarbeitungsvorrichtung (beispielsweise eine Information-Verarbeitungsvorrichtung 20) eines visuellen Sensorobjektiv- und Objektivabdeckungsabnormalitäts-Detektionssystems (beispielsweise eines Objektivabnormalitäts-Detektionssystem 1), das einen visuellen Sensor (beispielsweise eine Kamera 6) beinhaltet, der in einer Industriemaschine (beispielsweise einem Roboter 5) oder der Umgebung derselben bereitgestellt ist, um eine Vielzahl von Teilen von Bilddaten zu erfassen, bildet, um zu realisieren: eine Rechenfunktion (beispielsweise eine Funktion einer Information-Verarbeitungsvorrichtung 20, die eine Kontaminationsgrad-Recheneinheit 41 beinhaltet) des Berechnens eines Kontaminationsgrads (beispielsweise ein Kontaminationsindex) des Objektivs oder der Objektivabdeckung des visuellen Sensors, auf Basis der durch den visuellen Sensor fotografierten Bilddaten; und eine Vorhersagefunktion (beispielsweise eine Funktion einer Reinigungszeitpunk-Vorhersageeinheit 43) des Berechnens von Information zu einem vorhergesagten Reinigungszeitpunkt, der in der Zukunft auszuführen ist, des Objektivs und der Objektivabdeckung auf Basis des Kontaminationsgrads des Objektivs oder der Objektivabdeckung, berechnet durch die Rechenfunktion.
  • Gemäß der vorliegenden Erfindung ist es möglich, ein visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem bereitzustellen, das in der Lage ist, einen Reinigungszeitpunkt eines Objektivs oder einer Objektivabdeckung eines visuellen Sensors vorherzusagen, die in der Zukunft durchzuführen ist. Auf diese Weise ist es möglich, Wartung zu einem angemessenen Zeitpunkt auszuführen und ein Abfallen bei der Betriebsrate einer Fertigungslinie zu verhindern.
  • Figurenliste
    • 1 ist ein Diagramm, das eine Gesamtsystemkonfiguration eines Produktionssystems zeigt, in welchem ein Kameraobjektiv-Detektionssystem gemäß einer ersten Ausführungsform der vorliegenden Erfindung enthalten ist.
    • 2 ist ein Funktionsblockdiagramm, das eine Konfiguration eines Funktionsmoduls einer Arithmetikvorrichtung des Objektivabdeckungsabnormalitäts-Detektionssystems gemäß der Ausführungsform illustriert.
    • 3 ist eine vergrößerte Ansicht eines Objektivabdeckungsabnormalitäts-Detektionssystems gemäß der Ausführungsform, wenn sich eine Kamera einem kappenförmigen Bauteil annähert.
    • 4A ist ein Diagramm zum Beschreiben eines Prozesses des Berechnens eines Kontaminationsgrads eines Kameraobjektivs im Objektivabnormalitäts-Detektionssystem gemäß der Ausführungsform.
    • 4B ist ein Diagramm zum Beschreiben eines Prozesses des Berechnens eines Kontaminationsgrads eines Kameraobjektivs des Objektivabnormalitäts-Detektionssystems gemäß der Ausführungsform.
    • 4C ist ein Diagramm zum Beschreiben eines Prozesses zum Berechnen eines Kontaminationsgrads eines Kameraobjektivs im Objektivabnormalitäts-Detektionssystem gemäß der Ausführungsform.
    • 5 ist ein Graph zum Beschreiben eines Verfahrens des Berechnens eines vorhergesagten Reinigungszeitpunkts, wenn es ein Bild gibt, das fotografiert wurde, nachdem ein Anfangsbild erhalten wurde, im Objektivabnormalitäts-Detektionssystem gemäß der Ausführungsform.
    • 6 ist ein Graph zum Beschreiben eines Verfahrens des Berechnens eines vorhergesagten Reinigungszeitpunkts, wenn es eine Anzahl von Nachbetriebsbildern im Objektivabnormalitäts-Detektionssystem gemäß der Ausführungsform gibt.
    • 7 ist ein Graph zum Beschreiben, wenn ein Objektivabnormalitäts-Detektionssystem im Objektivabnormalitäts-Detektionssystem gemäß der Ausführungsform neu gestartet wird.
    • 8 ist ein G-Code, der Berechnung und Mitteilung eines vorhergesagten Reinigungszeitpunkts im Objektivabnormalitäts-Detektionssystem gemäß der Ausführungsform illustriert.
    • 9 ist ein Funktionsblockdiagramm, das eine Konfiguration eines Funktionsmoduls einer Arithmetikvorrichtung im Objektivabnormalitäts-Detektionssystem gemäß einer zweiten Ausführungsform der vorliegenden Erfindung illustriert.
    • 10A ist ein Diagramm zum Beschreiben eines Prozesses des Verschiebens einer Fotografierposition im Objektivabnormalitäts-Detektionssystem gemäß der Ausführungsform.
    • 10B ist ein Diagramm zum Beschreiben eines Prozesses des Verschiebens einer Fotografierposition im Objektivabnormalitäts-Detektionssystem gemäß der Ausführungsform.
    • 10C ist ein Diagramm zum Beschreiben eines Prozesses des Verschiebens einer Fotografierposition im Objektivabnormalitäts-Detektionssystem gemäß der Ausführungsform.
    • 11A ist ein schematisches Diagramm, das eine Kamera und eine Objektivkappe illustriert, die Reservierungsempfangsprozess beinhaltet, in einem Objektivabnormalitäts-Detektionssystem gemäß einer zweiten Ausführungsform der vorliegenden Erfindung.
    • 11B ist ein schematisches Diagramm, das eine Kamera und eine Objektivkappe illustriert, die in einem Referenzfotografierziel in einem Objektivabnormalitäts-Detektionssystem gemäß der dritten Ausführungsform enthalten sind.
    • 12 ist ein Diagramm, das ein Bild illustriert, das in einem Zustand erhalten wird, in welchem eine Objektivkappe an einer Kamera angebracht ist, im Objektivabnormalitäts-Detektionssystem gemäß der Ausführungsform.
    • 13 ist ein Diagramm, das eine Steuerung und eine Kamera in einem Objektivabnormalitäts-Detektionssystem gemäß einer vierten Ausführungsform der vorliegenden Erfindung illustriert.
  • DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • <Erste Ausführungsform>
  • Nachfolgend wird eine erste Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf 1 beschrieben. 1 ist ein Diagramm, das eine Gesamtkonfiguration eines Fertigungssystems S illustriert, in welchem ein visueller Sensor gemäß der vorliegenden Ausführungsform enthalten ist.
  • Das Fertigungssystem S beinhaltet einen Roboter 5 als eine Industriemaschine, eine Kamera 6 als einen im Roboter 5 vorgesehenen visuellen Sensor und eine Informations-Verarbeitungsvorrichtung 20, die einen Prozess des Überwachens des Kontaminationszustands eines Objektivs ausführt, und eine Steuerung 30 , die den Roboter 5, die Kamera 6 und dergleichen auf Basis von verschiedenen Informationsteilen wie etwa der Ausgabe der Kamera 6, welche durch die Information-Verarbeitungsvorrichtung 20 verarbeitet wird, ausführt. Hier bilden in der vorliegenden Ausführungsform die Kamera 6 und die Information-Verarbeitungsvorrichtung 20 ein Objektivabnormalitäts-Detektionssystem 1 der vorliegenden Erfindung.
  • Der Roboter 5 ist ein Transportroboter, der eine Reihe von Förderoperationen des Aufnehmens eines Werkstücks W als a zu b ausführt, welches eine Komponente eines Produkts an einer vorbestimmten Position ist, gemäß einem aus der Steuerung 30 gesendeten Steuersignal, und Befördern des aufgenommenen Werkstücks W an eine nachfolgende, vorherige Position.
  • Die Kamera 6 ist im Roboter 5 vorgesehen, um das Werkstück W oder dergleichen anhand einer Anfrage aus der Steuerung 30 zu fotografieren, um ein Bildsignal zu erhalten, und das Bildsignal an die Information-Verarbeitungsvorrichtung 20 in einer vorbestimmten Periode zu senden. Die Kamera 6 weist einen Objektivhalter 7, in welchem ein Objektiv gehalten ist, auf. Darüber hinaus ist eine Beleuchtungseinheit 8 zum Bestrahlen des Werkstücks W mit einem Beleuchtungslicht in der Kamera 6 vorgesehen.
  • Die Information-Verarbeitungsvorrichtung 20 ist als ein Computer konfiguriert, welcher eine Bildverarbeitungsvorrichtung 21, welche die Ausgabe der Kamera 6 prozessiert, eine Arithmetikvorrichtung 22, die eine Arithmetikoperation zum Überwachen eines Kontaminationsgrads des Objektivs der Kamera 6 auf Basis der durch die Bildverarbeitungsvorrichtung 21 besessenen Information ausführt, eine Anzeigevorrichtung 23 als eine Mitteilungseinheit, die ein durch die Arithmetikvorrichtung 22 in solch einer Form ermitteltes arithmetisches Ergebnis anzeigt, dass es visuell von einem Bediener wahrgenommen wird, und eine Speichervorrichtung 24, die ein Programm zum Realisieren verschiedener Funktionen , die später zu beschreiben sind, und verschiedene Teile von Information speichert, beinhaltet.
  • Die Bildverarbeitungsvorrichtung 21 führt verschiedene Prozesse an dem aus der Kamera 6 gesendeten Bildsignal durch. Die Bildverarbeitungsvorrichtung 21 sendet die verarbeitete Information an die Steuerung 30 und die Arithmetikvorrichtung 22 in einer vorbestimmten Periode. Hier beinhaltet die aus der Bildverarbeitungsvorrichtung 21 gesendete Information Bildinformation, die durch Fotografieren eines Referenz-Fotografierziels, das später zu beschreiben ist, erhalten wird, Bildinformation, die das Werkstück W enthält, und Information, die sich auf eine Detektionsposition des Werkstücks W beziehen, welches aus einem Bild und einem Fehler desselben beispielsweise detektiert wird. Die Arithmetikvorrichtung 22 führt einen Prozess des Überwachens eines Kontaminationszustands des Objektivs auf Basis der aus der Bildverarbeitungsvorrichtung 21 gesendeten Information aus. 2 ist ein Funktionsblockdiagramm, das eine Konfiguration von Funktionsmodulen der Arithmetikvorrichtung 22 illustriert.
  • Die Arithmetikvorrichtung 22 beinhaltet eine Kontaminationsgrad-Recheneinheit 41, eine Kontaminationsgrad-Bestimmungseinheit 42, und eine Reinigungszeitpunkt-Vorhersageeinheit 43 als deren Funktionsmodule. Mit diesen Funktionsmodulen berechnet die Arithmetikvorrichtung 22 einen Kontaminationsgrad des Objektivs der Kamera 6, um einen Reinigungszeitpunkt des Objektivs der Kamera 6 vorherzusagen, die in der Zukunft durchzuführen ist. Darüber hinaus beinhaltet die Arithmetikvorrichtung 22 eine Neustartprozess-Ausführungseinheit 44, die später zu beschreiben ist. Nachfolgend werden die Funktionen der jeweiligen Funktionsmodule 41 bis 43, die konfiguriert sind, durch die Arithmetikoperation der Arithmetikvorrichtung 22 implementierbar zu sein, beschrieben.
  • Die Kontaminationsgrad-Recheneinheit 41 berechnet einen Kontaminationsgrad des Objektivs der Kamera 6 auf Basis der aus der Bildverarbeitungsvorrichtung 21 gesendeten Information. Die Details eines Verfahrens des Berechnens des Kontaminationsgrads werden später unter Bezugnahme auf 3 und 4 beschrieben. Darüber hinaus wird die berechnete Information über den Kontaminationsgrad an die Kontaminationsgrad-Bestimmungseinheit 42 gesendet.
  • Die Kontaminationsgrad-Bestimmungseinheit 42 bestimmt, ob der durch die Kontaminationsgrad-Recheneinheit 41 berechnete Kontaminationsgrad einen vorbestimmten Schwellenwert übersteigt. Wenn der Kontaminationsgrad den Schwellenwert übersteigt, wird ein Stoppsignal zum Stoppen einer Operation wie etwa einer Bearbeitungsoperation einer Industriemaschine, wie etwa dem Roboter 5, an die Steuerung 30 gesendet. Hier führt die Kontaminationsgrad-Bestimmungseinheit 42 der Informations-Verarbeitungsvorrichtung 20 auch die Funktion einer Stoppsignal-Ausgabeeinheit durch, die ein Stoppsignal zum Anhalten des Betriebs des Roboters 5 oder dergleichen ausgibt. Wenn andererseits der Kontaminationsgrad gleich oder kleiner als der Schwellenwert ist, wird die Information über den Kontaminationsgrad an die Reinigungszeitpunkt-Vorhersageeinheit 43 gesendet, um einen vorhergesagten Reinigungszeitpunkt zu berechnen.
  • Die Reinigungszeitpunkt-Vorhersageeinheit 43 berechnet einen Reinigungszeitpunkt (d.h. einen vorhergesagten Reinigungszeitpunkt), der in der Zukunft durchzuführen ist, auf Basis des durch die Kontaminationsgrad-Recheneinheit 41 berechneten Kontaminationsgrad. Die Details eines Verfahrens des Berechnens des vorhergesagten Reinigungszeitpunkts werden später unter Bezugnahme auf 5 bis 7 beschrieben. Die berechnete Information über den vorhergesagten Reinigungszeitpunkt wird an die Anzeigevorrichtung 23 gesendet.
  • Die Anzeigevorrichtung 23 zeigt Information an, die sich auf den vorhergesagten Reinigungszeitpunkt des Objektivs der Kamera 6 bezieht, auf Basis der Information des aus der Reinigungszeitpunkt-Vorhersageeinheit 43 gesendeten vorhergesagten Reinigungszeitpunkts und teilt dem Bediener den vorhergesagten Reinigungszeitpunkt mit.
  • Die Speichervorrichtung 24 speichert verschiedene Teile von Information, wie etwa das aus der Kamera 6 gesendete Bildsignal, die durch die Bildverarbeitungsvorrichtung 21 prozessierte Information und die durch die Arithmetikvorrichtung 22 berechnete Information. Darüber hinaus kann das aus der Kamera 6 gesendet Bildsignal zeitweilig in der Speichervorrichtung 24 gespeichert werden und können die Bildverarbeitungsvorrichtung 21 und die Arithmetikvorrichtung 22 das gespeicherte Bildsignal nach Bedarf lesen, die oben beschriebenen Prozesse auszuführen.
  • Die Steuerung 30 steuert den Roboter 5, die Kamera 6 und dergleichen. Die Steuerung 30 erzeugt ein Steuersignal, um den Roboter 5 zu veranlassen, eine Transportoperation auf Basis der durch die Information-Verarbeitungsvorrichtung 20 prozessierten Information auszuführen und sendet das Steuersignal an den Roboter 5. Beispielsweise erzeugt die Information-Verarbeitungsvorrichtung 20 Positionskorrektur-Information auf Basis von Information wie etwa einer Detektionsposition des Werkstücks W, detektiert aus einem Bild, und die Steuerung 30 sendet ein Steuersignal entsprechend der Positionskorrektur-Information an den Roboter 5. Auf diese Weise ist es möglich, den Roboter 5 in einem Zustand zu steuern, in welchem eine Positionsbeziehung zwischen dem Werkstück W und dem Roboter 5 korrigiert wird. Darüber hinaus erzeugt die Steuerung 30 ein Steuersignal, um die Kamera 6 zu veranlassen, das Werkstück W und dergleichen zu fotografieren und sendet das Steuersignal an die Kamera 6.
  • Als Nächstes wird ein Prozess des Berechnens des Kontaminationsgrads des Objektivs der Kamera 6 unter Bezugnahme auf 3 und 4 beschrieben. 3 ist eine vergrößerte Ansicht, die einen Zustand illustriert, in welchem ein Arm des in 1 illustrierten Roboter 5 so bewegt wird, dass der Objektivhalter 7 der Kamera 6 sich dem kappenförmigen Element 11 nähert, das ein Referenz-Fotografierziel aufweist.
  • Das kappenförmige Bauteil 11 ist an einem Gestell 10 angebracht, das den Roboter 5 fixiert. Wenn der Kontaminationsgrad des Objektivs der Kamera 6 berechnet wird, wird der Arm des Roboters 5 als eine bewegliche Einheit bewegt und fotografiert die Kamera 6 einen Bodenbereich 11a des kappenförmigen Bauteils 11. Hier, da eine Positionsbeziehung zwischen dem kappenförmigen Bauteil 11 und einer Referenzposition des Roboters 5 immer konstant ist, kann die Steuerung der Bewegung des Arms des Roboters 5 eine Steuerung der Bewegung des Arms zu einem immer gleichen Platz sein, wenn ein Bild zum Berechnen des Kontaminationsgrads erfasst wird. Daher ist die Steuerung zu dieser Zeit einfach.
  • Der Bodenbereich 11a des kappenförmigen Bauteils 11 bildet das Referenz-Fotografierziel und allgemein wird stets das gleiche Bild erhalten, wenn dieser Bereich fotografiert wird. Eine vorbestimmte Marke ist auf dem Bodenbereich 11a des kappenförmigen Bauteils 11 gezeichnet. Die vorbestimmte Marke kann eine beliebige Marke sein, falls die Marke als eine Referenz für einen nachfolgenden Prozess verwendet wird, und kann eine Marke sein, die beispielsweise dem Werkstück W ähnelt. Darüber hinaus ist die vorherbestimmte Marke nicht auf eine solche Marke wie in 4 illustriert beschränkt, sondern kann beispielsweise eine gitterförmige Marke sein. Darüber hinaus, da das Referenz-Fotografierziel ein Bereich ist, dessen erste Aufgabe es ist, ein Bild zum Berechnen des Grads an Kontamination zu erfassen, kann das Referenz-Fotografierziel ein Bereich sein, auf welchem eine Marke nicht gezeichnet ist (beispielsweise ein Bereich, der eine gleichförmige Oberfläche mit einer vorbestimmten Farbe wie etwa Weiß aufweist). Darüber hinaus wird die Distanz ab einer oberen Oberfläche des kappenförmigen Bauteils 11 bis zum Bodenbereich 11a vorzugsweise eingestellt, innerhalb einer Brennpunktdistanz der Kamera 6 zu sein.
  • Hier weist das kappenförmige Bauteil 11 einen zylindrischen Bereich 11b auf, der den Umfang des Bodenbereichs umgibt, um den Einfluss eines externen Faktors wie etwa eines externen Bestrahlungslichtes während des Fotografierens zu eliminieren. Wegen dieser Konfiguration ist es, wenn ein Beleuchtungslicht aus der Beleuchtungseinheit 8 unter vorbestimmten Beleuchtungsbedingungen abgestrahlt wird, um den Bodenbereich 11a des kappenförmigen Bauteils 11 zu fotografieren, möglich, ein Bild mit immer konstanter Helligkeit und Farbe zu erfassen, außer wenn eine Kontamination an dem Objektiv der Kamera 6 anhaftet. Daher kann ein Prozess des Berechnens des Kontaminationsgrads des Objektivs der Kamera 6, der später zu beschreiben ist, genauer ausgeführt werden.
  • 4 ist ein Diagramm zum Beschreiben eines Prozesses des Berechnens des Kontaminationsgrads des Objektivs der Kamera 6. Zuerst, in einem Zustand, in welchem die Kontamination nicht auf dem Objektiv der Kamera 6 vorhanden ist, wird das Objektivabnormalitäts-Detektionssystem 1 aktiviert, um den Objektivhalter 7 der Kamera 6, der am Roboter 5 befestigt ist, zur Umgebung des kappenförmigen Bauteils 11 zu leiten. Auf diese Weise kann der Roboter 5 als eine bewegliche Einheit, an welcher die Kamera 6 fixiert ist, die Kamera 6 so betätigen, dass das Referenz-Fotografierziel innerhalb des Fotografierbereichs der Kamera 6 fällt. Dieser Zustand ist ein Anfangszustand und ein Bild des im Anfangszustand fotografierten Referenz-Fotografierziels wird als ein Anfangsbild gespeichert.
  • Nachfolgend wird eine Operation ähnlich dem Fotografieren des Anfangsbildes automatisch in jeder beliebigen Periode durchgeführt, die durch einen Bediener vorab bestimmt ist und zu einem Zeitpunkt, der auf manueller Bedingung des Bedieners basiert, um ein Bild des Referenz-Fotografierziels wieder zu erfassen. Dieses Bild wird als ein Nachbetriebsbild gespeichert. Das Anfangsbild und das Nachbetriebsbild, die auf diese Weise fotografiert werden, sind in 4A illustriert.
  • Wie in 4B illustriert, binarisiert die Bildverarbeitungsvorrichtung 21 einen Pixelwert des Anfangsbilds und einen Pixelwert des Nachbetriebsbilds auf Basis eines vorbestimmten Schwellenwerts, um Binärbilder zu erzeugen. Weiterhin, wie in 4C illustriert, erzeugt die Bildverarbeitungsvorrichtung 21 ein Differenzbild auf Basis einer Differenz zwischen dem Binärbild des Anfangsbildes und dem Binärbild des Nachbetriebsbilds.
  • Die Kontaminationsgrad-Recheneinheit 41 der Arithmetikvorrichtung 22 berechnet den Kontaminationsgrad des Objektivs auf Basis der Information zu dem Differenzbild, welches durch die Bildverarbeitungsvorrichtung 21 erzeugt wird. Hier, wenn es keine an dem Objektiv der Kamera 6 anhaftende Kontamination gibt, da das Binärbild des Anfangsbildes und das Binärbild des Nachbetriebsbilds das gleiche Bild sind, weist das Differenzbild beider Bilder einen Wert von Null in dessen gesamter Region auf. Wenn es andererseits eine an dem Objektiv der Kamera 6 anhaftende Kontamination gibt, ist der Differenzwert in einem Bereich, an welchem eine Kontamination anhaftet, nicht Null. Daher kann die Kontaminationsgrad-Recheneinheit 41 bestimmen, dass ein Bereich, in welchem der Differenzwert nicht Null ist, eine Kontaminationsregion im fotografierten Bild ist. Aufgrund solch eines Binarisierungsprozesses ist es möglich, eine Kontaminationsregion genau und leicht zu bestimmen.
  • Die Kontaminationsgrad-Recheneinheit 41 berechnet einen Kontaminationsindex als den Kontaminationsgrad durch Dividieren der Größe einer Fläche, die als eine Kontaminationsregion bestimmt wird, durch die Größe der gesamten fotografierten Bildregion. Der Kontaminationsindex ist ein Index, der einen Wert von 0 bis 1 aufweist, und in einem Anfangszustand Null ist. Dem Binarisierungsprozess folgende Prozesse können durch die Bildverarbeitungsvorrichtung 21 oder die Kontaminationsgrad-Recheneinheit 41 der Arithmetikvorrichtung 22 ausgeführt werden. Ein Verfahren des Bestimmens einer Kontaminationsregion mag nicht dem Binarisierungsverfahren folgen, sondern es können verschiedene Verfahren wie etwa das Verfahren des Erfassens des Differenzbilds unter Verwendung des Pixelwertes eines Bildes so wie es vorliegt, beispielsweise verwendet werden. Jedoch kann der Kontaminationsgrad des Objektivs ohne Bestimmen einer Kontaminationsregion berechnet werden. Das heißt, dass verschiedene Verfahren des Berechnens des Kontaminationsgrads des Objektivs und der Basis des Vergleichs zwischen Information, die auf einer Anfangsstufe basiert, Information, die auf einem Nachbetriebsbild basiert, verwendet werden. Beispielsweise wird die Information zu dem Pixelwert eines Bildes erwogen, um die Dichte einer Kontamination anzugeben. Daher kann ein Pixelwert eines Anfangsbilds und ein Pixelwert eines Nachbetriebsbilds verglichen werden, um Information zu erfassen, welche den Änderungsgrad bei der Dichte einer Konzentration angibt, und der Kontaminationsgrad des Objektivs kann enthalten sein, auf Basis der Information.
  • Wie oben beschrieben, da der Kontaminationsgrad des Objektivs auf Basis eines Bilds ermittelt wird, das durch Fotografieren eines Referenz-Fotografierziels erhalten wird, ist es möglich, den Kontaminationsgrad genau zu berechnen. Darüber hinaus, da der Kontaminationsgrad des Objektivs auf Basis des Bilds berechnet wird, das durch Fotografieren des Referenz-Fotografierziels unter einer vorbestimmten Beleuchtungsbedingung, es möglich ist, den Kontaminationsgrad genauer zu bestimmen. Weiterhin, da der zylindrische Bereich 11b als Eliminierungsmittel zum Eliminieren des Einflusses eines extern induzierten Lichts vorgesehen ist, wenn ein vorbestimmtes Ziel fotografiert wird, ist es möglich, den Kontaminationsgrad des Objektivs genauer zu berechnen, ohne durch das extern induzierte Licht beeinflusst zu sein.
  • Als Nächstes, Bezug nehmend auf die Graphen von 5 bis 7, wird ein Prozess des Berechnens eines Reinigungszeitpunkts (das heißt, eines vorhergesagten Reinigungszeitpunkts) des Objektivs der Kamera 6, die in der Zukunft durchzuführen ist auf Basis des durch die Kontaminationsgrad-Recheneinheit 41 berechneten Kontaminationsgrads beschrieben.
  • 5 illustriert einen Graphen, in welchem eine horizontale Achse Zeit angibt und eine vertikale Achse einen Kontaminationsindex angibt. Wie auf der vertikalen Achse von 5 illustriert, wird ein zulässiger Grenzschwellenwert, auf den Bezug genommen wird, wenn ein vorhergesagter Objektivreinigungszeitpunkt im Kontaminationsindex eingestellt wird. Der zulässige Grenzschwellenwert wird vorab als ein Wert eingestellt, in welchem berücksichtigt wird, dass die Steuerung des Roboters 5, basierend auf der Ausgabe der Kamera 6, nicht normal durchgeführt wird, aufgrund einer extremen Kontamination des Objektivs (beispielsweise ein Wert, in welchem berücksichtigt wird, dass ein Positionskorrekturprozess des Werkstücks W, basierend auf der Bildinformation, nicht normal durchgeführt wird.
  • 5 illustriert ein Verfahren des Berechnens des vorhergesagten Reinigungszeitpunkts, wenn es ein Bild gibt, das fotografiert wurde, nachdem ein Anfangsbild erhalten wird. In diesem Fall wird eine Funktion auf Basis des Fotografierzeitpunkts t0 des Anfangsbilds, eines Fotografierzeitpunkts t des Nachbearbeitungsbilds und eines Kontaminationsindex des Nachbearbeitungsbilds abgeleitet. Darüber hinaus wird die Zeit, bis der Kontaminationsindex den zulässigen Grenzschwellenwert erreicht, auf Basis dieser Funktion berechnet, und ein Zeitpunkt, zu welchem vorhergesagt wird, dass der Kontaminationsindex den zulässigen Grenzschwellenwert erreicht, wird als ein Reinigungszeitpunkt T ab dieser Zeit und ein Zeitpunkt des Fotografierzeitpunkts t0 des Anfangsbildes abgeleitet. Information zu diesem Zeitpunkt ist Information zum Reinigungszeitpunkt, was in der Zukunft durchzuführen ist (das heißt Information, welche den vorhergesagten Reinigungszeitpunkt angibt). Hier ist die Information über den vorhergesagten Reinigungszeitpunkt, welche die Anzeigevorrichtung 23 dem Bediener mitteilt, nicht auf den Zeitpunkt selbst beschränkt, sondern kann Information zu dem vorhergesagten Reinigungszeitpunkt sein.
  • Hier, wenn die Funktion abgeleitet wird, berechnet die Kontaminationsgrad-Recheneinheit den Kontaminationsindex des Anfangsbilds als Null und sendet den Kontaminationsindex an die Reinigungszeitpunkt-Vorhersageeinheit 43. Darüber hinaus wird die Linearfunktion, die mit einer kleinen Anzahl von Berechnungen abgeleitet werden kann, als die Funktion abgeleitet.
  • Auf diese Weise kann der vorhergesagte Reinigungszeitpunkt auf Basis der Fotografierzeitpunkt einer Vielzahl von Bildern einschließlich dem Anfangsbild und dem Kontaminationsgrad in einer Vielzahl von Bildern berechnet werden.
  • Allgemein, wenn eine Speicherkapazität unzureichend ist, ist es schwierig, eine Anzahl von Bildern zu speichern. Jedoch, gemäß dieser Konfiguration, selbst wenn eine Speicherkapazität unzureichend ist, ist es möglich, einen vorhergesagten Reinigungszeitpunkt T unter Verwendung des Anfangsbildes und des Nachbetriebsbildes nur zu einem aktuellen Zeitpunkt t zu berechnen.
  • 6 ist ein Diagramm, das ein Verfahren zum Berechnen des vorhergesagten Reinigungszeitpunkts T illustriert, wenn es eine Vielzahl von Bildern gibt, nachdem das Anfangsbild fotografiert ist (das heißt, wenn es eine Anzahl von Nachbetriebsbildern gibt).
  • In diesem Fall wird eine Funktion auf Basis des Fotografierzeitpunkts t0 des Anfangsbildes, der Fotografierzeitpunkt einer Vielzahl von Nachbetriebsbildern und dem Kontaminationsindizes eine Vielzahl von Nachbetriebsbildern abgeleitet. Beispielsweise, wie in 6 illustriert, wird eine angenäherte gerade Linie als eine Funktion unter Verwendung eines Verfahrens kleinster Quadrate oder dergleichen abgeleitet. Auf diese Weise ist es möglich, den vorhergesagten Reinigungszeitpunkt T genauer zu berechnen, selbst wenn ein abnormaler Wert im Kontaminationsindex in der Mitte des Fotografierens vorhanden ist. Die Funktion des Berechnens des vorhergesagten Reinigungszeitpunkts T ist nicht auf eine lineare Funktion beschränkt. Um genauere Vorhersageergebnisse zu erhalten, kann eine Funktion, die eine Kurve zeichnet, auf Basis von vergangenen Aufzeichnungsdaten abgeleitet werden. Darüber hinaus kann Information zu einem Fahrzeugposition und dem Kontaminationsgrad des zu einem Zeitpunkt fotografierten vergangenen Bilds, zu welchem das Reinigen tatsächlich nötig ist, und eine Anzahl von Informationsteilen über den Fotografierzeitpunkt und den Kontaminationsgrad einer Vielzahl von Bildern, die ermittelt wird, bis der Zeitpunkt erreicht wird, erfasst werden, und kann Maschinenlernen unter Verwendung der Information durchgeführt werden, um einen Algorithmus des Berechnens des vorhergesagten Reinigungszeitpunkts T zu konstruieren.
  • Auf diese Weise kann der Objektivvorhersage-Reinigungszeitpunkt auf Basis der Fotografierzeitpunkte einer Vielzahl von Bildern und den Kontaminationsgrad einer Vielzahl von Bildern berechnet werden.
  • 7 ist ein Diagramm zum Illustrieren eines Prozesses, wenn das Objektivabnormalitäts-Detektionssystem neu gestartet wird. Wenn das Objektiv der Kamera 6 gereinigt wird, ist es notwendig, den Zeitpunkt des Anfangszustandes rückzusetzen, um das Objektivabnormalitäts-Detektionssystem 1 neu zu starten. Als Verfahren des Ausführens eines solchen Neustartprozesses kann ein Verfahren, bei welchem ein Bediener einen Neustartprozess manuell zu einem Zeitpunkt ausführt, zu welchem das Objektiv gereinigt wird, verwendet werden. Darüber hinaus, wie in 7 illustriert, kann ein Verfahren, in welchem die Kontaminationsindizes einer Vielzahl von sukzessiven Nachbetriebsbildern verglichen werden und ein Neustartprozess automatisch ausgeführt wird, wenn der Kontaminationsindex beachtlich sinkt (beispielsweise wenn der Kontaminationsindex um einen vorbestimmten Wert oder mehr sinkt) verwendet werden. Auf diese Weise, da der Neustartprozess automatisch durchgeführt wird, ist es möglich, den Neustartprozess zuverlässiger durchzuführen. Der Neustartprozess kann ein Prozess des Rücksetzens des Nachbetriebsbildes unmittelbar nachdem der Kontaminationsindex merklich sinkt, als ein Anfangsbild sein. Der Neustartprozess wird beispielsweise durch die Neustartprozess-Ausführungseinheit 44 der Arithmetikvorrichtung 22 ausgeführt.
  • Eine Konfiguration, in der ein Bestätigungsbildschirm angezeigt wird, um den Bediener zu fragen, ob das Reinigen durchzuführen ist, wenn der Kontaminationsindex merklich sinkt, kann eingesetzt werden. Beispielsweise wird eine Konfiguration, in der, wenn der Kontaminationsindex um einen vorbestimmten Wert oder mehr sinkt, eine Nachricht, dass „Bitte drücken Sie „Neustart“, wenn Objektivreinigung durchgeführt wird. Ein Objektivabnormalitäts-Detektionssystem wird neu gestartet“ auf der Anzeigevorrichtung 23 angezeigt wird, eingesetzt werden. Mit dieser Konfiguration ist es möglich, den Neustartprozess zuverlässiger durchzuführen.
  • Nachfolgend wird ein Prozess des Objektivabnormalitäts-Detektionssystems, welches den vorhergesagten Reinigungszeitpunkt auf Basis des Kontaminationsgrads des Objektivs der Kamera 6 mitteilt, unter Bezugnahme auf das Flussdiagramm von 8 beschrieben.
  • In Schritt S11 berechnet die Kontaminationsgrad-Recheneinheit 41 den Kontaminationsgrad des Objektivs der Kamera 6. Nachfolgend bestimmt im Schritt S12 die Kontaminationsgrad-Bestimmungseinheit 42, ob der Kontaminationsgrad einen vorbestimmten Schwellenwert übersteigt. Der vorbestimmte Schwellenwert kann derselbe Wert wie der zulässige Grenzschwellenwert sein, der unter Bezugnahme auf 5 beschrieben ist, und dergleichen.
  • Die Kontaminationsgrad-Bestimmungseinheit 42 sendet Information, die sich auf den Kontaminationsgrad bezieht, an die Reinigungszeitpunkt-Vorhersageeinheit 43, um einen Reinigungszeitpunkt zu berechnen, welcher in der Zukunft durchzuführen ist, wenn der Kontaminationsgrad gleich oder kleiner als der Schwellenwert ist (Schritt S12: NEIN). Im Schritt S14 berechnet die Reinigungszeitpunkt-Vorhersageeinheit 43 den Reinigungszeitpunkt (das heißt einen vorhergesagten Reinigungszeitpunkt), der in der Zukunft durchzuführen ist, und teilt der Anzeigevorrichtung 23 dessen Inhalt mit. Danach kehrt der Ablauf zu Schritt S11 zurück. Dieser Prozess wird automatisch in jeder beliebigen Periode wiederholt, die vorab durch den Bediener festgelegt wird, oder zu einem Zeitpunkt, der auf einer manuellen Bedienung des Bedieners basiert.
  • Andererseits, wenn der Kontaminationsgrad einen vorbestimmten Schwellenwert übersteigt (Schritt S12: JA), wird ein Stoppsignal zum Stoppen des Betriebs einer Industriemaschine, wie etwa des Roboters 5, an die Steuerung 30 im Schritt S13 gesendet. In diesem Fall kann ein Alarm mitgeteilt werden.
  • Mit solch einem Objektivabnormalitäts-Detektionsprozess, da der Bediener der in dem Reinigungszeitpunkt des Objektivs der Kamera 6, der in der Zukunft durchzuführen ist, verstehen kann, ist es möglich, die Wartung zu einem angemessenen Zeitpunkt auszuführen und ein Sinken bei der Betriebsrate einer Fertigungslinie zu verhindern.
  • Die Kontamination in der vorliegenden Erfindung beinhaltet verschiedene Kontaminationen, wie etwa Schneidflüssigkeit, Schuppen, Staub, und aus einer Industriemaschine gesprühter Lack, der nicht an einem Kameraobjektiv anhaftet. Dieses Ziel, bei welchem das Anhaften einer Kontamination detektiert wird, ist das Objektiv oder die Objektivabdeckung der Kamera 6. Das heißt, falls das Objektiv selbst, das eine Funktion des Refraktierens eines Lichtstrahls aufweist, gegenüber der äußeren Oberfläche eines distalen Endes des Objektivhalters 7 der Kamera 6 exponiert ist, ist das Ziel, in welchem das Anhaften einer Kontamination detektiert wird, das Objektiv. Falls eine Objektivabdeckung (beispielsweise ein planares Abdeckglas oder dergleichen) auf der Frontoberfläche des Objektivs angeordnet ist, wird das Ziel, bei welchem das Anhaften einer Kontamination detektiert wird, die untere Endabdeckung.
  • In der vorliegenden Ausführungsform, obwohl das kappenförmige Bauteil 11, welches das Referenzfotografierziel aufweist, auf dem Sockel 10 des Roboters 5 vorgesehen ist, ist der Bereich, in welchem das kappenförmige Bauteil 11 vorgesehen ist, nicht auf diesen Bereich beschränkt. Beispielsweise kann das kappenförmige Bauteil 11 auf einem Anschluss 9 des Werkstücks W vorgesehen sein. In diesem Fall ist es möglich, den Bewegungsbetrag des Roboters 5 während eines Fotografierbetriebs zum Berechnen des Kontaminationsgrads zu senken.
  • In der vorliegenden Ausführungsform, obwohl die Kamera 6 in der Nähe der Hand des Roboters 5 fixiert ist, kann die Kamera 6 mit einem anderen Bereich nahe dem Roboter 5 versehen sein. Beispielsweise kann die Kamera 6 in einem beweglichen Arm vorgesehen sein, der vom Roboter 5 getrennt ist, und kann der bewegliche Arm bewegt werden.
  • Darüber hinaus kann die Kamera 6 fest in einer nicht beweglichen Einheit vorgesehen sein, wie etwa dem Sockel 10 des Roboters 5 oder dem Anschluss 9 des Werkstücks W. In diesem Fall kann das Referenz-Fotografierziel auf die bewegliche Einheit fixiert sein und wird die bewegliche Einheit so betrieben, dass das Referenz-Fotografierziel sich bewegt, innerhalb des Fotografierbereichs der Kamera 6 während eines Fotografierbetriebs zum Berechnen des Kontaminationsgrades zu fallen. Darüber hinaus kann eine Konfiguration, in der ein Referenz-Fotografierziel, welches frei beweglich ist, nahe dem Objektivhalter 7 und der Kamera 6 vorgesehen wird, um so mit der Kamera 6, die einzusetzen ist, eingesetzt werden. Darüber hinaus können sowohl die Kamera 6 als auch das Referenz-Fotografierziel an der beweglichen Einheit so fixiert sein, dass sich beide bewegen.
  • In der vorliegenden Ausführungsform, obwohl ein durch Fotografieren des Referenz-Fotografierziels erhaltenes Bild als ein Bild verwendet wird, das zum Berechnen des Kontaminationsgrads verwendet wird, können andere Bilder, wie etwa ein Bild, das durch Fotografieren des Werkstücks W erhalten wird, oder dergleichen, verwendet werden. In diesem Fall, obwohl die Kontaminationsgrad-Detektionssensitivität sinkt, ist es möglich, den Kontaminationsgrad zu berechnen, ohne den Roboter 5 zu veranlassen, eine Zusatzoperation zum Detektieren der Objektivabnormalität durchzuführen.
  • Gemäß dem Objektivabnormalitäts-Detektionssystem der vorliegenden Ausführungsform werden die nachfolgenden Vorteile erhalten.
  • (1) Das Objektivabnormalitäts-Detektionssystem 1 gemäß der vorliegenden Ausführungsform beinhaltet eine Kontaminationsgrad-Recheneinheit 41, welche den Kontaminationsgrad des Objektivs der Kamera 6 auf Basis eines durch die Kamera 6 erfassten Bilds berechnet, und die Reinigungszeitpunkt-Vorhersageeinheit 43, welche Information zu einem vorhergesagten Reinigungszeitpunkt des Objektivs, was in der Zukunft durchzuführen ist, auf Basis des Kontaminationsgrads des Objektivs berechnet. Auf diese Weise ist es möglich, ein Objektivabnormalitäts-Detektionssystem der Kamera 6 bereitzustellen, das in der Lage ist, den Reinigungszeitpunkt des Objektivs der Kamera 6, das in der Zukunft durchzuführen ist, vorherzusagen. Daher ist es möglich, die Wartung zu einem angemessenen Zeitpunkt auszuführen und ein Sinken bei der Betriebsrate einer Fertigungslinie zu verhindern.
  • (2) Im Objektivabnormalitäts-Detektionssystem 1 gemäß der vorliegenden Ausführungsform wird Information über den vorhergesagten Reinigungszeitpunkt des Objektivs auf Basis des Kontaminationsgrads des Objektivs, wenn ein durch die Kontaminationsgrad-Bestimmungseinheit 42 ermitteltes Bestimmungsergebnis gleich oder kleiner als ein Schwellenwert ist, mitgeteilt, und ein Stoppsignal zum Stoppen des Betriebs des Roboters 5 oder dergleichen wird ausgegeben, wenn das Bestimmungsergebnis den Schwellenwert übersteigt. Daher ist es möglich, angemessenere Steuerung durchzuführen, abhängig von Kontaminationsgrad des Objektivs.
  • (3) Im Objektivabnormalitäts-Detektionssystem 1 gemäß der vorliegenden Ausführungsform wird der Kontaminationsgrad des Objektivs auf Basis eines Vergleichs zwischen Information, die auf dem Anfangsbild basiert, und Information, die auf dem Nachbetriebsbild basiert, berechnet. Daher ist es möglich, den Kontaminationsgrad des Objektivs angemessen zu berechnen.
  • (4) Im Objektivabnormalitäts-Detektionssystem 1 gemäß der vorliegenden Ausführungsform wird eine Kontaminationsregion in einem Bild auf Basis einer Differenz zwischen einem Binärbild, das auf einem Pixelwert eines Anfangsbilds basiert, und einem Binärbild, das auf einem Pixelwert eines Nachbetriebsbilds basiert, bestimmt, und wird der Kontaminationsgrad des Objektivs auf Basis der Größe der Kontaminationsregion berechnet. Daher, indem ein Binarisierungsprozess durchgeführt wird, ist es möglich, eine Kontaminationsregion genau und leicht zu bestimmen.
  • (5) Das Objektivabnormalitäts-Detektionssystem 1 gemäß der vorliegenden Ausführungsform beinhaltet weiter das Referenz-Fotografierziel, welches ein Ziel ist, das durch die Kamera 6 fotografiert wird, wenn der Kontaminationsgrad des Objektivs berechnet wird, und eine bewegliche Einheit, an welcher die Kamera 6 und/oder das Referenz-Fotografierziel fixiert sind, kann so arbeiten, dass das Referenz-Fotografierziel innerhalb eines Fotografierbereichs der Kamera 6 fällt. Daher, indem das Referenz-Fotografierziel verwendet wird, ist es möglich, den Kontaminationsgrad genauer zu berechnen.
  • (6) Im Objektivabnormalitäts-Detektionssystem 1 gemäß der vorliegenden Ausführungsform wird der vorhergesagte Reinigungszeitpunkt des Objektivs auf Basis einer Funktion berechnet, die auf Basis der Fotografierzeitpunkte einer Vielzahl von Bildern und den Kontaminationsgraden der Vielzahl von Bildern abgeleitet wird, und eines zulässigen Grenzschwellenwerts des Kontaminationsgrads des Objektivs. Daher ist es möglich, den vorhergesagten Reinigungszeitpunkt genau zu berechnen.
  • (7) Das Objektivabnormalitäts-Detektionssystem 1 gemäß der vorliegenden Ausführungsform führt einen Neustartprozess aus, wenn ein zweiter Kontaminationsgrad des Objektivs in einem zweiten Nachbetriebsbild um einen vorbestimmten Wert oder größer von einem ersten Kontaminationsgrad des Objektivs in einem ersten Nachbetriebsbild sinkt. Daher, da der Neustartprozess automatisch durchgeführt wird, ist es möglich, den Neustartprozess zuverlässig durchzuführen.
  • <Zweite Ausführungsform>
  • Als Nächstes wird ein Objektivabnormalitäts-Detektionssystem gemäß einer zweiten Ausführungsform unter Bezugnahme auf 9 und 10 beschrieben. In der nachfolgenden Beschreibung werden dieselben Komponenten wie jene in der ersten Ausführungsform durch dieselben Bezugszeichen bezeichnet und deren detaillierte Beschreibung wird weggelassen.
  • 9 ist ein Funktionsblockdiagramm, das eine Konfiguration der funktionalen Module der Arithmetikvorrichtung 22 gemäß der vorliegenden Ausführungsform illustriert. Die Arithmetikvorrichtung 22 der vorliegenden Ausführungsform beinhaltet eine verwendbare Regionsspezifiziereinheit 45 zusätzlich zu den funktionalen Modulen, die in 2 illustriert sind.
  • In der ersten Ausführungsform, wenn der Kontaminationsindex des Objektivs der Kamera 6 den vorgegebenen Schwellenwert übersteigt, wird der Betrieb des Roboters 5 oder dergleichen im Schritt S13 gestoppt. Jedoch, selbst wenn bestimmt wird, dass der Kontaminationsindex größer oder gleich als der vorbestimmte Schwellenwert ist, kann eine Fotografierposition so verschoben werden, dass ein Bearbeitungsbetrieb des Roboters 5 oder dergleichen, basierend auf der Ausgabe der Kamera 6, fortgesetzt wird.
  • 10A illustriert ein Bild, wenn eine Marke des Referenz-Fotografierziels fotografiert wird. Im Bild haftet eine, einen vorbestimmten Schwellenwert übersteigende Kontamination an. In der vorliegenden Ausführungsform spezifiziert die verwendbare Regionsspezifiziereinheit 45 der Arithmetikvorrichtung 22 der Information-Verarbeitungsvorrichtung 20 eine verwendbare Region, in der eine Objektivkontamination in solch einem Bild, welches durch die Kamera 6 fotografiert wird, vernachlässigbar ist, wie in 10B illustriert.
  • Darüber hinaus, selbst falls der Kontaminationsindex des Objektivs der Kamera 6 den vorbestimmten Schwellenwert übersteigt, wenn die Größe der verwendbaren Region größer oder gleich als eine vorbestimmte Größe ist, wird ein Prozess durchgeführt, dem Betrieb des Roboters 5 oder dergleichen zu gestatten, fortgesetzt zu werden. Während die Bearbeitungsoperation fortgesetzt wird, wird der Betrieb des Roboters 5 oder dergleichen, der auf der Ausgabe der Roboter 5 basiert, unter Verwendung der verwendbaren Region gesteuert, in der die Kontamination des Objektivs vernachlässigbar ist.
  • Wenn die Kamera 6 eine bewegliche Einheit als Mittel zum Ändern der Fotografierposition aufweist (beispielsweise einen beweglichen Arm (nicht illustriert) der die Kamera oder einen Mechanismus (nicht illustriert) zum Ändern einer Fotografierrichtung hält und die Größe der verwendbaren Region größer als die oder gleich der vorbestimmten Größe ist, kann die Steuerung zum Betreiben der beweglichen Einheit, um so die Fotografierposition der Kamera 6 zu ändern, so durchgeführt werden, dass das Werkstück W, welches das Fotografierziel ist, oder die Marke des Referenz-Fotografierziels innerhalb der verwendbaren Region fällt. Die Steuerung zum Ändern der Fotografierposition wird wiederholt, bis die Größe der verwendbaren Region kleiner als ein zusätzlicher Wert ist. Darüber hinaus, wenn die verwendbare Region kleiner als die vorbestimmte Größe ist, wird ein Prozess zum Anhalten des Betriebs des Roboters 5 oder dergleichen durchgeführt. Wie oben beschrieben, weist die Informations-Verarbeitungsvorrichtung 20 der vorliegenden Ausführungsform die Funktion einer Informationsausgabeeinheit auf, welche Information zum Steuern des Betriebs des Roboters 5 oder dergleichen und Steuern des Fotografierens der Kamera 6 ausgibt. Die Informations-Verarbeitungsvorrichtung 20 gibt Information aus, um zu gestatten, dass der Betrieb des Roboters 5 fortgesetzt wird, wenn die Größe der verwendbaren Region gleich oder größer als die vorbestimmte Größe ist, und gibt Information zum Stoppen des Betriebs des Roboters 5 aus, wenn die Größe der verwendbaren Region kleiner als die vorbestimmte Größe ist. Aufgrund einer solchen Konfiguration ist es möglich, die Betriebsrate einer Fertigungslinie weiter zu verbessern.
  • Die Bestimmung, ob die Objektivkontamination eine vernachlässigbare verwendbare Region ist, muss nicht dem Digitalisierungsverfahren folgen, sondern verschiedene Verfahren, wie etwa ein Verfahren des Erfassens des Differenzbildes unter Verwendung des Pixelwertes eines Bilds selbst können verwendet werden.
  • Gemäß dem Objektivabnormalitäts-Detektionssystem der vorliegenden Ausführungsform werden die nachfolgenden Vorteile zusätzlich zu den Vorteilen (1) bis (7) erhalten.
  • (8) In der vorliegenden Ausführungsform, wenn die Größe einer verwendbaren Region, in der die Kontamination des Objektivs vernachlässigbar ist, gleich oder größer als eine vorbestimmte Größe ist, wird der Betrieb der Industriemaschine fortgesetzt. Daher ist es möglich, weiter die Betriebsrate der Fertigungslinie zu verbessern.
  • (9) In der vorliegenden Ausführungsform, wenn die Größe einer verwendbaren Region, in welcher die Kontamination des Objektivs vernachlässigbar ist, gleich oder größer als eine vorbestimmte Größe ist, wird die bewegliche Einheit so betrieben, dass die Fotografierposition der Kamera 6 so verändert wird, dass zumindest ein Teil eines Fotografierzielobjektes innerhalb der verwendbaren Region fotografiert wird. Daher ist es möglich, weiter das Betriebsverhältnis der Fertigungslinie zu verbessern.
  • <Dritte Ausführungsform>
  • Als Nächstes wird ein Objektivabnormalitäts-Detektionssystem gemäß einer dritten Ausführungsform unter Bezugnahme auf 11 und 12 beschrieben. In der nachfolgenden Beschreibung werden dieselben Komponenten wie jene der ersten Ausführungsform durch dieselben Bezugszeichen bezeichnet und deren detaillierte Beschreibung wird weggelassen.
  • 11A ist ein schematisches Diagramm, das eine Objektivkappe 12 illustriert, beinhaltend ein Referenz-Fotografierziel und die Kamera 6 gemäß der vorliegenden Ausführungsform. In der vorliegenden Ausführungsform ist das Referenz-Fotografierziel an einem Bodenbereich auf einer inneren Oberflächenseite der Objektivkappe 12 vorgesehen.
  • In dieser Konfiguration ist es möglich, ein Bild zum Berechnen des Kontaminationsgrads zu erfassen, lediglich durch manuelles Setzen der Objektivkappe 12 auf den Objektivhalter 7 der Kamera 6. Daher ist es in diesem Fall nicht notwendig, die Kamera 6 zu bewegen. Wie in 11B illustriert, kann eine gitterförmige Marke am Bodenbereich der inneren Oberflächenseite der Objektivkappe 12 vorgesehen sein. 12 illustriert ein Bild, das erhalten wird, wenn die Objektivkappe 12 mit einer solchen Marke angebracht wird und ein Bild fotografiert wird. Aufgrund der rasterförmigen Marke, wenn eine Kontamination an dem Objektiv anhaftete, und die Steuerung des Änderns der Fotografierposition der Kamera 6 so durchgeführt wird, dass zumindest ein Bereich des Zielobjektes, wie etwa das Werkstück W, in die verwendbare Region fällt, kann die Steuerung zum Ändern der Fotografierposition angemessen auf Basis der Information durchgeführt werden, die unter Verwendung der Marke als einer Referenz prozessiert wird. Darüber hinaus wird die Marke auch als eine Referenz während der Fokusjustierung der Kamera 6 verwendet.
  • Gemäß dem Objektivabnormalitäts-Detektionssystem der vorliegenden Ausführungsform werden die folgenden Vorteile zusätzlich zu den Vorteilen (1) bis (9) erhalten.
  • (10) In der vorliegenden Ausführungsform ist das Referenz-Fotografierziel die Objektivkappe 12, welche das Objektiv der Kamera 6 abdeckt. Daher ist es möglich, ein Bild zum Berechnen des Kontaminationsgrads leicht lediglich durch Stülpen der Objektivkappe 12 auf die Kamera 6 manuell zu erfassen. Darüber hinaus ist es in diesem Fall nicht notwendig, die Kamera 6 zu bewegen.
  • <Vierte Ausführungsform>
  • Als Nächstes wird ein Objektivabnormalitäts-Detektionssystem gemäß einer vierten Ausführungsform unter Bezugnahme auf 13 beschrieben. In der folgenden Beschreibung werden dieselben Komponenten wie jene der ersten Ausführungsform durch dieselben Bezugszeichen bezeichnet und deren detaillierte Beschreibung wird weggelassen.
  • 13 ist ein Diagramm, welches die Kamera 6 und die Steuerung 30 gemäß der vorliegenden Ausführungsform illustriert. In der vorliegenden Ausführungsform ist eine Robotersteuerung 31 von einer Kamerasteuerung 32 getrennt. Darüber hinaus ist eine Vielzahl von Kameras 6a bis 6d mit der Kamerasteuerung 32 verbunden.
  • Aufgrund dieser Konfiguration, wenn die Kontaminationsgrad-Bestimmungseinheit 42 der Arithmetikvorrichtung 22 der Information-Verarbeitungsvorrichtung 20 bestimmt, dass der Kontaminationsgrad des Objektivs einer der Kameras (beispielsweise einer ersten Kamera 6a) aus der Vielzahl von Kameras 6a bis 6d einen vorbestimmten Schwellenwert übersteigt, es festgestellt wird, ob es eine Kamera gibt, in der der Kontaminationsgrad des Objektivs gleich oder kleiner als der vorbestimmte Schwellenwert ist, von den anderen Kameras 6b bis 6d. Darüber hinaus, wenn es eine Kamera gibt, in welcher der Kontaminationsgrad des Objektivs gleich oder kleiner als der vorbestimmte Schwellenwert ist, von den anderen Kameras, wird eine Kamera aus den anderen Kameras, in welchen der Kontaminationsgrad des Objektivs gleich oder kleiner als der vorbestimmte Schwellenwert ist, statt der ersten Kamera 6a ausgewählt, und das Fotografieren wird fortgesetzt. In diesem Fall, wenn es eine Vielzahl von Kameras gibt, in welchen der Kontaminationsgrad des Objektivs gleich oder kleiner als der vorbestimmte Schwellenwert ist, kann eine Kamera mit dem kleinsten Kontaminationsgrad ausgewählt und vorzugsweise verwendet werden.
  • Wie oben beschrieben, weist die, die Kontaminationsgrad-Bestimmungseinheit 42 beinhaltende Information-Verarbeitungsvorrichtung 20 der vorliegenden Ausführungsform die Funktion einer Informationsausgabeeinheit auf, welche Information zum Steuern des Betriebs des Roboters 5 oder dergleichen und Steuern des Fotografierens der Kamera 6 ausgibt. Wenn eine Kamera, an der der Kontaminationsgrad des Objektivs den vorbestimmten Schwellenwert übersteigt, detektiert wird, wird das Fotografieren des Werkstücks W fortgesetzt unter Verwendung einer anderen Kamera, in welcher der Kontaminationsgrad des Objektivs gleich oder kleiner als der vorbestimmte Schwellenwert ist, statt der Kamera, und Information, um den Betrieb des Roboters 5 oder dergleichen zu veranlassen, fortgesetzt zu werden, wird an die Steuerung 30 ausgegeben.
  • Alle der Vielzahl von Kameras können in dem Roboter 5 vorgesehen sein und können an den Roboter 5 und einen anderen Bereich als den Roboter 5 verteilt werden. Darüber hinaus kann die Vielzahl von Kameras an einer beweglichen Einheit (nicht illustriert) anders als der Roboter 5 angebracht werden und kann eine Vielzahl von Robotern und die Vielzahl von Kameras 6a bis 6d in Kombination angemessen abhängig von einer Situation verwendet werden. Gemäß dieser Konfiguration ist es möglich, die Betriebsrate zu verbessern, indem die Steuerung so durchgeführt wird, dass eine andere Kamera verwendet wird, wenn eine der Kameras ausgefallen ist, ohne darauf beschränkt zu sein, wenn die Kontamination des Objektivs schlechter wird. Aufgrund einer solchen Konfiguration ist es möglich, die Betriebsrate einer Fertigungslinie zu verbessern.
  • Gemäß dem Objektivabnormalitäts-Detektionssystem der vorliegenden Ausführungsform wird der folgende Vorteil zusätzlich zu den Vorteilen (1) bis (10) erhalten.
  • (11) In der vorliegenden Ausführungsform werden die Kontaminationsgrade der Objektive der Vielzahl von Kameras 6a bis 6d berechnet und wenn eine Kamera, in welcher der Kontaminationsgrad des Objektivs einen vorbestimmten Schwellenwert übersteigt, detektiert wird, wird das Fotografieren unter Verwendung einer anderen Kamera , in welcher der Kontaminationsgrad des Objektivs gleich oder kleiner als der vorbestimmte Schwellenwert ist, anstelle der Kamera fortgesetzt, und der Betrieb des Roboters 5 oder dergleichen wird fortgesetzt. Daher ist es möglich, die Betriebsrate der Fertigungslinie weiter zu verbessern.
  • In den jeweiligen Ausführungsformen, obwohl ein Objektiv als ein Ziel beschrieben worden ist, in welchem Anhaften einer Kontamination detektiert wird, wenn eine Objektivabdeckung auf einer Frontoberfläche des Objektivs angeordnet wird, ist das Ziel, in welchem das Anhaften der Kontamination detektiert wird, die Objektivabdeckung. Das heißt, dass das Objektivabnormalitäts-Detektionssystem der vorliegenden Erfindung als ein visuelles Sensorobjektiv oder Objektivabdeckungsabnormalitäts-Detektionssystem konfiguriert sein kann. Die vorliegende Erfindung ist nicht auf die oben beschriebenen Ausführungsformen beschränkt und Modifikationen, Verbesserungen und dergleichen, die innerhalb der Aufgabe der vorliegenden Erfindung gemacht werden, können erzielt werden, fallen auch innerhalb des Schutzumfangs der vorliegenden Erfindung.
  • Bezugszeichenliste
    • 1
    Objektivabnormalitäts-Detektionssystem
    5
    Roboter (Industriemaschine)
    6
    Kamera (visueller Sensor)
    8
    Beleuchtungseinheit
    10
    Sockel
    11
    Kappenförmiges Bauteil
    12
    Objektivkappe
    20
    Information-Verarbeitungsvorrichtung
    21
    Bildverarbeitungsvorrichtung
    22
    Arithmetikvorrichtung
    23
    Anzeigevorrichtung
    30
    Steuerung
    31
    Robotersteuerung
    32
    Kamerasteuerung
    41
    Kontaminationsgrad-Recheneinheit
    42
    Kontaminationsgrad-Bestimmungseinheit
    43
    Reinigungszeitpunkt-Vorhersageeinheit
    44
    Neustartprozess-Ausführungseinheit
    45
    Verwendbare Regionsspezifizierungseinheit

Claims (12)

  1. Visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem (1), beinhaltend einen visuellen Sensor (6), die in einer Industriemaschine (5) oder in der Umgebung desselben vorgesehen ist, um eine Vielzahl von Bildern zu erfassen; eine Recheneinheit (41), die einen Kontaminationsgrad des Objektivs oder der Objektivabdeckung des visuellen Sensors auf Basis der durch den visuellen Sensor (6) fotografierten Bilddaten berechnet; und eine Vorhersageeinheit (43), die Information zu einem vorhergesagten Reinigungszeitpunkt, welcher in der Zukunft durchzuführen ist, des Objektivs oder der Objektivabdeckung auf Basis des Kontaminationsgrads des Objektivs oder der Objektivabdeckung, welcher durch die Recheneinheit (41) berechnet wird, berechnet.
  2. Visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem (1) gemäß Anspruch 1, weiter umfassend: eine Bestimmungseinheit (42), die bestimmt, ob der Kontaminationsgrad des Objektivs oder der Objektivabdeckung gleich oder kleiner als ein vorbestimmter Schwellenwert ist; eine Mitteilungseinheit (23), welche die Information zu dem vorhergesagten Reinigungszeitpunkt mitteilt; und eine Stoppsignal-Ausgabeeinheit (42), die ein Stoppsignal zum Stoppen eines Betriebs der Industriemaschine (5) ausgibt, wobei die Mitteilungseinheit (23) die Information zu dem vorhergesagten Reinigungszeitpunkt mitteilen, wenn ein durch die Bestimmungseinheit (42) ermitteltes Bestimmungsergebnis gleich oder kleiner als der Schwellenwert ist, und die Stoppsignal-Ausgabeeinheit kann das Stoppsignal ausgeben, wenn das durch die Bestimmungseinheit ermittelte Bestimmungsergebnis den Schwellenwert übersteigt.
  3. Visuellew Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem (1) gemäß Anspruch 1 oder 2, wobei die Recheneinheit den Kontaminationsgrad des Objektivs oder der Objektivabdeckung auf Basis von Vergleichen zwischen Information, die auf einem Anfangsbild basiert, und Information, die auf einem Nachbetriebsbild basiert, berechnen.
  4. Visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem (1) gemäß Anspruch 3, wobei die Recheneinheit eine Kontaminationsregion in einem Bild auf Basis einer Differenz zwischen einem Binärbild, das auf einem Pixelwert des Anfangsbildes basiert, und einem Binärbild, das auf einem Pixelwert des Nachbetriebsbildes basiert, bestimmt und den Kontaminationsgrad des Objektivs oder der Objektivabdeckung auf Basis einer Größe einer Kontaminationsregion im Bild berechnet.
  5. Visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem (1) gemäß einem der Ansprüche 1 bis 4, weiter umfassend: ein Referenzfotografierziel (11, 12), das ein durch den visuellen Sensor (6) fotografiertes Ziel bei der Berechnung des Kontaminationsgrads des Objektivs oder der Objektivabdeckung ist, wobei der visuelle Sensor (6) und/oder das Referenzfotografierziel (11, 12) an einer beweglichen Einheit (5) fixiert ist, und die bewegliche Einheit so betreibbar ist, dass das Referenzfotografierziel (11, 12) innerhalb eines Fotografierbereichs des visuellen Sensors (6) fällt.
  6. Visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem (1) gemäß einem der Ansprüche 1 bis 4, weiter umfassend: ein Referenzfotografierziel (12), das ein durch den visuellen Sensor fotografiertes Ziel ist, wenn der Kontaminationsgrad des Objektivs oder der Objektivabdeckung berechnet wird, wobei das Referenzfotografierziel (12) eine Objektivkappe ist, welche das Objektiv oder die Objektivabdeckung des visuellen Sensors (6) abdeckt.
  7. visuellen Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem (1) gemäß einem der Anspruch 1 bis 6, wobei der vorhergesagte Reinigungszeitpunkt auf Basis einer Funktion berechnet wird, die abgeleitet ist auf Basis von Fotografierzeitpunkten der Vielzahl von Bildern und Kontaminationsgraden der Vielzahl von Bildern, und einem zulässigen Grenzschwellenwert des Kontaminationsgrads des Objektivs oder der Objektivabdeckung.
  8. Visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem (1) gemäß einem der Ansprüche 1 bis 7, weiter umfassend: eine Neustartprozess-Ausführungseinheit (44), die einen ersten Kontaminationsgrad des Objektivs oder der Objektivabdeckung in einem ersten Postbetriebsbild mit einem zweiten Kontaminationsgrad des Objektivs oder der Objektivabdeckung in einem zu einem Zeitpunkt nachfolgend dem ersten Postbetriebsbild fotografierten zweiten Postbetriebsbild und einen Neustartprozess des Abnormalitäts-Detektionssystems auf Basis eines Vergleichsergebnisses ausführt, und die Neustartprozess-Ausführungseinheit (44) den Neustartprozess ausführt, wenn der zweite Kontaminationsgrad um einen vorbestimmten Wert oder größer gegenüber dem ersten Kontaminationsgrad gesenkt ist.
  9. Visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem (1) gemäß Anspruch 1, weiter umfassend: eine Bestimmungseinheit (42), die bestimmt, ob der Kontaminationsgrad des Objektivs oder der Objektivabdeckung einen vorbestimmten Schwellenwert übersteigt; eine Verwendbarregions-Spezifiziereinheit (45), die eine verwendbare Region, in welcher die Kontamination des Objektivs oder der Objektivabdeckung vernachlässigbar ist, in dem durch den visuellen Sensor (6) fotografierten Bild spezifiziert; und eine Informationsausgabeeinheit (20), die Information zum Steuern eines Betriebs der Industriemaschine (5) ausgibt, wobei die Verwendbarregions-Spezifiziereinheit (45) die verwendbare Region spezifiziert, wenn ein durch die Bestimmungseinheit (42) ermitteltes Bestimmungsergebnis einen Schwellenwert übersteigt, und die Informationsausgabeeinheit (20) eine Information ausgibt, um den Betrieb der Industriemaschine zu veranlassen, fortgesetzt zu werden, wenn die Größe der durch die Verwendbarregions-Spezifiziereinheit (45) spezifizierten verwendbaren Region eine vorbestimmte Größe oder größer ist, und die Informationsausgabeeinheit (20) Information zum Anhalten des Betriebs der Industriemaschine ausgibt, wenn die Größe der verwendbaren Region kleiner als der vorherbestimmte Wert ist.
  10. Visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem (1) gemäß Anspruch 9, wobei der visuelle Sensor(6) eine bewegliche Einheit (5) zum Ändern einer Fotografierposition aufweist, und wenn die Größe der verwendbaren Region gleich oder größer als die vorbestimmte Größe ist, die bewegliche Einheit (5) betrieben wird, um die Fotografierposition des visuellen Sensors (6) so zu ändern, dass zumindest ein Bereich eines Fotografierzielobjekts innerhalb der verwendbaren Region ist.
  11. Visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionssystem (1) gemäß Anspruch 1, weiter umfassend: eine Informationsausgabeeinheit (20), die Information zum Steuern eines Betriebs der Industriemaschine (5) und des visuellen Sensors (6) ausgibt, wobei eine Vielzahl von visuellen Sensoren (6) vorgesehen ist, die Recheneinheit (41) den Kontaminationsgrad des Objektivs oder der Objektivabdeckung jeder der Vielzahl von visuellen Sensoren (6) berechnet, und wenn ein visueller Sensor (6), bei welchem der Kontaminationsgrad des Objektivs oder der Objektivabdeckung einen vorbestimmten Schwellenwert übersteigt, detektiert wird, die Informationsausgabeeinheit (20) veranlasst, dass das Fotografieren fortgesetzt wird, unter Verwendung eines anderen visuellen Sensors (6), bei welchem der Kontaminationsgrad des Objektivs oder der Objektivabdeckung gleich oder kleiner als der vorbestimmte Schwellenwert ist, statt des visuellen Sensors (6), und Information ausgibt, um zu veranlassen, dass der Betrieb der Industriemaschine (5) fortgesetzt wird.
  12. Visuelles Sensorobjektiv- oder Objektivabdeckungsabnormalitäts-Detektionsprogramm, das einen Computer veranlasst, der eine Information-Verarbeitungsvorrichtung (20) eines visuellen Sensorobjektiv- und Objektivabdeckungsabnormalitäts-Detektionssystems (1), das einen visuellen Sensor (6) beinhaltet, der in einer Industriemaschine (5) oder der Umgebung derselben bereitgestellt ist, um eine Vielzahl von Teilen von Bilddaten zu erfassen, bildet, um zu realisieren: eine Rechenfunktion des Berechnens eines Kontaminationsgrads des Objektivs oder der Objektivabdeckung des visuellen Sensors, auf Basis der durch den visuellen Sensor (6) fotografierten Bilddaten; und eine Vorhersagefunktion des Berechnens von Information zu einem vorhergesagten Reinigungszeitpunkt, der in der Zukunft auszuführen ist, des Objektivs und der Objektivabdeckung auf Basis des Kontaminationsgrads des Objektivs oder der Objektivabdeckung, berechnet durch die Rechenfunktion.
DE102019207904.0A 2018-06-01 2019-05-29 Visuelles sensorobjektiv- oder objektivabdeckungsabnormalitätsdetektionssystem Pending DE102019207904A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-106252 2018-06-01
JP2018106252A JP6933608B2 (ja) 2018-06-01 2018-06-01 視覚センサのレンズまたはレンズカバーの異常検出システム

Publications (1)

Publication Number Publication Date
DE102019207904A1 true DE102019207904A1 (de) 2019-12-05

Family

ID=68576542

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019207904.0A Pending DE102019207904A1 (de) 2018-06-01 2019-05-29 Visuelles sensorobjektiv- oder objektivabdeckungsabnormalitätsdetektionssystem

Country Status (4)

Country Link
US (1) US10775319B2 (de)
JP (1) JP6933608B2 (de)
CN (1) CN110632077B (de)
DE (1) DE102019207904A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021105260B3 (de) 2021-03-04 2022-08-25 Syntegon Technology Gmbh System zur Erfassung von manuellen Eingriffen in eine automatisierte Produktionsumgebung

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3933387B1 (de) * 2019-02-27 2023-10-18 Daikin Industries, Ltd. Informationsbereitstellungssystem
KR102370017B1 (ko) * 2019-12-26 2022-03-04 주식회사 메디트 구강스캐너에 내장된 광학요소 검사 방법 및 이를 이용한 시스템
JP7467961B2 (ja) * 2020-02-07 2024-04-16 東芝ライテック株式会社 判定装置
JP6756941B1 (ja) * 2020-04-22 2020-09-16 Dmg森精機株式会社 無人搬送車、及び該無人搬送車を備えた産業機械システム
CN111524125B (zh) * 2020-04-28 2023-09-01 京东科技信息技术有限公司 一种设备清洁方法、装置、系统、电子设备及存储介质
CN112040223B (zh) * 2020-08-25 2022-08-12 RealMe重庆移动通信有限公司 一种图像处理方法、终端设备及存储介质
US11368672B2 (en) 2020-09-14 2022-06-21 Argo AI, LLC Validation of a camera cleaning system
CN112348784A (zh) * 2020-10-28 2021-02-09 北京市商汤科技开发有限公司 相机镜头的状态检测方法、装置、设备及存储介质
US11457204B1 (en) * 2020-11-06 2022-09-27 Waymo Llc Localized window contaminant detection
CN112672017B (zh) * 2020-12-24 2022-08-05 上海炬佑智能科技有限公司 测试结构件、ToF装置以及镜头脏污检测方法
US11982034B2 (en) * 2021-02-03 2024-05-14 Haier Us Appliance Solutions, Inc. Image quality detection for a camera assembly in a laundry appliance
CN113523272B (zh) * 2021-05-14 2023-09-29 福建省长汀金龙稀土有限公司 一种基于机器视觉的料盒抓取系统
US12006612B2 (en) * 2021-05-26 2024-06-11 Haier Us Appliance Solutions, Inc. Automated lens cleaning for a camera assembly based on image recognition in a washing machine appliance
CN115657648A (zh) * 2021-07-07 2023-01-31 苏州宝时得电动工具有限公司 控制自移动设备的方法及装置
CN113600525B (zh) * 2021-07-29 2022-09-16 河北白沙烟草有限责任公司保定卷烟厂 一种基于智能识别技术的铜排链在线清洁装置
CN113702401B (zh) * 2021-08-17 2023-12-08 芜湖东旭光电科技有限公司 玻璃边部缺陷的检测方法
CN113781499A (zh) * 2021-08-27 2021-12-10 上海微创医疗机器人（集团）股份有限公司 医疗用镜状态检测方法、图像处理方法机器人控制方法及系统
WO2023029633A1 (zh) * 2021-09-01 2023-03-09 寒武纪行歌(南京)科技有限公司 摄像头清洗控制方法、装置、设备及系统
US11451709B1 (en) 2021-11-29 2022-09-20 Unity Technologies Sf Increasing dynamic range of a virtual production display
CN114778558B (zh) * 2022-06-07 2022-09-09 成都纵横通达信息工程有限公司 基于视频图像的桥梁监测装置、系统及方法
CN115278105B (zh) * 2022-07-27 2023-09-15 福建省气象科学研究所 一种智慧农业实景监测装置
CN116206266B (zh) * 2023-05-06 2023-08-15 济宁盛世照明电器有限公司 一种基于封口机的视觉对位系统
KR102670072B1 (ko) * 2023-08-17 2024-05-29 오토아이티(주) 카메라 오염도 체크 기능을 가진 스마트 팩토리 모니터링 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3137739B2 (ja) * 1992-06-15 2001-02-26 マツダ株式会社 ワーク位置検出方法
JP3181729B2 (ja) * 1992-11-09 2001-07-03 マツダ株式会社 塗膜欠陥検出におけるレンズ汚れ検出方法及びその装置
JP3493970B2 (ja) * 1997-09-22 2004-02-03 株式会社日立製作所 ブッシング監視装置及びその監視方法
JPH11352852A (ja) * 1998-06-09 1999-12-24 Canon Inc 画像形成装置
JP2003149166A (ja) * 2001-11-15 2003-05-21 Fuji Heavy Ind Ltd 汚れ自動検知方法、および自動清掃方法、並びに自動清掃装置
TWI424470B (zh) * 2003-05-23 2014-01-21 尼康股份有限公司 A method of manufacturing an exposure apparatus and an element
JP4245452B2 (ja) * 2003-10-06 2009-03-25 富士通株式会社 レンズの汚れ判定方法及び装置
JP4525501B2 (ja) * 2005-07-14 2010-08-18 トヨタ自動車株式会社 レーザートーチの検査システムおよび検査方法
JP2008160635A (ja) * 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd カメラ状態検出方法
JP2008241650A (ja) * 2007-03-29 2008-10-09 Hitachi Industrial Equipment Systems Co Ltd 欠陥検査装置
JP2012173405A (ja) * 2011-02-18 2012-09-10 Fuji Xerox Co Ltd 画像形成装置
JP5635963B2 (ja) * 2011-11-02 2014-12-03 株式会社日立パワーソリューションズ 飲料液異物検査装置および飲料液異物検査方法
JP6117634B2 (ja) * 2012-07-03 2017-04-19 クラリオン株式会社 レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
EP2878498B1 (de) * 2012-07-27 2020-06-24 Nissan Motor Co., Ltd Kameravorrichtung, dreidimensionale objekterfassungsvorrichtung und objektivreinigungsverfahren

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021105260B3 (de) 2021-03-04 2022-08-25 Syntegon Technology Gmbh System zur Erfassung von manuellen Eingriffen in eine automatisierte Produktionsumgebung

Also Published As

Publication number Publication date
US20190369031A1 (en) 2019-12-05
CN110632077B (zh) 2024-05-24
JP6933608B2 (ja) 2021-09-08
CN110632077A (zh) 2019-12-31
JP2019211571A (ja) 2019-12-12
US10775319B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
DE102019207904A1 (de) Visuelles sensorobjektiv- oder objektivabdeckungsabnormalitätsdetektionssystem
DE102017001305B4 (de) Fehlerdiagnosevorrichtung eines Robotersystem zum Beurteilen eines Fehlers anhand eines Kamerabildes
DE102018003762A1 (de) Überwachungsvorrichtung zum Überwachen eines durch Aufteilen eines Überwachungsbereichs festgelegten räumlichen Bereichs
DE102016010283A1 (de) Bearbeitungssystem mit funktion zum beibehalten der bearbeitungsgenauigkeit
CN104614878A (zh) 一种液晶屏检测系统
DE112009001414T5 (de) Bearbeitungssystem, Steuerungseinrichtung, Steuerungsverfahren und Programm
DE102015100882B4 (de) Punktschweißsystem zum Verwalten einer Elektrodenüberprüfung und ein dafür verwendeter Roboter
DE102018200280A1 (de) Visuellsensor-abnormalitätsursachen-schätzsystem
DE102016125766A1 (de) Fahrzeugkamera-Kalibrations-Hilfsvorrichtung
DE102010006146B4 (de) System und Verfahren zum Durchführen von optischer Navigation unter Verwendung von verbesserten Frames von Bilddaten
DE102019103197A1 (de) Insassenüberwachungsvorrichtung
DE102018101162A1 (de) Messsystem und Verfahren zur extrinsischen Kalibrierung
DE102006004060B4 (de) Verfahren und Vorrichtung zum Messen der Höhe und/oder des Höhenverlaufs eines Objekts
DE112021000229T5 (de) Roboter-System
DE102018214307A1 (de) System und Verfahren zur Qualitätsprüfung bei der Herstellung von Einzelteilen
JP5077887B2 (ja) カラーフィルタ欠陥修正方法およびカラーフィルタ欠陥修正装置
DE102017114985B4 (de) Roboterfehlerteil-Diagnosevorrichtung und Verfahren
CN114778558A (zh) 基于视频图像的桥梁监测装置、系统及方法
DE112020001064T5 (de) System und verfahren zur einstellbaren produktionslinienprüfung
AT518019A1 (de) Beleuchtung für industrielle Bildverarbeitung
EP4145233A1 (de) Konturtreuebestimmung für eine laserschneidmaschine
CN203535336U (zh) 一种液晶屏检测系统
DE102021117714A1 (de) Automatische Nahterkennung für einen Schweißprozess
DE112020004812T5 (de) Bewegung in bildern, die in einem visuellen prüfprozess verwendet werden
DE112019004583T5 (de) Rationalisierung eines automatischen visuellen prüfprozesses

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009030000

Ipc: G06V0030120000